BRPI0906263A2

BRPI0906263A2 - aparelho e método de processamento de imagem, e, programa

Info

Publication number: BRPI0906263A2
Application number: BRPI0906263-7A
Authority: BR
Inventors: Shingo Tsurumi
Original assignee: Sony Corp
Priority date: 2008-10-27
Filing date: 2009-10-23
Publication date: 2011-03-29
Also published as: US9153289B2; JP4623199B2; US20120321218A1; CN101729792B; EP2180481A1; RU2009139437A; CN101729792A; US8368815B2; US20100104256A1; JP2010103876A; RU2423736C1

Abstract

APARELHO E METODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA Um aparelho de processamento de imagem inclui: uma unidade calculadora configurada para calcular informação de movimento relativa entre duas imagens que compõem uma imagem em movimento convertida; e uma unidade selecionadora configurada para selecionar imagens visadas de composição servindo como objetivos de composição de uma pluralidade de imagens que compõem a imagem em movimento convertida baseado em confiabilidade que indica a probabilidade da informação de movimento calculada.

Description

"APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM5 E,PROGRAMA"

FUNDAMENTO DA INVENÇÃO

1. Campo da Invenção

A presente invenção relaciona-se a um aparelho deprocessamento de imagem, e especificamente, relaciona-se a um aparelho deprocessamento de imagem e um método de processamento de imagem queanalisam uma imagem para executar processamento de imagem, e umprograma que faz um computador executar o método disso.

2. Descrição da técnica Relacionada

Em recentes anos, aparelhos de geração de imagem tais comocâmeras de vídeo digitais (por exemplo, câmera/gravadores integrados)entraram em uso difundido. Por exemplo, um turista viajando em vários locaisturísticos tirará freqüentemente imagens em movimento de uma pessoa oupessoas usando um aparelho de geração de imagem, com um edifício famosoou paisagem ou similar no fundo.

A imagem em movimento assim tirada pode ser reproduzida,por exemplo, usando um reprodutor dentro da casa. Porém, no caso de usarum reprodutor para reproduzir a imagem em movimento, reproduzir aimagem em movimento inteira desde o princípio pode significar que o tempode reprodução seja prolongado, e há uma possibilidade que interesse naimagem em movimento pode diminuir. Também, reproduzir múltiplasimagens em movimento tiradas em múltiplos locais turísticos pode significarque o tempo de reprodução seja ademais prolongado, e interesse em ver todasas imagens em movimento pode diminuir. Também, o tempo usado paraobservação de uma imagem em movimento é relativamente longo, e porconseguinte, um espectador está freqüentemente satisfeito com ver umaimagem em movimento, que foi reproduzida e foi vista uma vez, econseqüentemente, há pouco apelo para ver tal imagem em movimentorepetidamente.

Portanto, por exemplo, foi proposto um reprodutor que exibeuma imagem de rolo de filme em uma unidade de exibição (por exemplo, vejaPublicação de Pedido de Patente Japonesa Não Examinada No. 2008-167155). Por exemplo, esta imagem de rolo de filme é, por exemplo, umaimagem em que as imagens de miniatura de imagens paradas que representamcenas compondo uma imagem em movimento estão dispostas na ordem deponto em tempo de reprodução de cenas correspondendo a cada uma disso.

SUMÁRIO DA INVENÇÃO

De acordo com a técnica relacionada anterior, no caso de vermúltiplas imagens em movimento tiradas em múltiplos locais turísticos, porexemplo, um usuário pode entender prontamente o conteúdo global destasimagens em movimento.

Porém, no caso de exibir uma imagem de miniatura querepresenta cada cena compondo uma imagem em movimento, a gama degeração de imagem correspondendo à imagem de miniatura disso é exibida,menos outros espaços de geração de imagem na cena correspondendo àimagem de miniatura disso não são exibidos. Por exemplo, no caso que umapessoa está incluída na gama de geração de imagem da cena disso, e onde olugar onde a cena disso foi tirada, a atmosfera circundante, e assimsucessivamente, pode ser compreendida prontamente, pode ser concebido queinteresse na cena disso pode ser aumentado. Neste caso, é importanteselecionar uma imagem que seja atraente ao usuário, por exemplo, por essemeio aumentando interesse na imagem em movimento disso.

Foi achado ser desejável aumentar interesse em uma imagemem movimento.

De acordo com uma concretização da presente invenção, éprovido um aparelho de processamento de imagem e um método deprocessamento de imagem, e um programa fazendo um computador executaro método disso, o aparelho de processamento de imagem incluindo: umaunidade calculadora configurada para calcular informação de movimentorelativa a entre duas imagens que compõem uma imagem em movimentoconvertida; e uma unidade selecionadora configurada para selecionar imagensvisadas de composição servindo como objetivos de composição de umapluralidade de imagens que compõem a imagem em movimento convertidabaseado em confiabilidade que indica a probabilidade da informação demovimento calculada. Assim, é provido um efeito que imagens visadas decomposição são selecionadas das múltiplas imagens compondo a imagem emmovimento baseado na confiabilidade da informação de movimento relativa a duas imagens compondo a imagem em movimento convertida.

Também, a unidade selecionadora pode incluir: uma unidadeselecionadora de seção configurada para selecionar uma seção usada paraselecionar as imagens visadas de composição de uma pluralidade de imagensque compõem a imagem em movimento convertida baseado naconfiabilidade; e uma unidade selecionadora de imagem configurada paraselecionar as imagens visadas de composição de uma pluralidade de imagensincluídas na seção selecionada baseado em relação de posição relativa deimagens incluídas na seção selecionada. Assim, é provido um efeito que umaseção usada para selecionar as imagens visadas de composição é selecionadabaseado na confiabilidade, e as imagens visadas de composição sãoselecionadas baseado em relação de posição relativa de imagens incluídasnesta seção.

No caso que as imagens visadas de composição selecionadassão tiradas como imagens de referência, e uma imagem visada que é outraimagem incluída na seção selecionada, e as imagens de referência foram cadauma convertida com a informação de movimento, a unidade selecionadora deimagem pode selecionar uma nova imagem visada de composição baseado nataxa de sobreposição entre a imagem visada e as imagens de referência.Assim, é provido um efeito que uma nova imagem visada de composição éselecionada baseado na taxa de sobreposição no caso que uma imagem visadaincluída na seção selecionada, e as imagens de referência são cada umaconvertida com a informação de movimento.

O aparelho de processamento de imagem pode ademais incluiruma unidade determinadora configurada para determinar os atributos de umobjetivo incluído na imagem, com a unidade selecionadora de imagemselecionando as imagens visadas de composição baseado nos atributosdeterminados. Assim, é provido um efeito que as imagens visadas decomposição são selecionadas baseado nos atributos determinados.

Um arranjo pode ser feito em que a unidade selecionadora deimagem calcula um valor avaliado baseado nos atributos determinados paracada um de objetivos incluídos na imagem, e seleciona as imagens visadas decomposição baseado no valor avaliado calculado para cada um dos objetivos.

Assim, é provido um efeito que um valor avaliado é calculado para cada umde objetivos incluídos na imagem, e as imagens visadas de composição sãoselecionadas baseado no valor avaliado calculado para cada um dos objetivos.

Um arranjo pode ser feito em que a unidade selecionadora deimagem toma as imagens visadas de composição selecionadas como imagensde referência, e seleciona uma nova imagem visada de composição baseadono valor avaliado calculado para cada um de objetivos incluídos em umaimagem visada que é outra imagem incluída na seção selecionada, e o valoravaliado calculado para cada um de objetivos incluídos nas imagens dereferência. Assim, é provido um efeito que uma nova imagem visada decomposição é selecionada baseado no valor avaliado calculado para cada umde objetivos incluídos em uma imagem visada incluída na seção selecionada,e o valor avaliado calculado para cada um de objetivos incluídos nas imagensde referência.

A unidade selecionadora de seção pode selecionar uma seçãoincluindo uma imagem de uma certa gama como a seção. Assim, é providoum efeito que uma seção incluindo uma imagem de uma certa gama éselecionada.

O aparelho de processamento de imagem pode ademais incluiruma unidade calculadora de contagem de determinação de confiabilidadeconfigurada para calcular uma contagem de determinação de confiabilidadeque indica uma contagem usada para determinar a confiabilidade baseado nainformação de movimento calculada, com a informação de movimentoincluindo componentes relativos à ampliação/redução, movimentotranslacional, e rotação, e com a unidade selecionadora de seção selecionandoa seção baseado na contagem de determinação de confiabilidade calculada, nocomponente translacional, no componente rotacional, e no componente deampliação/redução que se relacionam à informação de movimento. Assim, éprovido um efeito que uma contagem de determinação de confiabilidade écalculada baseado na informação de movimento, e a seção é selecionadabaseado na contagem de determinação de confiabilidade, componentetranslacional, componente rotacional, e componente de ampliação/reduçãoque se relacionam à informação de movimento.

A unidade calculadora pode incluir: uma unidade extratora deponto de aspecto configurada para extrair, baseado em pixéis incluídos emuma primeira imagem que compõe a imagem em movimento convertida, umponto de aspecto da primeira imagem; uma unidade calculadora de quantidadede movimento configurada para calcular a quantidade de movimento de umasegunda imagem que é uma imagem seguindo a primeira imagem que compõea imagem em movimento convertida sobre a primeira imagem baseado emcada um dos pontos de aspecto; e uma unidade calculadora de informação demovimento configurada para calcular a informação de movimento baseada naquantidade de movimento calculada, com a unidade calculadora de contagemde determinação de confiabilidade calculando um valor que indica a taxa deum ponto de aspecto que exibe movimento dominante na hora de calcular ainformação de movimento pela unidade calculadora de informação demovimento, dos pontos de aspecto, como a contagem de determinação deconfiabilidade. Assim, é provido um efeito que um ponto de aspecto daprimeira imagem é extraído, a quantidade de movimento da segunda imagemsobre a primeira imagem é calculada, a informação de movimento écalculada, um valor que indica a taxa de um ponto de aspecto que exibemovimento dominante na hora de calcular a informação de movimento dospontos de aspecto da primeira imagem é calculado como a contagem dedeterminação de confiabilidade.

Um arranjo pode ser feito em que com uma primeira imagemque compõe a imagem em movimento convertida como uma referência, nocaso que uma segunda imagem que é uma imagem seguindo a primeiraimagem que compõe a imagem em movimento convertida é convertidabaseado na informação de movimento, a unidade calculadora de contagem dedeterminação de confiabilidade calcula o valor de diferença de luminância depixéis a uma região sobreposta da primeira imagem e da segunda imagem, ecalcula a contagem de determinação de confiabilidade baseado no valor dediferença disso. Assim, é provido um efeito que, com a primeira imagemcomo uma referência, o valor de diferença de luminância de pixéis a umaregião sobreposta da primeira e segunda imagens no caso da segunda imagemsendo convertida baseado na informação de movimento é calculado, e acontagem de determinação de confiabilidade é calculada baseado neste valor de diferença.

A unidade calculadora pode incluir: um unidade extratora deponto de aspecto configurada para extrair um ponto de aspecto da primeiraimagem baseado em cada um de pixéis incluídos na primeira imagem; umaunidade calculadora de quantidade de movimento configurada para calcular aquantidade de movimento da segunda imagem sobre a primeira imagembaseado em cada um dos pontos de aspecto extraídos; e uma unidadecalculadora de informação de movimento configurada para calcular ainformação de movimento baseado na quantidade de movimento calculada,com a unidade calculadora de contagem de determinação de confiabilidadecalculando, dos pontos de aspecto na região sobreposta, o valor de diferença deluminância de pixéis ao redor de um ponto de aspecto que exibe movimentodominante na hora de calcular a informação de movimento pela unidadecalculadora de informação de movimento, e calculando a contagem dedeterminação de confiabilidade baseado no valor de diferença disso. Assim, éprovido um efeito que pontos de aspecto dentro da primeira imagem sãoextraídos, a quantidade de movimento da segunda imagem sobre a primeiraimagem é calculada para calcular informação de movimento, e com a regiãosobreposta entre a primeira e segunda imagens depois de conversão, dos pontosde aspecto dentro da primeira imagem, o valor de diferença de luminância depixéis ao redor de um ponto de aspecto que exibe movimento dominante nahora de calcular a informação de movimento é calculado, e a contagem dedeterminação de confiabilidade é calculada baseado neste valor de diferença.

De acordo com as configurações anteriores, um efeitoexcelente é provido visto que interesse em uma imagem em movimento podeser aumentado.

BREVE DESCRIÇÃO DOS DESENHOS E ANEXOS

Figura 1 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de um aparelho de processamento de imagem deacordo com uma primeira concretização da presente invenção;

Figura 2 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de uma unidade detectora de trabalho de câmera deacordo com a primeira concretização da presente invenção;

Figura 3 A e Anexo I são diagramas ilustrandoesquematicamente arquivos armazenados em uma unidade de armazenamentode imagem em movimento e uma unidade de armazenamento de metadados,de acordo com a primeira concretização da presente invenção;

Anexo II é um diagrama ilustrando esquematicamente oconteúdo de armazenamento de uma unidade de armazenamento demetadados de imagem visada de composição de acordo com a primeiraconcretização da presente invenção;

No anexo III (III-A, III-B e III-C), há diagramas ilustrando umexemplo de uma imagem compondo uma imagem em movimento;

Figuras 6A a 6C são diagramas ilustrando uma imagemsimplificada omitindo o fundo ou similar é omitido relativo a uma imagemcompondo uma imagem em movimento;

Figura 7 é um diagrama ilustrando um caso onde um retânguloé transformado usando parâmetros de transformação afim;

Figura 8 é um diagrama ilustrando esquematicamente umamétodo de detecção de face por uma unidade detectora de face de acordo coma primeira concretização da presente invenção;

Figura 9 é um diagrama ilustrando conceitualmente informaçãode eixo discriminante usado para cálculo de um valor avaliado de expressãofacial, e um fluxo na hora de gerar esta informação de eixo discriminante;

Figura 10 é um diagrama ilustrando esquematicamente o processode mascaramento para uma imagem de amostra a ser entrada na hora do processode PCA de acordo com a primeira concretização da presente invenção;

Figura 11 é um diagrama ilustrando esquematicamente arelação entre um eixo determinante no espaço de pixel e no espaço de PCA5 euma imagem de face a ser avaliada;

Figura 12 é um diagrama ilustrando um exemplo de cálculo nocaso que o valor avaliado de expressão facial de acordo com a primeiraconcretização da presente invenção é produzido como um valor numérico;

Figura 13 é um fluxograma ilustrando o procedimento de umprocesso de gravação de metadados pelo aparelho de processamento deimagem de acordo com a primeira concretização da presente invenção;

Figura 14 é um fluxograma ilustrando um procedimento decálculo de parâmetro de transformação afim incluído no procedimento doprocesso de gravação de metadados pelo aparelho de processamento deimagem de acordo com a primeira concretização da presente invenção;

Figura 15 é um diagrama ilustrando um exemplo da transiçãode uma imagem em movimento convertida por uma câmera;

Figura 16 é um diagrama ilustrando esquematicamente o lugarde um tema incluído em imagens selecionadas por uma unidade selecionadorade imagem visada de composição de acordo com uma concretização dapresente invenção;

Figura 17 é um diagrama ilustrando um exemplo de composiçãode imagem no caso que imagens são compostas por uma unidade compositora deimagem de acordo com a primeira concretização da presente invenção;

Figura 18 é um diagrama ilustrando um exemplo da transiçãode uma imagem em movimento convertida pela câmera;

Figura 19 é um diagrama ilustrando esquematicamente o lugarde um tema incluído em imagens selecionadas pela unidade selecionadora deimagem visada de composição de acordo com uma concretização da presenteinvenção;

Figura 20 é um diagrama ilustrando um exemplo decomposição de imagem no caso que imagens são compostas pela unidadecompositora de imagem de acordo com a primeira concretização da presenteinvenção;

Figura 21 é um diagrama ilustrando um exemplo da transiçãode uma imagem em movimento convertida pela câmera;

Figura 22 é um diagrama ilustrando esquematicamente o lugarde um tema incluído em imagens selecionadas pela unidade selecionadora deimagem visada de composição de acordo com uma concretização da presenteinvenção;

Figura 23 é um diagrama ilustrando um exemplo decomposição de imagem no caso que imagens são compostas pela unidadecompositora de imagem de acordo com a primeira concretização da presenteinvenção;

Figura 24 é um diagrama ilustrando uma contagem dedeterminação de confiabilidade calculada pelo unidade detectora de trabalhode câmera de acordo com a primeira concretização da presente invenção, deuma maneira em série de tempo;

Figura 25 é um diagrama ilustrando um componente de zoomintegral calculado com um parâmetro de transformação afim calculado pelaunidade detectora de trabalho de câmera de acordo com a primeiraconcretização da presente invenção, de uma maneira em série de tempo;

Figura 26 é um diagrama ilustrando um componentetranslacional integral calculado com um parâmetro de transformação afimcalculado pela unidade detectora de trabalho de câmera de acordo com aprimeira concretização da presente invenção, de uma maneira em série detempo;

Figuras 27A e 27B são diagramas ilustrandoesquematicamente uma imagem incluído em uma seção visada de composiçãode imagem selecionada por uma unidade selecionadora de seção de acordocom a primeira concretização da presente invenção, de uma maneira em sériede tempo;

Figura 28 é um diagrama ilustrando esquematicamente ummétodo de seleção no caso que uma imagem visada de composição éselecionada pela unidade selecionadora de imagem visada de composição deacordo com a primeira concretização da presente invenção;

Figura 29 é um diagrama ilustrando esquematicamente umaimagem em movimento a ser determinado pela unidade selecionadora deseção e pela unidade selecionadora de imagem visada de composição, deacordo com a primeira concretização da presente invenção, de uma maneiraem série de tempo;

Anexo IV é um diagrama ilustrando um exemplo de umaimagem visada de composição selecionada relativa a uma imagem emmovimento convertida pela câmera;

Anexo V é um diagrama ilustrando a transição de uma imagemcomposta criada pela unidade de composição de imagem de acordo com aprimeira concretização da presente invenção;

Anexo VI é um diagrama ilustrando a transição de umaimagem composta criada pela unidade compositora de imagem de acordo coma primeira concretização da presente invenção;

Anexo VII é outro exemplo de composição de uma imagemcomposta criada pela unidade compositora de imagem de acordo com aprimeira concretização da presente invenção;

Figura 34 é um fluxograma ilustrando o procedimento de umprocesso de gravação de metadados de imagem visada de composição peloaparelho de processamento de imagem de acordo com a primeiraconcretização da presente invenção;

Figura 35 é um fluxograma ilustrando um procedimento deextração de seção incluído no procedimento do processo de gravação demetadados de imagem visada de composição pelo aparelho de processamentode imagem de acordo com a primeira concretização da presente invenção;

Figura 36 é um fluxograma ilustrando um procedimento deseleção de quadro incluído no procedimento do processo de gravação demetadados de imagem visada de composição pelo aparelho de processamentode imagem de acordo com a primeira concretização da presente invenção;

Figura 37 é um fluxograma ilustrando o procedimento de umprocesso de exibição de imagem composta pelo aparelho de processamento deimagem de acordo com a primeira concretização da presente invenção;

Figura 38 é um fluxograma ilustrando um procedimento decomposição de imagem incluído no procedimento do processo de exibição deimagem composta pelo aparelho de processamento de imagem de acordo coma primeira concretização da presente invenção;

Figura 39 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de uma unidade detectora de trabalho de câmera deacordo com uma segunda concretização da presente invenção;

Figura 40 é um diagrama ilustrando um panorama de ummétodo de cálculo na hora de calcular uma contagem de determinação deconfiabilidade por uma unidade calculadora de contagem de determinação deconfiabilidade de acordo com a segunda concretização da presente invenção;

Figura 41 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de uma unidade detectora de trabalho de câmera deacordo com a segunda concretização da presente invenção;

Figura 42 é um diagrama ilustrando um panorama de ummétodo de cálculo na hora de calcular uma contagem de determinação deconfiabilidade por uma unidade calculadora de contagem de determinação deconfiabilidade de acordo com a segunda concretização da presente invenção;

Figura 43 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de um aparelho de processamento de imagem deacordo com uma terceira concretização da presente invenção;

Figura 44A e Anexo VIII são diagramas ilustrandoesquematicamente conteúdo armazenado em uma unidade de armazenamentoda informação de referência e uma unidade de armazenamento de metadados,de acordo com a terceira concretização da presente invenção;

Figura 45 é um diagrama ilustrando um exemplo de uma telade seleção exibida em uma unidade de exibição de acordo com a terceiraconcretização da presente invenção;

Anexo IX é um diagrama ilustrando um exemplo de contagensusadas para cálculo de uma contagem de determinação de seleção por umaunidade selecionadora de imagem de visada de composição de acordo com aterceira concretização da presente invenção;

Figuras 47A e 47B são diagramas ilustrando um panorama deum método de seleção no caso que seleção de quadro é executada pelaunidade selecionadora de imagem visada de composição de acordo com aterceira concretização da presente invenção;

Figuras 48A e 48B são diagramas ilustrando um panorama dométodo de seleção no caso que seleção de quadro é executada pela unidadeselecionadora de imagem visada de composição de acordo com a terceiraconcretização da presente invenção;

Figura 49 é um fluxograma ilustrando o procedimento de umprocesso de seleção de quadro pelo aparelho de processamento de imagem deacordo com a terceira concretização da presente invenção;

Figura 50 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de um aparelho de processamento de imagem deacordo com uma quarta concretização da presente invenção;

Anexo X é um diagrama ilustrando esquematicamente oconteúdo de armazenamento de uma unidade de armazenamento de imagemvisada de composição metadados de acordo com uma quarta concretização dapresente invenção;

Figuras 52A a 52C são diagramas ilustrando um panorama deum método de determinação arranjado para determinar a importância de umquadro branco por uma unidade determinadora de imagem de decoração deacordo com a quarta concretização da presente invenção;

Figuras 53A a 53C são diagramas ilustrando um exemplo deuma imagem de decoração determinada pela unidade determinadora deimagem de decoração de acordo com a quarta concretização da presenteinvenção;

Figuras 54A a 54C são diagramas ilustrando um exemplo deum método de determinação para uma imagem de decoração pela unidadedeterminadora de imagem de decoração de acordo com a quarta concretizaçãoda presente invenção;

Figuras 55A e 55B são diagramas ilustrando um exemplo deum método de determinação para uma imagem de decoração pela unidadedeterminadora de imagem de decoração de acordo com a quarta concretizaçãoda presente invenção;

No Anexo XI (XI-A, XI-B, XI-C e XI-D), há diagramasilustrando um exemplo de composição no qual imagens de decoraçãodeterminadas pela unidade determinadora de imagem de decoração de acordocom a quarta concretização são compostas;

No Anexo XII (XII-A5 XII-B5 XII-C e XII-D5 há diagramasilustrando um exemplo de composição no qual imagens de decoraçãodeterminadas pela unidade determinadora de imagem de decoração de acordocom a quarta concretização são compostas;

No Anexo XIII (XIII-A5 XIII-B5 XIII-C e XIII-D), hádiagramas ilustrando um exemplo de composição no qual imagens dedecoração determinadas pela unidade determinadora de imagem de decoraçãode acordo com a quarta concretização são compostas;

Figura 59 é um diagrama ilustrando um exemplo de ummétodo de determinação de imagem de decoração pela unidade determinadorade imagem de decoração de acordo com a quarta concretização, que leva emconta faces;

Figuras 60A a 60C são diagramas ilustrando um exemplo deuma sombra determinada ser uma imagem de decoração a ser adicionada auma imagem visada de composição pela unidade determinadora de imagemde decoração de acordo com a quarta concretização;

Figuras 61A e 6IB são diagramas ilustrando um panorama deum método de determinação arranjado para determinar a direção de umasombra pela unidade determinadora de imagem de decoração de acordo com aquarta concretização;

Figura 62 é um diagrama ilustrando um exemplo de ummétodo de determinação de sombra pela unidade determinadora de imagemde decoração de acordo com a quarta concretização, que leva em conta faces;

Figura 63 é um fluxograma ilustrando o procedimento de umprocesso de gravação de metadados de imagem visada de composição peloaparelho de processamento de imagem de acordo com a quarta concretizaçãoda presente invenção;

Figura 64 é um fluxograma ilustrando um procedimento dedeterminação de imagem de decoração incluído no procedimento do processode gravação de metadados de imagem visada de composição pelo aparelho deprocessamento de imagem de acordo com a quarta concretização da presenteinvenção;

Figura 65 é um fluxograma ilustrando um procedimento dedeterminação de imagem de decoração incluído no procedimento do processode gravação de metadados de imagem visada de composição pelo aparelho deprocessamento de imagem de acordo com a quarta concretização da presenteinvenção;

Figura 66 é um fluxograma ilustrando o procedimento de umprocesso de exibição de imagem composta pelo aparelho de processamento deimagem de acordo com a quarta concretização da presente invenção;

Figura 67 é um fluxograma ilustrando um procedimento decomposição de imagem incluído no procedimento do processo de exibição deimagem composta pelo aparelho de processamento de imagem de acordo coma quarta concretização da presente invenção;Figura 68 é um diagrama ilustrando um exemplo deconfiguração de um processador de multi-núcleo de acordo com uma quintaconcretização da presente invenção;

Figura 69 é um diagrama ilustrando um exemplo deconfiguração de um núcleo de processador de controle de acordo com a quintaconcretização da presente invenção;

Figura 70 é um diagrama ilustrando um exemplo deconfiguração de um núcleo de processador aritmético de acordo com a quintaconcretização da presente invenção;

Figura 71 é um diagrama ilustrando esquematicamente ummétodo de computação do processador de multi-núcleo de acordo com aquinta concretização da presente invenção;

Figura 72 é um diagrama ilustrando esquematicamente osfluxos de um programa e dados no caso que uma computação é executadapelo processador de multi-núcleo de acordo com a quinta concretização dapresente invenção;

Figura 73 é um diagrama ilustrando esquematicamente umpanorama de um método de computação arranjado para executar um processosobre uma pluralidade de dados por cada comando correspondente, e umpanorama de uma computação de SIMD que é um método de computaçãoarranjado para executar um processo sobre uma pluralidade de dados por umúnico comando;

Figura 74 é um diagrama ilustrando um exemplo deconfiguração de um programa executado pelo núcleo de processador decontrole ou núcleo de processador aritmético, de acordo com a quintaconcretização da presente invenção;

Figura 75 é um diagrama ilustrando esquematicamente umaestrutura de dados e um fluxo de processamento no caso que dados deimagem armazenados em memória principal de acordo com a quintaconcretização da presente invenção são sujeitos a um processo de filtragemusando um filtro de Sobel;

Figura 76 é um diagrama ilustrando esquematicamente umfluxo de dados no caso que o filtro de Sobel é usado para executarcomputação de SIMD relativa a dados de imagem armazenados na memóriaprincipal de acordo com a quinta concretização da presente invenção;

Figura 77 é um diagrama ilustrando esquematicamente ummétodo de criação de vetor arranjado para criar nove vetores dos dados deimagem armazenados em uma primeira memória temporária no caso que oprocesso de filtragem é executado usando o filtro de Sobel de acordo com aquinta concretização da presente invenção;

Figura 78 é um diagrama ilustrando esquematicamente ummétodo de computação de vetor arranjado para usar computação de SIMDpara executar uma computação de vetor relativa a dados de vetor no caso queo processo de filtragem é executado usando o filtro de Sobel de acordo com aquinta concretização da presente invenção;

Figura 79 é um diagrama ilustrando esquematicamente o fluxode um processo de cálculo de parâmetro de trabalho de câmera de acordo coma quinta concretização da presente invenção de uma maneira em série detempo; e

Figura 80 é um diagrama ilustrando esquematicamente umDisco de Blu-ray que é um exemplo de um meio de gravação, dados gravadosno Disco de Blu-ray, e a configuração interna de um reprodutor de Blu-raycapaz de reproduzir o Disco de Blu-ray.

DESCRIÇÃO DAS CONCRETIZAÇÕES PREFERIDAS

Descrição será feita abaixo considerando concretizaçõespreferidas para executar a presente invenção (daqui por diante, referidasimplesmente como "concretizações") na ordem seguinte.

1. Primeira Concretização (controle de criação de imagemcomposta: um exemplo no qual imagens visadas de composição sãoselecionadas de uma imagem em movimento, e estes são usados para criaruma imagem composta).

2. Segunda Concretização (controle de seleção de seção visadade composição de imagem: uma modificação em que uma seção visada decomposição de imagem para selecionar imagens visadas de composição éselecionada de uma imagem em movimento).

3. Terceira Concretização (controle de seleção de imagemvisada de composição: uma modificação em que imagens visadas decomposição são selecionadas de uma seção visada de composição deimagem).

4. Quarta Concretização (controle de determinação de imagemde decoração: um exemplo no qual uma imagem de decoração a seradicionada a uma imagem visada de composição é determinada).

5. Quinta Concretização (processo de extração de ponto deaspecto e processo de cálculo de fluxo óptico: um exemplo executado por umprocessador de multi-núcleo).

1. Primeira Concretização

Exemplo de Configuração de Aparelho de Processamento de Imagem

Figura 1 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de um aparelho de processamento de imagem 100 deacordo com uma primeira concretização da presente invenção. O aparelho deprocessamento de imagem 100 inclui uma unidade de entrada de imagem emmovimento 110, uma unidade detectora de trabalho de câmera 120, umaunidade detectora de face 130, uma unidade calculadora de valor avaliado deexpressão facial 140, um unidade de armazenamento da informação de eixodiscriminante 141, uma unidade de controle de gravação 150, uma unidadeselecionadora de seção 160, e um unidade selecionadora de imagem visada decomposição 170. Também, o aparelho de processamento de imagem 100inclui uma unidade de obtenção de arquivo 180, uma unidade transformadorade imagem 190, uma unidade de armazenamento de imagem em movimento200, uma unidade de armazenamento de metadados 210, uma unidadecompositora de imagem 220, e memória de imagem 230. Também, o aparelhode processamento de imagem 100 inclui uma unidade de controle de exibição240, uma unidade de exibição 250, uma unidade aceitadora de operação 260,e uma unidade de armazenamento de metadados de imagem visada decomposição 270. O aparelho de processamento de imagem 100 pode serrealizado por um computador pessoal que pode sujeitar uma imagem emmovimento convertida por um aparelho de geração de imagem, por exemplo,tal como uma câmera de vídeo digital ou similar, à análise de vídeo paraextrair quantidade de aspecto, e a vários tipos de processo de imagem usandoe;sta quantidade de aspecto extraída.

A unidade de entrada de imagem em movimento 110 é umaunidade de entrada de imagem em movimento configurada para introduziruma imagem em movimento convertida por um aparelho de geração deimagem tal como uma câmera de vídeo digital ou similar (daqui por diante,chamada simplesmente "câmera"). A unidade de entrada de imagem emmovimento 110 produz a imagem em movimento de entrada para a unidadedetectora de trabalho de câmera 120, unidade detectora de face 130, unidadecalculadora de valor avaliado de expressão facial 140, e unidade de controlede gravação 150.

A unidade detectora de trabalho de câmera 120 analisa aimagem em movimento produzido da unidade de entrada de imagem emmovimento 110 para detectar informação de movimento na hora de geraçãode imagem (também chamado "trabalho de câmera"), e calcula parâmetros detrabalho de câmera baseado na informação de movimento da câmera.Também, ao calcular parâmetros de trabalho de câmera, a unidade detectorade trabalho de câmera 120 calcula uma contagem de determinação deconfiabilidade que indica a probabilidade dos parâmetros de trabalho decâmera, e produz os parâmetros de trabalho de câmera calculados e acontagem de determinação de confiabilidade para a unidade de controle degravação 150. Especificamente, a unidade detectora de trabalho de câmera120 extrai um ponto de aspecto de cada imagem compondo a imagem emmovimento, e calcula um fluxo óptico (vetor de movimento) sobre este pontode aspecto. A unidade detectora de trabalho de câmera 120 analisa o fluxoóptico calculado sobre o ponto de aspecto para selecionar um ponto deaspecto que exibe movimento dominante, e estima o movimento da câmerabaseado no fluxo óptico sobre o ponto de aspecto que exibe movimentodominante. Aqui, "movimento dominante" significa movimento regular queum número relativamente grande de fluxos ópticos exibem fora de múltiplosfluxos ópticos relativo a múltiplos pontos de aspecto. Também, de pontos deaspecto dentro de uma imagem, uma contagem de determinação deconfiabilidade é calculada baseada em uma taxa entre o ponto de aspecto queexibe movimento dominante, e pontos de aspecto diferentes desse ponto deaspecto. Note que a configuração interna da unidade detectora de trabalho decâmera 120 será descrita em detalhe com referência à Figura 2. Note que aunidade detectora de trabalho de câmera 120 é um exemplo da unidadecalculadora referida no Resumo da Invenção.

A unidade detectora de face 130 detecta a face de uma pessoaincluída em uma imagem compondo uma imagem em movimento produzidoda unidade de entrada de imagem em movimento 110, e produz informaçãode detecção de face relativa à face detectada à unidade calculadora de valoravaliado.de expressão facial 140, e unidade de controle de gravação 150.Exemplos deste método de detecção de face incluem um método de detecçãode face casando entre um modelo no qual informação de distribuição deluminância facial é gravada, e uma imagem atual (por exemplo, vejaPublicação de Pedido de Patente Japonês Não Examinado No. 2004-133637),e um método de detecção de face baseado em uma porção de cor de pele, e aquantidade de aspecto da face de uma pessoa, incluída em uma imagem.Também, um método de detecção de face pode ser empregado em que, comrespeito a uma imagem de face que é uma imagem incluindo uma face,diferença de luminância entre dois pixéis na imagem de face é aprendida, aquantidade de aspecto obtida desta aprendizagem é armazenada como dadosde referência de detecção de face previamente, e detecção de face é executadausando estes dados de referência de detecção de face. O método de detecçãode face usando estes dados de referência de detecção de face será descrito emdetalhe com referência à Figura 8. Também, a informação de detecção de faceinclui a posição e tamanho da imagem de face detectada. Exemplos daposição de face incluída na informação de detecção de face incluem a posiçãode uma janela de detecção de face retangular cercando a face detectada (porexemplo, as coordenadas do canto esquerdo superior da janela de detecção deface, daqui por diante, chamada "informação de posição de face"). Também,exemplos do tamanho de uma face incluída na informação de detecção de faceincluem o tamanho da janela de detecção de face disso (por exemplo, onúmero de pixéis na direção horizontal e direção vertical da janela dedetecção de face). Note que a informação de detecção de face pode incluirbalanço, arfada, e guinada que indicam a orientação da face detectada.

A unidade calculadora de valor avaliado de expressão facial140 usa a informação de eixo discriminante armazenada na unidade dearmazenamento da informação de eixo discriminante 141 para calcular umvalor avaliado de expressão facial relativo à expressão facial da face detectadapela unidade detectora de face 130, e produz o valor avaliado de expressãofacial calculado à unidade de controle de gravação 1.50. Por exemplo, baseadona informação de detecção de face (a posição e tamanho de uma face) saídada unidade detectora de face 130, uma imagem de face que é uma regiãoretangular incluindo pelo menos uma porção da face detectada pela unidadedetectora de face 130 é extraída de uma imagem compondo a imagem emmovimento produzido da unidade de entrada de imagem em movimento 110.

Esta imagem de face extraída é normalizada, e um valor avaliado deexpressão facial relativo à imagem de face normalizada é calculado. Baseadoneste valor avaliado de expressão facial calculado, determinação pode serfeita se ou não a expressão facial da face a ser calculada é uma expressãofacial específica. Note que, com a primeira concretização da presenteinvenção, um exemplo será descrito em que uma face sorridente édeterminada ser uma expressão facial específica. Também, o cálculo de valoravaliado de expressão facial será descrito em detalhes com referência àsFiguras 9 por 12. Também, a unidade calculadora de valor avaliado deexpressão facial 140 é um exemplo da unidade determinadora referida noResumo da Invenção.

A unidade de armazenamento da informação de eixodiscriminante 141 armazena informação de eixo discriminante usada paracálculo de um valor avaliado de expressão facial pela unidade calculadora devalor avaliado de expressão facial 140, e provê a informação de eixodiscriminante armazenada para a unidade calculadora de valor avaliado deexpressão facial 140. Note que a informação de eixo discriminante serádescrita em detalhes com referência à Figura 9 e assim sucessivamente.

A unidade de controle de gravação 150 executa controle degravação sobre a unidade de armazenamento de imagem em movimento 200,unidade de armazenamento de metadados 210, e a unidade de armazenamentode metadados de imagem visada de composição 270. Quer dizer, a unidade decontrole de gravação 150 grava a imagem em movimento produzido daunidade de entrada de imagem em movimento 110 na unidade dearmazenamento de imagem em movimento 200 como um arquivo de imagemem movimento. Também, a unidade de controle de gravação 150 grava oparâmetro de transformação afim e a contagem de determinação deconfiabilidade produzida da unidade detectora de trabalho de câmera 120, ainformação de detecção de face produzida da unidade detectora de face 130, eo valor avaliado de expressão facial produzido da unidade calculadora devalor avaliado de expressão facial 140 na unidade de armazenamento demetadados 210. Tal cada pedaço de informação é gravado na unidade dearmazenamento de metadados 210 de uma maneira correlatada com umaimagem em movimento e um quadro (imagem) como um arquivo demetadados. Também, a unidade de controle de gravação 150 grava ainformação de imagem visada de composição (informação de seleção dequadro) saída da unidade selecionadora de imagem visada de composição 170na unidade de armazenamento de metadados de imagem visada decomposição 270 como metadados de imagem visada de composição.

A unidade selecionadora de seção 160 usa os metadadosarmazenados na unidade de armazenamento de metadados 210 para selecionaruma seção visada de composição de imagem que é uma seção servindo comoum objetivo para criar uma imagem composta relativa à imagem emmovimento armazenado na unidade de armazenamento de imagem emmovimento 200, e produz informação relativa à seção visada de composiçãode imagem selecionada para a unidade selecionadora de imagem visada decomposição 170. Note que seleção de uma seção visada de composição deimagem será descrita em detalhes com referência às Figuras 24 por 26.

A unidade selecionadora de imagem visada de composição170 usa os metadados armazenados na unidade de armazenamento demetadados 210 para selecionar um quadro para criar uma imagem compostade quadros incluídos na seção visada de composição de imagem saídos daunidade selecionadora de seção 160, e produz informação de imagem visadade composição (informação de seleção de quadro) relativa ao quadroselecionado para a unidade de controle de gravação 150. Especificamente, aunidade selecionadora de imagem visada de composição 170 primeiroseleciona uma imagem mais à frente (quadro mais à frente) a ser sobreposta ecomposta no lado de topo da imagem composta, e com a imagem mais àfrente selecionada como uma imagem de referência, seleciona outra imagemvisada de composição em ordem. Parâmetros de transformação afim usadospara sujeitar a imagem visada de composição selecionada à transformaçãoafim são calculados na hora desta seleção com a imagem mais à frente comouma imagem de referência. Note que seleção de imagem visada decomposição será descrita em detalhes com referência às Figuras 27A por 29.Também, a unidade selecionadora de seção 160 e a unidade selecionadora deimagem visada de composição 170 são exemplos da unidade selecionadorareferida no Resumo da Invenção. Também, a unidade selecionadora deimagem visada de composição 170 é um exemplo da unidade selecionadorade imagem referida no Resumo da Invenção.

A unidade de armazenamento de imagem em movimento 200armazena a imagem em movimento produzido da unidade de entrada deimagem em movimento 110 como um arquivo de imagem em movimentobaseado no controle da unidade de controle de gravação 150. Também, aunidade de armazenamento de imagem em movimento 200 provê o arquivode imagem em movimento para a unidade de obtenção de arquivo 180 emresposta a um pedido da unidade de obtenção de arquivo 180, e provê oarquivo de imagem em movimento para a unidade de controle de exibição 240em resposta a um pedido da unidade de controle de exibição 240. Note que oarquivo de imagem em movimento a ser armazenado na unidade dearmazenamento de imagem em movimento 200 será descrita em detalhes comreferência à Figura 3A e ao Anexo I.

A unidade de armazenamento de metadados 210 armazenacada pedaço de informação saído da unidade detectora de trabalho de câmera120, unidade detectora de face 130, e unidade calculadora de valor avaliadode expressão facial 140 de uma maneira correlatada com uma imagem emmovimento e quadro como um arquivo de metadados baseado no controle daunidade de controle de gravação 150. Também, a unidade de armazenamentode metadados 210 provê o arquivo de metadados à unidade selecionadora deseção 160 e à unidade selecionadora de imagem visada de composição 170.Note que o arquivo de metadados a ser armazenado na unidade dearmazenamento de metadados 210 será descrito em detalhes com referência àFigura 3 A e ao Anexo I.

A unidade de armazenamento de metadados de imagem visadade composição 270 armazena a informação de imagem visada de composiçãoproduzida da unidade selecionadora de imagem visada de composição 170como um arquivo de metadados de imagem visada de composição baseado nocontrole da unidade de controle de gravação 150. Também, a unidade dearmazenamento de metadados de imagem visada de composição 270 provê oarquivo de metadados de imagem visada de composição à unidade deobtenção de arquivo 180 em resposta a um pedido da unidade de obtenção dearquivo 180. Note que o arquivo de metadados a ser armazenado na unidadede armazenamento de metadados de imagem visada de composição 270 serádescrito em detalhes com referência à Figura 4.

A unidade de obtenção de arquivo 180 obtém cada arquivoarmazenado na unidade de armazenamento de imagem em movimento 200 ena unidade de armazenamento de metadados 210 em resposta à entrada deoperação aceita pela unidade aceitadora de operação 260, e provê ainformação do cada arquivo obtido para a unidade transformadora de imagem190. Especificamente, no caso que uma operação de instrução usada paraexibir uma imagem composta foi aceita pela unidade aceitadora de operação260, a unidade de obtenção de arquivo 180 obtém o arquivo de imagem emmovimento da unidade de armazenamento de imagem em movimento 200.Também, a unidade de obtenção de arquivo 180 obtém o arquivo demetadados de imagem visada de composição correspondendo a este arquivode imagem em movimento da unidade de armazenamento de metadados deimagem visada de composição 270. Subseqüentemente, a unidade deobtenção de arquivo 180 usa o arquivo de metadados de imagem visada decomposição para extrair uma imagem a ser composta de cada imagemcompondo o arquivo de imagem em movimento obtido, e produz esta imagemextraída, e os metadados de imagem visada de composição correspondendo aesta imagem à unidade transformadora de imagem 190.

A unidade transformadora de imagem 190 sujeita a imagemsaída da unidade de obtenção de arquivo 180 à transformação afim usando osmetadados de imagem visada de composição correspondendo a esta imagem,e produz a imagem sujeita à transformação afim à unidade compositora deimagem 220. Especificamente, a unidade transformadora de imagem 190sujeita outra imagem à transformação afim em ordem com a posição de umaúnica imagem (por exemplo, imagem mais à frente) como uma referência.Também, no caso que uma operação de instrução usada para exibir umaimagem composta foi aceita pela unidade aceitadora de operação 260, aunidade transformadora de imagem 190 sujeita uma imagem à transformaçãoafim em ordem conforme a ordem de exibição de acordo com a operação deinstrução disso. Note que tal transformação de imagem será descrita emdetalhes com referência às Figuras 15 por 23, 31, 32, e assim sucessivamente.

A unidade compositora de imagem 220 compõe a imagemsujeita à transformação afim pela unidade transformadora de imagem 190para criar uma imagem composta usando a memória de imagem 230, e produza imagem composta criada para a unidade de controle de exibição 240seqüencialmente. Também, ao compor a imagem de composição sujeita àtransformação afim pela unidade transformadora de imagem 190, a unidadecompositora de imagem 220 compõe a imagem adicionando um quadrobranco à periferia da imagem. Tal composição de imagem será descrita emdetalhes com referência aos Anexos V e VI, e outros desenhos.A memória de imagem 230 é uma memória temporária detrabalho usada ao criar uma imagem composta pela unidade compositora deimagem 220, contém imagens de história incluindo a imagem sujeita àtransformação afim pela unidade transformadora de imagem 190, e provê asimagens de história contidas à unidade compositora de imagem 220. Amemória de imagem 230 também é chamada uma "tela de pintura",equivalente a um valor de imagem de memória, onde dados de imagem sãoarmazenados.

A unidade de controle de exibição 240 exibe a imagemcomposta produzida da unidade compositora de imagem 220 na unidade deexibição 250 conforme o conteúdo da entrada de operação aceita pela unidadeaceitadora de operação 260. Também, no caso que uma operação de instruçãousada para reproduzir uma imagem em movimento foi aceita pela unidadeaceitadora de operação 260, a unidade de controle de exibição 240 obtém oarquivo de imagem em movimento de acordo com esta operação de instruçãoda unidade armazenamento de imagem em movimento 200, e controla aunidade de exibição 250 para exibir uma imagem compondo este arquivo deimagem em movimento.

A unidade de exibição 250 exibe cada imagem baseada nocontrole da unidade de controle de exibição 240. A unidade de exibição 250pode ser realizada com, por exemplo, o monitor de um computador pessoal,ou um aparelho de televisão. Note que um exemplo de exibição de umaimagem composta será descrito em detalhes com referência aos Anexos V aVII e assim sucessivamente.

A unidade aceitadora de operação 260 aceita entrada deoperação de um teclado composto de vários tipos de teclas, um mouse(dispositivo apontador), ou similar, e produz o conteúdo de entrada deoperação aceita para a unidade de obtenção de arquivo 180, unidadetransformadora de imagem 190, ou unidade de controle de exibição 240.Figura 2 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional da unidade detectora de trabalho de câmera 120 deacordo com a primeira concretização da presente invenção. A unidadedetectora de trabalho de câmera 120 inclui uma unidade extratora de ponto deaspecto 121, uma unidade calculadora de fluxo óptico 122, uma unidadecalculadora de parâmetro de trabalho de câmera 123, e uma unidadecalculadora de contagem de determinação de confiabilidade 124.

A unidade extratora de ponto de aspecto 121 extrai pontos deaspecto da imagem inteira correspondendo a um quadro compondo a imagemem movimento produzido da unidade de entrada de imagem em movimento110, e produz os pontos de aspecto à unidade calculadora de fluxo óptico 122e à unidade calculadora de contagem de determinação de confiabilidade 124.Aqui, a unidade extratora de ponto de aspecto 121 extrai pontos de aspecto daimagem inteira relativo ao quadro de topo de quadros compondo a imagemem movimento produzido da unidade de entrada de imagem em movimento110. Também, a unidade extratora de ponto de aspecto 121 compara àimagem correspondendo ao quadro prévio para extrair pontos de aspecto deuma nova porção de região convertida relativo a um quadro diferente doquadro de topo. Note que, por exemplo, um ponto pode ser extraído como umponto de aspecto onde o gradiente da borda é forte na direção vertical e nadireção horizontal (em geral, chamado "ponto de canto", em seguida,chamado "ponto de canto"). Este ponto de canto é um ponto de aspecto que éforte contra cálculo de fluxo óptico, e pode ser obtido com detecção de borda.Note que extração de um ponto de canto será descrita em detalhes comreferência ao Anexo III (III-A, III-B e III-C) e às Figuras 6A a 6C. Note que,com este exemplo, a unidade extratora de ponto de aspecto 121 extrai pontosde aspecto da imagem inteira relativa ao quadro de topo, e compara à imagemcorrespondendo ao quadro prévio para extrair pontos de aspecto de uma novaporção de região convertida relativa a um quadro diferente do quadro de topo.Porém, pontos de aspecto também podem ser extraídos da imagem inteiraconsiderando cada quadro diferente do quadro de topo conforme capacidadede processamento.

A unidade calculadora de fluxo óptico 122 calcula um fluxoóptico sobre cada ponto de aspecto produzido da unidade extratora de pontode aspecto 121, e produz o fluxo óptico calculado para a unidade calculadorade parâmetro de trabalho de câmera 123. Especificamente, a unidadecalculadora de fluxo óptico 122 compara cada imagem correspondendo a doisquadros consecutivos (o quadro atual e o quadro imediatamente prévio)compondo a imagem em movimento produzido da unidade de entrada deimagem em movimento 110, por esse meio calculando o fluxo óptico doquadro atual. Quer dizer, a unidade calculadora de fluxo óptico 122 calculaum fluxo óptico sobre a imagem correspondendo ao quadro atualconsiderando cada ponto de aspecto da imagem correspondendo ao quadroimediatamente prévio. Este fluxo óptico é calculado para cada quadrocompondo a imagem em movimento. Note que um método de detecção talcomo um método de gradiente, método de casamento de bloco, ou similarpode ser empregado como um método de detecção usado para detectar umfluxo óptico. Note que esta computação de fluxo óptico será descrita emdetalhes com referência ao Anexo III (III-A, III-B e III-C) e às Figuras 6A a6C. Também, a unidade calculadora de fluxo óptico 122 é um exemplo daunidade calculadora de quantidade de movimento referida no Resumo daInvenção.

A unidade calculadora de parâmetro de trabalho de câmera 123executa um processo de cálculo de parâmetro de trabalho de câmera em que ofluxo óptico correspondendo a cada ponto de aspecto produzido da unidadecalculadora de fluxo óptico 122 é usado para calcular parâmetros de trabalhode câmera. Subseqüentemente, a unidade calculadora de parâmetro detrabalho de câmera 123 produz os parâmetros de trabalho de câmeracalculados para a unidade de controle de gravação 150, e produz informaçãorelativa ao ponto de aspecto usado para cálculo dos parâmetros de trabalho decâmera à unidade calculadora de contagem de determinação de confiabilidade124. Os parâmetros de trabalho de câmera são informação de transformação(a informação de movimento da câmera) relativa aos dois quadrosconsecutivos (o quadro atual e o quadro imediatamente prévio).

Agora, com a primeira concretização da presente invenção,cada imagem visada de composição selecionada relativa à imagem emmovimento a ser reproduzida é transformada e composta conforme omovimento da câmera. A fim de executar esta transformação de imagem, omovimento da câmera é extraído usando o fluxo óptico calculado pelaunidade calculadora de fluxo óptico 122, e parâmetros de trabalho de câmera(parâmetros de transformação) são calculados baseados no movimentoextraído.

Também, com a primeira concretização da presente invenção,descrição será feita relativa a um exemplo usando transformação afim comoum método de transformação de imagem usado para transformar uma imagemvisada de composição. Também, descrição será feita relativa a um exemplousando parâmetros de transformação afim calculados baseados em um fluxoóptico como parâmetros de trabalho de câmera. Note que outro método detransformação de imagem pode ser empregado usando parâmetros detransformação projetiva ou similar como parâmetros de trabalho de câmera.Note que um parâmetro de transformação afim pode ser obtido por umacomputação usando um vetor entre três pontos. Também, parâmetros detransformação projetiva podem ser obtidos por uma computação usando umvetor entre quatro pontos. Agora, parâmetros de trabalho de câmera sãoinformação de transformação para transformar outra imagem convertida compelo menos uma imagem convertida de imagens convertidas compondo umaimagem em movimento convertida como uma referência, e incluem pelomenos informação de posição e informação de atitude descritas no sistema decoordenadas da câmera. Quer dizer, parâmetros de trabalho de câmeraincluem informação relativa à posição e atitude da câmera no caso de serconvertida por um usuário. Também, o movimento da câmera de acordo coma operação por um usuário, por exemplo, tal como zoom dentro, zoom fora,panorâmica, inclinação, rotação, ou similar pode ser estimado baseado nosparâmetros de transformação afim calculados pela unidade calculadora deparâmetro de trabalho de câmera 123. Note que cálculo de parâmetros detransformação afim será descrito em detalhes com referência ao Anexo III(III-A, III-B e III-C) e às Figuras 6A a 6C. Quer dizer, com a primeiraconcretização, no caso que uma única imagem de imagens consecutivas étomada como uma imagem de referência, definição é feita como parâmetrosde transformação afim correspondendo a uma matriz afim que indica onde apróxima imagem desta imagem de referência se move. Note que a unidadecalculadora de parâmetro de trabalho de câmera 123 é um exemplo daunidade calculadora de informação de movimento referida no Resumo daInvenção.

A unidade calculadora de contagem de determinação deconfiabilidade 124 calcula uma contagem de determinação de confiabilidadebaseada em informação relativa ao ponto de aspecto produzido da unidadeextratora de ponto de aspecto 121, e o ponto de aspecto produzido da unidadecalculadora de parâmetro de trabalho de câmera 123, e produz a contagem dedeterminação de confiabilidade calculada para a unidade de controle degravação 150. Esta contagem de determinação de confiabilidade é calculadabaseada em uma taxa entre o número de pontos de aspecto na tela inteira deuma imagem a ser sujeita ao cálculo de parâmetros de transformação afim, e onúmero de pontos de aspecto que exibem movimento dominante na telainteira. Cálculo desta contagem de determinação de confiabilidade serádescrito em detalhes com referência ao Anexo III (III-A, III-B e III-C) e àsFiguras 6A a 6C.

Figura 3 A e Anexo I são esquemas ilustrandoesquematicamente arquivos armazenados na unidade de armazenamento deimagem em movimento 200 e na unidade de armazenamento de metadados210, de acordo com a primeira concretização da presente invenção. Figura 3 Ailustra arquivos de imagem em movimento 201 por 203 armazenados naunidade de armazenamento de imagem em movimento 200, arquivos demetadados 211 por 213 armazenados na unidade de armazenamento demetadados 210 de uma maneira correlatada com os arquivos de imagem emmovimento 201 por 203. Agora, nos deixe dizer que um ID de imagem emmovimento, que é informação de identificação usada para identificar cadaarquivo de imagem em movimento armazenado na unidade dearmazenamento de imagem em movimento 200, é anexado a cada arquivo deimagem em movimento. Por exemplo, "#1" é anexado ao arquivo de imagemem movimento 201, " #2" é anexado ao arquivo de imagem em movimento202, e "#n" é anexado ao arquivo de imagem em movimento 203.

Anexo I ilustra esquematicamente o arquivo de imagem emmovimento 201 armazenado na unidade de armazenamento de imagem emmovimento 200, o arquivo de metadados 211 armazenado na unidade dearmazenamento de metadados 210 de uma maneira correlatada com o arquivode imagem em movimento 201. Agora, o arquivo de imagem em movimento201 é um arquivo de imagem em movimento composto de m quadros, e estesm quadros são mostrados como quadros "1" 204 por "m" 207. Também, como arquivo de metadados 211, um ID de imagem em movimento 214, umnúmero de quadro 215, parâmetros de transformação afim 216, uma contagemde determinação de confiabilidade 217, informação de detecção de face 218, eum valor avaliado de expressão facial 219 são armazenados de uma maneiracorrelatada.

O ID de imagem em movimento 214 é um ID de imagem emmovimento anexado ao arquivo de imagem em movimento correspondente, epor exemplo, armazena "#1" anexado ao arquivo de imagem em movimento201.

O número de quadro 215 é um número de série de cada quadrocompondo o arquivo de imagem em movimento correspondente, e porexemplo, armazena "1" por "m" correspondendo aos quadros "1" 204 por"m" 207 compondo a imagem em movimento do arquivo de imagem emmovimento 201.

Os parâmetros de transformação afim 216 são parâmetros detransformação afim calculados relativos a cada quadro da imagem emmovimento correspondendo ao número de quadro 215. Note que osparâmetros de transformação afim 216 "al, bl,cl,dl,el,fl" correspondendoao "1" do número de quadro 215 são os parâmetros de transformação afim deuma matriz unitária. Também, por exemplo, os parâmetros de transformaçãoafim 216 "ai, bi, ci, di, ei, fi" correspondendo ao "i" (i é um inteiro de 2 oumais) do número de quadro 215 são os parâmetros de transformação afim doquadro "i" sobre o quadro imediatamente prévio "i - 1".

A contagem de determinação de confiabilidade 217 é umacontagem de determinação de confiabilidade calculada relativa a cada quadroda imagem em movimento correspondendo ao número de quadro 215, e porexemplo, armazena um valor de 0 por 1.

A informação de detecção de face 218 é informação dedetecção de face detectada relativa a cada quadro da imagem em movimentocorrespondendo ao número de quadro 215, e armazena a informação dedetecção de face produzida da unidade detectora de face 130. Note que oAnexo I ilustra a informação de detecção de face da qual o conteúdoespecífico é omitido. No caso que múltiplas faces foram detectadas de umquadro, uma tal pluralidade de informação de detecção de face é armazenadade uma maneira correlatada com o quadro disso.O valor avaliado de expressão facial 219 é um valor avaliadode expressão facial calculado relativo a uma face incluída em cada quadro daimagem em movimento correspondendo ao número de quadro 215, earmazena o valor avaliado de expressão facial produzido da unidadecalculadora de valor avaliado de expressão facial 140. Note que, no caso quenenhuma face está incluída no quadro correspondente, o valor avaliado deexpressão facial 219 armazena "0". Por exemplo, no caso que nenhuma facefoi detectada dos quadros correspondendo ao "1" e "m" do número de quadro215, nenhum valor avaliado de expressão facial é calculado pela unidadecalculadora de valor avaliado de expressão facial 140, e por conseguinte, ovalor avaliado de expressão facial 219 armazena "0". Por outro lado, no casoque nenhuma face foi detectada dos quadros correspondendo ao "i" e "j" donúmero de quadro 215, o valor avaliado de expressão facial 219 armazena ovalor avaliado de expressão facial calculado pela unidade calculadora de valoravaliado de expressão facial 140. Por exemplo, o valor avaliado de expressãofacial 219 correspondendo ao "i" do número de quadro 215 armazena "124",e o valor avaliado de expressão facial 219 correspondendo ao "j" do númerode quadro 215 armazena "405". Neste caso, por exemplo, determinação podeser feita que há uma alta possibilidade que a face detectada relativa ao quadro"j" parece uma face sorridente mais que a face detectada relativa à imagem"i". Note que i e j são inteiros que satisfazem 1 < i < j < m. Também, no casoque múltiplas faces de foram detectadas um quadro, os valores avaliados deexpressão facial calculados relativos a estas múltiplas faces são armazenadosde uma maneira correlatada com o quadro disso.

Anexo II é um diagrama' ilustrando esquematicamente oconteúdo de armazenamento da unidade de armazenamento de metadados deimagem visada de composição 270 de acordo com a primeira concretizaçãoda presente invenção. Um ID de imagem em movimento 271, um número deseção 272, um número de quadro 273, parâmetros de transformação afim 274,um quadro mais à frente 275, e dados de face 276 são armazenados naunidade de armazenamento de metadados de imagem visada de composição270 de uma maneira correlatada.

O ID de imagem em movimento 271 é um ID de imagem emmovimento anexado ao arquivo de imagem em movimento correspondente, epor exemplo, armazena "#1", "#2", e assim sucessivamente anexado a cadaarquivo de imagem em movimento armazenado na unidade dearmazenamento de imagem em movimento 200.

O número de seção 272 é um número de série usado paraidentificar uma seção visada de composição de imagem selecionada pelaunidade selecionadora de seção 160, e por exemplo, armazena "#101","#102", "#103", e assim sucessivamente na ordem selecionada relativa aoarquivo de imagem em movimento 201. Por exemplo, no caso que umaimagem composta é criada relativa ao arquivo de imagem em movimento 201,uma imagem composta é criada para cada seção do número de seção 272 (porexemplo, "#101", "#102", "#103").

O número de quadro 273 é o número de quadro do quadroselecionado pela unidade selecionadora de imagem visada de composição 170com a seção visada de composição de imagem selecionada pela unidadeselecionadora de seção 160. Este número de quadro corresponde ao númerode quadro 215 mostrado no Anexo I. Por exemplo, com o "#101" do númerode seção 272, no caso que quadros "1"," 6", "9" e "17" foram selecionadospela unidade selecionadora de imagem visada de composição 170, os númerosde quadro "1", "6", "9", e "17" destes quadros são armazenados.

Os parâmetros de transformação afim 274 são parâmetros detransformação afim usados para sujeitar cada quadro selecionado pela unidadeselecionadora de imagem visada de composição 170 à transformação afim.Aqui, parâmetros de transformação afim a serem armazenados nos parâmetrosde transformação afim 274 são parâmetros de transformação afim usados parasujeitar outro quadro à transformação afim com um quadro dentro da mesmaseção visada de composição de imagem como um quadro de referência. Estequadro de referência pode ser fixado, por exemplo, ao quadro mais à frente.Também, parâmetros de transformação afim a serem armazenados nosparâmetros de transformação afim 274 de uma maneira correlatada com estequadro de referência são os parâmetros de transformação afim de uma matrizunitária.

O quadro mais à frente 275 é informação que indica o quadromais à frente selecionado pela unidade selecionadora de imagem visada decomposição 170. Por exemplo, no caso que o quadro correspondente foiselecionado como o quadro mais à frente, o quadro mais à frente 275armazena "1", e no caso que o quadro correspondente não foi selecionadocomo o quadro mais à frente, o quadro mais à frente 275 armazena "0". Porexemplo, de cada quadro de número de seção 272 "#101" do ID de imagemem movimento 271 "#1", no caso que o quadro "9" foi selecionado como oquadro mais à frente, o quadro mais à frente 275 do quadro "9" armazena "1".Neste caso, de cada quadro do número de seção 272 "#101", com respeito aum quadro diferente do quadro "9", o quadro mais à frente 275 armazena "0".

Os dados de face 276 são informação relativa a uma faceincluída em cada quadro selecionado pela unidade selecionadora de imagemvisada de composição 170. Como esta informação, de informação de detecçãode face incluída na informação de detecção de face 218, por exemplo, ainformação de posição e informação de tamanho de uma face sãoarmazenadas. Com o exemplo mostrado na Figura 4, a informação de posiçãode uma face é mostrada com (xn, yn), e a informação de tamanho da face émostrada com (Hn, Wn). Aqui, η é um valor numérico correspondendo aonúmero de quadro 273. Note que no caso que múltiplas faces foramdetectadas de um quadro, uma tal pluralidade de dados de face é armazenadade uma maneira correlatada com o quadro disso.Exemplos de Cálculo de Parâmetros de Trabalho de Câmera e Contagens deDeterminação de Confiabilidade

A seguir, descrição será feita em detalhes relativos a ummétodo de cálculo usado para calcular parâmetros de trabalho de câmera(parâmetros de transformação afim) e contagens de determinação deconfiabilidade a serem usadas para transformação de imagem, com referênciaaos desenhos.

No Anexo III (III-A, III-B e III-C), há diagramas ilustrandoum exemplo de uma imagem compondo uma imagem em movimento. Figuras6A por 6C são diagramas ilustrando uma imagem simplificada omitindo ofundo ou similar relativo a uma imagem compondo uma imagem emmovimento. Anexo III (III-A, III-B e III-C) ilustra uma imagem 300 como umexemplo de uma imagem compondo uma imagem em movimento. Também,Figura 6A ilustra uma imagem 320 simplificada omitindo o fundo ou similarrelativo à imagem correspondendo ao quadro imediatamente prévio daimagem 300. Também, Figuras 6B e 6C ilustram uma imagem 330simplificada omitindo o fundo ou similar relativo à imagem 300.

As imagens 300, 320, e 330 mostradas no Anexo III (III-A,III-B e III-C) e nas Figuras 6 A a 6C incluem imagens 301,321,e331 de umcavalo no qual uma pessoa está montada, e imagens 302, 322 e 332 de umacobra disposta em frente às imagem de cavalo 301,321 e331. Também, comomostrado no Anexo III (III-A, III-B e III-C), são providas uma bandeira, umacadeira, e assim sucessivamente no fundo destas imagens, e esta bandeira estátremulando no vento.

A imagem 320 mostrada na Figura 6A é uma imagemsimplificada relativa à imagem correspondendo ao quadro imediatamenteprévio do quadro correspondendo às imagens 300 e 330 mostradas no AnexoIII (III-A, III-B e III-C) e nas Figuras 6B e 6C. Também, as imagens 320 e330 correspondendo a dois quadros consecutivos são imagens que indicamtransição no caso que o tamanho de um tema dentro da tela aumentagradualmente. Quer dizer, na hora desta geração de imagem, uma operação dezoom dentro é executada, em que uma operação usada para aumentar otamanho de um tema dentro da tela é aumentada gradualmente.

Com a primeira concretização da presente invenção, descriçãoserá feita relativa a um método como um exemplo em que um ponto deaspecto é detectado de uma imagem compondo uma imagem em movimento,e parâmetros de transformação afim são calculados usando o fluxo ópticocorrespondendo a este ponto de aspecto. Também, com este exemplo,descrição será feita relativa a um caso onde um ponto de canto é usado comoum ponto de aspecto.

Agora, com Figuras 6A por 6C, descrição será feita relativa aum método como um exemplo em que parâmetros de transformação afim sãocalculados usando os fluxos ópticos correspondendo a três pontos de cantodetectados das imagens 320 e 330.

Por exemplo, com a imagem 320 mostrada na Figura 6A, nosdeixe dizer que um ponto de canto 323 ao redor da boca da imagem de cavalo321, um ponto de canto 324 ao redor do quadril da pessoa da imagem decavalo 321, e um ponto de canto 325 ao redor da boca de imagem de cobra322 foram detectados como pontos de aspecto. Neste caso, com a imagem 330mostrada na Figura 6B, de acordo com o método de gradiente, método decasamento de bloco, ou similar, fluxos ópticos 337, 338, e 339 sobre ospontos de canto 323, 324, e 325 da imagem 320 são detectados.Subseqüentemente, baseado nos fluxos ópticos detectados 337, 338, e 339,pontos de canto 333,334e335 correspondendo aos pontos de canto 323, 324,e 325 da imagem 320 são detectados.

Agora, por exemplo, as imagens de cavalo 321 e 331 eimagens de cobra 322 e 332 incluem nas imagens 320 e 330 mostradas naFiguras 6A e 6B são instaladas no chão, e por conseguinte, não se movemindiferente do movimento da câmera. Portanto, o movimento da câmera podeser estimado precisamente baseado nos fluxos ópticos obtidos sobre os pontosde canto detectados relativos às imagens de cavalo 321 e331,eàs imagens decobra 322 e 332. Por exemplo, como mostrado na Figura 6C, baseado nos trêsfluxos ópticos 337 por 339 detectados na imagem 330, pode ser estimado quea imagem 330 é uma imagem aumentada da imagem 320 com o ponto 336como o centro. Assim, determinação pode ser feita que o movimento dacâmera na hora de converter a imagem 330 é uma operação de zoom dentrocom o ponto 336 como o centro. Assim, um ponto de canto é detectadorelativo a um objeto que não se move indiferente do movimento da câmera, ebaseado em um fluxo óptico obtido sobre este ponto de canto, o movimentoda câmera tendo uma regularidade particular pode ser detectado precisamente,portanto, parâmetros de transformação afim podem ser obtidos por cálculousando os fluxos ópticos obtidos sobre estes pontos de canto.

Porém, um caso pode ser concebido em que um objeto que semove indiferente do movimento da câmera está incluído em uma imagem, talcomo uma bandeira tremulando no vento ou similar. Por exemplo, a imagem300 mostrada no Anexo III (III-A, III-B e III-C) inclui uma bandeiratremulando no vento. No caso que um ponto de canto é detectado relativo aum objeto que se move indiferente do movimento da câmera, e o movimentoda câmera é estimado usando o fluxo óptico obtido sobre este ponto de canto,é difícil de estimar o movimento da câmera precisamente.

Por exemplo, os fluxos ópticos detectados na imagem 300mostrada na Figura 5B são indicados com uma seta, e os pontos de cantodetectados pelos fluxos ópticos são indicados com um círculo branco da pontade uma seta. Aqui, pontos de canto 303 por 305 são pontos de cantocorrespondendo ao pontos de canto 333 por 335 mostrados na Figuras 6B e6C. Também, pontos de canto 306 por 311 são pontos de canto detectadosrelativos às bandeiras dispostas no fundo da imagem de cavalo 301. Estasbandeiras estão tremulando no vento, e por conseguinte, o movimento de cadauma das bandeiras devido a influência do vento foi detectado como um fluxoóptico. Quer dizer, fluxos ópticos correspondendo aos pontos de canto 306por 311 são fluxos ópticos detectados relativos às bandeiras que se movemindiferente do movimento da câmera. Portanto, no caso que os três fluxosópticos usados no caso de calcular parâmetros de transformação afim incluemum fluxo óptico correspondendo a pelo menos um ponto de canto dos pontosde canto 306 por 311, é difícil detectar o movimento da câmera precisamente.Neste caso, é difícil de calcular parâmetros de transformação afim precisos.

Como mostrado acima, por exemplo, um fluxo óptico sobreum objeto que se move indiferente do movimento da câmera (fluxos ópticoscorrespondendo aos pontos de canto 306 por 311 mostrados na Figura 5B) édetectado de uma imagem convertida em alguns casos. Também, um fluxoóptico tendo uma regularidade particular em relação com o movimento dacâmera (um fluxo óptico diferente dos fluxos ópticos correspondendo aospontos de canto 306 por 311 mostrados na Figura 5B) é detectado de umaimagem convertida em alguns casos.

Portanto, com a primeira concretização da presente invenção,um processo de cálculo de parâmetro de transformação afim é executadomúltiplas vezes em que parâmetros de transformação afim são calculadosbaseado nos três fluxos ópticos, por esse meio obtendo múltiplos parâmetrosde transformação afim. Descrição será feita relativa a um exemplo em que osparâmetros de transformação afim ótimos são selecionados destes múltiplosparâmetros de transformação afim. Note que, com este exemplo, diz-se que otamanho de um objeto em movimento incluído em cada imagem compondouma imagem em movimento é relativamente pequeno sobre a área daimagem.

Agora, descrição será feita relativa à transformação afim. Nocaso que a posição de uma fonte em movimento é fixada a (x, y), e a posiçãode um destino em movimento depois de transformação afim é fixada a (x', y')nas coordenadas bidimensionais, a expressão de matriz de transformação afimpode ser representada com a Expressão 1. Note que a matriz de 3 χ 3 do ladodireito da Expressão 1 é uma matriz afim.

<formula>formula see original document page 42</formula>

Aqui, a por f são parâmetros de transformação afim. Também,os parâmetros de transformação afim podem ser representados com aexpressão seguinte com os parâmetros de transformação afim como umamatriz AM. Note que um componente de zoom XZ na direção X, umcomponente de zoom YZ na direção Y, um componente translacional XT nadireção X, um componente translacional YT na direção Y, um componenterotacional θχ na direção X, e um componente rotacional Gy na direção Ypodem ser obtidos, respectivamente. Note que, no caso de uma matrizunitária, a = e=l,eb = c = d = f=Ose mantém.

<formula>formula see original document page 42</formula>

Assim, cada componente de trabalho de câmera (componentesde zoom nas direções XeY, componentes translacionais, componentesrotacionais) pode ser obtido dos parâmetros de transformação afim. Note queos componentes rotacionais serão descritos com referência à Figura 7.Figura 7 é um diagrama ilustrando um caso onde um retângulo340 é transformado usando parâmetros de transformação afim. Comomostrado na Figura 7, nos deixe dizer que um pico do retângulo 340 é aorigem, e com as coordenadas x-y em que os dois lados do retângulo 340adjacentes ao pico correspondendo à origem são tomados como o eixo χ e oeixo y, um retângulo depois do retângulo 340 é transformado usandoparâmetros de transformação afim predeterminados é tomado como umretângulo 341. Neste caso, nos deixe dizer que um ângulo formado peloslados no lado de eixo χ dos retângulos 340 e 341 é um componente rotacionalθχ, e um ângulo formado pelos lados no lado de eixo y dos retângulos 340 e341 é um componente rotacional 6y.

A seguir, um método para calcular o valor de adição decomponentes de trabalho de câmera será descrito. O valor de adição decomponentes de trabalho de câmera é um valor obtido adicionando cadacomponente do trabalho de câmera correspondendo a cada quadro do quadrode topo da seção visada de composição de imagem servindo como umobjetivo de cálculo para o quadro atual servindo como um objetivo de cálculo.Por exemplo, nos deixe dizer que os quadros do quadro de topo para o quadroatual são tomados como quadros 1 por 5, e os componentes translacionais nadireção X dos componentes de trabalho de câmera dos quadros 1 por 5 sãotomados como XTl por XT5. Neste caso, o valor de adição dos componentestranslacionais na direção X dos componentes de trabalho de câmera pode sercalculado por "XT1 + XT2 + XT3 + XT4 + XT5". Também, o valor de adiçãode cada componente de outro trabalho de câmera pode ser calculado damesma maneira.

A seguir, um método para calcular parâmetros detransformação afim será descrito. Primeiro, com a imagem correspondendo aoquadro atual, que é um quadro de quadros compondo uma imagem emmovimento, três pontos de aspecto são selecionados de pontos de aspecto dequais os fluxos ópticos foram detectados. Por exemplo, três pontos de cantosão selecionados dos pontos de canto detectados na imagem 300 (indicadocom um círculo branco) mostrado na Figura 5B ao acaso. Note que, no casoque parâmetros de transformação projetiva são usados como parâmetros detrabalho de câmera, quatro pontos de aspecto são selecionados ao acaso.

Subseqüentemente, parâmetros de transformação afim sãocalculados usando os três fluxos ópticos correspondendo aos três pontos deaspecto selecionados. Por exemplo, parâmetros de transformação afim sãocalculados usando os fluxos ópticos (indicado com uma seta conectada a umcírculo branco) correspondendo aos três pontos de canto selecionados dospontos de canto (indicado com um círculo branco) na imagem 300 mostradana Figura 5B. Os parâmetros de transformação afim podem ser obtidosusando a Expressão 1.

Subseqüentemente, baseado nos parâmetros de transformaçãoafim obtidos, as contagens dos parâmetros de transformação afim sãocalculadas. Especificamente, as posições dos destinos de movimento de todosos pontos de aspecto na imagem correspondendo ao quadro imediatamenteprévio do quadro atual são obtidas usando os parâmetros de transformaçãoafim obtidos. Subseqüentemente, a posição do ponto de aspecto obtido usandoos parâmetros de transformação afim, e a posição do ponto de aspectodetectado no quadro atual são comparadas, e o valor de diferença das posiçõesdos dois pontos de aspecto correspondendo um ao outro é calculado para cadaponto de aspecto. Por exemplo, diferença absoluta entre as posições dos doispontos de aspecto correspondendo um ao outro é calculada como um valor dediferença. Subseqüentemente, o valor de diferença calculado, e um limiarpredeterminado são comparados para cada ponto de aspecto, e o número depontos de aspecto de quais o valor de diferença é menor do que o limiar éobtido como as contagens dos parâmetros de transformação afim. Assim, trêspontos de aspecto são selecionados ao acaso dos pontos de aspecto de quaisos fluxos ópticos foram detectados. Subseqüentemente, um processo érepetido um número predeterminado de vezes em que as contagens dosparâmetros de transformação afim são calculadas baseado nos fluxos ópticoscorrespondendo a estes pontos de aspecto, por esse meio calculando asmúltiplas contagens dos parâmetros de transformação afim. Este númeropredeterminado de vezes pode ser fixado como apropriado de acordo com ostipos de imagem a serem comparados, a capacidade de processamento doaparelho de processamento de imagem 100, ou similar, ou um valor fixo podeser usado. Por exemplo, vinte vezes aproximadamente pode ser fixado comoeste número predeterminado de vezes, levando em conta a capacidade deprocessamento do aparelho de processamento de imagem 100.

Por exemplo, nos deixe considerar um caso onde três pontosde canto diferentes dos pontos de canto 306 por 311 foram selecionados dospontos de canto detectados da imagem 300 mostrada na Figura 5B. No casoque parâmetros de transformação afim são calculados usando os três fluxosópticos correspondendo aos três pontos de canto selecionados, como descritoacima, estes três fluxos ópticos têm uma regularidade particular. Portanto,parâmetros de transformação afim usados para transformar a imagemcorrespondendo ao quadro imediatamente prévia conforme uma certa regrasão obtidos. Também, um valor relativamente pequeno é calculado como ovalor de diferença entre a posição do ponto de canto obtido usando osparâmetros de transformação afim, e a posição do ponto de canto detectado noquadro atual, obtido relativo a um ponto de canto diferente dos pontos decanto 306 por 311. Portanto, as contagens dos parâmetros de transformaçãoafim se tornam grandes em valor.

Por outro lado, nos deixe considerar Um caso onde três pontosde canto incluindo pelo menos um dos pontos de canto 306 por 311 foiselecionado dos pontos de canto detectados da imagem 300 mostrada naFigura 5B. No caso que parâmetros de transformação afim são calculadosusando os três fluxos ópticos correspondendo ao três pontos de cantoselecionados assim, como descrito acima, estes três fluxos ópticos incluemum fluxo óptico não tendo nenhuma regularidade particular. Portanto,parâmetros de transformação afim não usados para transformar a imagemcorrespondendo ao quadro imediatamente prévio conforme uma certa regrasão obtidos. Também, um valor relativamente grande é calculado a um pontode canto arbitrário como o valor de diferença obtido relativo à posição doponto de canto obtido usando os parâmetros de transformação afim, e aposição do ponto de canto detectado no quadro atual. Portanto, as contagensdos parâmetros de transformação afim se tornam pequenas em valor.

Subseqüentemente, das contagens obtidas dos múltiplosparâmetros de transformação afim, o parâmetro de transformação afim tendoo valor de contagem mais alto é selecionado como um parâmetro detransformação afim representativo. Subseqüentemente, o parâmetro detransformação afim representativo selecionado é usado para calcularparâmetros de transformação afim usados para sujeitar o quadro atual àtransformação afim com o quadro imediatamente prévio como um quadro dereferência, e os parâmetros de transformação afim são gravados na unidade dearmazenamento de metadados 210 de uma maneira correlatada com o quadroatual. Assim, no caso que uma imagem compondo uma imagem emmovimento é sujeita à transformação afim, a imagem pode ser sujeita àtransformação afim usando os parâmetros de transformação afim ótimos.

Também, com a primeira concretização da presente invenção,uma contagem de determinação de confiabilidade é calculada usando acontagem do parâmetro de transformação afim representativo selecionadoassim. Por exemplo, no caso que o número de pontos de aspecto detectados natela inteira de uma imagem servindo como um objetivo de cálculo deparâmetro de transformação afim representativo é tomado como N, e acontagem do parâmetro de transformação afim representativo é tomada comoNml, uma contagem de determinação de confiabilidade SHS pode sercalculada com a expressão seguinte.

SHS = Nml/N

Aqui, a contagem do parâmetro de transformação afimrepresentativo Nml é o número de pontos de aspecto que exibem movimentodominante na tela inteira de uma imagem a ser detectada. Também, o númerode pontos de aspecto N se torna um valor total do número de pontos deaspecto Nml que exibem movimento dominante, e o número de outros pontosde aspecto (pontos de aspecto que exibem ruído como movimento) Nm2 (istoé, N = Nml + Nm2). Também, o valor de 0 por 1 é calculado como acontagem de determinação de confiabilidade SHS.

A contagem de determinação de confiabilidade assimcalculada é gravada na unidade de armazenamento de metadados 210 de umamaneira correlatada com o quadro atual. Uma seção visada de composição deimagem é selecionada de uma imagem em movimento usando esta contagemde determinação de confiabilidade.

Como mostrado acima, até mesmo no caso que um objeto(objeto em movimento) que está se movendo, tal como uma pessoa ou carroou similar, está incluído em cada imagem compondo uma imagem emmovimento, no caso que o tamanho do objeto em movimento disso érelativamente pequeno sobre a área da imagem, o movimento da câmera podeser extraído sem influência do objeto em movimento.

Também, o movimento da câmera é extraído, por meio de quemovimento considerado como um usuário se movendo intencionalmente, talcomo zoom dentro, zoom fora, panorâmica, inclinação, rotação, ou similarpode ser estimado. Note que, com a Expressão 1, parâmetros detransformação afim podem ser calculados baseados em dois fluxos ópticoscom a = e, e d = - b. Por exemplo, no caso que uma imagem é sujeita àtransformação afim usando parâmetros de transformação afim calculadosbaseado em três fluxos ópticos, uma imagem retangular é transformada emum paralelogramo em alguns casos. Por outro lado, no caso que uma imagemé sujeita à transformação afim usando parâmetros de transformação afimcalculados baseado em dois fluxos ópticos, pelo menos uma transformação demovimento de translação, rotação, e zoom (as relações de zoom nas direçõesχ e y são as mesmas) pode ser executada em um estado de imagem retangular.Com a primeira concretização da presente invenção, descrição será feitarelativa a um exemplo em que uma imagem é transformada usandoparâmetros de transformação afim calculados baseado em três fluxos ópticos.Porém, a primeira concretização da presente invenção pode ser aplicadasemelhantemente a um caso onde uma imagem é transformada usandoparâmetros de transformação afim calculados baseado em dois fluxos ópticos.Exemplo de Cálculo de Valores Avaliados de Expressão Facial

A seguir, um método de cálculo de valor avaliado de expressãofacial será descrito em detalhes com referência aos desenhos, em que umvalor avaliado de expressão facial relativo a uma face detectada de umaimagem é calculado.

Figura 8 é um diagrama ilustrando esquematicamente ummétodo de detecção de face pela unidade detectora de face 130 de acordo coma primeira concretização da presente invenção. Na Figura 8, (a) e (b) ilustramuma imagem 450 compondo uma imagem em movimento produzido daunidade de entrada de imagem em movimento 110. Também, nos deixe dizerque a face 452 de uma pessoa 451 está incluída na imagem 450. Assim, nocaso que a face 452 está incluída na imagem 450, a face 452 é detectada daimagem 450 pela unidade detectora de face 130. Note que, na Figura 8,descrição será feita como um exemplo relativo a um caso onde detecção deface é executada usando os dados de referência de face detectada.

Por exemplo, como mostrado em (a) na Figura 8, uma janelade detecção de face 453 tendo um certo tamanho está disposta no cantosuperior esquerdo da imagem 450, e uma estimativa usada para determinar seou não uma face está incluída na imagem dentro da janela de detecção de face453 é calculada baseado nos dados de referência de detecção de face.Subseqüentemente, a janela de detecção de face é deslocada na direção delado direito (direção indicada com uma seta 454) por um pixel, esemelhantemente, uma estimativa é calculada. Em seguida, da mesmamaneira, a janela de detecção de face é deslocada seqüencialmente na direçãode lado direito por um pixel de cada vez, por esse meio calculando umaestimativa seqüencialmente. Subseqüentemente, na janela de detecção de facesendo deslocada à posição da borda direita da imagem 450, e uma estimativasendo calculada, a janela de detecção de face é deslocada a lado um pixel, e émovida à borda esquerda da imagem 450. Subseqüentemente, depois que umaestimativa imediatamente depois de movimento à borda esquerda da imagem450 é calculada, a janela de detecção de face é deslocada seqüencialmente nadireção de lado direito por um pixel de cada vez, por esse meio calculandouma estimativa seqüencialmente. Em seguida, da mesma maneira, umaestimativa é calculada seqüencialmente. Na janela de detecção de face sendodeslocada à borda direita e posições de borda inferiores da imagem 450, euma estimativa sendo calculada, a janela de detecção de face é reduzida porum fator de escala predeterminado, e o mesmo processo é executadoseqüencialmente. Assim, a janela de detecção de face tendo um certo tamanhoé usada para executar cálculo de uma estimativa seqüencialmente relativa àimagem 450 a ser reduzida seqüencialmente. Subseqüentemente, uma face édetectada baseada em cada estimativa calculada, e uma região de face que éuma região retangular incluindo pelo menos uma porção desta face é obtida.Por exemplo, como mostrado em (b) na Figura 8, a face 452 da pessoa 451incluída na imagem 450 é detectada, e uma região de face 455 incluindo aface 452 é obtida. Também, informação de detecção de face relativa à facedetectada (a posição, tamanho, e assim sucessivamente da face) é obtida. Porexemplo, como mostrado em (c) na Figura 8, nos deixe fixar coordenadas x-yem que o canto superior esquerdo da imagem 450 é tomado como a origem, adireção horizontal é tomada como o eixo x, e a direção vertical é tomadacomo o eixo y. Com as coordenadas x-y, as coordenadas (x, y) de um pico456 com o canto superior esquerdo da região de face 455 como a origem sãocalculadas como a posição da face. Semelhantemente, com as coordenadas x-y, comprimento W na direção horizontal da região de face 455, ecomprimento H na direção vertical da região de face 455 são calculados comoo tamanho da face. A unidade detectora de face 130 produz tal informação dedetecção de face à unidade calculadora de valor avaliado de expressão facial140 e à unidade de controle de gravação 150.

Subseqüentemente, a unidade calculadora de valor avaliado deexpressão facial 140 extrai a imagem (dados de imagem) da região de face455 da imagem 450 baseada na informação de detecção de face produzida daunidade detectora de face 130. Quer dizer, a unidade calculadora de valoravaliado de expressão facial 140 acessa a memória (RAM) na qual os dadosde imagem servindo como um objetivo de detecção de face estãoarmazenados temporalmente, e lê só os dados de imagem dentro da região deface correspondendo à informação de detecção de face produzida da unidadedetectora de face 130.

Subseqüentemente, a unidade calculadora de valor avaliado deexpressão facial 140 transforma a imagem em uma imagem de um certotamanho, e a normaliza isto para gerar uma imagem de face normalizada.Quer dizer, a imagem extraída é sujeita à conversão de resolução como umaimagem de um certo tamanho (certa resolução), por esse meio gerando umaimagem de face normalizada. Nos deixe dizer que o tamanho de imagemdepois de normalização é um tamanho servindo como uma unidade deprocessamento quando a unidade calculadora de valor avaliado de expressãofacial 140 calcula um valor avaliado de expressão facial relativo a uma face.Com a primeira concretização da presente invenção, por exemplo, nos deixedizer que um certo tamanho para normalização é um tamanho de 48 pixéis χ48 pixéis.

Subseqüentemente, a unidade calculadora de valor avaliado deexpressão facial 140 calcula um valor avaliado de expressão facial que indicao grau de expressão facial incluído em uma imagem de face normalizadabaseado na imagem de face normalizada, e a informação de eixodiscriminante armazenada na unidade de armazenamento da informação deeixo discriminante 141. Este valor avaliado de expressão facial calculado éproduzido à unidade de controle de gravação 150. Este valor avaliado deexpressão facial é um valor que indica um grau se ou não a expressão facial aser determinada é semelhante à qual de duas expressões faciais diferentes.Com a primeira concretização da presente invenção, descrição será feitarelativa a um exemplo em que as duas expressões faciais diferentes são "facesorridente" e "expressão facial normal", e avaliação é feita que um grau que aexpressão facial a ser determinada é "face sorridente" é forte quando o valoravaliado de expressão facial calculada aumenta. Por outro lado, avaliação éfeita que um grau que a expressão facial a ser determinada é "expressão facialnormal" é forte quando o valor avaliado de expressão facial calculadadiminui. Note que este método de cálculo de valor avaliado de expressãofacial será descrito em detalhes com referência às Figuras 9 por 12.

Figura 9 é um diagrama ilustrando conceitualmenteinformação de eixo discriminante usada para cálculo de um valor avaliado deexpressão facial, e um fluxo na hora de gerar esta informação de eixodiscriminante.

Com a primeira concretização da presente invenção, descriçãoserá feita como um exemplo relativo a um método de cálculo de valoravaliado de expressão facial usando análise de discriminante linear de Fisher.Com este método de cálculo de valor avaliado de expressão facial, primeiro,um grande número de imagens de amostra incluindo uma das duas expressõesfaciais diferentes é preparado previamente. Subseqüentemente, nos deixeconsiderar como um problema de duas classes entre duas expressões faciaisdiferentes, análise de discriminante linear (LDA) é executada baseada nosdados destas imagens de amostra. Assim, um eixo discriminante 466(mostrado em (c) na Figura 9) é formado em que estas duas expressões faciaisdiferentes são bem discriminadas. Subseqüentemente, este eixo discriminante466 é armazenado na unidade de armazenamento de informação de eixodiscriminante 141. Também, na hora de avaliação de expressão facial, umvalor avaliado de expressão facial é calculado obtendo um produto internoentre os dados de uma imagem de face a ser avaliada e o eixo discriminante466. Descrição será feita especificamente abaixo com referência aosdesenhos.

Com a primeira concretização da presente invenção, a fim deusar "face sorridente" como uma expressão facial específica, descrição seráfeita como um exemplo relativo a um caso onde imagens de amostra de facesorridente e imagens de amostra de expressão facial normal são usadas comoimagens de amostra relativas a duas expressões faciais diferentes. Na Figura9, (a) ilustra um grupo de imagens de amostra de face sorridente como umgrupo de imagens de amostra de face sorridente 461, e ilustra um grupo deimagens de amostra de expressão facial normal como um grupo de imagensde amostra de expressão facial normal 462. Nos deixe dizer que cada imagemde amostra incluída nos grupos de imagens de amostra 461 e 462 é umaimagem normalizada tal que uma face se torne um certo tamanho dentro deuma imagem retangular de um certo tamanho, por exemplo, de 48 pixéis χ 48pixéis. Os dados de cada imagem de amostra incluída no grupo de imagens deamostra 461 e 462 são operados como dados de vetor dimensional de 48 χ 48,por esse meio executando o processo de LDA.

Aqui, espaço de vetor no qual os dados de vetor dimensionalde 48 χ 48 são operados é um espaço dimensional extremamente altoincluindo eixos de coordenada de 48 χ 48. Portanto, antes que o processo deLDA seja executado, análise de componente principal (PCA é executadarelativa aos dados de vetor dimensional de 48 χ 48. Subseqüentemente, osdados de vetor dimensional de 48 χ 48 são convertidos (comprimidosdimensionalmente) em dados espaciais dimensionais baixos que representamsó as características de uma face efetivamente.

Com este processo de PCA, nos deixe considerar obter Meixos tal que as irregularidades (dispersão) entre M grupos de imagem deamostra de entrada (por exemplo, M = 300) N-dimensional (N = 48 χ 48) setornem máximas. Tais eixos podem ser obtidos como a solução (vetorpróprio) de um problema de valor próprio relativo à matriz de covariância dosgrupos de imagem de amostra. Subseqüentemente, só componentes de vetortendo um coeficiente relativamente grande são extraídos como componentesprincipais, por meio de que os dados de vetor dimensional de 48 χ 48 podemser comprimidos dimensionalmente para Ν'-dimensional (N > N') dadosincluindo só os componentes de vetor adequados para representar ascaracterísticas de uma face. Por exemplo, foi entendido manter precisãosuficiente relativa à discriminação de expressão facial fixando N1 = 40aproximadamente. Note que, dos componentes principais obtidos no processode PCA, vários componentes principais são eliminados em seqüênciadescendente de coeficiente, por meio de que o número de dimensões éademais reduzido enquanto mantendo precisão de discriminante de expressãofacial, e por conseguinte, a carga do próximo processo de PCA pode serreduzida.

Agora, um processo de mascaramento para uma imagem deamostra a ser entrada na hora do processo de PCA será descrito em detalhescom referência à Figura 10.

Figura 10 é um diagrama ilustrando esquematicamente oprocesso de mascaramento para uma imagem de amostra a ser entrada na horado processo de PCA de acordo com a primeira concretização da presenteinvenção. Na Figura 10, (a) ilustra uma imagem de amostra 470 que pertenceao grupo de imagem de amostra de face sorridente 461. Uma face sorridente475 está incluída na imagem de amostra 470. Note que, como descrito acima,a imagem de amostra 470 é uma imagem normalizada em uma formaretangular tal que a face 475 se torne um certo tamanho.

Agora, como mostrado em (a) na Figura 10, no caso que aimagem de amostra 470 é usada como é para executar o processo de PCA,seleção de um componente principal adequado é prevenida devido àinfluência tal como o fundo, e cabelo e similar da face 475, em alguns casos.Portanto, como mostrado em (b) na Figura 10, uma região diferente da porçãode pele da face 475 é sobreposta com uma máscara 472, por meio de que aimagem de amostra 470 é convertida tal que só a região de face da porção depele seja mantida. Note que, com (b) e (c) na Figura 10, as regiões dasmáscaras 472 e 474 são indicadas com uma região sombreada. A imagem deamostra 471 depois de conversão mostrada em (b) na Figura 10 é sujeita aoprocesso de PCA em um estado no qual a densidade de informação da face éaumentada, por meio de que compressão dimensional de alta precisãoadicional pode ser executada. Note que, da região de face, a boca é mudadagrandemente de acordo com expressão facial, e por conseguinte, a bocafreqüentemente se torna um fator de perturbação. Portanto, como mostradoem (c) na Figura 10, a região circundante da boca da face 475 também ésobreposta com uma máscara 474, por meio de que a imagem de amostra 470é convertida tal que só a região de face da porção de pele excluindo a regiãocircundante da boca seja mantida. A imagem de amostra 473 depois deconversão mostrada em (c) na Figura 10 é usada para executar o processo dePCA, por meio de que a precisão da compressão dimensional pode seraumentada. Portanto, com a primeira concretização da presente invenção,descrição será feita como um exemplo relativo a um caso onde uma imagemde amostra para ser entrada na hora do processo de PCA é sujeita a umprocesso de mascaramento mostrado em (c) na Figura 10.

Agora, nos deixe dizer que o espaço de PCA 465 mostrado em(b) e (c) na Figura 9 é espaço parcial incluindo só um eixo de coordenada queefetivamente representa as características de uma face incluída em umaimagem de amostra.

Cada imagem de amostra que pertence ao grupo de imagens deamostra de face sorridente 461 ou ao grupo de imagens de amostra deexpressão facial normal 462 que foi comprimido dimensionalmente peloprocesso de PCA anterior é convertido em dados de vetor no espaço de PCA465, como mostrado em (b) na Figura 9, que ilustra esquematicamente umestado no qual cada imagem de amostra que pertence ao grupo de imagens deamostra de face sorridente 461 ou ao grupo de imagem de amostra deexpressão facial normal 462 é projetada no espaço de PCA 465. Comomostrado em (b) na Figura 9, no caso que imagens de amostra que pertencemao mesmo grupo de imagens de amostra são projetadas no espaço de PCA465, a distância entre as imagens de amostra é distância relativamentepróxima. Portanto, depois que as imagens de amostra que pertencem ao grupode imagens de amostra de face sorridente 461 são projetadas no espaço dePCA 465, um agrupamento formado pelas imagens de amostra disso é tomadocomo um agrupamento 463. Também, depois que as imagens de amostra quepertencem ao grupo de imagens de amostra de expressão facial normal 462são projetadas no espaço de PCA 465, um agrupamento formado pelasimagens de amostra disso é tomado como um agrupamento 464. Um eixoprojetivo (eixo discriminante 466) que separa os agrupamentos 463 e 464apropriadamente é formado pelo processo dé LDA. Tal eixo discriminante466 é chamado o "eixo projetivo de Fisher".

Em geral, de acordo com o processo de LDA, um eixodiscriminante é obtido tal que dispersão dentro de um agrupamento e entreagrupamentos projetados em um vetor próprio N'-dimensional se torne amáxima. Quer dizer, um vetor próprio correspondendo ao valor própriomáximo de cada matriz de covariância dentro de um agrupamento e entreagrupamentos é obtido, e isto é tomado como um vetor (vetor de Fisher) noeixo discriminante 466. Relação entre cada matriz de covariância e um valorpróprio/vetor próprio é mostrada nas Expressões 11 e 12.

<formula>formula see original document page 56</formula>

Vetor de Fish Á<J => vetor próprio ^mlx sobre o valor própriomáximo λΓηαχ

Aqui, Rw representa uma matriz de covariância de intra-agrupamento, Rb representa uma matriz de covariância de inter-agrupamento,e λ representa um valor próprio. Também, com respeito a cálculo da matrizinversa, valor próprio, e vetor próprio da Expressão 12, método dedecomposição inferior-superior (LU), método de decomposição de QR (Q:matriz ortogonal, R: matriz triangular superior), e eliminação Gaussianapodem ser empregados, respectivamente. Informação tal como o coeficientede cada componente de vetor de Fisher, e assim sucessivamente é armazenadaassim na unidade de armazenamento da informação de eixo discriminante 141como a informação do eixo discriminante 466 assim calculada. Quer dizer, ainformação do eixo discriminante 466 é informação incluindo o coeficiente deum vetor que indica o eixo discriminante de uma expressão facial obtidaexecutando análise de discriminante linear baseado em um componente desinal obtido por análise de componente principal dos dados de imagem de umgrande número de imagem de amostra de face relativa a duas expressõesfaciais diferentes, e assim sucessivamente.

Figura 11 é um diagrama ilustrando esquematicamente arelação entre um eixo determinante no espaço de pixel e no espaço de PCA, euma imagem de face a ser avaliada.

No caso de calcular um valor avaliado de expressão facialusando o eixo discriminante 466 mostrado em (c) na Figura 9, primeiro, osdados de imagem de uma face (imagem de face) detectada de uma imagemconvertida são sujeitos ao processo de PCA para extrair um componenteprincipal. A expressão facial da imagem de face correspondendo aos dados deimagem disso é avaliada como um componente projetivo sobre o eixodiscriminante 466 (vetor Ad) do vetor de imagem de face sujeito ao processode PCA (vetor de imagem de face de entrada), tal como mostrado no espaçode PCA 465 na Figura 11. Quer dizer, como mostrado na Expressão 15, umvalor avaliado de expressão facial Eexp pode ser calculado por produto internoentre o vetor de imagem de face de entrada e o vetor de Fisher.

<formula>formula see original document page 57</formula>

: Valor avaliado de expressão facial

: Vetor de imagem de face depois de processo de PCA

A informação do vetor de Fisher pode ser convertida eminformação no "espaço de pixel Spxl (o espaço dimensional que o dados deimagem original tem antes do processo de PCA). Expressões 13 e 14 sãoexpressões que representam o vetor de imagem de face de entrada e vetor deFisher como um vetor no espaço de pixel Spxi. Figura 11 ilustraconceitualmente relação representada com Expressões 13 e 14. Comomostrado nas Expressões 13, 14, e 11, um componente de vetor diferente decomponentes principais μι por μΝ obtidos pelo processo de PCA pode seraproximado com uma constante C como o valor médio de todas as imagens deentrada. Portanto, uma computação de produto interno tal como mostrada naExpressão 15 pode ser representada equivalentemente como uma computaçãode produto interno de vetor no espaço de pixel Spxi, como mostrado naExpressão 16.

Como mostrado na Expressão 16, um resultado de subtraçãoentre um componente de vetor de Fisher e a constante C no espaço de pixelSpxi pode ser calculado previamente. Portanto, este resultado de subtração e aconstante C são armazenados na unidade de armazenamento da informação deeixo discriminante 141 como informação de eixo discriminante.Subseqüentemente, a unidade calculadora de valor avaliado de expressãofacial 140 calcula o vetor da imagem de face detectada da imagem convertida,seguindo que executa a computação de produto interno da Expressão 16 semsujeitar este vetor ao processo de PCA. Aqui, com respeito às computações devalores avaliados de expressão facial sobre uma face pela Expressão 16,subtração, multiplicação, e adição são executadas 48 χ 48 vezes no máximo, ede fato, só computações de coeficientes correspondendo ao redor de 40componentes principais μι por μΝ são executadas. Portanto, quantidade decomputação pode ser reduzida extremamente sem degradar a precisão deavaliação de expressão facial quando comparada ao caso de executar um vetorcomputação de produto interno no espaço de PCA 465, e um valor avaliadode expressão facial Eexp pode ser calculado prontamente em um ângulo decampo casando com estado antes que a imagem convertida seja gravada.

Tal método de cálculo de valor avaliado de expressão facial éempregado, por meio de que avaliação de expressão facial pode ser executadacom alta precisão enquanto reduzindo carga de processamento, por exemplo,quando comparada a um método de avaliação de expressão facial em que umaexpressão facial é avaliada casando entre um grande número de modelos deimagem de face e a imagem de face detectada. Por exemplo, no caso deexecutar casamento usando um modelo, normalmente, partes tais como osolhos, boca, e assim sucessivamente têm que ser extraídas da imagem de facedetectada para executar um processo de casamento para cada parte. Por outrolado, com o método de cálculo de valor avaliado de expressão facial usadopara a primeira concretização da presente invenção, depois que a facedetectada é normalizada a um certo tamanho, a imagem de face disso ésubstituída com informação de vetor, por meio de que isto pode ser aplicado auma computação de produto interno como é (ou parcialmente mascarada). Acomputação de produto interno disso pode ser simplificada como umacomputação simples composta de ao redor de subtração, multiplicação eadição 40 dimensional.

Figura 12 é um diagrama ilustrando um exemplo de cálculo nocaso que o valor avaliado de expressão facial de acordo com a primeiraconcretização da presente invenção é produzido como um valor numérico.

Com a primeira concretização da presente invenção, porexemplo, baseado nos resultados de processo de PCA de uma imagem deamostra, a média 482 da distribuição 481 de uma imagem de face sorridenteno espaço de PCA, e a média 484 da distribuição 483 de uma imagem de facede expressão facial normal no espaço de PCA são obtidas. Subseqüentemente,um ponto projetivo sobre o eixo discriminante 466 das médias 482 e 484 édeterminado. Subseqüentemente, o valor avaliado de expressão facial Eexp éconvertido em um valor numérico com um ponto mediano 485 dos pontosprojetivos das médias 482 e 484 como uma referência. Quer dizer, comomostrado na Figura 12, distância entre um ponto projetivo 486 sobre o eixodiscriminante 466 da imagem de face, e o ponto mediano 485 dos pontosprojetivos das médias 482 e 484 é tomado como o valor avaliado de expressãofacial Eexp, e um lado onde a imagem de amostra de face sorridente édistribuída é tomado como um valor numérico positivo. Assim, se a imagemde face detectada for semelhante tanto a uma face sorridente ou umaexpressão facial normal pode ser produzida como um valor numéricoconsecutivo. Neste caso, o grau de uma face sorridente é avaliado como altoconforme aumento no valor avaliado de expressão facial Eexp. Também, nocaso que múltiplas faces foram detectadas de uma imagem pela unidadedetectora de face 130, cálculo de um valor avaliado de expressão facial éexecutado considerando cada face destes pela unidade calculadora de valoravaliado de expressão facial 140. Subseqüentemente, o valor avaliado deexpressão facial calculado relativo a cada face destes é armazenado naunidade de armazenamento de metadados 210.

Exemplo de Operação de Aparelho de Processamento de Imagem

A seguir, a operação do aparelho de processamento de imagem100 de acordo com a primeira concretização da presente invenção serádescrita com referência aos desenhos. Figura 13 é um fluxograma ilustrando oprocedimento de um processo de gravação de metadados pelo aparelho deprocessamento de imagem 100 de acordo com a primeira concretização dapresente invenção.

Primeiro, um arquivo de imagem em movimento é introduzidoà unidade de entrada de imagem em movimento 110 (etapa S901).Subseqüentemente, o arquivo de imagem em movimento entrado à unidade deentrada de imagem em movimento 110 é decodificado, a imagem de umquadro na seqüência de série de tempo é obtida (etapa S902). A unidadedetectora de face 130 executa um processo de detecção de face relativo aoquadro obtido (etapa S903). A unidade calculadora de valor avaliado deexpressão facial 140 executa um processo de cálculo de valor avaliado deexpressão facial relativo à face detectada pelo processo de detecção de face(etapa S904).

Subseqüentemente, determinação é feita se ou não o quadroobtido é o quadro de topo do arquivo de imagem em movimento entrado àunidade de entrada de imagem em movimento 110 (etapa S905). No caso queo quadro obtido é o quadro de topo (etapa S905), pontos de aspecto sãoextraídos do todo da imagem correspondendo a este quadro de topo (etapaS906). Subseqüentemente, os parâmetros de transformação afim de umamatriz unitária são selecionados como parâmetros de transformação afim(etapa S907), "1.0" é calculado como uma contagem de determinação deconfiabilidade, e o fluxo procede à etapa S913.

Por outro lado, no caso que o quadro obtido é o quadro de topo(etapa S905), pontos de aspecto são extraídos de uma nova região convertidacom a imagem correspondendo ao quadro imediatamente prévio como umareferência (etapa S905). Quer dizer, um ponto de aspecto que já foi extraídocom a imagem correspondendo ao quadro imediatamente prévio pode serobtido pelo fluxo óptico correspondendo a este ponto de aspecto, e porconseguinte, este ponto de aspecto não é extraído com a imagemcorrespondendo ao quadro atual. Subseqüentemente, o número de pontos deaspecto com a imagem inteira correspondendo ao quadro imediatamenteprévio é contido (etapa S910).

Subseqüentemente, o fluxo óptico sobre cada ponto de aspectoextraído da imagem correspondendo ao quadro imediatamente prévio écalculado (etapa S911). A unidade calculadora de parâmetro de trabalho decâmera 123 executa um processo de cálculo de parâmetro de transformaçãoafim (etapa S920). Este processo de cálculo de parâmetro de transformaçãoafim será descrito em detalhes com referência à Figura 14. Note que a etapaS920 é um exemplo do procedimento de cálculo referido no Resumo daInvenção.

Subseqüentemente, uma contagem de determinação deconfiabilidade é calculada baseada no número de pontos de aspecto naimagem inteira contida, e a contagem do parâmetro de transformação afimrepresentativo selecionado (etapa S912). Cada pedaço de metadados obtidosrelativos ao quadro atual é gravado na unidade de armazenamento demetadados 210 de uma maneira correlatada com o quadro atual (etapa S913).Note que no caso que o quadro atual é o quadro de topo, os parâmetros detransformação afim da matriz unitária selecionada são gravados na unidade dearmazenamento de metadados 210 de uma maneira correlatada com o quadrode topo. Subseqüentemente, a imagem correspondendo ao quadro atual, e ospontos de aspecto desta imagem são armazenados de uma maneira sobrescrita(etapa S914).

Subseqüentemente, determinação é feita se ou não o quadroatual é o último quadro do arquivo de imagem em movimento entrado àunidade de entrada de imagem em movimento 110 (etapa S915). No caso queo quadro atual não é o último quadro (etapa S915), o fluxo retorna à etapaS902, onde o processo de gravação de metadados é repetido (etapas S902 porS914 e S920). Por outro lado, no caso que o quadro atual é o último quadro(etapa S915), o processo de gravação de metadados é terminado.

Figura 14 é um fluxograma ilustrando um procedimento decálculo de parâmetro de transformação afim (o procedimento na etapa S920mostrado na Figura 13) incluído no procedimento do processo de gravação demetadados pelo aparelho de processamento de imagem 100 de acordo com aprimeira concretização da presente invenção.

Primeiro, uma variável i é iniciada a "1" (etapa S921).Subseqüentemente, M pontos de aspecto são selecionados dos pontos deaspecto dos quais os fluxos ópticos foram detectados (etapa S922). Porexemplo, no caso que parâmetros de transformação afim são empregadoscomo parâmetros de trabalho'de câmera, três pontos de aspecto sãoselecionados aleatoriamente. Também, no caso que parâmetros detransformação projetiva são empregados como parâmetros de trabalho decâmera, quatro pontos de aspecto são selecionados aleatoriamente.Subseqüentemente, parâmetros de transformação afim são calculados baseadoem M fluxos ópticos calculados correspondendo aos M pontos de aspectoselecionados (etapa S923).

Subseqüentemente, baseado nos parâmetros de transformaçãoafim calculados, as contagens dos parâmetros de transformação afim sãocalculadas (etapa S924). Especificamente, os parâmetros de transformaçãoafim calculados são usados para obter as posições dos destinos de movimentode todos os pontos de aspecto da imagem correspondendo ao quadroimediatamente prévio. Subseqüentemente, as posições dos pontos de aspectoobtidos com os parâmetros de transformação afim disso, e as posições dospontos de aspecto da imagem correspondendo ao quadro atual obtido na horade calcular um fluxo óptico na etapa S911 são comparados. Um valor dediferença entre as posições de dois pontos de aspecto correspondendo um aooutro é calculado para cada ponto de aspecto. Por exemplo, distância absolutaentre duas posições correspondendo uma a outra é calculada como um valorde diferença. Subseqüentemente, o valor de diferença calculado e um limiarpredeterminado são comparados para cada ponto de aspecto, e o número depontos de aspecto dos quais o valor de diferença é menor do que o limiar éobtido como as contagens dos parâmetros de transformação afim.

Subseqüentemente, "1" é adicionado à variável i (etapa S925),e determinação é feita se ou não a variável i é maior do que uma constante N(etapa S926). No caso que a variável i é igual a ou menor do que a constanteN (etapa S926), o fluxo retorna à etapa S922, onde o processo de cálculo decontagem para parâmetros de transformação afim é repetido (etapas S922 porS925). Por exemplo, 20 pode ser empregado como a constante N.

Por outro lado, no caso que a variável i é maior do que aconstante N (etapa S926), das contagens obtidas para parâmetros detransformação afim, o parâmetro de transformação afim tendo o valor decontagem mais alto é selecionado como o parâmetro de transformação afimrepresentativo (etapa S927).

Com a primeira concretização da presente invenção, descriçãofoi feita relativa a um exemplo em que parâmetros de transformação afim sãodetectados como parâmetros de trabalho de câmera baseado no fluxo ópticodetectado de uma imagem compondo uma imagem em movimento. Porém,por exemplo, um sensor tal como um sensor de aceleração ou sensor de giroou similar, um botão de zoom usado na hora de executar uma operação dezoom são providos à câmera, e a quantidade de movimento da câmera na horade gerar imagem é detectada por este sensor e botão de zoom.Subseqüentemente, parâmetros de trabalho de câmera podem ser obtidosbaseado na quantidade de movimento da câmera. Alternativamente, umarranjo pode ser feito em que múltiplos parâmetros de trabalho de câmera sãodetectados pela unidade calculadora de parâmetro de trabalho de câmera 123previamente, e baseado na quantidade de movimento da câmera detectada nahora de geração de imagem, um parâmetro de trabalho de câmera éselecionado dos múltiplos parâmetros de trabalho de câmera.

Exemplo de Transformação Afim de Imagem

A seguir, descrição será feita em detalhes relativa a um casoonde os parâmetros de transformação afim calculados pela unidade detectorade trabalho de câmera 120 são usados para sujeitar uma imagem compondouma imagem em movimento à transformação afim, com referência aosdesenhos. Agora, nos deixe dizer que cada imagem mostrada nas Figuras 15por 23 está simplificada por causa de conveniência explicativa, e de imagenscompondo uma imagem em movimento, imagens das quais a quantidade demovimento entre imagens. é comparativamente pequena são ilustradas.Também, nos deixe dizer que cada imagem mostrada na Figuras 15 por 23 éuma imagem selecionada pela unidade selecionadóra de imagem visada decomposição 170. Também, um caso onde um quadro subseqüente ésobrescrito sobre um quadro prévio no eixo temporal é mostrado como umexemplo.

Primeiro, descrição será feita relativa a um caso onde na horade gerar imagem pela câmera, a direção da lente da câmera é movida em umadas quatro direções com a posição da câmera como o centro, embora o zoomnão seja mudado.

Figura 15 é um diagrama ilustrando um exemplo da transiçãode uma imagem em movimento convertida pela câmera. Figura 15 ilustraimagens 401 por 403 compondo uma imagem em movimento no caso deconverter em imagem uma pessoa 400 com uma montanha como o fundo.Também, este exemplo ilustra um caso onde um usuário está tirando imagensenquanto movendo a direção da lente da câmera à direita e lado superior deusuário. Neste exemplo, a pessoa 400 incluída na imagem em movimento aser convertido em imagem pela câmera se move do lado direito ao ladoesquerdo ao lado inferior na imagem compondo a imagem em movimentodisso.

Figura 16 é um diagrama ilustrando esquematicamente o lugarde um tema incluído nas imagens 401 por 403 selecionado pela unidadeselecionadora de imagem visada de composição 170 de acordo com umaconcretização da presente invenção. Note que, com as imagens 402 e 403mostradas em (b) e (c) na Figura 16, a imagem correspondendo ao quadroprévio é mostrada com uma linha tracejada. A imagem 401 mostrada em (a)na Figura 16 é igual à imagem 401 mostrada em (a) na Figura 15. Também,uma porção de linha sólida da imagem 402 mostrada em (b) na Figura 16 éigual à imagem 402 mostrada em (b) na Figura 15, e uma porção de linhatracejada da imagem 402 mostrada em (b) na Figura 16 é igual à porção delinha sólida da imagem 401 mostrada em (a) na Figura 16. Também, setas 404por 406 da imagem 402 mostrada em (b) na Figura 16 são setas que indicam olugar de um tema incluído nas imagens 401 e 402. Também, uma porção delinha sólida da imagem 403 mostrada em (c) na Figura 16 é igual à imagem403 mostrada em (c) na Figura 15, e uma porção de linha tracejada daimagem 403 mostrada em (c) na Figura 16 é igual à porção de linha sólida daimagem 402 mostrada em (b) na Figura 16. Também, setas 407 por 409 daimagem 403 mostrada em (c) na Figura 16 são setas que indicam o lugar deum tema incluído nas imagens 402 e 403.

Como mostrado em (b) e (c) na Figura 16, a pessoa 400 e amontanha do fundo incluída na imagem são movidas junto com movimentoda câmera. Baseado em cada fluxo óptico detectado por este movimento,parâmetros de transformação afim podem entre imagens ser obtidos. Porexemplo, no caso que a imagem 401 é tomada como uma imagem dereferência, a matriz afim dos parâmetros de transformação afim calculadosrelativos a cada imagem das imagens 401 e 402 é multiplicada, por meio deque parâmetros de transformação afim usados para sujeitar a imagem 402 àtransformação afim pode ser obtidos. Também, a matriz afim dos parâmetrosde transformação afim calculados relativos a cada imagem das imagens 401por 403 é multiplicada, por meio de que parâmetros de transformação afimusados para sujeitar a imagem 403 à transformação afim podem ser obtidos.Agora, nos deixe dizer que os parâmetros de transformação afim da imagemde referência são os parâmetros de transformação afim de uma matriz unitária.

Figura 17 é um diagrama ilustrando um exemplo decomposição de imagem no caso que imagens são compostas pela unidadecompositora de imagem 220 de acordo com a primeira concretização dapresente invenção. Com este exemplo, descrição será feita relativa a um casoonde as imagens 402 e 403 são sujeitas à transformação afim usando osparâmetros de transformação afim armazenados na unidade dearmazenamento de metadados imagem visada de composição 270 com aimagem 401 como uma imagem de referência.Por exemplo, no caso que a matriz afim dos parâmetros de transformaçãoafim correlatados com a imagem 401 é tomada como Al, a unidadetransformadora de imagem 190 sujeita a imagem 401 à transformação afimpela matriz de Al com a posição e tamanho da imagem 401 do quadro detopo como uma referência. Aqui, a imagem 401 é uma imagem de referência,e por conseguinte, Al é uma matriz unitária. Portanto, a posição e tamanho daimagem 401 não são transformados.

Subseqüentemente, no caso que a imagem 402 correspondendoao próximo quadro é composta, a unidade transformadora de imagem 190sujeita a imagem 402 à transformação afim usando os parâmetros detransformação afim correlatados com a imagem 402. Por exemplo, nos deixedizer que a matriz dos parâmetros de transformação afim correlatada com aimagem 402 é A2. Neste caso, a unidade transformadora de imagem 190sujeita a imagem 402 à transformação afim pela matriz de A2 com a posição etamanho da imagem 401 do quadro de topo como uma referência. Note que,com o exemplo mostrado em (b) na Figura 17, como mostrado em setas 415 e416, só a posição da imagem 402 é transformada. Subseqüentemente, aunidade de composição de imagem 220 sobrescreve a imagem 402 sujeita àtransformação afim pela unidade transformadora de imagem 190 na imagem401 correspondendo ao quadro prévio a ser sobreposto logo após e ambos sãocompostos. Especificamente, da região da imagem 401, uma região 410sobreposta com a imagem 402 é sobrescrita pela imagem da imagem 402.Também, da região da imagem 401, uma região 411 não sobreposta com aimagem 402 não é sobrescrita pela imagem da imagem 402. Quer dizer, nocaso que a imagem 402 correspondendo ao segundo quadro é composta, comomostrado em (b) na Figura 17, uma imagem é criada em que a porção inteirada imagem 402, e a porção correspondendo à região 411'°da imagem 401 sãocompostas.

Subseqüentemente, no caso que a imagem 403 correspondendoao segundo quadro é exibida, a unidade transformadora de imagem 190sujeita a imagem 403 à transformação afim usando os parâmetros detransformação afim correlatados com a imagem 403. Por exemplo, nos deixedizer que a matriz dos parâmetros de transformação afim correspondendo àimagem 403 é A3. Neste caso, a unidade transformadora de imagem 190sujeita a imagem 403 à transformação afim pela matriz A3 com a posição etamanho da imagem 401 como uma referência. Note que, com a imagemmostrada em (c) na Figura 17, como mostrado em setas 417 e 418, só aposição da imagem 403 é transformada. Subseqüentemente, a unidade decomposição de imagem 220 sobrescreve a imagem 403 sujeita àtransformação afim pela unidade transformadora de imagem 190 na imagemcomposta das imagens 401 e 402 correspondendo ao quadro prévio a sersobreposto a seguir logo após e ambas são compostas. Especificamente, daregião da imagem composta das imagens 401 e 402, regiões 413 e 414sobrepostas com a imagem 403 são sobrescritas pela imagem da imagem 403.Também, da região da imagem composta das imagens 401 e 402, regiões 411e 412 não sobrepostas com a imagem 403 são composta com a imagemcomposta das imagens 401 e 402. Quer dizer, no caso que a imagem 403correspondendo ao terceiro quadro é composta, como mostrado em (c) naFigura 17, uma imagem é criada em que a porção inteira da imagem 403, aporção correspondendo à região 411 da imagem 401, e a porçãocorrespondendo à região 412 da imagem 402 são compostas.

A seguir, descrição será feita relativa a um caso onde na horade geração de imagem pela câmera, o zoom foi mudado, embora a direção dalente da câmera não tenha sido mudada.

Figura 18 é um diagrama ilustrando um exemplo da transiçãode uma imagem em movimento convertida pela câmera. Figura 18 ilustraimagens 421 por 423 correspondendo a quadros consecutivos incluídos emuma imagem em movimento no caso converter em imagem uma pessoa 420com uma montanha como o fundo. Este exemplo ilustra um caso onde umusuário está tirando imagens enquanto aplicando zoom dentro. Neste caso, otamanho da pessoa 420 incluída na imagem em movimento convertida pelacâmera está aumentando gradualmente em uma imagem compondo a imagemem movimento disso. Note que, embora a posição da câmera seja movida umpouco na hora de aplicar zoom em alguns casos, com este exemplo, descriçãoserá feita sem levar em conta movimento da posição da câmera.

Figura 19 é um diagrama ilustrando esquematicamente o lugarde um tema incluído nas imagens 421 por 423 selecionadas pela unidadeselecionadora de imagem de visada de composição 170 de acordo com umaconcretização da presente invenção. Note que um exemplo de cálculo deparâmetro de transformação afim mostrado na Figura 19 é igual ao exemplode cálculo de parâmetro de transformação afim mostrado na Figura 16, e porconseguinte, descrição disso será omitida aqui.

Figura 20 é um diagrama ilustrando um exemplo decomposição de imagem no caso que imagens são compostas pela unidadecompositora de imagem 220 de acordo com a primeira concretização dapresente invenção. Note que um exemplo de composição de imagemmostrado na Figura 20 é igual ao exemplo de composição de imagemmostrado na Figura 17, e por conseguinte, descrição disso será omitida aqui.

A seguir, descrição será feita relativa a um caso onde na horade geração de imagem pela câmera, a câmera foi girada com o eixo ópticocomo o centro de rotação, embora a direção e zoom da lente da câmera nãotenham sido mudados.

Figura 21 é um diagrama ilustrando um exemplo da transiçãode uma imagem em movimento convertida pela câmera. Figura 21 ilustraimagens 441 por 443 correspondendo a quadros consecutivos incluídos emuma imagem em movimento no caso de converter em imagem uma pessoa440 com uma montanha como o fundo. Este exemplo ilustra um caso onde umusuário está executando geração de imagem enquanto girando a câmera com adireção de eixo óptico como o centro de rotação. Neste caso, a pessoa 440incluída na imagem em movimento convertida pela câmera está girandogradualmente em uma imagem compondo a imagem em movimento disso.Note que, embora a posição da câmera seja movida um pouco devido àrotação da câmera em alguns casos, com este exemplo, descrição será feitasem levar em conta movimento da posição da câmera.

Figura 22 é um diagrama ilustrando esquematicamente o lugarde um tema incluído nas imagens 441 por 443 selecionadas pela unidadeselecionadora de imagem visada de composição 170 de acordo com umaconcretização da presente invenção. Note que um exemplo de cálculo deparâmetro de transformação afim mostrado na Figura 22 é igual ao exemplode cálculo de parâmetro de transformação afim mostrado na Figura 16, e porconseguinte, descrição disso será omitida aqui.

Figura 23 é um diagrama ilustrando um exemplo decomposição de imagem no caso que imagens são compostas pela unidade decomposição de imagem 220 de acordo com a primeira concretização dapresente invenção. Note que um exemplo de composição de imagemmostrado na Figura 23 é igual ao exemplo de composição de imagemmostrado na Figura 17, e por conseguinte, descrição disso será omitida aqui.Exemplo de Seleção de Seção Visada de composição de Imagem

A seguir, descrição será feita em detalhes relativos a ummétodo de seleção de seção para selecionar uma seção usada para selecionaruma imagem visada de composição de uma imagem em movimento (seçãovisada de composição de imagem), com referência aos desenhos. Com aprimeira concretização da presente invenção, descrição será feita relativa aum exemplo em que uma seção que satisfaz as condições seguintes (1) por (4)é selecionada como uma seção visada de composição de imagem.

(I)A confiabilidade de detecção de trabalho de câmera é alta.(2) A taxa de zoom é pequena, isto é, mudança em zoom épequena.

(3) Quantidade de movimento na direção horizontal ou direçãovertical é igual a ou maior que um certo número de pixéis.

(4) O comprimento de uma seção visada de composição deimagem é comprimento dentro de uma certa gama (por exemplo, dentro deuma gama de 3 segundos a 20 segundos).

Também, com a primeira concretização da presente invenção,no caso que as condições seguintes (a) e (b) estão satisfeitas, determinação éfeita que a condição (1) anterior a confiabilidade de detecção de trabalho decâmera é alta.

(a) De pontos de aspecto na tela inteira de uma imagem, umvalor que indica a taxa de pontos de aspecto que exibem movimentodominante excede um limiar.

(b) Uma taxa de mudança entre quadros está dentro de umacerta gama. A taxa de mudança entre quadros é um valor que indica cadacomponente de trabalho de câmera calculado por parâmetros detransformação afim relativo a entre quadros.

Figura 24 é um diagrama ilustrando uma contagem dedeterminação de confiabilidade calculada pela unidade detectora de trabalhode câmera 120 de acordo com a primeira concretização da presente invenção,de uma maneira de série de tempo. Na Figura 24, (a) ilustraesquematicamente um quadro servindo como um objetivo de cálculo decontagem de determinação de confiabilidade usando um retângulo. Note que,em (a) na Figura 24, um número de série de quadro é anexado ao interior deum retângulo que indica cada quadro.

Na Figura 24, (b) ilustra um gráfico que representa umacontagem de determinação de confiabilidade calculada relativa a quadros 1por 15 mostrados em (a) na Figura 24, para cada quadro. Com o gráficomostrado em (b) na Figura 24, o eixo horizontal é um eixo que indica tempode geração de imagem, e o eixo vertical é um eixo que indica o valor de umacontagem de determinação de confiabilidade calculada relativa a cada quadro.Também, com o eixo vertical, nos deixe dizer que o limiar da condição (1)anterior é um limiar THl. Aqui, por exemplo, um valor de 0,5 por 0,8 podeser fixado como o limiar TH1. Note que, com o eixo horizontal do gráficomostrado em (b) na Figura 24, cada número de quadro correspondendo aponto em tempo de geração de imagem é mostrado. Aqui, uma contagem dedeterminação de confiabilidade SHS é um valor calculado pela unidadecalculadora de contagem de determinação de confiabilidade 124, e éarmazenado na unidade de armazenamento de metadados 210 de uma maneiracorrelatada com cada quadro compondo o arquivo de imagem em movimentoarmazenado na unidade de armazenamento de imagem em movimento 200.

Com este exemplo, por causa de conveniência explicativa,como mostrado em (a) na Figura 24, nos deixe dizer que a certa gama nacondição (4) anterior é uma gama entre Kl e K2. Também, com o gráficomostrado em (b) na Figura 24, uma contagem de determinação deconfiabilidade calculada relativa a cada quadro é representada com um círculobranco. De círculos brancos que representam uma contagem de determinaçãode confiabilidade, uma contagem excedendo o limiar TH1 é representada comum círculo de linha pesada.

Como mostrado em (b) na Figura, 24, por exemplo, acontagem de determinação de confiabilidade de quadros 1 e 3 está abaixo dolimiar THl, e por conseguinte, os quadros 1 e 3 não são determinados seremum candidato de seção visada de composição de imagem. Também, acontagem de determinação de confiabilidade de um quadro 2 excede o limiarTHl, mas a contagens de confiabilidade dos quadros adjacentes 1 e 3 estáabaixo do limiar TH1, e por conseguinte, a condição (4) anterior estáinsatisfeita. Portanto, o quadro 2 não é determinado ser um candidato de seçãovisada de composição de imagem. Por outro lado, por exemplo, as contagensde determinação de confiabilidade de quadros 4 por 14 excedem o limiarTH1. Porém, o comprimento do quadro 14 excede a certa gama (gama entreKl e K2) da condição (4) anterior. Portanto, dos quadros 4 por 14, os quadros4 por 13 dentro da certa gama da condição (4) anterior são determinadosserem candidatos de seção visada de composição de imagem 500 pela unidadeselecionadora de seção 160. Quer dizer, a unidade selecionadora de seção 160extrai quadros consecutivos, incluídos dentro da certa gama da condição (4)anterior, de qual a contagem de determinação de confiabilidade SHS excede olimiar THl, como candidatos de seção visada de composição de imagem.

Subseqüentemente, a unidade selecionadora de seção 160determina se ou não a taxa de mudança de cada quadro (cada componente detrabalho de câmera) incluído nos candidatos de seção visada de composiçãode imagem satisfaz as condições seguintes (11) por (17).

(11) XZthl < XZ < XZth2

(12) YZthl < YZ < YZth2

(13) XT < XTth

(14) YT < YTth

(15) XR < XRth

(16) YR < YRth

(17) IXR - YR| < ADRth

Aqui, XZ representa um componente de zoom na direção X detrabalho de câmera, e YZ representa um componente de zoom na direção Y detrabalho de câmera. Também, XT representa um componente translacional nadireção X de trabalho de câmera, e YT representa um componentetranslacional na direção Y de trabalho de câmera. Também, XR representa umcomponente rotacional na direção X de trabalho de câmera, e YR representaum componente rotacional na direção Y de trabalho de câmera. Também,XZthl, XZth2, YZthl, YZth2, XTth, YTth, XRth, YRth, e ADRthrepresentam um limiar.

Por exemplo, um valor de 0,7 por 0,9 pode ser fixado como oslimiares XZthl e YZth 1. Também, por exemplo, um valor de 1,1 por 1,3 podeser fixado como os limiares XZth2 e YZth2. Também, por exemplo, um valorde W/20 por W/5 pode ser fixado como o limiar XTth. Note que W é umvalor que indica o número de pixéis na direção horizontal de uma imagem aser processada. Também, por exemplo, um valor de H/20 por H/5 pode serfixado como o limiar YTth. Note que H é um valor que indica o número depixéis na direção vertical de uma imagem a ser processada. Também, porexemplo, 3 por 5 graus pode ser fixado como os limiares XRth e YRth.Também, por exemplo, 0,5 por 1,0 graus pode ser fixado como o limiarADRth.

No caso que cada componente do trabalho de câmera de cadaquadro incluído nos candidatos de seção visada de composição de imagemextraídos baseado nas contagens de determinação de confiabilidade satisfaz ascondições (11) por (17), determinação é feita se ou não as condições (2) e (3)estão satisfeitas. Por outro lado, no caso que cada componente do trabalho decâmera de cada quadro incluído nos candidatos de seção visada decomposição de imagem não satisfaz as condições (11) por (17), os candidatosde seção visada de composição de imagem disso não são determinados seremseções visadas de composição de imagem.

Figura 25 é um diagrama ilustrando um componente de zoomintegral calculado com parâmetros de transformação afim calculados pelaunidade detectora de trabalho de câmera 120 de acordo com a primeiraconcretização da presente invenção, de uma maneira de série de tempo. NaFigura 25, (a) ilustra esquematicamente um quadro servindo como umobjetivo de cálculo de componente de zoom integral usando um retângulo.Note que quadros 1 por 15 mostrados em (a) na Figura 25 são iguais àquelesmostrados em (á) na Figura 24.Na Figura 25, (b) ilustra um gráfico que representa umcomponente de zoom integral na direção horizontal (direção X) calculadorelativo aos quadros 1 por 15 mostrados em (a) na Figura 25 para cadaquadro. Com o gráfico mostrado em (b) na Figura 25, o eixo horizontal é umeixo que indica ponto em tempo de geração de imagem, e o eixo vertical é umeixo que indica o valor de um componente de zoom integral calculado relativoa cada quadro. Este componente de zoom integral é o valor de umcomponente de zoom de uma matriz afim calculada por multiplicação damatriz afim dos parâmetros de transformação afim correlatados com cadaquadro do quadro de referência para o quadro visado. Agora, nos deixe dizerque os parâmetros de transformação afim correlatados com o quadro dereferência são os valores de uma matriz unitária. Especificamente, o valor docomponente de zoom integral do quadro de referência é 1,0, e o valor docomponente de zoom integral do quadro visado é um valor relativo sobre oquadro de referência. Também, este componente de zoom integral é calculadorelativo a um componente de zoom na direção X e um componente de zoomna direção Y de trabalho de câmera. Note que, com o exemplo mostrado naFigura 25, o componente de zoom integral calculado relativo aoscomponentes de zoom na direção X é ilustrado como um exemplo.

Com o gráfico mostrado em (b) na Figura 25, o componente dezoom integral calculado relativo a cada quadro é ilustrado com um círculobranco. Também, de círculos brancos que indicam os componentes de zoomintegrais calculados relativo a cada um dos quadros incluídos nos candidatosde seção visada de composição de imagem 500, o círculo brancocorrespondendo ao quadro de topo é ilustrado como um componente de zoomintegral 501. Também, de círculos brancos que indicam os componentes dezoom integrais calculados relativo a cada um dos quadros incluídos noscandidatos de seção visada de composição de imagem 500, o círculo brancoque indica o valor máximo é ilustrado como um componente de zoom integral502, e o círculo branco que indica o valor mínimo é ilustrado como umcomponente de zoom integral 503. Note que o eixo horizontal do gráficomostrado (b) na Figura 25 indica cada número de quadro de acordo componto em tempo de geração de imagem. Também, com o eixo vertical dográfico mostrado em (b) na Figura 25, o valor do componente de zoomintegral 502 que indica que o valor máximo é ilustrado como M2, e o valor docomponente de zoom integral 503 que indica o valor mínimo é ilustrado como M1.

Agora, a taxa de zoom usada para a condição (2) é um valorque indica uma relação entre o valor máximo e o valor mínimo doscomponentes de zoom integrais. Esta condição (2) é determinada baseada emse ou não a taxa de zoom sobre cada quadro incluído nos candidatos de seçãovisada de composição de imagem está incluída em uma certa gama. Esta certagama pode ser, por exemplo, uma gama abaixo do limiar XZth2 tal comomostrado no seguinte.

XZml/XZm2 < XZth2

Aqui, XZml é o valor máximo dos componentes de zoomintegrais na direção X calculada relativa a cada quadro incluído noscandidatos de seção visada de composição de imagem, e XZm2 é o valormínimo dos componentes de zoom integrais disso. Note que, por exemplo, umvalor de 1,5 por 3,0 pode ser fixado como o limiar XZth2. Também, a taxa dezoom calculada relativa aos componentes de zoom na direção Y pode serdeterminada baseado em se ou não a expressão seguinte está satisfeita.

YZml/YZm2 < YZth2

Aqui, YZml é o valor máximo dos componentes de zoomintegrais na direção Y calculada relativa a cada quadro incluído noscandidatos de seção visada de composição de imagem, e YZm2 é o valormínimo dos componentes de zoom integrais disso. Note que, por exemplo, umvalor de 1,5 por 3,0 pode ser fixado como o limiar YZth2.No caso que as taxas de zoom na direção X e na direção Ycalculadas relativas a cada quadro incluído nos candidatos de seção visada decomposição de imagem que satisfazem as condições (11) por (17) satisfazema condição (2), determinação é feita se ou não a condição (3) está satisfeita.Por outro lado, as taxas de zoom na direção X e na direção Y calculadasrelativas a cada quadro incluído nos candidatos de seção visada decomposição de imagem não satisfazem a condição (2), o candidato de seçãovisada de composição de imagem não é determinado ser uma seção visada decomposição de imagem disso.

Figura 26 é um diagrama ilustrando um componentetranslacional integral calculado com parâmetros de transformação afimcalculados pela unidade detectora de trabalho de câmera 120 de acordo com aprimeira concretização da presente invenção, de uma maneira de série detempo. Na Figura 26, (a) ilustra esquematicamente um quadro servindo comoum objetivo de cálculo de componente translacional integral usando umretângulo. Note na que os quadros 1 por 15 mostrados (a) na Figura 26 sãoiguais àqueles mostrados em (a) na Figura 24.

Na Figura 26, (b) ilustra um gráfico que representa umcomponente translacional integral na direção horizontal (direção X) calculadorelativo aos quadros 1 por 15 mostrados em (a) na Figura 26 para cadaquadro. Com o gráfico mostrado em (b) na Figura 26, o eixo horizontal é umeixo que indica ponto em tempo de geração de imagem, e o eixo vertical é umeixo que indica o valor de um componente translacional integral calculadorelativo a cada quadro. Este componente translacional integral é o valor de umcomponente translacional de uma matriz afim calculada por multiplicação damatriz afim dos parâmetros de transformação afim correlatados com cadaquadro do quadro de referência para o quadro visado. Agora, nos deixe dizerque os parâmetros de transformação afim correlatados com o quadro dereferência é o valor de uma matriz unitária. Especificamente, o valor docomponente translacional integral do quadro de referência é 0,0, e o valor docomponente translacional integral do quadro visado é um valor relativo sobreo quadro de referência. Também, este componente translacional integral écalculado relativo a um componente translacional na direção X e umcomponente translacional na direção Y de trabalho de câmera. Note que, como exemplo mostrado na Figura 26, o componente translacional integralcalculado relativo aos componentes translacionais na direção X é ilustradocomo um exemplo.

Com o gráfico mostrado em (b) na Figura 26, o componentetranslacional integral calculado relativo a cada quadro é ilustrado com umcírculo branco. Também, um círculo branco que indica um componentetranslacional integral calculado relativo a cada quadro incluído nos candidatosde seção visada de composição de imagem 500 é ilustrado com uma linhapesada. Note que o eixo horizontal do gráfico mostrado (b) na Figura 26indica cada número de quadro de acordo com ponto em tempo de geração deimagem. Também, com o eixo vertical do gráfico mostrado em (b) na Figura26, os limiares XTth2 e -XTth2 usados para a condição (2) são indicados.

Aqui, a condição (3) é determinada baseado em se ou nãoquantidade de movimento na direção horizontal ou direção vertical é igual aou maior do que um certo número de pixéis. Especificamente, determinação éfeita baseada em se ou não pelo menos um de movimento panorâmico einclinação é relativamente grande. Por exemplo, como mostrado no seguinte,determinação é feita baseada em se ou não o valor absoluto do componentetranslacional integral XTl excede o limiar XTth2.

|XT1| > XTth2

Aqui, por exemplo, um valor de 3 W por IOW pode ser fixadocomo o limiar XTth2. Note que W é um valor que indica o número de pixéisna direção horizontal de uma imagem. Também, com respeito ao componentetranslacional integral YTl na direção Y igualmente, determinação pode serfeita baseada em se ou não a expressão seguinte está satisfeita.

I YTl I > YTth2

Aqui, por exemplo, um valor de 3H por IOH pode ser fixadocomo o limiar YTth2. Note que H é um valor que indica o número de pixéisna direção vertical de uma imagem.

Por exemplo, com o exemplo mostrado na Figura 26, osvalores dos componentes translacionais integrais na direção X calculadosrelativos aos quadros 12 e 13 incluídos nos candidatos de seção visada decomposição de imagem 500 excedem o limiar XTth2. Quer dizer, com oexemplo mostrado na Figura 26, o valor absoluto de um componentetranslacional integral na direção X calculado relativo a cada quadro incluídoem candidatos de seção visada de composição de imagem 500 excede o limiarXTth2, e por conseguinte, determinação é feita que a condição (3) estásatisfeita. Também, até mesmo no caso que o valor absoluto de umcomponente translacional integral na direção Y calculado relativo a cadaquadro incluído em candidatos de seção visada de composição de imagem500 excede o limiar XTth2, determinação é feita que a condição (3) estásatisfeita. Assim, os candidatos de seção visada de composição de imagemdeterminados satisfazerem a condição (3) são selecionados pela unidadeselecionadora de seção 160 como seções visadas de composição de imagem.Por outro lado, no caso que nem o componente translacional integral nadireção X nem o componente translacional integral na direção Y calculadorelativo a cada quadro incluído nos candidatos de seção visada de composiçãode imagem disso não satisfazem a condição (3), os candidatos de seção visadade composição de imagem disso não são determinados serem seções visadasde composição de imagem.

Com o exemplo anterior, determinação é feita se ou não ascondições (11) por (17) são satisfeitas considerando cada quadro incluído noscandidatos de seção visada de composição de imagem que satisfazem ascondições (1) e (4). Subseqüentemente, determinação é feita se ou não ascondições (2) e (3) são satisfeitas considerando cada quadro incluído noscandidatos de seção visada de composição de imagem que satisfazem ascondições (11) e (17). Porém, estas determinações podem ser feitas em umaseqüência diferente. Também, das condições (1) por (4), e das condições (11)por (17), uma das condições de determinação pode ser omitida. Também, porexemplo, uma seção visada de composição de imagem pode ser selecionadausando outra condição de determinação considerando cada quadro incluídonos candidatos de seção visada de composição de imagem. Por exemplo, podeser fixado como uma condição de determinação que uma taxa rotacional sejapequena, usando um componente rotacional integral.

Todos os quadros incluídos na seção visada de composição deimagem assim selecionada são usados para criar uma imagem composta.Porém, por exemplo, pode ser concebido que uma experiência, que não éexperimentada por reprodução simples de uma imagem em movimento, podeser provida a um usuário criando uma imagem composta, em que múltiplasimagens paradas convertidas através de espaço de uma gama relativamenteextensa no mesmo lugar de geração de imagem são unidas. Quer dizer, umaimagem composta de estilo de panorama composta de imagens paradas quenão é experimentada de reprodução de uma imagem em movimento (porexemplo, tal como uma imagem na qual fotografias são unidas juntas) podeser provida ao usuário. Portanto, com a primeira concretização da presenteinvenção, quadros usados para criação de uma imagem composta sãoselecionados ademais de cada quadro incluído na seção visada de composiçãode imagem. Agora, com a primeira concretização da presente invenção, umexemplo será descrito em que uma imagem incluindo uma face é selecionadapreferencialmente na seção visada de composição de imagem, esta imagem éselecionada um quadro mais à frente, outro quadro é selecionado baseado nataxa de sobreposição com este a" quadro mais à frente. Também, no caso quehá múltiplas imagens incluindo uma face, das múltiplas faces, uma imagemtendo o valor avaliado mais alto de expressão facial (contagem de facesorridente) que indica o grau de uma face sorridente pode ser selecionadocomo um o quadro mais à frente. Note que um valor avaliado de condiçãoborrada ou similar diferente de um valor avaliado de expressão facial pode serempregado para determinação.

Figuras 27A e 27B são diagramas ilustrandoesquematicamente uma imagem incluída na seção visada de composição deimagem selecionada pela unidade selecionadora de seção 160 de acordo coma primeira concretização da presente invenção, de uma maneira de série detempo. Figura 27A ilustra a transição de uma imagem no caso que um usuáriotirou imagens enquanto movendo a direção da lente da câmera na direçãohorizontal com um cachorro estacionário, pessoa, e carro como temas. Figura27B ilustra a transição de uma imagem no caso que um usuário tirou imagensenquanto movendo a direção da lente da câmera na direção horizontal comuma árvore e uma montanha como temas. Note que as imagens mostradas naFiguras 27A por 27B são simplificados por causa de conveniência explicativa,e a quantidade de movimento entre dois quadros consecutivos é ilustradagrandemente.

Das imagens 511 por 518 mostradas na Figura 27A, asimagens 512 por 515 incluem a face de uma pessoa. Também, nos deixe dizerque das faces incluídas nas imagens 512 por 515, o valor avaliado deexpressão facial calculado relativo à face incluída na imagem 513 é o valormais alto. No caso que uma imagem incluída na seção visada de composiçãode imagem selecionada pela unidade selecionadora de seção 160 inclui umaface, a unidade selecionadora de imagem visada de composição 170 selecionaa imagem incluindo uma face como o quadro mais à frente. Também, comomostrado na Figura 27A, no caso que múltiplas imagens incluem uma face, aimagem incluindo uma face tendo o valor mais alto de valor avaliado deexpressão facial calculado relativo a estas faces é selecionado como o quadromais à frente. Com o exemplo mostrado na Figura 27A, a imagem 513 éselecionada.

Também, imagens 521 por 528 mostradas na Figura 27B nãoincluem a face de uma pessoa. Assim, no caso que uma imagem incluída naseção visada de composição de imagem selecionada pela unidadeselecionadora de seção 160 não inclui uma face, a unidade selecionadora deimagem visada de composição 170 seleciona a imagem de topo no eixo detempo de imagens incluídas na seção visada de composição de imagem comoo quadro mais à frente. Com o exemplo mostrado na Figura 27B, a imagem521 correspondendo ao quadro de topo incluído na seção visada decomposição de imagem é selecionada.

O quadro mais à frente assim selecionado da seção visada decomposição de imagem é tomado como um quadro de referência, e outroquadro é selecionada baseado neste quadro de referência. Com a primeiraconcretização da presente invenção, descrição será feita relativa a umexemplo em que um quadro é selecionado baseado em regiões sobrepostasentre imagens incluídas na seção visada de composição de imagem.

Figura 28 é um diagrama ilustrando esquematicamente ummétodo de seleção no caso que uma imagem visada de composição éselecionada pela unidade selecionadora de imagem visada de composição 170de acordo com a primeira concretização da presente invenção. Com esteexemplo, descrição será feita relativa a um caso onde duas memóriastemporárias de trabalho são usadas para selecionar outro quadro sobre oquadro mais à frente.

Uma primeira memória temporária de trabalho 531 e umasegunda memória temporária de trabalho 532 são memórias temporárias detrabalho que representam cada pixel compondo uma imagem por um bit. Querdizer, no caso que uma imagem está unida à primeira memória temporária detrabalho 531 e à segunda memória temporária trabalho 532, um bit na posiçãode união é fixado para ativo. Também, uma imagem selecionada é unida àprimeira memória temporária de trabalho 531 como uma imagem composta, euma imagem servindo como um objetivo de determinação de seleção é sujeitaà transformação afim e unida à segunda memória temporária de trabalho 532.Subseqüentemente, uma porção sobreposta entre a imagem composta unida àprimeira memória temporária de trabalho 531, e a imagem unida à segundamemória temporária de trabalho 532 é calculada. Agora, nos deixe dizer que aárea da região da porção sobreposta calculada é uma área C, a área da imagemcomposta unida à primeira memória temporária de trabalho 531 é uma área A,e a área da imagem unida à segunda memória temporária de trabalho 532 éuma área B. Neste caso, um valor da área C/da área A, e um valor da áreaC/da área B são calculados, e destes dois valores, o valor maior é calculadocomo uma taxa de sobreposição.

Subseqüentemente, no caso que a taxa de sobreposiçãocalculada está abaixo de um limiar, a imagem disso é selecionada. Porexemplo, 60% pode ser fixado como este limiar. A imagem em que a taxa desobreposição calculada está abaixo do limiar é selecionada como uma imagemvisada de composição, e também é unida à primeira memória temporária detrabalho 531. Subseqüentemente, o mesmo processo de determinação éexecutado relativo ao próximo quadro.

Por exemplo, nos deixe dizer que uma imagem composta entreuma imagem 534 selecionada como o quadro mais à frente, e uma imagem535 selecionada a seguir foram unidas à primeira memória temporária detrabalho 531 mostrada em (a) na Figura 28. Também, a região da imagemcomposta criada das imagens 534 e 535 é ilustrada com uma linha sólida.

Também, nos deixe dizer que uma imagem 536 servindo como um objetivode determinação "foi unida à segunda memória temporária de trabalho 532mostrada em (a) na Figura 28. Também, a região da imagem 536 é ilustradacom um retângulo de linha sólida. Agora, a imagem servindo como umobjetivo de determinação é sujeita à transformação afim com a posição doquadro mais à frente (imagem 534) unida à primeira memória temporária detrabalho 531 mostrada em (a) na Figura 28 como uma referência, e é entãounida à segunda memória temporária de trabalho 532. Esta transformaçãoafim é executada usando os parâmetros de transformação afim armazenadosna unidade de armazenamento de metadados 210. Note que o exemplomostrado na Figura 28 é um exemplo em que d imagem 536, só a posição foitransformada, e o ângulo e tamanho não foram transformados.

Subseqüentemente, como mostrado em (b) na Figura 28, umaporção sobreposta 538 entre a imagem composta (imagem composta dasimagens 534 e 535) unida à primeira memória temporária de trabalho 531, e aimagem 536 unida à segunda memória temporária de trabalho 532 écalculada. Note que uma gama de memória temporária de trabalho 533mostrada em (b) na Figura 28 é uma gama que indica o tamanhocorrespondendo à primeira memória temporária de trabalho 531 e à segundamemória temporária de trabalho 532. Com esta gama de memória temporáriade trabalho 533, a porção sobreposta calculada 538 é representada com umretângulo obscurecido internamente, e outras porções de imagem sãorepresentadas com uma linha pontilhada. Agora, nos deixe dizer que a área daporção sobreposta calculada 538 é uma área Cl, a área da imagem composta(imagem composta das imagens 534 e 535) unida à primeira memóriatemporária de trabalho 531 é uma área Al, e a área da imagem 536 unida àsegunda memória temporária de trabalho 532 é uma área BI. Neste caso, ovalor da área Al é maior do que o valor da área BI, e por conseguinte, umvalor da área Cl/da área Bl é maior do que um valor da área Cl/da área Al.Portanto, o valor da área Cl/da área Bl é calculado como uma taxa desobreposição.

Subseqüentemente, no caso que a taxa de sobreposiçãocalculada (o valor da área Cl/da área BI) está abaixo do limiar, a imagem 536é selecionada como uma imagem visada de composição. Assim, no caso que aimagem visada de composição foi selecionada, os valores de uma matriz sãocalculados em que as matrizes afins dos parâmetros de transformação afim doquadro mais à frente para o quadro atual são multiplicadas. Aqui, comrespeito aos parâmetros de transformação afim do quadro mais à frente, osvalores de uma matriz unitária são usados. Subseqüentemente, os parâmetrosde transformação afim da matriz calculada, e o número de quadro e dados deface da imagem visada de composição selecionada são gravados da naunidade de armazenamento de metadados de imagem visada de composição270. Note que, com respeito à imagem visada de composição selecionadacomo a imagem mais à frente, informação que indica o quadro mais à frente égravada na unidade de armazenamento de metadados de imagem visada decomposição 270 junto com tal informação.

Também, no caso que a imagem 536 foi selecionada comouma imagem visada de composição, como mostrado em (c) na Figura 28, aimagem 536 é unida à primeira memória temporária de trabalho 531.

Especificamente, a imagem composta das imagens 534 por 536 é unida àprimeira memória temporária de trabalho 531. Subseqüentemente, comomostrado em (d) na Figura 28, um processo de determinação é executadorelativo à próxima imagem 537 da mesma maneira. Por outro lado, no casoque a taxa de sobreposição calculada não está abaixo do limiar, a imagem 536não é unida à primeira memória temporária de trabalho 531. Neste caso, oprocesso de determinação é executado entre a próxima imagem, as imagens534 e 535.

Note que, com este exemplo, uma imagem visada decomposição é selecionada calculando uma taxa de sobreposição usandoseqüencialmente as duas memórias temporárias de trabalho, mas uma imagemvisada de composição pode ser selecionada calculando uma taxa desobreposição usando os parâmetros de transformação afim só armazenados naunidade de armazenamento de metadados 210.

Figura 29 é um diagrama ilustrando esquematicamente umaimagem em movimento a ser determinado pela unidade selecionadora deseção 160 e pela unidade selecionadora de imagem visada de composição170, de acordo com a primeira concretização da presente invenção, de umamaneira de série de tempo. Na Figura 29, (a) ilustra esquematicamente umquadro compondo um arquivo de imagem em movimento 540 que é umarquivo de imagem em movimento armazenado na unidade dearmazenamento de imagem em movimento 200. Na Figura 29, (b) ilustra umgrupo de seção visada de composição de imagem 541, que é um grupo dasseções visadas de composição de imagem selecionadas relativas ao arquivo deimagem em movimento 540. Na Figura 29, (c) ilustra um grupo de seção dedetecção de face 544, que é um grupo de seções de detecção de face queindicam uma seção onde uma face foi detectada considerado cada quadrocompondo o arquivo de imagem em movimento 540. Na Figura 29, (d) ilustraum grupo de seção de detecção de face sorridente 546, que é um grupo deseções de detecção de face sorridente que indicam uma seção onde uma facedetectada relativa a cada quadro compondo o arquivo de imagem emmovimento 540 foi determinada ser uma face sorridente. Na Figura 29, (e)ilustra o quadro mais à frente selecionado na seção visada de composição deimagem, e uma direção de procura 548, que é uma direção com onde outroquadro é procurado com o quadro mais à frente como um quadro dereferência. Na Figura 29, (f) ilustra um grupo de quadro de seleção 554, que éum grupo de quadros (imagem visadas de composição) selecionado relativoao arquivo de imagem em movimento 540. Note que cada quadro compondoo arquivo de imagem em movimento 540 é ilustrado com um retângulo aoqual um número de quadro é anexado internamente. Também, cada seção éilustrada com um retângulo obscurecido internamente. Também, em (e) naFigura 29, o quadro mais à frente é representado com um círculo branco, e adireção de procura do quadro mais à frente é representada com uma seta.

Por exemplo, nos deixe dizer que as seções visadas decomposição de imagem 542 e 543 foram selecionadas pela unidadeselecionadora de seção 160 relativo ao arquivo de imagem em movimento540. Ademais, nos deixe dizer que uma face foi detectada na seção dedetecção de face 545, de quadros incluídos na seção visada de composição deimagem 542. Também, nos deixe dizer que de quadros incluídos na seçãodetecção de face 545, um valor avaliado de expressão facial foi um certo valorou mais na seção detecção de face sorridente 547, e foi determinada ser umaface sorridente. Com este exemplo, nos deixe dizer que de quadros incluídosna seção de detecção de face sorridente 547, um quadro tendo o valoravaliado mais alto de expressão facial é um quadro h. Neste caso, o quadro hé selecionado como o quadro mais à frente 549 na seção visada decomposição de imagem 542. Subseqüentemente, um processo de seleção dequadro é executado para uma direção de procura 550, que é uma direção deprocura de lado dianteiro no eixo temporal, e uma direção de procura 551, queé uma direção de procura de lado traseiro no eixo temporal. Este método deseleção é igual ao método de seleção mostrado na Figura 28. Neste caso, porexemplo, nos deixe dizer que quadros g+2, ..., h, ..., h+m, ..., i foramselecionados.

Também, nos deixe dizer que nenhuma face foi detectada comcada quadro incluído na seção visada de composição de imagem 543. Nestecaso, de quadros incluídos na seção visada de composição de imagem 543, oquadro j+1 no lado mais dianteiro no eixo temporal é selecionado como umquadro mais à frente 552. Subseqüentemente, um quadro é selecionado parauma direção de procura 553, que é uma direção de procura no lado traseiro noeixo temporal. Este método de seleção é igual ao método de seleção mostradona Figura 28. Neste caso, por exemplo, nos deixe dizer que quadros j+1, ...,j+n, ..., k-3 foram selecionados.

Assim, uma única ou múltiplas seções visadas de composiçãode imagem são selecionadas relativas a um único arquivo de imagem emmovimento, e múltiplos quadros são selecionados das seções visadas decomposição de imagem disso. Uma imagem composta é criada usando osmúltiplos quadros selecionados assim.

Assim, o número de identificação da seção visada decomposição de imagem selecionada, e cada número de quadro selecionadosão gravados na unidade de armazenamento de metadados de imagem visadade composição 270 de uma maneira correlatada. Simultaneamente, osparâmetros de transformação afim calculados, informação de quadro mais àfrente que indica o quadro mais à frente, e dados de face que são dadosrelativos a uma face detectada relativa a um quadro são gravados na unidadede armazenamento de metadados de imagem visada de composição 270 deuma maneira correlatada. Uma imagem composta pode ser exibida pelasoperações de usuário usando cada pedaço de informação armazenado naunidade de armazenamento de metadados de imagem visada de composição270. Por exemplo, uma imagem composta dos quadros g+2, ..., h, ..., h+m,..., i selecionados na seção visada de composição de imagem 542 pode serexibida. Também, uma imagem composta de quadros j+1, ..., j+n, ..., k-3selecionados na seção visada de composição de imagem 543 pode ser exibida.

Agora, por exemplo, no caso que uma face é incluída emmúltiplos quadros compondo uma imagem em movimento, e no caso que cadavalor avaliado de expressão facial calculado relativo a cada face é mais baixodo que um certo valor, o quadro mais à frente pode ser selecionado usando aposição e tamanho incluídos em informação de detecção de face. Porexemplo, uma imagem pode ser selecionada como o quadro mais à frente emque a posição da face detectada é deslocada ao centro, e o tamanho disso érelativamente grande.Exemplo de Composição de Imagem

A seguir, uma imagem visada de composição selecionadarelativa a uma imagem em movimento convertida de fato pela câmera, e umexemplo de composição da imagem visada de composição são mostrados.

Anexo IV é um diagrama ilustrando um exemplo de umaimagem de visada de composição selecionada relativa a uma imagem emmovimento convertida pela câmera. Anexo IV ilustra imagens 561 por 568selecionadas relativas a uma imagem em movimento no caso que umasenhora se levantando com o declive de uma montanha incluindo rochascomo o fundo é convertido em imagem enquanto movendo a câmera. Nosdeixe dizer que esta imagem em movimento foi convertida em imagem emsérie de tempo ao longo de uma direção de seta com a imagemcorrespondendo ao quadro no lado dianteiro no eixo temporal como umaimagem 561. Também, nos deixe dizer que a posição da senhora servindocomo um tema é geralmente o centro da imagem, e uma imagem 566 servindocomo uma face sorridente foi selecionada como o quadro mais à frente.

Anexos V e VI são diagramas ilustrando a transição de umaimagem composta criada pela unidade de composição de imagem 220 deacordo com a primeira concretização da presente invenção. Imagens 571 por578 mostradas nos Anexos V e VI são imagens em que um quadro branco éadicionado às periferias das imagens 561 por 568 mostradas na Figura 30, esão iguais às imagem 561 por 568, exceto que um quadro branco está anexadoa isso.

Por exemplo, com a imagem 576 selecionada como o quadromais à frente como uma referência, o tamanho de uma imagem composta a sercriada relativa às imagem 571 por 578 é calculado usando os parâmetros detransformação afim correlatados com outras imagens 561 por 575, 577 e 568.Baseado no tamanho de uma imagem composta assim calculado, a posição etamanho do quadro mais à frente são calculados. Subseqüentemente, baseadona posição e tamanho do quadro mais à frente, outras imagens são sujeitas àtransformação afim seqüencialmente, e são compostas na memória de imagem230. Por exemplo, como mostrado em (a) por (d) na Figura 31, e (a) na Figura32, dos quadros selecionados na mesma seção visada de composição deimagem, o quadro de topo pelo quadro imediatamente prévio da imagem maisà frente são compostos seqüencialmente em série de tempo. Quer dizer, asimagens 571 por 575 são compostas seqüencialmente. Subseqüentemente, porexemplo, como mostrado em (b) e (c) na Figura 32, dos quadros selecionadosna mesma seção visada de composição de imagem, o último quadro peloquadro imediatamente prévio da imagem mais à frente são compostosseqüencialmente em série de tempo. Quer dizer, as imagens 577 e 578 sãocompostas seqüencialmente. Subseqüentemente, por exemplo, como mostradoem (d) na Figura 32, a imagem mais à frente 576 selecionada na mesma seçãovisada de composição de imagem é composta. Assim, as imagens sãosobrepostas de cada do quadro de topo e do último quadro considerando cadaquadro selecionado na mesma seção visada de composição de imagem, efinalmente, a imagem selecionada como o quadro mais à frente é sobrescritalogo após. Assim, a imagem selecionada como o quadro mais à frente éexibida no lado de topo, por meio de que uma imagem composta clara podeser criada.

Assim, um arquivos de metadados armazenado na unidade dearmazenamento de metadados de imagem visada de composição 270 é usadopara compor imagens parciais compondo a imagem em movimento, por meiode que uma imagem composta de estilo de panorama que representa uma cenaincluída na imagem em movimento disso pode ser criada. Neste caso, umquadro branco é adicionado a quadros que satisfazem uma certa condição paracompor os quadros sem usar todos os quadros consecutivos compondo aimagem em movimento, por meio de que uma imagem composta pode serexibida tal que fotografias sejam aderidas juntas. Neste caso, uma imageminteressante que difere completamente de uma imagem vista na hora dereprodução de imagem em movimento comum pode ser provida. Também,uma imagem composta de estilo de panorama pode ser exibida considerandoautomaticamente cada cena incluída na imagem em movimento, por meio deque o usuário pode entender prontamente se ou não a imagem em movimentodisso é composto de quais tipos de cenas. Também, uma cena convertida emimagem pode ser exibida seletivamente, por meio de que uma imagemsignificante pode ser provida ao usuário. Também, a imagem de facesorridente de uma pessoa é tomada como a imagem mais à frente, e baseadonesta imagem, outra imagem servindo como um objetivo de composição éselecionada, por meio de que uma imagem composta de panorama pode serprovida tal que ênfase seja dada à pessoa de uma face sorridente disso.

Um exemplo foi mostrado até agora em que a imagemselecionada como o quadro mais à frente é composta no topo de um maneirasobrescrita, mas por exemplo, como mostrado no próximo desenho, pode sercomposta de uma maneira sobrescrita na ordem de ponto em tempo pelaseleção de usuário.

Anexo VII é outro exemplo de composição de uma imagemcomposta criada pela unidade de composição de imagem 220 de acordo com aprimeira concretização da presente invenção. Na Figura 33, (a) ilustra umatela de seleção de método de exibição 580 para selecionar um método deexibição para uma imagem composta criada pela unidade de composição deimagem 220 e exibida na unidade de exibição 250. Campos de verificação581 e 582, um botão de "exibição de imagem composta de estilo depanorama" 583, e um botão de "cancelamento" 584 são providos à tela deseleção de método de exibição 580.

O campo de verificação 581 é, como mostrado nos Anexos V eVI, um campo de verificação usado para selecionar um método de exibiçãoem que ao quadro mais à frente é sobreposto e composto no lado de topo eexibido. O campo de verificação 582 é, como mostrado em (b) na Figura 33,um campo de verificação usado para selecionar um método de exibição emque cada quadro é composto e exibido enquanto sendo sobreposto naseqüência de série de tempo. Operação entrada para adicionar uma marca deverificação a estes campos de verificação é executada usando um cursor 585.

O botão de "exibição de imagem composta de estilo depanorama" 583 é um botão a ser apertado na hora de exibir uma imagemcomposta na unidade de exibição 250. Quer dizer, depois que uma marca deverificação é adicionada a um dos campos de verificação 581 e 582, o botãode "exibição de imagem composta de estilo de panorama" 583 é apertadousando o cursor 585, por meio de que imagens compostas pelo método decomposição ao qual uma marca de verificação foi adicionada são exibidasseqüencialmente.

O botão de "cancelamento" 584 é um botão a ser apertado nocaso de eliminar a marca de verificação adicionada a um dos campos deverificação 581 e 582.

Por exemplo, no caso que o botão de "exibição de imagemcomposta de estilo de panorama" 583 foi apertado em um estado no qual umamarca de verificação é adicionada ao campo de verificação 581, comomostrado nos Anexos VI e VII, os quadros em ambos os lados do quadro maisà frente são compostos seqüencialmente, e o quadro mais à frente ésobreposto e composto no lado de topo. Também, no caso que o botão de"exibição de imagem composta de estilo de panorama" 583 foi apertado emum estado no qual uma marca de verificação é adicionada ao campo deverificação 582, como mostrado em (b) na Figura 33, cada quadro é compostoe exibido sendo sobreposto na seqüência de série de tempo.

Na Figura 33, (b) ilustra que as imagens 571 por 578 foramcompostas na seqüência de série de tempo. Note que as imagens 571 por 578são iguais às imagem 571 por 578 mostradas nos Anexos V e VI. Assim, nocaso que imagens são compostas na seqüência de série de tempo, tempo degeração de imagem pode ser entendido claramente com referência à imagemcomposta exibida. Porém, por exemplo, a próxima imagem é sobrescrita atéuma região perto de uma pessoa incluída na imagem 576 selecionada como oquadro mais à frente, há uma possibilidade que a pessoa disso pode serescondida. Portanto, por exemplo, dados de face armazenados na unidade dearmazenamento de metadados de imagem visada de composição 270correlatados com a imagem 576 são usados, por meio de que outras imagenspodem ser impedidas de cobrir em uma certa gama da região de face.

Na Figura 33, (c) ilustra esquematicamente um caso onde umaimagem sobrescrita dentro de uma certa gama (por exemplo, distância LI) deuma região de face 586 incluída na imagem 576 correspondendo ao quadromais à frente. Por exemplo, como mostrado em (c) na Figura 33, no caso queas imagens 571 por 578 são compostas normalmente em série de tempo, aimagem 577 é sobrescrita dentro da distância Ll da região de face 586incluída na imagem 576. Portanto, como mostrado em (c) na Figura 33, aimagem 577 é movida em uma direção de seta 587 assim para estarseparadamente a distância Ll ou mais da região de face 586 incluída naimagem 576. Assim, no caso que a imagem sobreposta no lado superior daimagem mais à frente é movida, as imagens depois da imagem movidatambém são movidas pela mesma distância. Quer dizer, a imagem 578 émovida pela mesma distância como a imagem 577. Assim, por exemplo,como mostrado em (c) na Figura 33, as cercanias da face de uma pessoaincluída na imagem 576 são vistas, por meio de que uma imagem compostapode ser desfrutada ademais.

Também, um arranjo pode ser feito em que imagenscompostas relativas a um único ou múltiplas imagens em movimento sãocriadas e armazenadas previamente, cada imagem composta assimarmazenada é exibida baseada na operação do usuário. Alternativamente, umarranjo pode ser feito em que a transição de composição de uma imagemcomposta é armazenada seqüencialmente para cada imagem previamente, taltransição é exibida seqüencialmente.

Exemplo de Operação de Aparelho de Processamento de Imagem

A seguir, a operação do aparelho de processamento de imagem100 de acordo com a primeira concretização da presente invenção serádescrita com referência aos desenhos.

Figura 34 é um fluxograma ilustrando o procedimento de umprocesso de gravação de metadados de imagem visada de composição peloaparelho de processamento de imagem 100 de acordo com a primeiraconcretização da presente invenção.

Primeiro, a unidade selecionadora de seção 160 executa umprocesso de extração de seção (etapa S930). Este processo de seleção de seçãoserá descrito em detalhes com referência à Figura 35. Subseqüentemente, aunidade selecionadora de imagem visada de composição 170 executa umprocesso de seleção de quadro (etapa S950). Este processo de seleção dequadro será descrito em detalhes com referência à Figura 36. Note que asetapas S930 e S950 são exemplos do procedimento de seleção referido noResumo da Invenção.

Figura 35 é um fluxograma ilustrando um procedimento deextração de seção (o procedimento na etapa S930 mostrado na Figura 34)incluído no procedimento do processo de gravação de metadados de imagemvisada de composição pelo aparelho de processamento de imagem 100 deacordo com a primeira concretização da presente invenção.

Primeiro, uma variável t é iniciada a "1" (etapa S931), e umquadro t compondo um arquivo de imagem em movimento é fixado como umquadro de referência (etapa S932). Subseqüentemente, o parâmetro detranslação afim e contagem de determinação de confiabilidadecorrespondendo ao quadro t são obtidos de um arquivo de metadadosarmazenado na unidade de armazenamento de metadados 210 (etapa S933).

Subseqüentemente, tempo decorrido T do quadro de referênciaao quadro t é calculado (etapa S934), e determinação é feita se ou não otempo decorrido T excede um limiar TMl (etapa S935). No caso que o tempodecorrido T excede o limiar TMl (etapa S935), o fluxo procede à etapa S946.Por outro lado, no caso que o tempo decorrido T não excede o limiar TMl(etapa S935), determinação é feita se ou não a contagem de determinação deconfiabilidade SHS correspondendo ao quadro t excede o limiar THl (etapaS936). No caso que a contagem de determinação de confiabilidade SHScorrespondendo ao quadro t excede o limiar THl (etapa S936), cadacomponente do trabalho de câmera é calculado dos parâmetros detransformação afim correspondendo ao quadro t (etapa S937).Subseqüentemente, determinação é feita se ou não todos os valores doscomponentes do trabalho de câmera estão incluídos na gama de um limiar(etapa S938). No caso que todos os valores dos componentes do trabalho decâmera estão incluídos na gama de um limiar (etapa S938), a taxa de zoomcorrespondendo a cada quadro do quadro de referência ao quadro t é calculada(etapa S939).

Subseqüentemente, determinação é feita se ou não a taxa dezoom calculada está incluída na gama de um limiar (etapa S940). No caso quea taxa de zoom calculada está incluída na gama de um limiar (etapa S940), aquantidade de movimento correspondendo a cada quadro do quadro dereferência para o quadro t (componente translacional integral) é calculada(etapa S941). Subseqüentemente, determinação é feita se ou não a quantidadede movimento calculada está incluída na gama de um limiar (etapa S942). No.caso que a quantidade de movimento calculada está incluída na gama de umlimiar (etapa S942), determinação é feita se ou não o quadro t é o últimoquadro, de quadros compondo uma imagem em movimento a ser processado(etapa S943). No caso que o quadro t não é o último quadro (etapa S943), "1"é adicionado à variável t (etapa S944), e o fluxo retorna à etapa S933, onde oprocesso de seleção de seção é repetido. Por outro lado, no caso que o quadrot é o último quadro (etapa S943), o processo de seleção de seção é terminado.

Também, no caso que a contagem de determinação deconfiabilidade SHS correspondendo ao quadro t não excede o limiar THl(etapa S936), ou no caso que todos os valores dos componentes do trabalho decâmera não estão incluídos na gama de um limiar (etapa S938), o fluxoprocede à etapa S945. Também, no caso que a taxa de zoom calculada nãoestá incluída na gama de um limiar (etapa S940), ou no caso que a quantidadede movimento calculada não está incluída na gama de um limiar (etapa S942),o fluxo procede à etapa S945.

Subseqüentemente, determinação é feita se ou não o tempodecorrido T está abaixo de uma gama de seção visada de composição deimagem TM2 (etapa S945). No caso que o tempo decorrido T não está abaixoda gama de seção visada de composição de imagem TM2 (etapa S945), aseção do quadro de referência para o quadro t é selecionada como uma seçãovisada de composição de imagem (etapa S946). Por outro lado, no caso que otempo decorrido T está abaixo da gama de seção visada de composição deimagem TM2 (etapa S945), "1" é adicionado à variável t (etapa S947), e ofluxo retorna à etapa S932, onde o processo de seleção de seção é repetido.

Figura 36 é um fluxograma ilustrando um procedimento deseleção de quadro (o procedimento na etapa S950 mostrada na Figura 34)incluído no procedimento do processo de gravação de metadados de imagemvisada de composição pelo aparelho de processamento de imagem 100 deacordo com a primeira concretização da presente invenção.

Primeiro, os parâmetros de transformação afim, informação dedetecção de face, e valor avaliado de expressão facial correspondendo a cadaquadro incluído em uma da seção visada de composição de imagemselecionada pela unidade seíecionadora de seção 160 são obtidos de umarquivo de metadados armazenado na unidade de armazenamento demetadados 210 (etapa S951). Subseqüentemente, o tamanho para compor aimagem correspondendo a cada quadro é calculado usando os parâmetros detransformação afim correspondendo a cada quadro incluído na seção visadade composição de imagem obtida, e duas memórias temporárias de trabalhotendo este tamanho são contidas (etapa S952).

Subseqüentemente, determinação é feita baseado nainformação de detecção de face obtida se ou não uma face está incluída naimagem correspondendo a cada quadro incluído na seção visada decomposição de imagem servindo como um objetivo de seleção (etapa S953).No caso que uma face está incluída na imagem correspondendo a cada quadro(etapa S953), a imagem tendo o valor mais alto do valor avaliado deexpressão facial correspondendo a cada imagem incluindo uma face éselecionada como o quadro mais à frente (etapa S954). Por outro lado, nocaso que nenhuma face está incluída na imagem correspondendo a cadaquadro (etapa S953), o quadro de topo dos quadros incluídos na seção visadade composição de imagem é selecionado como o quadro mais à frente (etapaS955).

Subseqüentemente, o quadro mais à frente selecionado é unidoà primeira memória temporária de trabalho (etapa S956), e cada pedaço demetadados relativo ao quadro mais à frente selecionado é gravado na unidadede armazenamento de metadados de imagem visada de composição 270 (etapaS957). Subseqüentemente, uma taxa de sobreposição entre o quadro mais àfrente selecionado, e o quadro adjacente a uma das direções do quadro mais àfrente é calculada (etapa S958). Quer dizer, o quadro servindo como umobjetivo de cálculo de taxa de sobreposição é unido à segunda memóriatemporária de trabalho, e uma taxa de sobreposição sobre o quadro mais àfrente unido à primeira memória temporária de trabalho é calculada.

Subseqüentemente, determinação é feita se ou não a taxa desobreposição calculada está abaixo de um limiar (etapa S959). No caso que ataxa de sobreposição calculada está abaixo de um limiar (etapa S959), oquadro servindo como o objetivo de cálculo de taxa de sobreposição éselecionado, e o quadro selecionado é unido à primeira memória temporáriade trabalho (etapa S960). Subseqüentemente, cada pedaço de metadadosrelativo ao quadro selecionado é gravado na unidade de armazenamento demetadados de visada imagem de composição 270 (etapa S961), e o fluxoprocede à etapa S962.

Por outro lado, no caso que a taxa de sobreposição calculadanão está abaixo de um limiar (etapa S959), determinação é feita se ou nãocálculo de uma taxa de sobreposição considerando cada quadro incluído naseção visada de composição de imagem servindo como um objetivo deseleção foi completado (etapa S962). No caso que cálculo de uma taxa desobreposição considerando cada quadro não foi completado (etapa S962), ataxa de sobreposição de um quadro adjacente ao quadro do qual a taxa desobreposição foi calculada imediatamente antes é calculada (etapa S964).

Quer dizer, o quadro servindo como um objetivo de cálculo de taxa desobreposição é unido à segunda memória temporária de trabalho, e uma taxade sobreposição sobre a imagem composta unida à primeira memóriatemporária de trabalho é calculada. Note que, no caso que o quadro do qual ataxa de sobreposição foi calculada imediatamente antes é o quadro de topo ouo último quadro da seção visada de composição de imagem, a taxa desobreposição do quadro adjacente à outra direção do quadro mais à frente écalculada.

No caso que cálculo de uma taxa de sobreposição relativa, acada quadro incluído na seção visada de composição de imagem servindocomo um objetivo de seleção foi completado (etapa S962), determinação éfeita se ou não o processo de seleção de quadro foi completado consideradotodas das seções visadas de composição de imagem selecionadas pela unidadeselecionadora de seção 160 (etapa S963). No caso que o processo de seleçãode quadro não foi completado considerando todas as seções visadas decomposição de imagem (etapa S963), o fluxo retorna à etapa S951, onde oprocesso de seleção de quadro é repetido (etapas S951 por S964). Por outrolado, no caso que o processo de seleção de quadro foi completadoconsiderando todas as seções visadas de composição de imagem (etapa S963),a operação do processo de seleção de quadro é terminada.

Figura 37 é um fluxograma ilustrando o procedimento de umprocesso de exibição de imagem composta pelo aparelho de processamento deimagem 100 de acordo com a primeira concretização da presente invenção.Com este exemplo, o quadro mais à frente é sobreposto e composto no ladode topo. Também, com este exemplo, descrição será feita relativa a umexemplo em que imagens compostas relativas a um arquivo de imagem emmovimento armazenado na unidade de armazenamento de imagem emmovimento 200 são exibidas seqüencialmente.

Primeiro, a unidade de obtenção de arquivo 180 obtém cadapedaço de metadados armazenado na unidade de armazenamento demetadados de imagem visada de composição 270 (etapa S970).Subseqüentemente, a unidade de obtenção de arquivo 180 decodifica oarquivo de imagem em movimento correspondendo a cada pedaço demetadados obtido, e obtém cada quadro compondo o arquivo de imagem emmovimento (etapa S971). Subseqüentemente, o tamanho para compor aimagem correspondendo a cada quadro é calculado usando cada um deparâmetros de transformação afim incluídos nos metadados de uma das seçõesvisadas de composição de imagem obtidas servindo como um objetivo decomposição, e um memória temporária de trabalho tendo este tamanho écontida na memória de imagem 230 (etapa S972). Também, baseado notamanho da imagem composta assim calculada, a posição e tamanho doquadro mais à frente são calculados.Subseqüentemente, determinação é feita baseada nainformação de quadro mais à frente incluída nos metadados obtidos se ou nãoo quadro mais à frente é o quadro de topo na seção visada de composição deimagem (etapa S973). No caso que o quadro mais à frente é o quadro de topona seção visada de composição de imagem (etapa S973), de cada quadroincluído nos metadados obtidos, imagens são extraídas na ordem ascendentede números de quadro (etapa S974).

Subseqüentemente, a unidade transformadora de imagem 190usa os parâmetros de transformação afim correlatados com a imagem extraídapara sujeitar a imagem disso à transformação afim (etapa S975).Subseqüentemente, a unidade compositora de imagem 220 adiciona umquadro branco à periferia da imagem sujeita à transformação afim, e contém aimagem à qual o quadro branco foi adicionado na memória de imagem 230(etapa S976). Quer dizer, a imagem sujeita à transformação afim à qual oquadro branco foi adicionado é composta sobre uma imagem de históriaarmazenada na memória de imagem 230. Note que no caso da primeiraimagem, só a imagem disso é contida na memória de imagem 230.

Subseqüentemente, a unidade de controle de exibição 240 controla a unidadede exibição 250 para exibir a imagem composta contida na memória deimagem 230 (etapa S977). Subseqüentemente, determinação é feita se ou nãoa imagem contida na memória de imagem 230 é o último quadro na seçãovisada de composição de imagem servindo como um objetivo de composição(etapa S978). No caso que a imagem contida na memória de imagem 230 é oúltimo quadro (etapa S978), determinação é feita se ou não o processo deexibição de imagem composta foi completado considerando todas as seçõesvisadas de composição de imagem (etapa S979). No caso que o processo deexibição de imagem composta não foi completado considerando todas asseções visadas de composição de imagem (etapa S979), o fluxo retoma àetapa S972, onde o processo de exibição de imagem composta é repetido(etapas S972 por S978 e S980). Por outro lado, no caso que o processo deexibição de imagem composta foi completado considerando todas as seçõesvisadas de composição de imagem (etapa S979), a operação do processo deexibição imagem composta é terminada.

Também, no caso que a quadro mais à frente não é o quadro detopo na seção visada de composição de imagem (etapa S973), um processo decomposição de imagem é executado (etapa S980). Este processo decomposição de imagem será descrito em detalhes com referência à Figura 38.

Figura 38 é um fluxograma ilustrando um procedimento decomposição de imagem (o procedimento na etapa S980 mostrada na Figura37) incluído no procedimento do processo de exibição de imagem compostapelo aparelho de processamento de imagem 100 de acordo com a primeiraconcretização da presente invenção. Com este exemplo, depois quecomposição de imagem é executada para o quadro mais à frente do quadro detopo na seção visada de composição de imagem, composição de imagem éexecutado para o quadro mais à frente do último quadro, e finalmente oquadro mais à frente é composto.

Primeiro, de cada quadro incluído nos metadados obtidos,imagem são extraídas na ordem ascendente de números de quadro (etapaS981). Subseqüentemente, a unidade transformadora de imagem 190 usa osparâmetros de transformação afim correlatados com a imagem extraída parasujeitar a imagem disso à transformação afim (etapa S982).Subseqüentemente, a unidade compositora de imagem 220 adiciona umquadro branco à periferia da imagem sujeita à transformação afim, e contém aimagem à qual o quadro branco foi adicionado na memória de imagem 230(etapa S983). Quer dizer, a imagem sujeita à transformação afim à qual oquadro branco foi adicionado é composta sobre uma imagem de históriaarmazenada na memória de imagem 230. Note que no caso da primeiraimagem, só a imagem disso é contida na memória de imagem 230.Subseqüentemente, a unidade de controle de exibição 240 controla a unidadede exibição 250 para exibir a imagem composta contida na memória deimagem 230 (etapa S984). Subseqüentemente, determinação é feita se ou nãoa imagem contida na memória de imagem 230 é o quadro imediatamenteantes do quadro mais à frente na seção visada de composição de imagemservindo como um objetivo de composição (etapa S985). No caso que aimagem contida na memória de imagem 230 não é o quadro imediatamenteantes do quadro mais à frente (etapa S985), o fluxo retorna à etapa S981, ondeo processo de composição de imagem é repetido do quadro de topo para oquadro imediatamente antes do quadro mais à frente (etapas S981 por S984).

Por outro lado, no caso que imagem contida na memória deimagem 230 é o quadro imediatamente antes do quadro mais à frente (etapaS985), de cada quadro incluído nos metadados obtidos, imagens são extraídasseqüencialmente na ordem descendente de números de quadro (etapa S986).Subseqüentemente, a unidade transformadora de imagem 190 usa osparâmetros de transformação afim correlatados com a imagem extraída parasujeitar a imagem disso à transformação afim (etapa S987).Subseqüentemente, a unidade compositora de imagem 220 adiciona umquadro branco à periferia da imagem sujeita à transformação afim, e contémesta imagem à qual o quadro branco foi adicionado na memória de imagem230 (etapa S988). Quer dizer, a imagem sujeita à transformação afim à qual oquadro branco foi adicionado é composta sobre a imagem de história contidana memória de imagem 230. Subseqüentemente, a unidade de controle deexibição 240 controla a unidade de exibição 250 para exibir a imagemcomposta contida., na memória de imagem 230 (etapa S989).Subseqüentemente, determinação é feita se ou não a imagem contida namemória de imagem 230 é o quadro imediatamente antes do quadro mais àfrente na seção visada de composição de imagem servindo como um objetivode composição (etapa S990). No caso que a imagem contida na memória deimagem 230 não é o quadro imediatamente depois do quadro mais à frente(etapa S990), o fluxo retorna à etapa S986, onde o processo de composição deimagem é repetido do último quadro para o quadro imediatamente depois doquadro mais à frente (etapas S986 por S989).

Por outro lado, no caso que a imagem contida na memória deimagem 230 é o quadro imediatamente antes do quadro mais à frente (etapaS990), a imagem do quadro mais à frente é extraída (etapa S991).

Subseqüentemente, a unidade transformadora de imagem 190 usa osparâmetros de transformação afim correlatados com a imagem extraída doquadro mais à frente para sujeitar a imagem do quadro mais à frente àtransformação afim (etapa S992). Note que os parâmetros de transformaçãoafim correlatados com o quadro mais à frente são os valores de uma matrizunitária, e por conseguinte, a imagem do quadro mais à frente não étransformada de fato. Subseqüentemente, a unidade compositora de imagem220 adiciona um quadro branco à periferia da imagem do quadro mais à frentesujeito à transformação afim, e contém a imagem à qual o quadro branco foiadicionado na memória de imagem 230 (etapa S993). Quer dizer, a imagemsujeita à transformação afim à qual o quadro branco foi adicionado écomposta sobre a imagem de história contida na memória de imagem 230.Subseqüentemente, a unidade de controle de exibição 240 controla a unidadede exibição 250 para exibir a imagem composta contida na memória deimagem 230 (etapa S994).

2. Segunda Concretização

Exemplo de Configuração de Aparelho de Processamento de Imagem

Com a primeira concretização da presente invenção, umexemplo foi descrito em que na hora de calcular parâmetros de transformaçãoafim relativos a entre quadros, a taxa de um ponto de aspecto que exibemovimento dominante é calculada como uma contagem de determinação deconfiabilidade. Descrição será feita em detalhes abaixo relativa a um exemploem que uma contagem de determinação de confiabilidade é calculada usandooutro método de cálculo, com referência aos desenhos. Aqui, a configuraçãofuncional de acordo com a segunda concretização da presente invenção égeralmente igual àquela do aparelho de processamento de imagem 100,exceto que a unidade detectora de trabalho de câmera 120 incluída noaparelho de processamento de imagem 100 mostrado na Figura 1 difere.Portanto, a configuração diferente da unidade detectora de trabalho de câmera120 será denotada com os mesmos numerais de referência como aqueles naprimeira concretização da presente invenção, e só a configuração tendo umafunção diferente será descrita, e outra descrição será omitida.

Figura 39 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de uma unidade detectora de trabalho de câmera 125de acordo com a segunda concretização da presente invenção. A unidadedetectora de trabalho de câmera 125 inclui uma unidade extratora de ponto deaspecto 121, uma unidade calculadora de fluxo óptico 122, uma unidadecalculadora de parâmetro de trabalho de câmera 123, e uma unidadecalculadora de contagem de determinação de confiabilidade 126. Aqui, aunidade extratora de ponto de aspecto 121, unidade calculadora de fluxoóptico 122, e unidade calculadora de parâmetro de trabalho de câmera 123 sãoiguais àquelas na unidade detectora de trabalho de câmera 120 mostrada naFigura 2. Portanto, descrição será feita abaixo com a unidade calculadora decontagem de determinação de confiabilidade 126 como o centro. Também,com este exemplo, descrição será feita relativa a um exemplo em que umacontagem de determinação de confiabilidade é calculada usando" o valor dediferença de luminância entre pixéis incluídos em uma região sobreposta dedois quadros consecutivos.

A unidade calculadora de contagem de determinação deconfiabilidade 126 usa os parâmetros de trabalho de câmera produzidos daunidade calculadora de parâmetro de trabalho de câmera 123 para calcularuma contagem de determinação de confiabilidade relativa a dois quadrosconsecutivos compondo a imagem em movimento produzido da unidade deentrada de imagem em movimento 110, e produz a contagem de determinaçãode confiabilidade calculada para a unidade de controle de gravação 150. Noteque o cálculo de contagem de determinação de confiabilidade será descritoem detalhes com referência à Figura 40.

Exemplo de Cálculo de Contagem de Determinação de Confiabilidade

Figura 40 é um diagrama ilustrando um panorama de ummétodo de cálculo na hora de calcular uma contagem de determinação deconfiabilidade pela unidade calculadora de contagem de determinação deconfiabilidade 126 de acordo com a segunda concretização da presenteinvenção. Figura 40 ilustra um quadro prévio 590 e um quadro subseqüenteno eixo temporal como dois quadros consecutivos compondo a imagem emmovimento. Também, (a) na Figura 40 ilustra um caso onde o quadro 591 ésujeito à transformação afim com o quadro 590 como uma referência, e oquadro 591 depois que transformação afim é sobreposto sobre o quadro 590.

Também, a gama de uma região sobreposta 592 entre os quadros 590 e 591 éindicada com uma linha pesada. Na Figura 40, (b) ilustra o quadro 590mostrado em (a) na Figura 40, e (c) na Figura 40 ilustra o quadro 591mostrado em (a) na Figura 40. Também, nos deixe dizer que um quadradoincluído nos quadros 590 e 591 indica um pixel compondo cada quadro. Noteque (b) e (c) na Figura 40 ilustram só os pixéis incluídos na região sobreposta592 usando um quadrado.

No caso que a unidade calculadora de contagem dedeterminação de confiabilidade 126 calcula uma contagem de determinaçãode confiabilidade, primeiro, com respeito aos dois quadros consecutivoscompondo a imagem em movimento produzido da unidade de entrada deimagem em movimento 110, o quadro subseqüente é sujeito à transformaçãoafim com o quadro prévio..no eixo temporal como um quadro de referência.Esta transformação afim é executada usando os parâmetros de trabalho decâmera produzidos da unidade calculadora de parâmetro de trabalho decâmera 123 (parâmetros de transformação afim relativos ao quadro prévio(quadro de referência) e ao quadro subseqüente). Subseqüentemente, aunidade calculadora de contagem de determinação de confiabilidade 126calcula o valor absoluto do valor de diferença de luminância entre pixéisincluídos na região sobreposta depois de transformação afim.Subseqüentemente, a unidade calculadora de contagem de determinação deconfiabilidade 126 calcula o valor total do valor absoluto do valor dediferença calculado para cada pixel, e calcula como uma contagem dedeterminação de confiabilidade um valor obtido dividindo o valor totalcalculado pelo número de pixéis servindo como objetivos de cálculo.

Por exemplo, como mostrado em (a) por (c) na Figura 40, nosdeixe assumir uma coordenada x-y, em que o canto superior esquerdo doquadro 590 é tomado como a origem, o lado do lado superior do quadro 590 étomado como o eixo x, e o lado do lado esquerdo do quadro 590 é tomadocomo o eixo y. Com esta coordenada x-y, por exemplo, nos deixe dizer que ovalor de luminância nas coordenadas (i, j) da região sobreposta do quadro 590é Il(i, j), e o valor de luminância nas coordenadas (i, j) da região sobrepostado quadro 591 é I2(i, j). Também, se diz que o número de pixéis usados paracálculo de um valor de diferença é Pnum, uma contagem de determinação deconfiabilidade SHS1 pode ser obtida com a expressão seguinte.

<formula>formula see original document page 106</formula>

Aqui, R representa a região sobreposta entre os quadros 590 e591. Quer dizer, como setas 593 por 595 mostradas em (b) e (c) na Figura 40,de pixéis incluídos na região sobreposta entre os quadros 590 e 591, o valorabsoluto do valor de diferença de luminância de dois pixéis dispostos nasposições correspondentes é calculado seqüencialmente. Subseqüentemente, acontagem de determinação de confiabilidade SHSl é calculada usando osvalores absolutos destes valores de diferença.

Assim, a contagem de determinação de confiabilidadecalculada pela unidade calculadora de contagem de determinação deconfiabilidade 126 é saída à unidade de controle de gravação 150, e é gravadana unidade de armazenamento de metadados 210. Especificamente, acontagem de determinação de confiabilidade é gravada na contagem dedeterminação de confiabilidade 217 do arquivo de metadados 211 mostradono Anexo I. Note que o conteúdo gravado da contagem de determinação deconfiabilidade 217 tem um valor numérico diferente do caso mostrado noAnexo I. Também, a unidade selecionadora de seção 160 usa esta contagemde determinação de confiabilidade para executar seleção de uma seção visadade composição de imagem baseada em se ou não a contagem de determinaçãode confiabilidade excede um limiar. Por exemplo, no caso que a contagem dedeterminação de confiabilidade está abaixo de um certo limiar, aconfiabilidade pode ser determinada ser alta.

Descrição foi feita até agora relativa ao caso em que umacontagem de determinação de confiabilidade é calculada usando todos ospixéis incluídos na região sobreposta dos dois quadros consecutivos. Porém,por exemplo, uma contagem de determinação de confiabilidade pode sercalculada usando informação relativa a um ponto de aspecto servindo comoum objetivo de cálculo de parâmetro de transformação afim pela unidadecalculadora de parâmetro de trabalho de câmera 123.

Exemplo de Configuração de Aparelho de Processamento de Imagem

Figura 41 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional da unidade detectora de trabalho de câmera 127 deacordo com a segunda concretização da presente invenção. A unidadedetectora de trabalho de câmera 127 inclui uma unidade extratora de ponto deaspecto 121, uma unidade, calculadora de fluxo óptico 122, uma unidadecalculadora de parâmetro de trabalho de câmera 123, e uma unidadecalculadora de contagem de determinação de confiabilidade 128. Aqui, aunidade extratora de ponto de aspecto 121, unidade calculadora de fluxoóptico 122, e unidade calculadora de parâmetro de trabalho de câmera 123 sãoiguais àquelas da unidade detectora de trabalho de câmera 120 mostrada naFigura 2. Portanto, descrição será feita abaixo com a unidade calculadora decontagem de determinação de confiabilidade 128 como o centro. Também,com este exemplo, descrição será feita relativa a um exemplo em que, depixéis incluídos na região sobreposta dos dois quadros consecutivos, umacontagem de determinação de confiabilidade é calculada usando o valor dediferença de luminância de pixéis dispostos ao redor de um ponto de aspectoque exibe movimento dominante.

A unidade calculadora de contagem de determinação deconfiabilidade 128 calcula uma contagem de determinação de confiabilidaderelativa a dois quadros consecutivos compondo a imagem em movimentoproduzido da unidade de entrada de imagem em movimento 110, e produz acontagem de determinação de confiabilidade calculada para a unidade decontrole de gravação 150. Com este cálculo de determinação de contagem deconfiabilidade, os parâmetros de trabalho de câmera calculados pela unidadecalculadora de parâmetro de trabalho de câmera 123, e os pontos de aspectousados para este cálculo de parâmetro de trabalho de câmera são usados. Noteque o cálculo de contagem de determinação de confiabilidade será descritoem detalhes com referência à Figura 42.

Cálculo de Contagem de Determinação de Confiabilidade

Figura 42 é um diagrama ilustrando um panorama de ummétodo de cálculo na hora de calcular uma contagem de determinação deconfiabilidade pela unidade calculadora de contagem de determinação deconfiabilidade 128 de acordo com a segunda concretização da presenteinvenção. Agora, a relação entre os quadros 590 e 591 mostrados na Figura42, e a região sobreposta 592 entre os quadros 590 e 591 é igual àquela naFigura 40, e por conseguinte, descrição disso será omitida aqui. Note que (b) e(c) na Figura 42 ilustram a gama da região sobreposta 592 usando uma linhatracejada. Também, com cada pixel (indicado com um quadrado) incluído naregião sobreposta 592 mostrada em (a) por (c) na Figura 42, um ponto deaspecto que exibe movimento dominante é representado com um únicocírculo dentro de um quadrado, e os outros pontos de aspecto sãorepresentados com um círculo duplo dentro de um quadrado. Por exemplo, aregião sobreposta 592 mostrada em (a) por (c) na Figura 40 inclui quatropontos de aspecto que exibem movimento dominante, e o outro único pontode aspecto. Com este exemplo, descrição será feita relativa a um exemplo emque, de pixéis incluídos na região sobreposta 592, pixéis (por exemplo, oitopixéis vizinhos) ao redor de quatro pontos de aspecto que exibe movimentodominante são usados para calcular um valor de diferença de luminância.Aqui, dos pixéis incluídos na região sobreposta 592, pixéis ao redor do outroúnico ponto de aspecto não são usados. Também, por exemplo, no caso que ospixéis ao redor dos quatro pontos de aspecto que exibem movimentodominante, e os pixéis ao redor do outro único ponto de aspecto são comuns,prioridade é dada a um ponto de aspecto, e estes pixéis não são usados paracálculo. Quer dizer, com o exemplo mostrado na Figura 42, cada pixelincluído em regiões 601 por 608 é usado como um objetivo de cálculo decontagem de determinação de confiabilidade.

No caso que a unidade calculadora de contagem dedeterminação de confiabilidade 128 calcula uma contagem de determinaçãode confiabilidade, primeiro, dos dois quadros consecutivos compondo aimagem em movimento produzido da unidade de entrada de imagem emmovimento 110, o quadro prévio é tomado como um quadro de referência noeixo temporal, e o quadro subseqüente é sujeito à transformação afim. Estatransformação afim é igual ao exemplo mostrado na Figura 40.Subseqüentemente, a unidade calculadora de contagem de determinação deconfiabilidade 128 calcula, dos pixéis incluídos nos dois quadrosconsecutivos, o valor absoluto do valor de diferença de luminância de pixéisao redor de um ponto de aspecto que exibe movimento dominante incluído naregião sobreposta depois de transformação afim. Subseqüentemente, aunidade calculadora de contagem de determinação de confiabilidade 128calcula o valor total do valor absoluto do valor de diferença calculado paracada pixel ao redor de um ponto de aspecto que exibe movimento dominante,e calcula como uma contagem de determinação de confiabilidade um valorobtido dividindo o valor total calculado pelo número de pixéis servindo comoobjetivos de cálculo.

Por exemplo, nos deixe assumir uma coordenada x-y em que ocanto superior esquerdo do quadro 590 é tomado como a origem, o lado dolado superior do quadro 590 é tomado como o eixo x, e o lado do ladoesquerdo do quadro 590 é tomado como o eixo y. Com estas coordenadas x-y,por exemplo, nos deixe dizer que o valor de luminância nas coordenadas (i, j)da região sobreposta do quadro 590 é Ill(i, j), e o valor de luminância nascoordenadas (i, j) da região sobreposta do quadro 591 é I12(i, j). Também, sediz que o número de pixéis usados para cálculo de um valor de diferença éPl num, uma contagem de determinação de confiabilidade SHS2 pode serobtida com a expressão seguinte.

<formula>formula see original document page 110</formula>

Aqui, R1 representa as regiões (por exemplo, oito regiõesvizinhas) ao redor de um ponto de aspecto que exibe movimento dominante,da região sobreposta entre os quadros 590 e 591. Note que no caso que ospixéis ao redor de um ponto de aspecto que exibe movimento dominante, e ospixéis ao redor do outro ponto de aspecto são comuns, nos deixe dizer que Rlé tomado como uma região na qual tais pixéis não são incluídos. Quer dizer, ovalor absoluto do valor de diferença de luminância de dois pixéis dispostosnas posições correspondentes é calculado relativo às regiões 601 por 608mostradas em (b) e (c) na Figura 42. Subseqüentemente, os valores absolutosdestes valores de diferença são usados para calcular a contagem dedeterminação de confiabilidade SHS 2.

Assim, a contagem de determinação de confiabilidadecalculada pela unidade calculadora de contagem de determinação deconfiabilidade 128 é saída à unidade de controle de gravação 150, e é gravadana unidade de armazenamento de metadados 210. Especificamente, acontagem de determinação de confiabilidade é gravada na contagem dedeterminação de confiabilidade 217 do arquivo de metadados 211 mostradono Anexo I. Note que o conteúdo gravado da contagem de determinação deconfiabilidade 217 tem um valor numérico diferente do caso mostrado noAnexo I. Também, a unidade selecionadora de seção 160 usa esta contagemde determinação de confiabilidade para executar seleção de uma seção visadade composição de imagem baseada em se ou não a contagem de determinaçãode confiabilidade excede um limiar. Por exemplo, no caso que a contagem dedeterminação de confiabilidade está abaixo de um certo limiar, aconfiabilidade pode ser determinada ser alta.

Um exemplo foi descrito até agora em que um valor dediferença de luminância é usado para calcular uma contagem de determinaçãode confiabilidade. Porém, um arranjo pode ser feito em que, em vez de umvalor de diferença de luminância, por exemplo, um valor de diferença écalculado considerando cada um de G (Verde), R (Vermelho), e B (Azul), ebaseado neste valor de diferença, uma contagem de determinação deconfiabilidade é calculada.

Também, por exemplo, um arranjo pode ser feito em que umfiltro Gaussiano é aplicado às imagens correspondendo a dois quadrosconsecutivos para alisar as imagens, as imagens alisadas são reduzidas, e ospixéis das imagens reduzidas são usados para calcular uma contagem dedeterminação de confiabilidade da mesma maneira como acima.

Também, um exemplo foi descrito até agora em que asimagens correspondendo aos dois quadros consecutivos são usadas paracalcular uma contagem de determinação de confiabilidade, mas por exemplo,informação de sensor de câmera pode ser usada para calcular uma contagemde determinação de confiabilidade. Por exemplo, no caso que uma imagemem movimento é gravado por uma câmera incluindo um sensor de aceleraçãotriaxial e um sensor de giro triaxial, a informação de sensor produzida destessensores é gravada de uma maneira correlatada com a imagem em movimentocomo informação de movimento de câmera. Subseqüentemente, a imagem emmovimento correlatado com a informação de sensor é entrado à unidade deentrada de imagem em movimento 110, e o valor de diferença entre ainformação de movimento calculada relativa a cada quadro compondo esteimagem em movimento, e a informação de movimento especificada com ainformação de sensor, é calculada. Subseqüentemente, este valor de diferençapode ser usado como uma contagem de determinação de confiabilidade. Nestecaso, no caso que a contagem de determinação de confiabilidade não excedeum limiar, confiabilidade pode ser determinada ser alta. Quer dizer, ummétodo pode ser empregado em que, no caso que o grau de casamento entremovimento de imagem estimado usando a informação de sensor saída dacâmera, e movimento de imagem calculado de uma imagem compondo umaimagem em movimento é grande, confiabilidade é determinada ser alta.

3. Terceira Concretização

Exemplo de Operação de Aparelho de Processamento de Imagem

Com a primeira concretização da presente invenção, descriçãofoi feita relativa a um exemplo em que uma face ou face sorridente incluídaem uma imagem é usada para selecionar um quadro mais à frente. Com aterceira concretização da presente invenção, descrição será feita em detalhesrelativa a um exemplo em que atributos de face ou um estado de facediferente de uma face sorridente relativa a uma face são usados paraselecionar um quadro mais à frente, com referência aos desenhos.

Figura 43 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de um aparelho de processamento de imagem 101 deacordo com a terceira concretização da presente invenção. O aparelho deprocessamento de imagem 101 inclui uma unidade selecionadora de imagemvisada de composição 171, uma unidade de determinação de estado deatributo de face 280, uma unidade de armazenamento da informação dereferência 281, e uma unidade de armazenamento de metadados 290. Noteque a outra configuração funcional é geralmente igual àquela no aparelho deprocessamento de imagem 100 mostrado na Figura 1, e por conseguinte, osmesmos numerais de referência como os numerais de referência do aparelhode processamento de imagem 100 são denotados a isso, descrição será feitacom componentes tendo uma função diferente como o centro, e outradescrição será omitida.

A unidade selecionadora de imagem visada de composição171 usa metadados armazenados na unidade de gravação de metadados 290para selecionar um quadro usado para criar uma imagem composta de quadrosincluídos na seção visada de composição de imagem saída da unidadeselecionadora de seção 160, e produz informação de imagem visada decomposição relativo ao quadro selecionado (informação de seleção de quadro)para a unidade de controle de gravação 150. Note que a seleção de imagemvisada de composição será descrita em detalhes com referência às Figuras 45por 48.

A unidade determinadora de estado de atributo de face 280 usaa informação de referência armazenada na unidade de armazenamento dainformação de referência 281 para determinar os atributos e estado da facedetectada pela unidade detectora de face 130, e produz resultados dedeterminação para a unidade de controle de gravação 150. Especificamente, aunidade determinadora de estado de atributo de face 280 calcula um valor decorrelação que indica efeito de correlação entre uma imagem de face extraídade uma imagem compondo a imagem em movimento produzido da unidadede entrada de imagem em movimento 110 e normalizada, e vários tipos dedados armazenados na unidade de armazenamento da informação dereferência 281, determina a altura de efeito de correlação baseado no valor decorrelação calculado, e extrai vários tipos de dados relativos à imagem de facenormalizada. Tal processo de extração é executado repetidamente, e baseadoem vários tipos de dados extraídos, a expressão facial e assim sucessivamenteda imagem de face normalizada são determinados. Assim, a fim dereconhecer a face de uma pessoa, uma técnica pode ser empregada paraexecutar casamento de modelo com um banco de dados no qual um grandenúmero de dados de face está integrado (por exemplo, veja Publicação dePedido de Patente Japonesa Não Examinada No. 2003-271933, Publicação dePedido de Patente Japonesa Não Examinada No. 2004-30629, etc.). Porexemplo, um banco de dados de face sorridente é estabelecido de um grandenúmero de imagens de amostra de face sorridente previamente, isto e umaimagem de face extraída parcialmente da imagem são sujeitas processo decasamento de modelo, por meio de que determinação pode ser feita se a face éuma face sorridente ou uma face não sorridente. Semelhantemente,determinação também pode ser feita relativa aos outros atributos ou estados.

Note que determinação pode ser feita usando o valor avaliado mostrado naprimeira concretização da presente invenção. Também, a unidadedeterminadora de estado de atributo de face 280 é um exemplo da unidadedeterminadora referida no Resumo da Invenção.

A unidade de armazenamento da informação de referência 281armazena informação de referência tais como várias porções de uma faceusada para determinação de gênero, e provê a informação de referênciaarmazenada para a unidade determinadora de estado de atributo de face 280.

Note que a informação de referência armazenada na unidade dearmazenamento da informação de referência 281 será descrita em detalhescom referência à Figura 44A e ao Anexo VIII.

A unidade de armazenamento de metadados 290 armazenavários tipos de informação saída da unidade detectora de trabalho de câmera120, unidade detectora de face 130, e unidade determinadora de estado deatributo de face 280 de uma maneira correlatada com uma imagem emmovimento e um quadro como um arquivo de metadados baseado no controleda unidade de controle de gravação 150. Também, a unidade dearmazenamento de metadados 290 provê um arquivo de metadados para aunidade selecionadora de seção 160 e a unidade selecionadora de composiçãoimagem visada 171. Note que o arquivo de metadados armazenado na unidadede armazenamento de metadados 290 será descrito em detalhes comreferência à Figura 44A e ao Anexo VIII.

Figura 44A e Anexo VIII são esquemas ilustrandoesquematicamente conteúdo armazenado na unidade de armazenamento dainformação de referência 281 e na unidade de armazenamento de metadados290, de acordo com a terceira concretização da presente invenção. Figura 44Ailustra informação de referência armazenada na unidade de armazenamento dainformação de referência 281. Esta informação de referência é, por exemplo,uma imagem de si mesmo como os olhos, boca, ou similar, isto é, um bancode dados de aspecto servindo como a face de uma pessoa, um banco de dadosde aspecto relativo à face de uma pessoa específica, ou similar. Por exemplo,como mostrado na Figura 44A, um banco de dados de gênero 282, um bancode dados de idade 283, um banco de dados de face sorridente 284, um bancode dados de fechamento de olho 285, e um banco de dados de caracteres 286são armazenados na unidade de armazenamento da informação de referência281. O banco de dados de gênero 282 é um banco de dados usado paradeterminar o gênero de uma imagem de face, e o banco de dados de idade 283é um banco de dados usado para determinar a idade de uma imagem de face.Também, o banco de dados de face sorridente 284 é um banco de dados usadopara determinar a face sorridente de face de uma imagem de face, e o bancode dados de fechamento de olho 285 é um banco de dados usado paradeterminar fechamento de olho de uma imagem de face. Também, o banco dedados de caracteres 286 é um banco de dados usado para determinar umapessoa determinada pelo usuário como caracteres. Em geral, de acordo comdados de aspecto, um grande número de vários tipos de bancos de dados podeser contido de acordo com capacidade de armazenamento relativamentepequena quando comparada a uma própria imagem.

Anexo VIII ilustra esquematicamente um arquivo demetadados 291 armazenado na unidade de armazenamento de metadados 290correlatado com o arquivo de imagem em movimento 201 armazenado naunidade de armazenamento de imagem em movimento 200. Note que arelação de correspondência entre o arquivo de imagem em movimento 201 e oarquivo de metadados 291 é igual ao exemplo mostrado no Anexo I, e porconseguinte, descrição disso será omitida aqui. Um ID de imagem emmovimento 292, um número de quadro 293, uma parâmetro de transformaçãoafim 294, uma contagem de determinação de confiabilidade 295, informaçãodetecção de face 296, gênero 297, idade 298, face sorridente 299, fechamentode olho 287, e caracteres 288 são armazenados no arquivo de metadados 291de uma maneira correlatada. Note que o ID de imagem em movimento 292,número de quadro 293, parâmetro de transformação afim 294, contagem dedeterminação de confiabilidade 295, e informação detecção de face 296 sãoiguais àqueles mostrados no Anexo I, e por conseguinte, descrição disso seráomitida aqui.

O gênero 297 é gênero determinado relativo à face incluída emcada quadro da imagem correspondendo ao número de quadro 293, onde oresultado de determinação produzido da unidade determinadora de estado deatributo de face 280 é armazenado. Por exemplo, no caso que nenhuma faceestá incluída no quadro correspondente, nada é armazenado. Por exemplo, nocaso que a face incluída no quadro correspondente foi determinada ser umhomem, "1" é armazenado no gênero 297. Por outro lado, no caso que a faceincluída no quadro correspondente foi determinado ser uma mulher, "0" éarmazenado no gênero 297.

A idade 298 é uma idade determinada relativa à face incluídaem cada quadro da imagem em movimento correspondendo ao número dequadro 293, onde o resultado de determinação produzido da unidadedeterminadora de estado de atributo de face 280 é armazenado. Por exemplo,no caso que nenhuma face está incluída no quadro correspondente, nada éarmazenado. Por exemplo, no caso que a face incluída no quadrocorrespondente foi determinada ser um adulto, "1" é armazenado na idade298. Por outro lado, no caso que a face incluída no quadro correspondente foideterminada ser uma criança, "0" é armazenado na idade 298.

A face sorridente 299 está se houver uma face sorridentedeterminada relativa a uma face incluída em cada quadro da imagem emmovimento correspondendo ao número de quadro 293, onde o resultado dedeterminação produzido da unidade determinadora de estado de atributo deface 280 é armazenado. Por exemplo, no caso que nenhuma face está incluídano quadro correspondente, nada é armazenado. Por exemplo, no caso que aface incluída no quadro correspondente foi determinada ser uma facesorridente, "1" é armazenado na face sorridente 299. Por outro lado, no casoque a face incluída no quadro correspondente foi determinada ser uma facenão sorridente, "0" é armazenado na face sorridente 299.

O fechamento de olho 287 é se houver uma face de olhofechado determinada relativa a uma face incluída em cada quadro da imagemem movimento correspondendo ao número de quadro 293, onde o resultadode determinação produzido da unidade determinadora de estado de atributo deface 280 é armazenado. Por exemplo, no caso que nenhuma face está incluídano quadro correspondente, nada é armazenado. Por exemplo, no caso que aface incluída no quadro correspondente foi determinada ser uma face de olhofechado, "1" é armazenado no fechamento de olho 287. Por outro lado, nocaso que a face incluída no quadro correspondente foi determinada ser umaface sem olho fechado, "0" é armazenado no fechamento de olho 287.

Os caracteres 288 é se houver um caractere determinadorelativo a uma face incluída em cada quadro da imagem em movimentocorrespondendo ao número de quadro 293, onde o resultado de determinaçãoproduzido da unidade determinadora de estado de atributo de face 280 éarmazenado. Por exemplo, no caso que nenhuma face está incluída no quadrocorrespondente, nada é armazenado. Por exemplo, no caso que a face incluídano quadro correspondente foi determinada ser Sr. A, "A" é armazenado noscaracteres 288. Por outro lado, no caso que a face incluída no quadrocorrespondente foi determinada ser Sr. Β, "B" é armazenado nos caracteres288.

Exemplo de Seleção de Imagem Visada de Composição

Figura 45 é um diagrama ilustrando um exemplo de uma telade seleção exibida na unidade de exibição 250 de acordo com a terceiraconcretização da presente invenção. Uma tela de seleção 610 é uma tela deseleção em que o usuário executa uma operação de seleção para exibir umaimagem composta desejada. A tela de seleção 610 inclui, por exemplo,campos de verificação usados para selecionar um gênero 611, idade 612,caracteres 613, e expressão facial 614 como atributos faciais. Também, a telade seleção 610 inclui uma seqüência de composição 615 usada para selecionaruma seqüência de composição, e um botão de puxar abaixo 617 usado paraselecionar uma taxa de sobreposição 616. Também, a tela de seleção 610inclui um botão de "exibição de imagem composta de estilo de panorama"619, e um botão de "cancelamento" 620.

Por exemplo, nos deixe dizer que, com a tela de seleção 610,um cursor 618 é usado para adicionar uma verificação ao campo feminino dogênero 611, adicionar um verificação ao campo de adulto da idade 612,adicionar uma verificação ao campo de caracteres dos caracteres 613, eadicionar uma verificação ao campo de face sorridente da expressão facial614. Também, no caso de adicionar uma verificação ao campo de caracteresdos caracteres 613, os nomes dos caracteres registrados no banco de dados decaracteres 286 (por exemplo, Sr. A, Sr. B, e Sr. C) são exibidos, umaverificação é adicionada ao campo de um nome desejado destes caracteres.

Por exemplo, um verificação é adicionada a Sr. B. Também, com a tela deseleção 610, o cursor 618 é usado para adicionar uma verificação ao campoascendente da seqüência de composição 615. Também, o cursor 618 é usadopara apertar o botão de puxar abaixo 617, por meio de que uma lista de taxade sobreposição de "alta", "média", e "baixa" são exibidas como mostrado naFigura 45. Um taxa de sobreposição desejada pode ser selecionada desta listade taxa de sobreposição. Aqui, por exemplo, no caso que "alta" foiselecionada, uma taxa de sobreposição de 60% por 70% é selecionada, e nocaso que "média" foi selecionada, uma taxa de sobreposição de 60% por 40%é selecionada, e no caso que "baixa" foi selecionada, uma taxa desobreposição de 40% por 35% é selecionada. Note que, com este exemplo, ousuário seleciona uma taxa de sobreposição desejada da lista de taxa desobreposição, mas o usuário pode introduzir uma taxa de sobreposiçãodesejado diretamente. Note que um item que o usuário não desejaespecificamente não pode ser selecionado.

Também, no caso que as operações de seleção pelo usuárioconsiderando cada um destes itens foram completadas, o usuário usa o cursor618 para apertar o botão de "exibição de imagem composta de estilo depanorama" 619. Assim, a informação de seleção de cada item selecionado nahora de apertar o botão de "exibição de imagem composta de estilo depanorama" 619 é produzida da unidade aceitadora de operação 260 para aunidade selecionadora de imagem visada de composição 171. Baseado nestainformação de seleção, a unidade selecionadora de imagem visada decomposição 171 executa um processo de seleção de quadro. Note que, nobotão de "cancelamento" 620 sendo apertado, o estado de seleção a cada itemé liberado.

Anexo IX é um diagrama ilustrando um exemplo de contagensusadas para cálculo de uma contagem de determinação de seleção pelaunidade selecionadora de imagem visada de composição 171 de acordo com aterceira concretização da presente invenção. A contagem de determinação deseleção é um valor usado para selecionar um quadro, e é calculado baseadoem cada pedaço de informação relativa a uma face incluída em um quadro.Também, no caso que faces múltiplas são incluídas em um quadro, contagensrelativas a estas faces são calculadas para cada face, e o valor ao qual acontagem para cada face é adicionada é calculado como a contagem dedeterminação de seleção. Também, a contagem de determinação de seleção écalculada, por exemplo, baseada no item selecionado na tela de seleção 610mostrada na Figura 45, a contagem mostrada na Figura 46, e os atributos eestado relativos a uma face. Como os atributos e estado relativos a uma face,os metadados armazenados na unidade de armazenamento de metadados 290são usados.

Especificamente, um valor de atributo Zl que indica o atributode face determinado, um valor de estado Jl que indica o estado de facedeterminado é calculado, e o valor de atributo Zl e o valor de estado Jl sãoadicionados, por meio de que a contagem de determinação de seleção écalculada. Aqui, o valor de atributo Zl é, por exemplo, um valor determinadocom um gênero 621, idade 622, e se ou não há uma pessoa específica 623,como atributos de face. Também, o valor de estado Jl é, por exemplo, umvalor determinado com uma face sorridente 624, fechamento de olho 625,uma posição de face dentro da imagem (distância 626 do centro de imagem),um tamanho de face 627 dentro da imagem, como estados de face.

Por exemplo, com respeito ao gênero 621, idade 622, e pessoaespecífica 623, determinação é feita se ou não o item selecionado na tela deseleção 610 mostrada na Figura .45, e o atributo de face incluído na imagemservindo como um objetivo de cálculo de contagem de determinação deseleção estão casados. A contagem mostrada no Anexo IX relativa ao itemcasado é adicionada ao valor de atributo Zl. Também, com respeito à facesorridente 624, no caso que o item selecionado na tela de seleção 610mostrada na Figura 45, e o estado de uma face (face sorridente) incluída naimagem servindo como um objetivo de cálculo de contagem de determinaçãode seleção estão casados, a contagem mostrada no Anexo IX é adicionada aovalor de estado Jl. Também, com respeito ao fechamento de olho 625, adistância 626 do centro de imagem, e o tamanho de face 627, cada contagemcorrespondendo aos metadados armazenados na unidade de armazenamentode metadados 290 é adicionada ao valor de estado Jl. Subseqüentemente, ovalor de atributo calculado Zle valor de estado Jl são adicionados, por meiode que a contagem de determinação de seleção é calculada.

Também, no caso que múltiplas faces estão incluídas em umquadro, o valor de atributo Zleo valor de estado Jl são calculados para cadaface, e um valor obtido adicionando o valor de atributo Zleo valor de estadoJl é calculado como a contagem de determinação de seleção da imagemdisso. Note que, com este exemplo, cada valor é adicionado na hora decalcular cada contagem, mas por exemplo, cada contagem pode ser calculadamultiplicando cada valor. Também, um arranjo pode ser feito em que ocoeficiente de ponderação correspondendo a um atributo facial e estado éusado em vez de cada contagem mostrada na Figura 46, por meio de que cadacontagem é calculada.Uma imagem mais à frente (quadro mais à frente) éselecionada usando a contagem de determinação de seleção calculada. Querdizer, a contagem de determinação de seleção é calculada considerando cadaimagem incluída na seção visada de composição de imagem selecionada pelaunidade selecionadora de seção 160, e das contagens de determinação deseleção calculadas, uma imagem tendo o valor calculado mais alto éselecionada como uma imagem mais à frente. Subseqüentemente, os outrosquadros diferentes do quadro mais à frente são selecionados. Este método deseleção será descrito em detalhes com referência às Figuras 47A por 48B.

Figuras 47A e 47B são diagramas ilustrando um panorama deum método de seleção no caso que seleção de quadro é executada pelaunidade selecionadora de imagem visada de composição 171 de acordo com aterceira concretização da presente invenção. Figura 47A ilustra um exemplono caso de calcular a contagem de determinação de seleção de um quadro sersobreposto com o lado inferior do quadro já selecionado. Por exemplo, nosdeixe dizer que um quadro 640 é um quadro selecionado como o quadro maisà frente. No caso que outro quadro é selecionado com o quadro 640 como umquadro de referência, as contagens relativas a uma face incluída na região aser sobrescrita com o quadro 640 são excluídas. Por exemplo, nos deixe dizerque no caso que faces 643 por 646 estão incluídas em um quadro 641, pelomenos uma parte da imagem 643 e 644 é incluída em uma região sobreposta642 sobre o quadro mais à frente 640. Neste caso, por exemplo, no caso quenecessidade de seleção é determinada relativa ao quadro 641, determinação éfeita se ou não a região sobreposta 642 tem uma taxa de sobreposição dentrode uma gama predeterminada. Nos deixe dizer que a gama de colocação destataxa de sobreposição é o conteúdo selecionado na tela de seleção 610mostrada na Figura 45. Subseqüentemente, no caso que a região sobreposta642 não tem uma taxa de sobreposição dentro de uma gama predeterminada, oquadro 641 não é selecionado. No caso que a região sobreposta 642 tem umataxa de sobreposição dentro de uma gama predeterminada, a contagem dedeterminação de seleção é calculada relativa ao quadro 641. Neste caso, acontagem de determinação de seleção do quadro 641 é calculada usando umvalor relativo às faces 645 e 646 não incluídas na região sobreposta 642 dasfaces 643 por 646 incluídas no quadro 641.

Figura 47B ilustra um exemplo no caso de calcular a contagemde determinação de seleção de um quadro ser sobreposto com o lado inferiordo quadro já selecionado. Por exemplo, um quadro 660 é um quadro servindocomo um objetivo de composição de sobrescrita sobre um quadro 650. Assim,no caso que outro servindo como um objetivo de composição de sobrescritasobre o quadro 650 é selecionado com o quadro 650 como um quadro dereferência, a contagem relativa a uma face incluída em uma região diferenteda região ser sobrescrita sobre o quadro 650 é adicionada. Por exemplo, nosdeixe dizer que faces 651 por 653 estão incluídas no quadro 650, e pelomenos uma parte da face 653 está incluída em uma região sobreposta 655sobre o quadro 660. Também, nos deixe dizer que as faces 661 por 664 estãoincluídas no quadro 660. Neste caso, por exemplo, no caso que necessidadede seleção é determinada relativa ao quadro 660, determinação é feita se ounão a região sobreposta 655 tem uma taxa de sobreposição dentro de umagama predeterminada. No caso que a região sobreposta 655 não tem uma taxade sobreposição dentro de uma gama predeterminada, o quadro 660 não éselecionado. Por outro lado, no caso que a região sobreposta 655 tem umataxa de sobreposição dentro de uma gama predeterminada, a contagem dedeterminação de seleção é calculada relativa ao quadro 660. Neste caso, acontagem de determinação de seleção do quadro 660 é calculada usandovalores relativos às faces 651, 652 e 661 por 664 não incluídas na regiãosobreposta 655 do quadro 650, das faces 651 por 653, e 663 e 664 incluídasnos quadros 650 e 660. Quer dizer, no caso que duas imagens são compostas,um valor relativo a uma face incluída em uma região servindo como umobjetivo de exibição é calculado como a contagem de determinação deseleção.

Figuras 48A e 48B são diagramas ilustrando um panorama dométodo de seleção no caso que seleção de quadro é executada pela unidadeselecionadora de imagem visada de composição 171 de acordo com a terceiraconcretização da presente invenção. Com o exemplo mostrado na Figuras48A e 48B, descrição será feita relativa a um caso onde a seqüência desobreposição é especificada pela operação do usuário previamente, Com esteexemplo, um método de seleção no caso de sobrescrever composição parauma nova imagem de uma imagem antiga a ponto em tempo de geração deimagem (no caso de sobrescrever composição na ordem ascendente) émostrado como um exemplo. Porém, nos deixe dizer que a imagemselecionada como o quadro mais à frente é sobrescrita-composta no lado detopo.

Figura 48A ilustra um exemplo em que uma imagem éselecionada para uma direção de procura 671 com um quadro mais à frente670 como um quadro de referência. Neste caso, procura é executada em umadireção rastreia a série de tempo de uma imagem mais à frente 676, e porconseguinte, as imagens já selecionadas são sobrepostas sobre a imagemservindo como um objetivo de seleção. Portanto, a contagem é calculadaenquanto levando em conta uma região sobreposta, e de imagens incluídas emuma gama da taxa de sobreposição especificada, uma imagem tendo acontagem mais alta é selecionada. Por exemplo, nos deixe dizer que imagens675 e 674 foram selecionadas com uma imagem 676 como uma imagem dereferência correspondendo ao quadro de referência 670. No caso quenecessidade de seleção da próxima imagem 673 é determinada com a imagem674 como uma imagem de referência, depois de determinação da taxa desobreposição de uma região sobreposta 677 entre as imagens 673 e 674 éexecutada, a contagem de determinação de seleção calculada relativa a umaface incluída na imagem 673 é calculada. Aqui, com respeito a uma face 678de quatro faces incluídas na imagem 673, uma porção disso é incluída naregião sobreposta 677. Portanto, no caso que a contagem de determinação deseleção relativa a uma face incluída na imagem 673 é calculada, a contagemde determinação de seleção é calculada usando três faces diferentes da face678 incluída na imagem 673.

Figura 48B ilustra um exemplo em que uma imagem éselecionada para uma direção de procura 682 com um quadro mais à frente680 como um quadro de referência. Neste caso, procura é executada nadireção de série de tempo de uma imagem mais à frente 683, e porconseguinte, uma imagem servindo como um objetivo de seleção é sobrepostasobre imagens já selecionadas. Porém, a imagem mais à frente 683 sozinha ésobreposta sobre todas as imagens. Portanto, com respeito à imagem 684, damesma maneira como com o caso mostrado na Figura 48A, a contagem écalculada levando em conta uma região sobreposta sobre a imagem 683, e deimagens incluídas em uma gama da taxa de sobreposição especificada, umaimagem tendo a contagem mais alta é selecionada. Por outro lado, comrespeito à imagens depois da imagem 685, uma imagem é selecionada em queuma contagem total entre uma imagem servindo como um objetivo de seleçãoe uma imagem sobreposta com a imagem anterior não é reduzida tanto quantopossível dentro de uma gama da taxa de sobreposição especificada, e umacontagem na imagem atual é alta. Quer dizer, uma imagem é selecionada emque uma contagem total na imagem composta já selecionada, e uma contagemna imagem atual são as mais altas.

Por exemplo, nos deixe dizer que as imagens 684 e 685 foramselecionadas com a imagem 683 correspondendo ao quadro de referência 680como uma imagem de referência. No caso que necessidade de seleção dapróxima imagem 686 é determinada com a imagem 685 como uma imagemde referência, determinação da taxa de sobreposição de uma região sobreposta687 entre as imagens 685 e 686 é executada. Subseqüentemente, a contagemde determinação de seleção calculada relativa a cada face incluída em umaimagem composta entre as imagens 683 por 685, e a imagem 686 é calculada.

Aqui, três faces incluídas na imagem 686 se tornam objetivos de cálculoindiferentemente se ou não as três faces estão incluídas na região sobreposta 687.

Também, por exemplo, no caso que composição de sobrescritaé executada para uma imagem antiga de uma nova imagem no ponto emtempo de geração de imagem (no caso de composição de sobrescrita na ordemdescendente), um processo de seleção é executado na direção oposta do casode ordem ascendente. Note que no caso que a ordem de composição não estáespecificada, procura é executada em uma direção que rastreia a série detempo da imagem mais à frente, e em uma direção para a série de tempo daimagem mais à frente. Assim, no caso que a ordem de composição não estáespecificada, até mesmo no caso que procura é executada em qualquerdireção, o processo de seleção da mesma maneira como com a Figura 48A éexecutado. Tal ordem de composição é usada como ordem de composição nahora de composição de imagem, e por conseguinte, tal ordem de composiçãoé armazenada dentro correlatada com a seção visada de composição deimagem da unidade de armazenamento de metadados de imagem visada decomposição 270.

Note que, com a terceira concretização da presente invenção,descrição foi feita relativa a um exemplo em que um atributo único relativo áuma face incluída em uma imagem é tomado como um atributo facial, umatributo relativo a um estado facial é tomado como um estado, e umacontagem de determinação de seleção é calculada usando cada pedaço deinformação relativo a uma tal face. Porém, uma contagem de determinação deseleção pode ser calculada usando cada pedaço de informação relativo a outroobjeto. Por exemplo, uma contagem de determinação de seleção pode sercalculada usando cada pedaço de informação relativo a vários tipos de objeto,tal como um animal de estimação tal como um gato, ou um cachorro, umanimal, uma casa, um veículo, ou similar. Por exemplo, no caso de reconhecerum animal de estimação individualmente, um animal de estimação pode serreconhecido prontamente de acordo com diferença tal como uma cor, umpadrão, a forma de orelhas, ou similar quando comparado ao caso dereconhecer uma pessoa individualmente. Também, uma contagem dedeterminação de seleção pode ser calculada usando um mapa de saliência.Este mapa de saliência representa uma região que uma pessoa observará poruma contagem para cada pixel. Por exemplo, no caso que a contagem dedeterminação de seleção de uma imagem é calculada usando este mapa desaliência, um valor obtido integrando a contagem para cada pixel de umaregião diferente de uma região sobreposta pode ser calculado como acontagem de determinação de seleção da imagem. Também, por exemplo, umvalor obtido adicionando a contagem calculada usando o mapa de saliência, euma contagem relativa a um objeto pode ser calculada como uma contagemde determinação de seleção.

Exemplo de Operação de Aparelho de Processamento de Imagem

A seguir, a operação do aparelho de processamento de imagem101 de acordo com a terceira concretização da presente invenção será descritacom referência aos desenhos.

Figura 49 é um fluxograma ilustrando o procedimento de umprocesso de seleção de quadro pelo aparelho de processamento de imagem101 de acordo com a terceira concretização da presente invenção. Esteprocedimento é uma modificação do procedimento na etapa S950 mostrada naFigura 34. Também, este exemplo ilustra um exemplo em que os parâmetrosde transformação afim sozinhos armazenados na unidade de armazenamentode metadados 210 são usados para calcular uma taxa de sobreposição.Também, este exemplo ilustra um caso onde a ordem de composição não foiespecificada.

Primeiro, os metadados correspondendo a cada quadroincluído em uma seção visada de composição de imagem selecionada pelaunidade selecionadora de seção 160 são obtidos do arquivo de metadadosarmazenado na unidade de armazenamento de metadados 210 (etapa S1001).Subseqüentemente, a informação de seleção de cada item aceito pela unidadeaceitadora de operação 260 é obtida (etapa S1002).

Subseqüentemente, baseado nos metadados obtidos, umacontagem de determinação de seleção é calculada considerando cada quadroincluído na seção visada de composição de imagem servindo como umobjetivo de seleção, e das contagens de determinação de seleção calculadas,um quadro tendo o valor mais alto é selecionado como um quadro mais àfrente (etapa S1003). Também, o quadro mais à frente selecionado éselecionado como um quadro representativo. Subseqüentemente, cada pedaçode metadados relativos ao quadro mais à frente selecionado é gravado naunidade de armazenamento de metadados de imagem visada de composição270 (etapa S1004).

Subseqüentemente, procura é executada na ordem descendentedo quadro representativo selecionado, quadros dentro de uma gama da taxa desobreposição especificada são extraídos, e uma contagem de determinação deseleção é calculada considerando estes quadros (etapa S1005). Das contagensde determinação de seleção calculadas relativas a quadros dentro de umagama da taxa de sobreposição especificada, um quadro tendo o valor mais altoé selecionado como um novo quadro representativo (etapa S1006). Cadapedaço de metadados relativo ao novo quadro representativo selecionado égravado na unidade de armazenamento de metadados de imagem visada decomposição 270 (etapa S1007). Determinação é feita se ou não cálculo deuma contagem de determinação de seleção foi executado até o quadro de topoda seção visada de composição de imagem servindo como um objetivo deseleção (etapa S1008). No caso que cálculo de uma contagem dedeterminação de seleção não foi executado até o quadro de topo da seçãovisada de composição de imagem servindo como um objetivo de seleção(etapa S1008), o fluxo retorna à etapa S1005, onde um processo de seleção dequadro representativo é repetido (etapas S1005 por S1007).

Por outro lado, no caso que cálculo de uma contagem dedeterminação de seleção foi executado até o quadro de topo da seção visadade composição de imagem servindo como um objetivo de seleção (etapaS1008), o quadro mais à frente já selecionado é selecionado como um quadrorepresentativo (etapa S1009). Subseqüentemente, procura é executada naordem ascendente do quadro representativo selecionado, quadros dentro deuma gama da taxa de sobreposição especificada são extraídos, e umacontagem de determinação de seleção é calculada considerando estes quadros(etapa S1010). Das contagens de determinação de seleção calculadas relativasaos quadros dentro de uma gama da taxa de sobreposição especificada, umquadro tendo o valor mais alto é selecionado como um novo representante(etapa SlOl 1). Cada pedaço de metadados relativo ao novo quadrorepresentativo selecionado é gravado na unidade de armazenamento demetadados de imagem visada de composição 270 (etapa S1012).

Determinação é feita se ou não cálculo de uma contagem de determinação deseleção foi executada até o último quadro da seção visada de composição deimagem servindo como um objetivo de seleção (etapa S1013). No caso quecálculo de uma contagem de determinação de seleção não foi executado até aúltimo quadro da seção visada de composição de imagem servindo como umobjetivo de seleção (etapa S1013), o fluxo retorna à etapa S1010, onde oprocesso de seleção de quadro representativo é repetido (etapas S1010 porS1012).

Por outro lado, no caso que cálculo de uma contagem dedeterminação de seleção foi executado até a último quadro da seção visada decomposição de imagem servindo como um objetivo de seleção (etapa S1013),determinação é feita se ou não o processo de seleção de quadro selecionadofoi completado considerando todas as seções visadas de composição deimagem selecionadas pela unidade selecionadora de seção 160 (etapa S1014).No caso que o processo de seleção de quadro não foi completadoconsiderando todas as seções visadas de composição de imagem (etapaS1014), o fluxo retorna à etapa S1001, onde o processo de seleção de quadroé repetido (etapas S1001 por S1013). Por outro lado, no caso que o processode seleção de quadro foi completado considerando todas as seções visadas decomposição de imagem (etapa S1014), a operação do processo de seleção dequadro é terminada.

Assim, o atributo e estado e similar relativo a uma faceincluída em uma imagem são usados para selecionar a imagem mais à frente ea imagem visada de composição, por meio de que uma imagem interessanterelativa a uma pessoa incluída em uma imagem em movimento pode serprovida. Também, cada item tal como o atributo e estado e similar relativo auma face pode ser fixado e exibido de acordo com a preferência do usuário,por meio de que uma imagem composta de acordo com a preferência dousuário pode ser provida.

4. Quarta Concretização

Exemplo de Configuração de Aparelho de Processamento de Imagem

Com a primeira concretização da presente invenção, umexemplo foi descrito em que imagens às quais um quadro branco de um certopeso é adicionado na periferia são compostas para criar uma imagemcomposta do estilo de panorama. Com uma quarta concretização da presenteinvenção, descrição será feita em detalhes relativos a um exemplo em queuma imagem de decoração diferente de um quadro branco de um certo peso éadicionada à periferia de uma imagem, com referência aos desenhos.

Figura 50 é um diagrama de bloco ilustrando um exemplo deconfiguração funcional de um aparelho de processamento de imagem 102 deacordo com a quarta concretização da presente invenção. O aparelho deprocessamento de imagem 102 inclui uma unidade compositora de imagem221, uma unidade de armazenamento de metadados de imagem visada decomposição 277, e uma unidade determinadora de imagem de decoração 700.

Note que a outra configuração funcional é geralmente igual àquela noaparelho de processamento de imagem 100 mostrado na Figura 1, e porconseguinte, os mesmos numerais de referência como os numerais dereferência do aparelho de processamento de imagem 100 são denotados a isso,e descrição será feita com componentes tendo uma função diferente como ocentro, e a outra descrição será omitida.

A unidade de controle de gravação 150 grava informaçãorelativa à imagem de decoração saída da unidade determinadora de imagemde decoração 700 na unidade de armazenamento de metadados de imagemvisada de composição 277 como metadados de imagem visada decomposição.

A unidade selecionadora de imagem visada de composição170 seleciona uma imagem composta de quadros incluídos em uma seçãovisada de composição de imagem, e produz informação de imagem visada decomposição relativa à imagem visada de composição selecionada para aunidade de controle de gravação 150 e a unidade determinadora de imagem dedecoração 700.

A unidade determinadora de imagem de decoração 700determina uma imagem de decoração a ser adicionada a cada quadrocorrespondendo à informação de imagem visada de composição saída daunidade selecionadora de imagem visada de composição 170, e produz ainformação de imagem de decoração relativa à imagem de decoraçãodeterminada para a unidade de controle de gravação 150. Por exemplo, aunidade determinadora de imagem de decoração 700 determina uma imagemde decoração baseada nos metadados armazenados na unidade dearmazenamento de metadados 210. Também, a unidade determinadora deimagem de decoração 700 determina uma imagem de decoração baseada nosmetadados armazenados na unidade de armazenamento de metadados 210, ecada quadro correspondendo à informação de imagem visada de composição.Note que um método de determinação de imagem de decoração será descritoem detalhes com referência às Figuras 52A por 62.

A unidade de armazenamento de metadados de imagem visadade composição 277 armazena o informação de imagem visada de composiçãoproduzida da unidade selecionadora de imagem visada de composição 170como um arquivo de metadados de imagem visada de composição baseado nocontrole do sinal 150. Também, a unidade de armazenamento de metadadosde imagem visada de composição 277 armazena a informação de imagem dedecoração produzida da unidade determinadora de imagem de decoração 700como um arquivo de metadados de imagem visada de composição. Também,a unidade de armazenamento de metadados de imagem visada de composição277 provê o arquivo de metadados de imagem de visada composição àunidade de obtenção de arquivo 180 em resposta a um pedido da unidade deobtenção de arquivo 180. Note que o arquivo de metadados armazenado naunidade de armazenamento de metadados de imagem visada de composição277 será descrito em detalhes com referência à Figura 51.

No caso que uma operação de instrução usada para exibir umaimagem composta foi aceita pela unidade aceitadora de operação 260, aunidade de obtenção de arquivo 180 produz os metadados de imagem visadade composição obtidos da unidade de armazenamento de metadados deimagem visada de composição 277 para a unidade compositora de imagem221.

A unidade compositora de imagem 221 usa a memória deimagem 230 para adicionar uma imagem de decoração de acordo com oconteúdo de metadados de imagem visada de composição às imagens sujeitasà transformação afim pela unidade transformadora de imagem 190, compõe asimagens às quais a imagem de decoração foi adicionada para criar umaimagem composta.

Anexo X é um diagrama ilustrando esquematicamente oconteúdo de armazenamento da unidade de armazenamento de metadados deimagem visada de composição 277 de acordo com a quarta concretização dapresente invenção. Um ED de imagem em movimento 271, um número deseção 272, um número de quadro 273, parâmetros de transformação afim 274,um quadro mais à frente 275, dados de face 276, e dados de imagem dedecoração 278 são armazenados na unidade de armazenamento de metadadosde imagem visada de composição 277 de uma maneira correlatada. O ID deimagem em movimento 271, número de seção 272, número de quadro 273,parâmetros de transformação afim 274, quadro mais à frente 275, e dados deface 276 são iguais àqueles de um exemplo mostrado na Figura 4, descriçãodisso será omitida aqui.

Os dados de imagem de decoração 278 são informação relativaa uma imagem de decoração a ser adicionada à imagem visada de composiçãodeterminada pela unidade determinadora de imagem de decoração 700. Comoesta informação, por exemplo, a posição, tamanho, padrão, cor, tipo, e similarde uma imagem de decoração a ser adicionada a uma imagem visada decomposição são armazenados. Baseado no conteúdo dos dados de imagem dedecoração 278, uma imagem de decoração é adicionada à periferia do quadrocorrespondente. Note que o exemplo mostrado no Anexo X ilustra informaçãorelativa a uma imagem de decoração de uma maneira omitida.

Exemplo de Determinação de Quadro Branco

Primeiro, descrição será feita relativa a um exemplo em queuma imagem servindo como um objetivo ao qual uma imagem de decoração éadicionada é sujeita à transformação afim, sobreposta sobre a imagemcomposta prévia, e análise de imagem é executada usando a informação deuma região sobreposta sobre a imagem depois de transformação afim, poresse meio determinando uma imagem de decoração. Com este exemplo, umquadro branco será descrito como uma imagem de decoração.

Figuras 52A por 52C são diagramas ilustrando um panoramade um método de determinação arranjado para determinar o peso de umquadro branco pela unidade determinadora de imagem de decoração 700 deacordo com a quarta concretização da presente invenção. Figura 52A ilustratrês quadros consecutivos 711 por 713 em série de tempo, dos quadrosselecionados pela unidade selecionadora de imagem visada de composição170. Uma imagem composta 714 indica uma imagem em que os três quadrosconsecutivos 711 por 713 em série de tempo são sujeitos à transformaçãoafim, e são então compostos. Também, o quadro 713 é um quadro adjacenteao quadro 712 em série de tempo, e indica um estado depois de transformaçãoafim. A unidade determinadora de imagem de decoração 700 obtém cada umdestes quadros do arquivo de imagem em movimento armazenado na unidadede armazenamento de imagem em movimento 200 baseado em informaçãorelativa aos quadros selecionados pela unidade selecionadora de imagem devisada de composição 170. Também, a unidade determinadora de imagem dedecoração 700 inclui um memória temporária de trabalho usada para conteruma imagem composta.

Como mostrado na Figura 52A, um quadro 714, que é opróximo quadro depois de transformação afim é sobreposto sobre a imagemcomposta 714 em que até o quadro imediatamente prévio dos quadrosselecionadas são compostos. Neste momento, com respeito a uma regiãosobreposta 715 entre a imagem composta 714 e a imagem correspondendo aoquadro 713, da mesma maneira como com o método mostrado na primeiraconcretização da presente invenção, um ponto de aspecto é extraído daimagem composta 714, e um fluxo óptico é calculado relativo a este ponto deaspecto. Subseqüentemente, parâmetros de trabalho de câmera econfiabilidade são calculados. Assim, no caso que parâmetros de trabalho decâmera e confiabilidade foram calculados não considerando a imagem inteira,mas uma região local de uma região sobreposta sozinha, os resultados decálculo diferem dos parâmetros de trabalho de câmera e confiabilidadecalculados relativos à imagem inteira em alguns casos. Também, os quadrosselecionados pela unidade selecionadora de imagem visada de composição170 não são quadros consecutivos compondo uma imagem em movimento, epor conseguinte, há uma possibilidade que deslocamento inter-quadro podeser causado devido à multiplicação de múltiplos parâmetros de transformaçãoafim. Note que, da região sobreposta 715, uma região 716 é uma regiãosobreposta entre os quadros 711 e 713, e da região sobreposta 715, a regiãodiferente da região 716 é uma região sobreposta entre os quadros 712 e 713.

Figura 52A ilustra esquematicamente os pontos de aspecto extraídos da regiãosobreposta 715 usando círculos pretos e círculos brancos. Também, fluxosópticos calculados relativos a estes pontos de aspecto são representados comsetas com pontos de aspecto como as origens. Aqui, nos deixe dizer que ospontos de aspecto indicados com círculos pretos da região sobreposta 715 sãopontos de aspecto que exibem movimento dominante, e os círculos brancossão os outros pontos de aspecto.

Figura 52B ilustra um caso onde os parâmetros detransformação afim calculados relativos à região sobreposta 715 mostrada naFigura 52A são usados para sujeitar a região sobreposta 715 à transformaçãoafim. Figura 52B usa quatro setas para ilustrar a transição de movimento comos parâmetros de transformação afim, e ilustra a região depois que a regiãosobreposta 715 é sujeita à transformação afim como uma região sobreposta717 depois de transformação afim. Também, Figura 52C ilustra só a regiãosobreposta 715, e a região sobreposta 717 depois de transformação afim.

Assim, no caso que parâmetros de transformação afimcalculados relativos a quadros consecutivos compondo uma imagem emmovimento são usados para compor os quadros selecionados, há umapossibilidade que deslocamento pode ser causado. Portanto, com esteexemplo, o peso de um quadro branco é determinado baseado no tamanho dedeslocamento.

Agora, como quantidade de deslocamento, duas taxas sobre-extensão DRl e DR2 serão calculadas usando as expressões seguintes.

Taxa de sobre-extensão DRl = (1 - (C/A))Taxa de sobre-extensão DR2 = (1 - (C/B))

Aqui, C representa a área de uma região em que uma regiãosobreposta de imagem visadas, e uma região depois de transformação afimdesta região sobreposta são compostas. Também, A representa a área daregião sobreposta de imagem visadas, e B representa a área da regiãosobreposta de imagem visadas depois de transformação afim. Por exemplo,com o exemplo mostrado na Figura 52C, nos deixe dizer que a área de umaregião em que a região sobreposta 715 e a região sobreposta 717 depois detransformação afim são compostas é tomada como uma área C, a área daregião sobreposta 715 é tomada como uma área A, e a área da regiãosobreposta 717 depois de transformação afim é tomada como uma área B.

Subseqüentemente, as duas taxas de sobre-extensão DRl e DR2 sãocalculadas.

Com as duas taxas de sobre-extensão DRl e DR2 assimcalculadas, um valor maior é selecionado. Subseqüentemente, nos deixe dizerque esta taxa de sobre-extensão selecionada é tomada como DR, o peso de umquadro branco servindo como uma imagem de decoração é calculado usandoas expressões seguintes.

O peso de um quadro branco SHl a ser adicionado aos ladosde ambas as extremidades na direção horizontal = Wx DR

O peso de um quadro branco SH2 a ser adicionado aos ladosde ambas as extremidades na direção vertical = Hx DR

Um limite superior e um limite inferior podem ser providos auma taxa de em sobre-extensão assim para impedir um quadro branco de setornar muito pesado sobre uma imagem servindo como um objetivo deprovisão. Como uma gama de um limite superior e um limite inferior de umataxa de sobre-extensão, por exemplo, 0,1 por 0,03 pode ser fixado.

Os pesos SHl e SH2 a serem adicionados aos lados de ambasas extremidades na direção horizontal e na direção vertical assim calculadasão saídos à unidade de controle de gravação 150, e são gravados nos dadosde imagem de decoração 278 da unidade de armazenamento de metadados devisada imagem de composição 277.

Por exemplo, no caso que a taxa de sobre-extensão é pequena,deslocamento entre uma imagem visada servindo como um objeto ao qual umquadro branco é adicionado, uma imagem composta a ser sobreposta abaixodaquela imagem é pequena. Portanto, até mesmo no caso que o peso de umquadro branco a ser adicionado à imagem visada disso é diminuído, pode serconcebido para formar uma imagem natural entre a imagem visada e aimagem composta. Por outro lado, no caso que a taxa de sobre-extensão égrande, deslocamento entre a imagem visada, e uma imagem composta a sersobreposta abaixo daquela imagem é grande. Portanto, o peso de um quadrobranco ser adicionado à imagem visada disso é aumentado, por meio de que odeslocamento disso pode ser obscurecido. Também, de acordo com umquadro branco a ser adicionado à imagem, falta de naturalidade devido adeslocamento pode ser eliminada. Note que a posição à qual um quadrobranco é adicionado pode ser uma do lado externo, lado interno, e sobre aborda da imagem visada. Exemplos para adicionar um tal quadro branco sãomostrados nos Anexo XI (XI-A, XI-B, XI-C e XI-D), Anexo XII (XII-A, XII-B, XII-C e XII-D).

Figuras 53A por 53C são diagramas ilustrando um exemplo deuma imagem de decoração determinada pela unidade determinadora deimagem de decoração 700 de acordo com a quarta concretização da presenteinvenção. Figura 53A ilustra um exemplo em que uma imagem de quadrobranco 721 é adicionada ao lado externo da periferia de um quadro 720,Figura 53B ilustra um exemplo em que uma imagem de quadro branco 722 éadicionada para incluir a periferia do quadro 720, e Figura 53C ilustra umexemplo em que uma imagem de quadro branco 723 é adicionada ao ladointerno da periferia do quadro 720. Note que no caso que uma imagem dequadro branco é adicionada para incluir a periferia de uma imagem, a imagemde quadro branco pode ser adicionada para expandir obliquamente a periferiada imagem. Note que as Figuras 53A por 53C aumentam quadros brancossobre imagens para facilitar visualização. Também, Figuras 53A por 53Cilustram a periferia de uma imagem usando uma linha pesada para facilitarvisualização para o tamanho do quadro 720.

Também, o peso de um quadro branco assim calculado podeser determinado para cada imagem servindo como um objetivo de cálculo.Porém, a fim de prover uma imagem composta proeminente, das taxas desobre-extensão calculadas relativas à mesma seção visada de composição deimagem, uma taxa de sobre-extensão tendo o valor mais alto pode ser usadapara unificar a relação de quadro branco de cada quadro incluído na seçãodisso. Também, por exemplo, o valor médio de taxas de sobre-extensão podeser empregado. Também, como mostrado na Figuras 54A por 54C, a posiçãoà qual um quadro branco é adicionado pode ser mudada de acordo comrelação posicionai relativa entre imagens.

Figuras 54A por 54C são diagramas ilustrando um exemplo deum método de determinação para uma imagem de decoração pela unidadedeterminadora de imagem de decoração 700 de acordo com a quartaconcretização da presente invenção. Figura 54A ilustra um caso onde umquadro 740 é sujeito à transformação afim com um quadro 730 como umquadro de referência. Com este exemplo, descrição será feita relativa a umexemplo em que a posição de uma imagem a ser adicionada à periferia nolado superior do quadro 740 é determinada. Por exemplo, vetores demovimento no caso que o quadro 740 é sujeito à transformação afim, e pontosnos dois cantos no lado superior do quadro 370 são movidos, com o quadro730 como um quadro de referência, são ilustrados com vetores de movimento731 e 732. Também, vetores normais no lado superior do quadro 730 sãoilustrados com vetores normais 733 e 734.

Figura 54B ilustra relação entre os vetores de movimento 731e 732, e os vetores normais 733 e 734. Por exemplo, no caso que a posição àqual um quadro branco é adicionado é calculada relativa ao lado superior doquadro 740, um ângulo 736 formado de um vetor 735 obtido adicionando osvetores de movimento 731 e 732, e o vetor 733 é calculado. Também, umângulo 737 formado dos vetores 735 e 734 é calculado. Subseqüentemente, ovalor do ângulo 736, e o valor do ângulo 737 são comparados. Comoresultado desta comparação, no caso que o valor do ângulo 736 é menor, umquadro branco está disposto no lado interno da periferia do quadro 740. Poroutro lado, no caso que o valor do ângulo 737 é menor, um quadro brancoestá disposto no lado externo da periferia do quadro 740. Por exemplo, comomostrado na Figura 54B, como resultado de comparação entre o valor doângulo 736 e o valor do ângulo 737, o valor do ângulo 737 é menor, e porconseguinte, um quadro branco a ser adicionado à periferia no lado superiordo quadro 740 é determinado estar disposto no lado externo disso. Também,com respeito aos outros três lados igualmente, a posição de um quadro brancopode ser determinada da mesma maneira.

Figura 54C ilustra uma imagem de quadro branco 741servindo como um exemplo de um quadro branco a ser adicionado ao quadro740. Assim, a posição da imagem de quadro branco pode ser determinada deacordo com a posição relativa sobre o quadro de referência. Note que no casoque a soma de dois vetores de movimento se torna 0, uma imagem de quadrobranco pode ser determinada estar disposta no lado externo ou no ladointerno. Também, até mesmo no caso que a soma de dois vetores demovimento é diferente de 0, uma imagem de quadro branco pode serdeterminada não só estar disposta tanto no lado externo ou no lado interno daperiferia, mas também estar disposta para expandir a periferia disso. Porexemplo, a posição de centro de uma imagem de quadro branco pode sermudada de acordo com um ângulo formado de um vetor de adição e um vetornormal. Também, como mostrado na Figuras 55A e 55B, uma imagem dequadro branco a ser disposta relativa ao mesmo lado pode ser dispostadiferentemente a ambas as extremidades do lado disso.

Figuras 55A e 55B são diagramas ilustrando um exemplo deum método de determinação para uma imagem de decoração pela unidadedeterminadora de imagem de decoração 700 de acordo com a quartaconcretização da presente invenção. Figura 55A ilustra um caso onde umquadro 760 é sujeito à transformação afim com um quadro 750 como umquadro de referência. Por exemplo, nos deixe dizer que no caso que umângulo formado de um vetor de movimento 751, e um vetor normal 753 épequeno, e um ângulo formado de um vetor de movimento 752 e um vetornormal 754 é pequeno, ao redor da terminação do vetor de movimento 751 é olado interno. Também, ao redor da terminação do vetor de movimento 752pode ser determinado estar disposto no outro lado. Os outros lados podem serdeterminados da mesma maneira. No caso que determinação é feita assim, porexemplo, uma imagem de quadro branco pode ser disposta tal como mostradana Figura 55B. Porém, no caso que uma imagem de quadro branco estádisposta de tal modo, há uma possibilidade que a forma exterior da imagempode ser mudada. Por exemplo, como mostrado na Figura 55B, no caso queum quadro 760 é um retângulo, uma imagem à qual uma imagem de quadrobranco foi adicionada se torna um paralelogramo em alguns casos. Também,por exemplo, no caso que o quadro visado é um retângulo, um caso éassumido em que uma imagem à qual uma imagem de quadro branco foiadicionada se torna um trapezóide, ou no caso que o quadro visado é umparalelogramo, um caso é assumido em que uma imagem à qual uma imagemde quadro branco foi adicionada se torna um trapezóide.

Exemplo de Composição de Quadro Branco

No Anexo XI (XL-At XI-B5 XI-C e XI-D), há diagramasilustrando um exemplo de composição no qual imagens de decoraçãodeterminadas pela unidade determinadora de imagem de decoração 700 deacordo com a quarta concretização são compostas. A unidade compositora deimagem 220 executa esta composição de imagem de decoração baseada noconteúdo de dados de imagem de decoração 278 da unidade dearmazenamento de metadados visada de imagem de composição 277. Querdizer, baseado no conteúdo de parâmetros de transformação afim 274 daunidade de armazenamento de metadados de imagem visada de composição277, a imagem é sujeita à transformação afim pela unidade transformadora deimagem 190. Subseqüentemente, baseado no conteúdo de dados de imagemde decoração 278 da unidade de armazenamento de metadados de imagemvisada de composição 277, a unidade compositora de imagem 220 executacomposição de imagem adicionando uma imagem de decoração a umaimagem depois de transformação afim. Com o exemplo mostrado no AnexoXI (XI-A, XI-B, XI-C e XI-D), influência de deslocamento na direçãotranslacional será descrita. Note que os Anexo XI (XI-A, XI-BvXI-C e XI-D)e Anexo XII (XII-A, XII-B, XII-C e XII-D)ilustram um exemplo em que umquadro branco é adicionado como uma imagem de decoração.

Anexo XI-A ilustra imagem visadas de composição 738 e 739.Anexo XI-B ilustra um exemplo em que a imagem visada de composição 739é sujeita à transformação afim com a imagem visada de composição 738como uma imagem de referência. Com o exemplo mostrado no Anexo XI-B,um caso é ilustrado em que a imagem visada de composição 739 estádeslocada à direita inferior. Por exemplo, com uma região de imagem cercadacom um círculo 742, a porção de um telhado incluída na imagem visada decomposição 738 é vista excessivamente. Também, por exemplo, com umaregião de imagem cercada com um círculo 743, a porção de grama incluída naimagem visada de composição 738 é escondida com a imagem visada decomposição 739. Também, por exemplo, com uma região de imagem cercadacom um círculo 744, a porção de um guarda-chuva incluída na imagem visadade composição 738 é vista excessivamente. Portanto, como mostrado noAnexo XI-C, uma imagem de decoração 745 determinada pela unidadedeterminadora de imagem de decoração 700 é composta sobre a imagemvisada de composição 739, por exemplo, por meio de que uma imagemantinatural incluída nas porções de região cercadas com círculos 742 por 744pode ser escondida. Por outro lado, como mostrado no Anexo XI-D, no casoque uma imagem de decoração 746 é composta sobre a imagem visada decomposição 739 na direção oposta da região determinada pela unidadedeterminadora de imagem de decoração 700, por exemplo, que uma imagemantinatural incluída nas porções de região cercadas com círculos 742 por 744pode não ser escondida.

No Anexo XII (XII-A, XII-B, XII-C e XII-D), há diagramasilustrando um exemplo de composição no qual imagens de decoraçãodeterminadas pela unidade determinadora de imagem de decoração 700 deacordo com a quarta concretização são compostas. Note que, com o exemplomostrado no Anexo XII (XII-A, XII-B, XII-C e XII-D), influência dedeslocamento na direção de ampliação/redução será descrita.

Anexo XII-A ilustra imagens visadas de composição 747 e748. Anexo XII-B ilustra um exemplo de um caso onde a imagem composta748 é sujeita à transformação afim e composta com a imagem visada decomposição 747 como uma imagem de referência. Com o exemplo mostradono Anexo XII-B, um caso é mostrado em que a imagem visada de composição747 está deslocada na direção de redução. Por exemplo, com uma região deimagem cercada com um círculo 749, a porção de um telhado incluída naimagem visada de composição 747 é vista excessivamente. Também, porexemplo, com uma região de imagem cercada com um círculo 755, a porçãode uma luz elétrica incluída na imagem visada de composição 747 é vistaexcessivamente. Também, por exemplo, com uma região de imagem cercadacom um círculo 756, a porção de um guarda-chuva incluído na imagem visadade composição 747 é vista excessivamente. Portanto, como mostrado noAnexo XII-C, uma imagem de decoração 757 determinada pela unidadedeterminadora de imagem de decoração 700 é composta sobre a imagemvisada de composição 748, por exemplo, por meio de que uma imagemantinatural incluída nas porções de região cercadas com círculos 749, 755 e756 pode ser escondida. Por outro lado, como mostrado no Anexo XII-D, nocaso que uma imagem de decoração 758 é composta sobre a imagem visadade composição 748 na direção oposta da região determinada pela unidadedeterminadora de imagem de decoração 700, por exemplo, uma imagemantinatural incluída nas porções de região cercadas com os círculos 749, 755 e756 não pode ser escondida.

No Anexo XIII (XIII-A, XIII-B, XIII-C e XIII-D), hádiagramas ilustrando um exemplo de composição no qual a imagem dedecoração determinada pela unidade determinadora de imagem de decoração700 de acordo com a quarta concretização é composta. Note que, com oexemplo mostrado no Anexo XIII (XIII-A, XIII-B, XIII-C e XIII-D),influência de deslocamento na direção rotacional será descrita.

Anexo XIII-A ilustra imagens visadas de composição 759 e762. Anexo XIII-B ilustra um exemplo de um caso onde a imagem composta762 é sujeita à transformação afim e composta com a imagem visada decomposição 759 como uma imagem de referência. Com o exemplo mostradono Anexo XIII-B, um caso é mostrado em que a imagem visada decomposição 762 está deslocada na direção horária. Por exemplo, com umaregião de imagem cercada com um círculo 763, a porção de um pavimento depedra incluído na imagem visada de composição 759 é vista nãonaturalmente. Portanto, como mostrado no Anexo XIII-C, uma imagem dedecoração 764 determinada pela unidade determinadora de imagem dedecoração 700 é composta sobre a imagem visada de composição 762, porexemplo, por meio de que uma imagem antinatural incluída na porção deregião cercada com um círculo 763 pode ser escondida. Por outro lado, comomostrado no Anexo XIII-D, no caso que uma imagem de decoração 765 écomposta sobre a imagem visada de composição 762 na direção oposta daregião determinada pela unidade determinadora de imagem de decoração 700,por exemplo, uma imagem antinatural incluída na porção de região cercadacom o círculo 763 não pode ser escondida. Aqui, no caso que o objetivo decomposição está deslocado simplesmente na direção rotacional, como descritonas Figuras 54A por 54C, a soma de dois vetores de movimento se torna 0.

Portanto, uma imagem de quadro branco pode ser determinada não só estardisposta tanto no lado externo ou no lado interno da periferia, mas tambémestar disposta sobre a periferia disso.

Assim, a imagem de decoração determinada pela unidadedeterminadora de imagem de decoração 700 é composta sobre uma imagemvisada de composição, por meio de que uma imagem composta natural doestilo de panorama pode ser provida ao usuário.

Exemplo de Determinação de Quadro Branco Enquanto Considerando Faces

Agora, por exemplo, no caso de compor as imagens visadas decomposição às quais uma imagem de decoração foi adicionada, há umapossibilidade que uma face incluída na imagem composta sobreposta no ladoinferior pode ser escondida. Em tal caso, a posição de uma imagem dedecoração pode ser mudada em uma direção onde a face não é escondida.Alternativamente, o peso de uma imagem de decoração pode ser ajustado.

Figura 59 é um diagrama ilustrando um exemplo de ummétodo de determinação de imagem de decoração pela unidade determinadorade imagem de decoração 700 de acordo com a quarta concretização, que levaem conta faces. Agora, um exemplo é mostrado em que as imagens dedecoração de imagem visadas de composição 766 por 768 são determinadas.

Também, nos deixe dizer que as imagens visadas de composição 767 e 768incluem uma face, e estas regiões incluindo uma face são representadas comregiões de face 769 e 770.

Por exemplo, nos deixe dizer que as imagens visadas decomposição 767 e 768 são sujeitas à transformação afim e compostas com aimagem visada de composição 766 como uma imagem de referência. Nestecaso, a imagem visada de composição 768 é sobrescrita e composta sobre aimagem visada de composição 767, e por conseguinte, por exemplo, no casoque uma imagem de decoração a ser adicionada à imagem visada decomposição 768 é grande (ou no caso de ser adicionada ao lado externo), háuma possibilidade que uma face incluída na região de face 769 pode serescondida.

Agora, por exemplo, uma região de face incluída em umaimagem visada de composição pode ser determinada usando os dados de facearmazenados em dados de face 276 da unidade de armazenamento demetadados de imagem visada de composição 277. Portanto, por exemplo, aunidade determinadora de imagem de decoração 700 calcula se ou não aregião de uma imagem de decoração determinada antes de uma face é levadaem conta, e uma região de face é sobreposta, e no caso que a região daimagem de decoração e a região de face são sobrepostas, a posição da imagemde decoração é mudada ao lado oposto da posição determinada. Por exemplo,no caso que a região de face 769 incluída na imagem visada de composição767, e uma imagem de decoração 771 determinada ser adicionado ao ladoexterno da. extremidade esquerda da imagem visada de composição 768 sãosobrepostas, a imagem de decoração 771 é mudada para ser adicionada aolado interno, isto é, mudada para ser uma imagem de decoração 772.Também, por exemplo, no caso que a região de face 770 incluída na imagemvisada de composição 768, e uma imagem de decoração 773 determinada seradicionada ao lado interno da fim extremidade superior da imagem visada decomposição 768 são sobrepostas, a imagem de decoração 773 é mudada paraser adicionada ao lado externo, isto é, mudada para ser uma imagem dedecoração 774.

Agora, por exemplo, até mesmo se a posição a ser adicionadafor mudada tanto para o lado interno ou o lado externo da imagem visada decomposição, a imagem de decoração e a imagem de face são sobrepostas, opeso da imagem de decoração pode ser mudado calculando a distância entre aimagem de decoração e a região de face. Assim, até mesmo se o peso daimagem de decoração for mudado, no caso que a imagem de decoração e aimagem de face são sobrepostas, por exemplo, a posição da imagem dedecoração é mudada a uma posição onde uma área sobreposta é pequena.

Porém, por exemplo, no caso que uma prioridade é dada à imagem visada decomposição a ser sobreposta no lado superior, e a imagem de decoração e aregião de face são sobrepostas, a decoração pode ser determinada seradicionada ao lado externo da imagem visada de composição.

Alternativamente, um arranjo pode ser feito em que a distância entre a regiãode face e a imagem de decoração é calculada para cada lado previamente, opeso máximo da imagem de decoração não para ser sobreposta sobre umaface é armazenado na unidade de armazenamento de metadados de imagemvisada de composição 277 previamente, e a imagem de decoração éadicionada usando estes valores.

Exemplo de Determinação de Sombra

Descrição foi feita até agora relativa a um exemplo em que umquadro branco é adicionado a uma imagem visada de composição como umaimagem de decoração, mas por exemplo, uma sombra pode ser adicionada auma imagem visada de composição como uma imagem de decoração.

Figuras 60A por 60C são diagramas ilustrando um exemplo deuma sombra determinada ser uma imagem de decoração a ser adicionada auma imagem visada de composição pela unidade determinadora de imagemde decoração 700 de acordo com a quarta concretização da presente invenção.

Em seguida, uma sombra a ser adicionada a uma imagem visada decomposição é indicada adicionando um curso diagonal internamente. Figura60A ilustra a forma básica de uma sombra a ser adicionada a uma imagemvisada de composição. Por exemplo, com respeito à direção de uma sombra,tal como uma sombra 351, foi considerado principalmente uma situação emque uma sombra está se espalhando em todas as direções quando luz éaplicada de diretamente sobre uma imagem visada de composição. Também,como uma sombra 352 ou 353, um efeito também pode ser produzido em queluz é aplicada de obliquamente para cima ou obliquamente para baixo de umaimagem visada de composição.

Figura 60B ilustra um caso onde um efeito é produzido tal queluz seja aplicada de obliquamente para cima de uma imagem visada decomposição para criar uma imagem composta. Quer dizer, uma imagemcomposta à qual a sombra 352 foi adicionada é composta seqüencialmente,por meio de que a imagem composta mostrada na Figura 60B pode ser criada.

Também, Figura 60C ilustra um caso onde um efeito é produzido, em que luzé aplicada de obliquamente para baixo de uma imagem visada de composiçãopara criar um objetivo de composição. Quer dizer, uma imagem composta àqual a sombra 353 foi adicionada é composta seqüencialmente, por meio deque a imagem composta mostrada na Figura 60C pode ser criada.

Agora, por exemplo, no caso que um efeito é produzido emque luz é aplicada de obliquamente para cima ou obliquamente para baixo deuma imagem composta, é desejado que uma direção onde uma sombra cai emuma imagem inferior de acordo com a direção sobreposta final de imagenscompostas tanto quanto possível seja determinada ser a direção de umasombra. Também, o peso de uma sombra pode ser fixado a um certo valor,por exemplo. Também, por exemplo, da mesma maneira como o caso de umquadro branco descrito acima, o peso de uma sombra pode ser determinado deacordo com uma taxa de sobre-extensão.

Figuras 61A e 61B são diagramas ilustrando um panorama deum método de determinação arranjado para determinar a direção de umasombra pela unidade determinadora de imagem de decoração 700 de acordocom a quarta concretização. Figura 61A ilustra imagens visadas decomposição 354 por 357 contidas a um memória temporária de trabalho 358.

Por exemplo, nos deixe dizer que os comprimentos dos lados de uma imagemvisada de composição sobrescrita sobre outra imagem visada de composiçãosão calculados, os vetores normais externos dos lados disso são calculados, eos tamanhos dos vetores normais são tomados como os comprimentos deporções sobrescritas dos lados. Por exemplo, com as imagens visadas decomposição 355 por 357 mostradas na Figura 6IA, um lado sobrescrito sobreoutra imagem visada de composição é indicado com uma linha pesada.

Também, o vetor normal externo do lado disso é indicado sobre uma linhapesada. Todos os vetores normais de uma imagem visada de composiçãoassim calculados são integrados, e a direção de um vetor normal obtido porintegração é determinada ser a direção onde uma sombra é adicionada. Figura6IB ilustra imagens compostas formadas das imagens visadas de composição354 por 357 às quais uma sombra assim determinada é adicionada. A direçãode uma sombra é assim determinada, por meio de que a sombra é projetadasobre uma imagem visada de composição, e por conseguinte, o efeito dasombra pode ser aumentado.

Note que, além de determinação da direção de uma sombra porintegração de um vetor normal descrito acima, a direção de uma sombra podeser selecionada e determinada de várias direções determinadas previamentecom referência à direção de um vetor normal. Alternativamente, um arranjopode ser feito em que uma matriz afim obtida multiplicando os parâmetros detransformação afim correlatados com cada imagem visada de composição éusada para obter o componente translacional integral de trabalho de câmera, ea direção deste componente translacional integral é tomada como a direção deuma sombra.

Exemplo de Determinação de Sombra Enquanto Considerando Faces

Agora, por exemplo, no caso que imagens visadas decomposição às quais uma sombra foi adicionada são compostas, há umapossibilidade que uma face incluída em uma imagem composta sobreposta nolado inferior pode ser escondida. Em tal caso, da mesma maneira como com ocaso de um quadro branco descrito acima, a posição de uma sombra pode sermudada a uma direção onde a face não é escondida. Alternativamente, o pesode uma sombra pode ser ajustado. Também, no caso que uma região de faceestá sobreposta com uma sombra, a cor da sombra pode ser diluída. Umexemplo será mostrado abaixo em que no caso que uma face está sobrepostacom uma sombra, a direção de um vetor normal ao lado disso é invertida, poresse meio mudando a direção da sombra.

Figura 62 é um diagrama ilustrando um exemplo de ummétodo de determinação de sombra pela unidade determinadora de imagemde decoração 700 de acordo com a quarta concretização que leva em contafaces. O exemplo mostrado na Figura 62 é igual ao caso mostrado na Figura6IA, exceto que imagens visadas de composição 354 por 357 contidas namemória temporária de trabalho 358, uma região de face 359 é incluída naimagem visada de composição 356. Por exemplo, um vetor normal é obtidoda mesma maneira como o caso mostrado na Figura 6IA, mas no caso que aregião de face está sobreposta com uma sombra, a direção do vetor normal nolado disso é invertida. Por exemplo, com a imagem visada de composição 357mostrada na Figura 62, dos lados sobrescritos sobre a outra imagem visada decomposição 356, o lado da borda esquerda é sobreposto sobre a região de face359. Portanto, a direção do vetor normal no lado disso é invertida. Quer dizer,a direção do vetor normal disso é invertida tal como um vetor normal 360.

Note que um método usado para determinar a direção de uma sombra é igualcom o caso mostrado na Figura 6IA, exceto que a direção de um vetor normalé invertida, e por conseguinte, descrição disso será omitida aqui.

Aqui, com o exemplo mostrado, na Figura 62, a direção dovetor integral de um vetor normal calculado depois que a direção de um vetornormal é invertida é quase igual com o caso de não inverter a direção disso, epor conseguinte, a face é escondida com uma sombra. Porém, no caso queuma face está sobreposta com as sombras dos lados esquerdos de múltiplasimagens visadas de composição, as direções das sombras são direçõessuperiores direitas, por meio de que para a face pode ser impedida de serescondida com as sombras. Também, por exemplo, a densidade da sombrainteira pode ser diluída de acordo com a direção e comprimento de um vetornormal invertido. Alternativamente, o peso de uma sombra pode serdiminuído de acordo com a direção e comprimento de um vetor normalinvertido. Também, no caso que uma face está sobreposta com uma sombra,um método de mudança de sombra pode ser usado em que a densidade dasombra inteira é diluída por uma certa taxa, ou o peso disso é diminuído poruma certa taxa.

Assim, no caso que há uma possibilidade que uma faceincluída em uma imagem composta sobreposta no lado inferior pode serescondida, a posição de uma sombra pode ser mudada a uma direção onde aface não é escondida. Porém, quando comparado a um quadro branco, atémesmo no caso que uma face está sobreposta com uma sombra, este estadopode ser concebido não tanto incômodo. Portanto, no caso que uma região deface está sobreposta com uma sombra, tal mudança ou ajuste não deveria serexecutado de modo algum, qualquer um desses pode ser executado, ou umacombinação desses pode ser executada.

Um exemplo foi descrito até agora em que tanto um quadrobranco ou uma sombra é determinada ser uma imagem de decoração, mas aquarta concretização da presente invenção também pode ser aplicada a umcaso onde um quadro branco é adicionado à periferia de uma imagem devisada de composição, e também uma sombra é adicionada à periferia destequadro branco.

Também, um exemplo foi mostrado até agora em que umaimagem de decoração a ser adicionada a uma imagem de visada decomposição é determinada na hora de seleção de quadro, mas por exemplo,uma imagem de decoração a ser adicionada a uma imagem de visada decomposição pode ser determinada na hora de exibição de uma imagemcomposta. Alternativamente, uma imagem de decoração pode ser determinadade acordo com a operação do usuário. Por exemplo, se ou não há um quadrobranco, a posição de um quadro branco, o peso de um quadro branco, se ounão há uma sombra, a direção de uma sombra, ou similar, de uma imagem devisada de composição pode ser especificado pela operação do usuário.

Também, um exemplo foi descrito até agora em que umquadro branco ou o peso e posição de uma sombra são determinados seremuma imagem de decoração, mas por exemplo, a cor ou modo de uma imagemde decoração podem ser determinados baseado em uma taxa de sobre-extensão ou vetor normal. Também, um exemplo foi mostrado até agora emque uma imagem de decoração é determinada baseada na relação posicionairelativa entre imagem visadas de composição, ou similar, mas por exemplo,uma imagem de decoração pode ser determinada baseada nos atributos, cor,ou similar de um tema incluído em uma imagem de visada de composição.

Por exemplo, no caso que um quadro é adicionado como uma imagem dedecoração, o histograma de cor da porção periférica de uma imagem visada decomposição é calculado, e a cor complementar de uma cor mais freqüentepode ser determinada ser a cor de um quadro. Assim, um quadro ao qual umacor diferente de branco foi adicionada é adicionada a uma imagem visada decomposição, por meio de que a borda da imagem visada de composição podeser impedida de cair em obscuridade. Por exemplo, como a imagem 576mostrada nos Anexos VI e VII, no caso que a porção periférica de umaimagem visada de composição inclui muito verde, uma cor avermelhada éempregada como a cor complementar sobre verde. Também, a cor ou modode um quadro pode ser determinado usando cada pedaço de metadadosrelativo a uma face mostrada na terceira concretização da presente invenção.

Por exemplo, a cor de um quadro pode ser mudada de acordo com o gêneroou idade de uma pessoa incluída em uma imagem visada de composição.

Também, a cor de um quadro pode ser mudada de acordo com um ponto emtempo em que uma imagem visada de composição foi convertida.

Alternativamente, composição pode ser executada enquantocorrigindo deslocamento na hora de exibir uma imagem composta usando osparâmetros de trabalho de câmera e confiabilidade calculados pelo métodomostrado nas Figuras 52A por 52C. Por exemplo, os parâmetros de trabalhode câmera e confiabilidade calculados pelo método mostrado na Figuras 52Apor 52C são armazenados na unidade de armazenamento de metadados deimagem visada de composição 277 previamente. Subseqüentemente, ao exibiruma imagem visada de composição, com respeito a uma imagem visada decomposição tendo alta confiabilidade, os parâmetros de transformação afimusados para transformar uma imagem visada de composição podem sercorrigidos usando os parâmetros de trabalho de câmera correspondentes.

Exemplo de Operação de Aparelho de Processamento de Imagem

A seguir, a operação de um aparelho de processamento deimagem 102 de acordo com a quarta concretização da presente invenção serádescrita com referência aos desenhos.

Figura 63 é um fluxograma ilustrando o procedimento de umprocesso de gravação de metadados de imagem visada de composição peloaparelho de processamento de imagem 102 de acordo com a quartaconcretização da presente invenção. Este procedimento é uma modificação doprocedimento mostrado na Figura 34, o mesmo procedimento como oprocedimento mostrado na Figura 34 será denotado com os mesmos numeraisde referência, e descrição disso será omitida aqui.

Depois que o processo de seleção de quadro pela unidadeselecionadora de imagem visada de composição 170 é completado, a unidadedeterminadora de imagem de decoração 700 executa um processo dedeterminação de imagem de decoração (etapa S1020). Este processo dedeterminação de imagem de decoração será descrito em detalhes comreferência à Figura 64.

Figura 64 é um fluxograma ilustrando um procedimento dedeterminação de imagem de decoração (o procedimento na etapa S1020mostrado na Figura 63) incluído no procedimento do processo de gravação demetadados de imagem visada de composição pelo aparelho de processamentode imagem 102 de acordo com a quarta concretização da presente invenção.

Com este exemplo, um exemplo é mostrado em que um quadro branco édeterminado ser uma imagem de decoração. Também, um caso é mostradocomo um exemplo em que um quadro branco a ser adicionado a cada quadroincluído na mesma seção visada de composição de imagem tem o mesmopeso.

Primeiro, os metadados correspondendo a cada imagem visadade composição incluída em uma única seção visada de composição deimagem selecionada pela unidade selecionadora de imagem de visada decomposição 170 é obtida de um arquivo de metadados armazenado naunidade de armazenamento de metadados 210 (etapa S1021).Subseqüentemente, o tamanho para compor cada imagem visada decomposição usando os parâmetros de transformação afim correspondendo acada imagem visada de composição incluída na seção visada de composiçãode imagem obtida é calculado, e duas memórias temporárias de trabalho tendoeste tamanho são contidas (etapa S1022). As duas memórias temporárias detrabalho são memórias temporárias de trabalho que representam cada pixelcompondo uma imagem por 8 bits, e com este exemplo, estas memóriastemporárias de trabalho são indicadas como uma primeira memóriatemporária de trabalho e uma segunda memória temporária de trabalho.

Subseqüentemente, de cada imagem visada de composiçãoincluída na seção visada de composição de imagem servindo como umobjetivo de seleção, o quadro mais à frente é selecionado como um quadro dereferência (etapa S1023). O quadro de referência é unido à primeira memóriatemporária de trabalho (etapa S1024). O quadro adjacente ao quadro dereferência é unido à segunda memória temporária de trabalho (etapa S1025).

Neste caso, o quadro unido imediatamente antes é eliminado, e o quadrosozinho adjacente ao quadro de referência é unido à segunda memóriatemporária de trabalho. Subseqüentemente, a taxa de sobre-extensão de umaregião sobreposta entre a imagem de história unida à primeira memóriatemporária de trabalho, e o quadro a ser unido à segunda memória temporáriade trabalho é calculada (etapa S1026). Esta taxa de sobre-extensão é calculadapelo método de cálculo mostrado na Figuras 52A por 52C.

Subseqüentemente, com respeito a cada imagem visada decomposição incluída na seção visada de composição de imagem servindocomo um objetivo de seleção, determinação é feita se ou não o cálculo de umataxa de sobre-extensão foi completado (etapa S1027). No caso que o cálculode uma taxa de sobre-extensão não foi completado considerando cada imagemvisada de composição (etapa. S1027), o quadro de qual a taxa de sobre-extensão foi calculada imediatamente antes é selecionado como um quadro dereferência (etapa S1028), e o fluxo retorna à etapa S1024. Subseqüentemente,o novo quadro de referência selecionado é unido sobre a imagem de históriada primeira memória temporária de trabalho (etapa S1024). Note que no casoque o quadro de qual a taxa de sobre-extensão foi calculada imediatamenteantes é o quadro de topo ou último quadro da seção visada de composição deimagem, um quadro adjacente à outra direção do quadro mais à Jfrente éselecionado como um quadro de referência.

No caso que o cálculo de uma taxa de sobre-extensão foicompletado considerando cada imagem visada de composição (etapa S1027),o peso de um quadro branco a ser adicionado a cada imagem visada decomposição incluída na seção visada de composição de imagem servindocomo um objetivo de seleção é calculado baseado na taxa de sobre-extensãocalculada relativa a cada seção visada de composição (etapa S1029).Subseqüentemente, o peso calculado do quadro branco é gravado na unidadede armazenamento de metadados de imagem visada de composição 277 (etapaS1030). Determinação é feita se ou não o processo de determinação deimagem de decoração foi completado considerando todas as seções visadas decomposição de imagem selecionadas pela unidade selecionadora de seção 160(etapa S1031). No caso que o processo de determinação de imagem dedecoração não foi completado considerando todas as seções visadas decomposição de imagem (etapa S1031), o fluxo retorna à etapa S1021, onde oprocesso de determinação de imagem de decoração é repetido (etapas S1021por S1030). Por outro lado, no caso que o processo de determinação deimagem de decoração foi completado considerando todas as seções visadas decomposição de imagem (etapa S1031), a operação do processo dedeterminação de imagem de decoração é terminada.

Figura 65 é um fluxograma ilustrando um procedimento dedeterminação de imagem de decoração (o procedimento na etapa S1020mostrada na Figura 63) incluído no procedimento do processo de gravação demetadados de imagem visada de composição pelo aparelho de processamentode imagem 102 de acordo com a quarta concretização da presente invenção.

Este exemplo é um exemplo em que uma sombra é determinada ser umaimagem de decoração, e é uma modificação do procedimento mostrado naFigura 64. Portanto, só o procedimento diferente do procedimento mostradona Figura 64 será descrito, e outra descrição será omitida.

Depois que o quadro adjacente ao quadro de referência é unidoà segunda memória temporária de trabalho (etapa S1025), um vetor normalentre a imagem de história unida à primeira memória temporária de trabalho,e o quadro unido à segunda memória temporária de trabalho é calculado(etapa S1041). Este vetor normal é calculado pelo método de cálculomostrado nas Figuras 61A e 61B.

Também, no caso que o cálculo de um vetor normal foicompletado considerando cada imagem visada de composição (etapa S1027),o valor integral dos vetores normais calculados é calculado considerando cadaimagem visada de composição, a direção de um vetor normal obtido porintegração é calculada como a direção onde uma sombra é adicionada (etapaS1042). Subseqüentemente, a direção calculada onde uma sombra éadicionada é armazenada na unidade de armazenamento de metadados deimagem de visada de composição 277 (etapa S1043).

Figura 66 é um fluxograma ilustrando o procedimento de umprocesso de exibição de imagem composta pelo aparelho de processamento deimagem 102 de acordo com a quarta concretização da presente invenção. Esteprocedimento é uma modificação do procedimento mostrado na Figura 37, epor conseguinte, o mesmo procedimento como o procedimento mostrado naFigura 37 será denotado com os mesmos numerais de referência, e descriçãodisso será omitida aqui.

A unidade compositora de imagem 221 adiciona uma imagemde decoração à periferia da imagem sujeita à transformação afim baseado emdados de imagem de decoração incluídos em cada pedaço de metadadosobtidos (etapa S1051), e contém a imagem à qual a imagem de decoração foiadicionada na memória de imagem 230 (etapa S1052). Quer dizer, a imagemsujeita à transformação afim à qual a imagem de decoração foi adicionada écomposta sobre a imagem de história contida na memória de imagem 230.

Também, no caso que o quadro mais à frente não é o quadrode topo na seção visada de composição de imagem (etapa S973), um processode composição de imagem é executado (etapa S1060). Este processo decomposição de imagem será descrito em detalhes com referência à Figura 67.

Figura 67 é um fluxograma ilustrando um procedimento decomposição de imagem (o procedimento na etapa S1060 mostrado na Figura66) incluído no procedimento do processo de exibição de imagem compostapelo aparelho de processamento de imagem 102 de acordo com a quartaconcretização da presente invenção. Este procedimento é uma modificação doprocedimento mostrada na Figura 38, e por conseguinte, o mesmoprocedimento como o procedimento mostrado na Figura 38 será denotadocom os mesmos numerais de referência, e descrição disso será omitida aqui.

A unidade compositora de imagem 221 adiciona uma imagemde decoração à periferia da imagem sujeita à transformação afim baseada emdados de imagem de decoração incluídos em cada pedaço de metadadosobtidos (etapa S1061), e contém a imagem à qual a imagem de decoração foiadicionada na memória de imagem 230 (etapa S1062).

Também, a unidade compositora de imagem 221 adiciona umaimagem de decoração à periferia da imagem sujeita à transformação afimbaseada em dados de imagem de decoração incluídos em cada pedaço demetadados obtidos (etapa S1063), e contém a imagem à qual a imagem dedecoração foi adicionada na memória de imagem 230 (etapa S1064).

Também, a unidade compositora de imagem 221 adiciona umaimagem de decoração à periferia da imagem sujeita à transformação afimbaseada em dados de imagem de decoração incluídos em cada pedaço demetadados obtidos (etapa S1065), e contém a imagem à qual a imagem dedecoração foi adicionada na memória de imagem 230 (etapa S1066).

5. Quinta Concretização

Exemplo de Configuração de Aparelho de Processamento de Imagem

A seguir, descrição será feita em detalhes relativos a um casoem que um processo de extração de ponto de aspecto e um processo decálculo de fluxo óptico de acordo com uma quinta concretização da presenteinvenção são executados por um processador de multi-núcleo, com referênciaaos desenhos.

Figura 68 é um diagrama ilustrando um exemplo deconfiguração de um processador de multi-núcleo 800 de acordo com a quintaconcretização da presente invenção. O processador de multi-núcleo 800 é umprocessador em que tipos diferentes de núcleos de processador sãoimplementados em um único pacote de CPU (Unidade de ProcessamentoCentral). Especificamente, dois tipos de núcleos de processador que podemoperar todas as aplicações são implementados no processador de multi-núcleo800 para manter a capacidade de processamento de cada núcleo deprocessador e realizar uma configuração simples. Os dois tipos de núcleos deprocessador são um tipo de núcleo, e o outro tipo de núcleo otimizadoparcialmente para uma aplicação predeterminada.

O processador de multi-núcleo 800 inclui um núcleo deprocessador de controle 801, núcleos de processador aritmético (#1) 811 por(#8) 818, e um barramento 802, e está conectado à memória principal 781.Também, o processador de multi-núcleo 800 está conectado a outrosdispositivos, por exemplo, um dispositivo gráfico 782, um dispositivo de I/O783, e assim sucessivamente. Como o processador de multi-núcleo 800, porexemplo,- uma Célula (Máquina de Banda Larga de Célula), que é ummicroprocessador desenvolvido pelo requerente presente e outros podem serempregados.

O processador de controle 801 é um núcleo de processador decontrole configurado para executar principalmente comutação de linhafreqüente tal como um sistema operacional, ou similar. Note que o núcleo deprocessador de controle 801 será descrito em detalhes com referência à Figura 69.

Os núcleos de processador aritmético (#1) 811 por (#8) 818são núcleos de processador aritmético pequenos simples que superam noprocesso de um sistema de multimídia. Note que os núcleos de processadoraritmético (#1) 811 por (#8) 818 serão descritos em detalhes com referência àFigura 70.

O barramento 802 é um barramento de alta velocidadechamado um barramento de interconexão de elemento (EIB). Também, obarramento 802 está conectado ao processador de controle 801, e cada um dosnúcleos de processador aritmético (#1) 811 por (#8) 818, e acesso de dadospor cada núcleo de processador é executado pelo barramento 802.

A memória principal 781 está conectada ao barramento 802, eé a memória principal que armazena vários tipos de programas a seremcarregados a cada núcleo de processador, dados para o processo por cadanúcleo de processador, e dados processados por cada núcleo de processador.

O dispositivo gráfico 782 é um dispositivo gráfico conectadoao barramento 802, e o dispositivo de I/O 783 é um dispositivo deentrada/saída externo conectado ao barramento 802.

Figura 69 é um diagrama ilustrando um exemplo deconfiguração do núcleo de processador de controle 801 de acordo com aquinta concretização da presente invenção. O núcleo de processador decontrole 801 inclui uma unidade de processador de controle 803, e um sistemade armazenamento de processador de controle 806.

A unidade de processador de controle 803 é uma unidadecompondo um núcleo configurado para executar o processo aritmético donúcleo de processador de controle 801. Também, a unidade de processador decontrole 803 inclui um conjunto de comando com a arquitetura de ummicroprocessador como base. Um 'cache' de comando 804 e um 'cache' dedados 805 são implementados na unidade de processador de controle 803como 'caches' primários. O 'cache' de comando 804 é, por exemplo, um'cache' de comando de 32 kB, e os 'cache' de dados 805 é, por exemplo, um'cache' de dados de 32 kB.

O sistema de armazenamento de processador de controle 806 éuma unidade que controla acesso de dados da unidade de processador decontrole 803 para a memória principal 781. Também, com o sistema dearmazenamento de processador de controle 806, um 'cache' secundário 807 de512 kB é montado para aumentar velocidade de acesso de memória daunidade de processador de controle 803.

Figura 70 é um diagrama ilustrando um exemplo deconfiguração do núcleo de processador aritmético (#1) 811 de acordo com aquinta concretização da presente invenção. O processador aritmético (#1) 811inclui uma unidade de processador aritmético 820 e um controlador de fluxode memória 822. Note que os núcleos de processador aritmético (#2) 812 por(#8) 818 tem a mesma configuração como o núcleo de processador aritmético(#1) 811, e por conseguinte, descrição disso será omitida aqui.

A unidade de processador aritmético 820 é uma unidadeservindo como um núcleo que executa o processo aritmético do núcleo deprocessador aritmético (#1) 811, e inclui um conjunto de comando originaldiferente da unidade de processador de controle 803 do núcleo de processadorde controle 801. Também, um depósito local (LS) 821 é implementado naunidade de processador aritmético 820.

O depósito local 821 é a memória dedicada da unidade deprocessador aritmético 820, e é a memória única pode referir à unidade deprocessador aritmético 820 diretamente. Por exemplo, memória da qual acapacidade é 256 kB pode ser empregada como o depósito local 821. Noteque a unidade de processador aritmético 820 tem que tirar proveito docontrolador de fluxo de memória 822 para acessar o depósito local acima damemória principal 781 e os outros núcleos de processador aritmético (núcleode processador aritmético (#2) 812 por (#8) 818).

O controlador de fluxo de memória 822 é uma unidade usadapara trocar dados com a memória principal 781 ou outros núcleos deprocessador aritmético ou similar, e é uma unidade chamada um controladorde fluxo de memória (MFC). Aqui, a unidade de processador aritmético 820pede transferência de dados ou similar sobre o controlador de fluxo dememória 822 por uma interface chamada um canal.

Vários tipos de modelo foram propostos como um modelo deprogramação do processador de multi-núcleo 800 descrito acima. Um modelofoi familiar como o modelo mais fundamental deste modelo de programaçãoem que um programa principal é executado através do núcleo de processadorde controle 801, e um subprograma é executado através dos núcleos deprocessador aritmético (#1) 811 por (#8) 818. Com a quinta concretização dapresente invenção, o método de computação do processador de multi-núcleo800 usando este modelo será descrito em detalhes com referência aosdesenhos.

Figura 71 é um diagrama ilustrando esquematicamente ométodo de computação do processador de multi-núcleo 800 de acordo com aquinta concretização da presente invenção. Com este exemplo, um exemplo émostrado em que no caso que o núcleo de processador de controle 801executa uma tarefa 784 usando dados 785, o núcleo de processador decontrole 801 controla cada núcleo de processador aritmético para usar dados787 (uma porção dos dados 785) para o processo de uma tarefa 786 que é umaporção da tarefa 784 para executar a tarefa 786.Como mostrado na Figura 71, no caso que o núcleo deprocessador de controle 801 usa os dados 785 para executar a tarefa 784, onúcleo de processador de controle 801 controla cada núcleo de processadoraritmético para usar os dados 787 (uma porção dos dados 785) para oprocesso de uma tarefa 786 que é uma porção da tarefa 784 para executar atarefa 786. Com a quinta concretização da presente invenção, um processo decomputação é executado por cada núcleo de processador aritmético para cadaquadro compondo uma imagem em movimento.

Como mostrado na Figura 71, o processador de multi-núcleo800 executa uma computação, por meio de que os núcleos de processadoraritmético (#1) 811 por (#8) 818 são usados em paralelo, e muitascomputações podem ser executadas em tempo comparativamente pequeno.

Também, uma única computação de dados de instrução/múltiplo (SIMD) éexecutada através dos núcleos de processador aritmético (#1) 811 por (#8)818, por meio de que computações relativamente muitas podem serexecutadas com um número ainda menor de comandos. Note que computaçãode SIMD será descrita em detalhes com referência às Figuras 75 por 78.

Figura 72 é um diagrama ilustrando esquematicamente osfluxos de um programa e dados no caso que uma computação é executadapelo processador de multi-núcleo 800 de acordo com a quinta concretizaçãoda presente invenção. Agora, descrição será feita relativa ao núcleo deprocessador aritmético (#1) 811 dos núcleos de processador aritmético (#1)811 por (#8) 818 como um exemplo, mas uma computação também pode serexecutada semelhantemente relativa aos núcleos de processador aritmético(#2) 812 por (#8) 818.

Primeiro, o núcleo de processador de controle 801 transmite aonúcleo de processador aritmético (#1) 811 uma instrução para carregar umprograma de núcleo de processador aritmético 823 armazenado na memóriaprincipal 781 para o depósito local 821 do núcleo de processador aritmético(#1) 811. Assim, o núcleo de processador aritmético (#1) 811 carrega oprograma de núcleo de processador aritmético 823 armazenado na memóriaprincipal 781 para o depósito local 821.

Subseqüentemente, o núcleo de processador de controle 801instrui o núcleo de processador aritmético (#1) 811 para executar o programade núcleo de processador aritmético 825 armazenado no depósito local 821.

O núcleo de processador aritmético (#1) 811 transfere dados824 para o processo de execução do programa de núcleo de processadoraritmético 825 armazenado no depósito local 821 da memória principal 781para o depósito local 821.

O núcleo de processador aritmético (#1)811 processa os dados826 transferidos da memória principal 781 baseado no programa de núcleo deprocessador aritmético 825 armazenado no depósito local 821, e executa umprocesso de acordo com uma condição para armazenar os resultados deprocessamento no depósito local 821.

O núcleo de processador aritmético (#1) 811 transfere osresultados de processamento executados baseado no programa de núcleo deprocessador aritmético 825 armazenado no depósito local 821, do depósitolocal 821 para a memória principal 781.

O núcleo de processador aritmético (#1) 811 informa o núcleode processador de controle 801 de fim da computação.

A seguir, computação de SIMD executada usando oprocessador de multi-núcleo 800 será descrita em detalhes com referência aosdesenhos. Aqui, computação de SIMD é um método de computação em queum processo sobre uma pluralidade de dados é executado com um únicocomando.

Na Figura 73, (a) é um diagrama ilustrando esquematicamenteum panorama de um método de computação arranjado para executar umprocesso sobre uma pluralidade de dados por cada comando correspondente.O método de computação mostrado em (a) na Figura 73 é um método decomputação comum, e é chamado, por exemplo, uma computação escalar. Porexemplo, os resultados de processamento de dados "Cl" são obtidos com umcomando usado por adicionar dados "Al" e dados "BI". Também, comrespeito às outras três computações igualmente, semelhantemente, umcomando para adicionar dados "A2", "A3" e "A4", e dados "B2", "B3" e"B4" na mesma fila respectivamente é executado considerando cada uma dascomputações. De acordo com este comando, o valor de cada fila é adicionado,e os resultados de processamento disso são obtidos como dados "C2", "C3" e"C4". Assim, com uma computação escalar, um comando tem que serexecutado considerando cada processo sobre uma pluralidade de dados.

Na Figura 73, (b) é um diagrama ilustrando esquematicamenteum panorama de computação de SIMD que é um método de computaçãoarranjado para executar um processo sobre uma pluralidade de dados por umúnico comando. Agora, dados integrados para computação de SIMD (cadapedaço de dados cercado com linhas pontilhadas 827 e 828) são chamadosdados de vetor em alguns casos. Também, computação de SIMD executadausando tais dados de vetor é chamada uma computação de vetor em algunscasos.

Por exemplo, de acordo com um único comando paraadicionar dados de vetor cercados com uma linha pontilhada 827, e dados devetor cercados com uma linha pontilhada 828, os resultados de processamento(dados cercados com uma linha pontilhada 829) de "Cl", "C2", "C3", e "C4"são obtidos. Aqui, dados de vetor cercados com a linha pontilhada 827 são"Al", "A2", "A3" e "A4", e dados de vetor cercados com a linha pontilhada828 são "BI", "B2", "B3" e "B4". Assim, com computação de SIMD, umprocesso sobre uma pluralidade de dados pode ser executado por um únicocomando, e por conseguinte, a computação pode ser executada rapidamente.

Também, o núcleo de processador de controle 801 do processador de multi-núcleo 800 executa um comando relativo a estas computações de SIMD, e osnúcleos de processador aritmético (#1) 811 por (#8) 818 executam umprocesso paralelo relativo às computações de uma pluralidade de dados sobretal comando.

Por outro lado, por exemplo, um processo para adicionar entredados "Al" e "BI", um processo para subtrair entre dados "A2" e "B2", umprocesso para multiplicar entre dados "A3" e "B3", e um processo paradividir entre dados "A4" e "B4" não são realizados por computação de SIMD.

Quer dizer, no caso que um processo diferente é executado sobre cada de umapluralidade de dados, um processo por computação de SIMD não é realizado.

A seguir, um método de computação específico de computaçãode SIMD no caso de executar um processo de extração de ponto de aspecto eum processo de cálculo de fluxo óptico será descrito em detalhes comreferência aos desenhos.

Figura 74 é um diagrama ilustrando um exemplo deconfiguração de um programa executado pelo núcleo de processador decontrole 801 ou pelo núcleo de processador aritmético (#1) 811, de acordocom a quinta concretização da presente invenção. Aqui, o núcleo deprocessador aritmético (#1) 811 sozinho será ilustrado, o mesmo processotambém será executado relativo ao núcleo de processador aritmético (#2) 812por (#8) 818.

O núcleo de processador de controle 801 executadecodificação 852, entrelaçamento 853, e redimensionamento 854 comodecodificação 851. A decodificação 852 é um processo para decodificar umarquivo de imagem em movimento. O entrelaçamento 853 é um processo pararemover o entrelaçamento de cada quadro decodificado. Oredimensionamento 854 é um processo para reduzir cada quadro de qual oentrelaçamento foi removido.

Também, o núcleo de processador de controle 801 executatransmissões de comando 857 e 859, e recepções de notificação de terminação858 e 860 como administração de núcleo de processador aritmético 856. Astransmissões de comando 857 e 859 são processos para transmitir umcomando de execução de computação de SIMD sobre os núcleos deprocessador aritmético (#1) 811 por (#8) 818. Também, as recepções denotificação de terminação 858 e 860 são processos para receber a notificaçãode terminação de computação de SIMD dos núcleos de processador aritmético(#1) 811 por (#8) 818 sobre o comando anterior. Ademais, o núcleo deprocessador de controle 801 executa um processo de cálculo de parâmetro detrabalho de câmera 862 como detecção de trabalho de câmera 861. O processode cálculo de parâmetro de trabalho de câmera 862 é um processo paracalcular parâmetros de transformação afim para cada quadro baseado no fluxoóptico calculou com computação de SIMD pelos núcleos de processadoraritmético (#1) 811 por (#8) 818.

O núcleo de processador aritmético (#1) 811 executa umprocesso de filtro de Sobel 864, um segundo processo de matriz de momento865 como um processo de extração de ponto de aspecto 863. Também, onúcleo de processador aritmético (#1) 811 executa um processo de filtroseparável 866, um processo de extração de pontos de canto de Harris (CaleHarris) 867, um processo de dilatação 868, e um processo de escolha 869.

O processo de filtro de Sobel 864 é um processo para calcularum valor dx na direção X obtida usando um filtro P2 (direção X), e um valordy na direção y obtida usando um filtro na direção Y. Note que o cálculo dovalor dx na direção X será descrito em detalhes com referência às Figuras 75por 78.

O segundo processo de matriz de momento 865 é um processopara calcular cada valor de dx", dy , dx*dy usando o dx e dy calculados peloprocesso de filtro de Sobel 864.

O processo de filtro separável 866 é um processo para aplicarum filtro Gaussiano (processo de borrar) às imagens do valor de dx2, dy2,dx*dy calculados pelo segundo processo de filtro de momento 865.

O processo de extração de pontos de canto de Harris 867 é umprocesso para usar cada valor do dx2, dy2, dx*dy sujeito a um processo deborrar pelo processo de filtro separável 866 para calcular a contagem de umcanto de Harris. A contagem S deste canto de Harris é calculada, porexemplo, pela expressão seguinte.

S = (dx2 χ dy2 - dx · dy χ dx · dy)/(dx2 + dy2 + ε)

O processo de dilatação 868 é um processo para executar umprocesso de borrar sobre uma imagem composta da contagem de um canto deHarris calculado pelo processo de extração de pontos de canto de Harris 867.

O processo de escolha 869 é um processo para escolher pixéisna ordem descendente da contagem de um canto de Harris calculado peloprocesso de extração de pontos de canto de Harris 867, apanhar pixéis por umnúmero predeterminado de pixéis de um pixel tendo a contagem mais alta, eextrair estes pixéis apanhados como pontos de aspecto.

O núcleo de processador aritmético (#1) 811 executa umprocesso de criação de imagem de pirâmide 871 como um processo decomputação de fluxo óptico 870, e executa um processo de cálculo de fluxoóptico 872.

O processo de criação de imagem de pirâmide 871 é umprocesso para criar seqüencialmente uma imagem reduzida por um númeropredeterminado de fases do tamanho de imagem na hora de geração deimagem pela câmera, e a imagem criada é chamada uma imagem de multi-resolução.

O processo de cálculo de fluxo óptico 872 é um processo paracalcular um fluxo óptico relativo à imagem menor das imagens de multi-resolução criadas pelo processo de criação de imagem de pirâmide 871, e usareste resultado de cálculo para calcular um fluxo óptico novamente relativo auma imagem tendo resolução um grau acima da imagem menor. Tal série deprocessos é executada repetidamente até que a imagem a ser processadaalcance a imagem maior.

Assim, por exemplo, o processo de extração de ponto deaspecto, e o processo de cálculo de fluxo óptico são executados em paralelocom computação de SIMD usando o processador de multi-núcleo 800, pormeio de que resultados de processamento podem ser obtidos. Aqui, porexemplo, o processo de extração de ponto de aspecto é um processo deextração de ponto de aspecto executado pela unidade extratora de ponto deaspecto 121 mostrada na Figura 2 e outras, e o processo de cálculo de fluxoóptico é um processo de cálculo de fluxo óptico executado pelo unidadecalculadora de fluxo óptico 122. Note que o processo de extração de ponto deaspecto, e o processo de cálculo de fluxo óptico mostrados na Figura 74 eoutras são um exemplo, outro processo composto de vários tipos de processode filtro e um processo de limiar e similar sobre uma imagem compondo umaimagem em movimento pode ser usado para executar computação de SIMDpelo processador de multi-núcleo 800.

Figura 75 é um diagrama ilustrando esquematicamente umaestrutura de dados e um fluxo de processamento no caso que dados deimagem armazenados na memória principal 781 de acordo com a quintaconcretização da presente invenção são sujeitos a um processo de filtragemusando o filtro de Sobel 830. Estes dados de imagem são dados de imagemcorrespondendo a um único quadro compondo uma imagem em movimentoconvertida pela câmera. Note que os dados de imagem armazenados namemória principal 781 mostrada na Figura 75 são ilustrados de uma maneirasimplificada com o número de pixéis horizontais como 32 pixéis. Também, ofiltro de Sobel 830 é um filtro extrator de borda de 3 χ 3. Como mostrado naFigura 75, os dados de imagem armazenados na memória principal 781 sãosujeitos a um processo de filtragem usando o filtro de Sobel 830, e osresultados deste processo de filtragem são produzidos. Com este exemplo,descrição será feita relativa a um exemplo em que computação de SIMD éusada para obter os resultados de quatro filtros imediatamente.

Figura 76 é um diagrama ilustrando esquematicamente umfluxo de dados no caso que o filtro de Sobel 830 é usado para executarcomputação de SIMD relativa a dados de imagem armazenados na memóriaprincipal 781 de acordo com a quinta concretização da presente invenção.Primeiro, um número predeterminado de filas incluindo a primeira fila dosdados de imagem armazenados na memória principal 781 são transferidos porDMA(Acesso Direto de Memória) a uma primeira memória temporária 831provida ao depósito local 821 de um núcleo de processador aritmético.

Também, um número predeterminado de filas em que cada fila transferida porDMA à primeira memória temporária 831 é deslocada para baixo por um étransferida por DMA a um segunda memória temporária 832. Aqui, o númeropredeterminado de filas é, por exemplo, três filas. Assim, as memóriatemporárias duplas são usadas, por meio de que atraso devido à transferênciapor DMA pode ser sobreposto.

Figura 77 é um diagrama ilustrando esquematicamente ummétodo de criação de vetor arranjado para criar nove vetores dos dados deimagem armazenados na primeira memória temporária 831 no caso que oprocesso de filtragem é executado usando o filtro de Sobel 830 de acordo com1 a quinta concretização da presente invenção. Como mostrado na Figura 76,depois que transferência por DMA é executada, nove vetores são criados dosdados de imagem armazenados no primeira memória temporária 831.

Especificamente, com a primeira fila dos dados de imagem armazenados naprimeira memória temporária 831, vetor que dados 841 é criado com quatropedaços de dados do canto esquerdo, e de acordo com quatro pedaços dedados obtidos deslocando os quatro pedaços anteriores à direita pór um, dadosde vetor 842 são criados. Semelhantemente, de acordo com quatro pedaços dedados obtidos deslocando os quatro pedaços anteriores à direita por um, dadosde vetor 843 são criados. Também, com a segunda e terceiras filas,semelhantemente, dados de vetor 844 por 849 são criados com quatro pedaçosde dados.

Figura 78 é um diagrama ilustrando esquematicamente ummétodo de computação de vetor arranjado para usar computação de SIMDpara executar uma computação de vetor relativa a dados de vetor 841 por 849no caso que o processo de filtragem é executado usando o filtro de Sobel 830de acordo com a quinta concretização da presente invenção. Especificamente,computação de SlMD é executada seqüencialmente relativa aos dados devetor 841 por 843, por meio de que um vetor A é obtido. Com estacomputação de SIMD, primeiro, computação de SIMD de -1 χ dados de vetor841 é executada. A seguir, computação de SIMD de 0 χ dados de vetor 841 éexecutada e computação de SIMD de 1 χ dados de vetor 843 é executada.

Aqui, com respeito a 0 χ dados de vetor 842, o resultado de computação foideterminado ser 0, e por conseguinte, esta computação pode ser omitida.Também, com respeito a 1 χ dados de vetor 843, o resultado de computaçãofoi determinado ser o mesmo valor como os dados de vetor 843, e porconseguinte esta computação pode ser omitida.

Subseqüentemente, um processo de adição entre o resultado decomputação de -1 χ dados de vetor 841, e o resultado de computação de 0 χdados de vetor 842 é executado com computação de SIMD.

Subseqüentemente, um processo de adição entre o resultado do processo deadição anterior e o resultado de computação de 1 χ dados de vetor 843 éexecutado com computação de SIMD. Aqui, por exemplo, a computação deuma estrutura de dados servindo como dados de vetor 1 χ dados de vetor 2 +dados de vetor 3 podem ser realizada com computação de SIMD. Portanto,com respeito à computação do vetor A, computação de SIMD considerando,por exemplo, 0 χ dados de vetor 842, e 1 χ dados de vetor 843 será omitida.Subseqüentemente, -Ix dados de vetor 841 + dados de vetor 843 pode serexecutado com uma computação de SIMD de uma vez.

Também, semelhantemente, computação de SIMD é executadarelativa aos dados de vetor 844 por 846 para obter um vetor B, computação deSIMD é executada relativa aos dados de vetor 847 por 849 para obter umvetor C.

Subseqüentemente, computação de SIMD é executada relativaaos vetores obtidos A por C para obter um vetor D. Assim, computação deSIMD é executada, por meio de que os resultados equivalentes ao número deelementos de vetor (quatro pedaços de dados neste exemplo) podem serobtidos ao mesmo tempo.

Depois que o vetor D é calculado, com os dados de imagemarmazenados na primeira memória temporária 831 mostrada na Figura 76, omesmo processo é executado repetidamente deslocando a posição de dados aserem extraídos à direita por um, por meio de que cálculo do vetor D relativoa cada pedaço dos dados de imagem é executado seqüencialmente.

Subseqüentemente, no caso que o processo até a borda direita dos dados deimagem armazenados no primeira memória temporária 831 mostrada naFigura 76 foi completado, os resultados de processamento são transferidos porDMA à memória principal 781.

Subseqüentemente, dos dados de imagem armazenados namemória principal 781, um número predeterminado de filas em que cada filatransferida por DMA à segunda memória temporária 832 é deslocada parabaixo por um é transferida por DMA à primeira memória temporária 831. Oprocesso anterior é executado repetidamente relativo aos dados de imagemarmazenados na segunda memória temporária 832 junto com estatransferência. Subseqüentemente, o mesmo processo é executadorepetidamente até que a fila a ser processada alcance a fila de borda inferiordas filas dos dados de imagem armazenados na memória principal 781.Semelhantemente, a maioria dos processos da extração deponto de aspecto e cálculo de fluxo óptico é executada com computação deSIMD, por meio de que aumento em velocidade pode ser realizado.

Figura 79 é um diagrama ilustrando esquematicamente o fluxode um processo de cálculo de parâmetro de trabalho de câmera de acordo coma quinta concretização da presente invenção de uma maneira de série detempo. Como descrito acima, por exemplo, computação de SIMD é executadausando o processador de multi-núcleo 800, por meio de que processos dedecodificação e análise relativos a uma imagem em movimento podem serexecutados em paralelo. Portanto, o tempo de análise de um quadrocompondo uma imagem em movimento pode ser reduzido quando comparadoao tempo de decodificação.

Por exemplo, na Figura 79, tl representa tempo para oprocesso de decodificação de um quadro compondo uma imagem emmovimento pelo núcleo de processador de controle 801. Também, t2representa tempo para o processo de extração de ponto de aspecto de umquadro compondo uma imagem em movimento pelo núcleo de processadoraritmético (#1) 811 por (#8) 818. Também, t3 representa tempo para oprocesso de cálculo de fluxo óptico de um quadro compondo uma imagem emmovimento pelo núcleo de processador aritmético (#1) 811 por (#8) 818.

Também, t4 representa tempo para o processo de detecção de trabalho decâmera de um quadro compondo uma imagem em movimento pelo núcleo deprocessador de controle 801. Note que t5 representa tempo para o processo dedetecção de trabalho de câmera relativo a um quadro compondo uma imagemem movimento pelo núcleo de processador de controle 801 e pelo núcleo deprocessador aritmético (#1) 811 por (#8) 818. Também, t6 representa tempopara um processo para administrar o núcleo de processador aritmético (#1)811 por (#8) 818 pelo processador de controle 801. Por exemplo, um arranjopode ser feito em que tl é fixado a 25,0 ms, t2 é fixado a 7,9 ms, t3 é fixado a6,7 ms, t4 é fixado a 1,2 ms, e t5 é fixado a 15,8 ms.

A seguir, descrição será feita em detalhes relativos a um casoonde um conteúdo de imagem em movimento usando um arquivo demetadados de acordo com a quinta concretização da presente invenção éreproduzido, com referência aos desenhos.

Na Figura 80, (a) é uma vista de topo ilustrandoesquematicamente um Disco Blu-ray (marca registrada) 880, que é umexemplo de um meio de gravação, e (b) na Figura 80 que um diagramailustrando esquematicamente dados 881 por dados 884 gravados no DiscoBlu-ray 880. Por exemplo, um conteúdo de imagem em movimento 882, umalegenda 883, metadados 884, e uma programa Java (marca registrada) 881 sãogravados no Disco Blu-ray 880. Por exemplo, o conteúdo de imagem emmovimento 882 é uma imagem em movimento convertida por uma câmera ousimilar, a legenda 883 é a legenda do conteúdo de imagem em movimento882, e os metadados 884 são metadados obtidos analisando o conteúdo deimagem em movimento 882 (por exemplo, cada pedaço de informaçãomostrado na Figuras 3, 4, etc.). Também, a programa Java 881 é um programaJava de acordo com reprodução de imagem em movimento com cadaconcretização da presente invenção.

Na Figura 80, (c) é um diagrama ilustrando esquematicamentea configuração interna de um reprodutor de Blu-ray capaz de tocar o DiscoBlu-ray 880. Aqui, com o reprodutor de Blu-ray 890 capaz de reproduzir umDisco Blu-ray, uma CPU 891, um OS 892, um Java VM (máquina virtualJava), e uma biblioteca 893 são implementados prefixadamente, e porconseguinte, um programa Java pode ser executado. Portanto, o Disco Blu-ray880 está montado no reprodutor de Blu-ray 890, por meio de que o reprodutorde Blu-ray 890 pode carregar e pode executar o programa Java 881. Assim,no caso que o reprodutor de Blu-ray 890 reproduz o conteúdo de imagem emmovimento 882, os metadados 884 são usados para executar exibição de umaimagem de panorama correspondendo a uma imagem em movimento deacordo com cada concretização da presente invenção, procura de uma imagemem movimento de múltiplas imagens em movimento, ou similar. Quer dizer,reprodução de imagem em movimento de acordo com cada concretização dapresente invenção pode ser realizada com todos os reprodutores de Blu-raysem usar um software de PC dedicado ou similar.

Como descrito acima, de acordo com as concretizações dapresente invenção, uma atmosfera em um lugar de geração de imagem, umasituação do lugar disso, e assim sucessivamente pode ser propagadaprecisamente, e o espaço de geração de imagem no lugar de geração deimagem disso pode ser reconhecido. Também, a imagem em movimento dissopode ser feito parecer mais divertido, e interesse relativo à imagem emmovimento pode ser elevado. Por exemplo, é dito que a maioria dos usuáriosestá satisfeita com geração de imagem de uma vez de uma imagem emmovimento, quando comparado a uma fotografia, e não vê a imagem emmovimento convertida repetidamente. Portanto, com as concretizações dapresente invenção, uma imagem proeminente é selecionada de uma imagemem movimento, e uma imagem composta é criada desta imagem, por meio deque uma chance para ver uma cena convertida em imagem pela imagem emmovimento novamente pode ser provida prontamente. Por exemplo, múltiplasimagens podem ser compostas de uma maneira de panorama para criar umaimagem composta tal aquelas múltiplas fotografias de papel sejamsobrepostas.

Também, com as concretizações da presente invenção,descrição foi feita com o aparelho de processamento de imagem que exibeuma imagem composta na unidade de exibição como um exemplo, mas asconcretizações da presente invenção podem ser aplicadas a um aparelho deprocessamento de imagem no qual uma unidade de saída de imagem queproduz informação de imagem usada para exibir uma imagem composta emoutro aparelho de exibição de imagem. Ademais, as concretizações dapresente invenção podem ser aplicadas a um reprodutor de imagem emmovimento capaz de reproduzir uma imagem em movimento, um aparelho degeração de imagem tal como uma câmera de vídeo digital ou similar capaz dereproduzir uma imagem em movimento convertida, um quadro de fotografiacapaz de exibir uma imagem baseada em dados de imagem, ou similar.

Também, com as concretizações da presente invenção,descrição foi feita com o aparelho de processamento de imagem como umexemplo, mas as concretizações da presente invenção podem ser aplicadas aum reprodutor de imagem em movimento ou similar capaz de reproduzir umaimagem em movimento. Também, com as concretizações da presenteinvenção, descrição foi feita relativa a uma imagem em movimentoconvertida pela câmera, mas as concretizações da presente invenção tambémpodem ser aplicadas a, por exemplo, uma imagem em movimento ou similarem que, no caso que uma imagem em movimento convertida pela câmera éeditado, uma imagem em movimento depois de edição ou animação ousimilar é parcialmente composto.

Note que as concretizações da presente invenção ilustram umexemplo usado para realizar a presente invenção, como descrito acima, temrelação correspondente sobre cada um de componentes de especificação deinvenção no Resumo da Invenção. Porém, a presente invenção não estárestringida às concretizações anteriores, e várias mudanças podem ser feitassem partir da essência e espírito da presente invenção.

Também, os procedimentos descritos nas concretizações dapresente invenção podem ser considerados como um método incluindo umatal série de procedimentos, ou pode ser considerado como um programa usadopara fazer um computador executar uma tal série de procedimentos, ou podeser considerado um meio de gravação configurado para armazenar o programadisso. Por exemplo, um CD (Disco Compacto), MD (MiniDisc), DVD (DiscoVersátil Digital), um cartão de memória, um Disco Blu-ray (mercaregistrada), ou similar pode ser empregado como o meio de gravação disso.

O presente pedido contém assunto relacionado àquele expostono Pedido de Patente de Prioridade Japonês JP 2008-275141 depositado noEscritório de Registro de Patentes do Japão no dia 27 de outubro de 2008, oconteúdo inteiro de qual está por este meio incorporado por referência.

Deveria ser entendido por aqueles qualificados na técnica quevárias modificações, combinações, sub-combinações e alterações podemocorrer dependendo de exigências de projeto e outros fatores até onde elesestão dentro da extensão das reivindicações anexas ou dos equivalentes disso.

Claims

1. Aparelho de processamento de imagem, caracterizado pelofato de incluir:uma unidade calculadora configurada para calcular informaçãode movimento relativa a entre duas imagens que compõem uma imagem emmovimento convertida; euma unidade selecionadora configurada para selecionarimagens visadas de composição servindo como objetivos de composição deuma pluralidade de imagem que compõem dita imagem em movimentoconvertida baseado em confiabilidade que indica a probabilidade de ditainformação de movimento calculada.

2. Aparelho de processamento de imagem de acordo com areivindicação 1, caracterizado pelo fato de que dita unidade selecionadorainclui:uma unidade selecionadora de seção configurada paraselecionar uma seção usada para selecionar ditas imagens visadas decomposição de uma pluralidade de imagens que compõem dita imagem emmovimento convertida baseado em dita confiabilidade; euma unidade selecionadora de imagem configurada paraselecionar ditas imagens visadas de composição de uma pluralidade deimagens incluídas em dita seção selecionada baseado em relação de posiçãorelativa de imagens incluídas em dita seção selecionada.

3. Aparelho de processamento de imagem de acordo com areivindicação 2, caracterizado pelo fato de que no caso que ditas imagensvisadas de composição selecionadas são tomadas como imagens de referência,e uma imagem visada que é outra imagem incluída em dita seção selecionada,e ditas imagens de referência foram cada uma convertida com dita informaçãode movimento, dita unidade selecionadora de imagem seleciona uma novaimagem visada de composição baseada na taxa de sobreposição entre ditaimagem visada e ditas imagens de referência.

4. Aparelho de processamento de imagem de acordo com areivindicação 2, caracterizado pelo fato de incluir :uma unidade determinadora configurada para determinar osatributos de um objetivo incluído em dita imagem;em que dita unidade selecionadora de imagem seleciona ditasimagens visadas de composição baseada em ditos atributos determinados.

5. Aparelho de processamento de imagem de acordo com areivindicação 4, caracterizado pelo fato de que a dita unidade selecionadorade imagem calcula um valor avaliado baseado em ditos atributosdeterminados para cada um de objetivos incluídos em dita imagem, eseleciona ditas imagens visadas de composição baseado no valor avaliadocalculado para cada um de ditos objetivos.

6. Aparelho de processamento de imagem de acordo com areivindicação 5, caracterizado pelo fato de que a dita unidade selecionadorade imagem toma ditas imagens visadas de composição selecionadas comoimagens de referência, e seleciona uma nova imagem visada de composiçãobaseado em dito valor avaliado calculado para cada um de objetivos incluídosem uma imagem visada que é outra imagem incluída em dita seçãoselecionada, e dita valor avaliado calculado para cada um de objetivosincluídos em ditas imagens de referência.

7. Aparelho de processamento de imagem de acordo com areivindicação 2, caracterizado pelo fato de que a dita unidade selecionadorade seção seleciona uma seção incluindo uma imagem de uma certa gamacomo dita seção.

8. Aparelho de processamento de imagem de acordo com areivindicação 2, caracterizado pelo fato de incluir:uma unidade calculadora de contagem de determinação deconfiabilidade configurada para calcular uma contagem de determinação deconfiabilidade que indica uma contagem usada para determinar ditaconfiabilidade baseado em dita informação de movimento calculada;em que dita informação de movimento inclui componentesrelativos à ampliação/redução, movimento translacional, e rotação;e em que dita unidade selecionadora de seção seleciona ditaseção baseada em dita contagem de determinação de confiabilidade calculada,dito componente translacional, dito componente rotacional, e dito componentede ampliação/redução que relaciona-se à dita informação de movimento.

9. Aparelho de processamento de imagem de acordo com areivindicação 8, caracterizado pelo fato de que dita unidade calculadora inclui:uma unidade extratora de ponto de aspecto configurada paraextrair, baseada em pixéis incluídos em uma primeira imagem que compõedita imagem em movimento convertida, um ponto de aspecto de dita primeiraimagem;uma unidade calculadora de quantidade de movimentoconfigurada para calcular a quantidade de movimento de uma segundaimagem que é uma imagem seguindo dita primeira imagem que compõe ditaimagem em movimento convertida sobre dita primeira imagem baseado emcada um de ditos pontos de aspecto extraídos; euma unidade calculadora de informação de movimentoconfigurada para calcular dita informação de movimento baseada em ditaquantidade de movimento calculada;em que dita unidade calculadora de contagem de determinaçãode confiabilidade calcula um valor que indica a taxa de um ponto de aspectoque exibe movimento dominante na hora de calcular dita informação demovimento por dita unidade calculadora de informação de movimento, deditos pontos de aspecto extraídos, como dita contagem de determinação deconfiabilidade.

10. Aparelho de processamento de imagem de acordo com areivindicação 8, caracterizado pelo fato de que com uma primeira imagem quecompõe dita imagem em movimento convertida como uma referência, no casoque uma segunda imagem que é uma imagem seguindo dita primeira imagemque compõe dita imagem em movimento convertida é convertida baseada emdita informação de movimento, dita unidade calculadora de contagem dedeterminação de confiabilidade calcula o valor de diferença de luminância depixéis a uma região sobreposta de dita primeira imagem e dita segundaimagem, e calcula dita contagem de determinação de confiabilidade baseadano valor de diferença disso.

11. Aparelho de processamento de imagem de acordo com areivindicação 10, caracterizado pelo fato de que dita unidade calculadorainclui:uma unidade extratora de ponto de aspecto configurada paraextrair um ponto de aspecto de dita primeira imagem baseada em cada um depixéis incluídos em dita primeira imagem;uma unidade calculadora de quantidade de movimentoconfigurada para calcular a quantidade de movimento de dita segundaimagem sobre dita primeira imagem baseado em cada um de ditos pontos deaspecto extraídos; euma unidade calculadora de informação de movimentoconfigurada para calcular dita informação de movimento baseada em ditaquantidade de movimento calculada;em que dita unidade calculadora de contagem de determinaçãode confiabilidade calcula, de ditos pontos de aspecto em dita regiãosobreposta, o valor de diferença de luminância de pixéis ao redor de um pontode aspecto que exibe movimento dominante na hora de calcular ditainformação de movimento por dita unidade calculadora de informação demovimento, e calcula dito contagem de determinação de confiabilidadebaseada no valor de diferença disso.

12. Método de processamento de imagem, caracterizado pelofato de incluir as etapas de:calcular informação de movimento relativa entre duas imagensque compõem uma imagem em movimento convertida; eselecionar de imagens visadas de composição servindo comoobjetivos de composição de uma pluralidade de imagens que compõem ditaimagem em movimento convertida baseado em confiabilidade que indica aprobabilidade de dita informação de movimento calculada.

13. Programa, caracterizado pelo fato de fazer um computadorexecutar:cálculo de informação de movimento relativa entre duasimagens que compõem uma imagem em movimento convertida; eseleção de imagens visadas de composição servindo comoobjetivos de composição de uma pluralidade de imagens que compõem ditaimagem em movimento convertida baseado em confiabilidade que indica aprobabilidade de dita informação de movimento calculada.