BRPI0806239A2 - aparelhos de processamento de imagem e de reprodução de imagem em movimento, método de processamento de imagem em um aparelho de processamento de imagem, e, programa em um aparelho de processamento de imagem - Google Patents
aparelhos de processamento de imagem e de reprodução de imagem em movimento, método de processamento de imagem em um aparelho de processamento de imagem, e, programa em um aparelho de processamento de imagem Download PDFInfo
- Publication number
- BRPI0806239A2 BRPI0806239A2 BRPI0806239-0A BRPI0806239A BRPI0806239A2 BR PI0806239 A2 BRPI0806239 A2 BR PI0806239A2 BR PI0806239 A BRPI0806239 A BR PI0806239A BR PI0806239 A2 BRPI0806239 A2 BR PI0806239A2
- Authority
- BR
- Brazil
- Prior art keywords
- image
- captured
- index
- images
- moving
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 174
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 61
- 230000009466 transformation Effects 0.000 claims description 231
- 238000000605 extraction Methods 0.000 claims description 61
- 230000001131 transforming effect Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 239000003550 marker Substances 0.000 claims description 9
- 238000004321 preservation Methods 0.000 claims description 9
- 238000010422 painting Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 92
- 238000003384 imaging method Methods 0.000 abstract description 12
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 abstract 3
- 230000015572 biosynthetic process Effects 0.000 abstract 2
- 238000003786 synthesis reaction Methods 0.000 abstract 2
- 238000000034 method Methods 0.000 description 142
- 238000010586 diagram Methods 0.000 description 100
- 230000008569 process Effects 0.000 description 97
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 83
- 239000002131 composite material Substances 0.000 description 54
- 239000013598 vector Substances 0.000 description 50
- 239000011159 matrix material Substances 0.000 description 35
- 238000001514 detection method Methods 0.000 description 17
- 230000007704 transition Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 10
- 230000004907 flux Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 230000000717 retained effect Effects 0.000 description 8
- 241000270295 Serpentes Species 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000004091 panning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
Abstract
APARELHOS DE PROCESSAMENTO DE IMAGEM E DE REPRODUçãO DE IMAGEM EM MOVIMENTO, MéTODO DE PROCESSAMENTO DE IMAGEM EM UM APARELHO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA EM UM APARELHO DE PROCESSAMENTO DE IMAGEM. Unidade de cálculo de fluxo ótico (122) detecta uma quantidade de movimento de um dispositivo de formação de imagem mediante a formação de imagem de uma imagem dinâmica capturada. Uma unidade de cálculo de parâmetro de camerawork (123) calcula um parâmetro de conversão de acordo com a quantidade de movimento. Uma unidade de conversão de imagens (160) converte a imagem capturada de acordo com o parâmetro de conversão. Uma unidade de síntese de imagem (180) sintetiza a imagem capturada e uma imagem histórica. A unidade de exposição (260) mostra, com uma imagem representativa, uma imagem histórica criada por uma unidade de síntese de imagem (180) para um número pré-determinado de imagens entre as imagens capturadas. Mediante recebimento de uma operação de seleção para selecionar a posição na imagem representativa exposta, uma unidade de seleção (240) seleciona uma posição de registro da imagem dinâmica de acordo com a posição selecionada. Uma unidade de controle de exposição (250) reproduz a imagem dinâmica da posição de registro da imagem dinâmica selecionada. Desse modo, quando da observação de uma imagem dinâmica capturada, é possível buscar, rapidamente, um quadro desejado das imagens dinâmicas buscadas.
Description
"APARELHOS DE PROCESSAMENTO DE IMAGEM E DE REPRODUÇÃO DE IMAGEM EM MOVIMENTO, MÉTODO DE PROCESSAMENTO DE IMAGEM EM UM APARELHO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA EM UM APARELHO DE PROCESSAMENTO DE IMAGEM"
Campo Técnico
A presente invenção se refere a um aparelho de processamento de imagem e, mais particularmente, a um aparelho de processamento de imagem capaz dè realizar processamento de imagem de uma imagem em movimento, a um aparelho de reprodução de imagem em movimento, a um método de processamento para os mesmos e a um programa para fazer com que um computador execute o método.
Técnica Anterior
Em anos recentes, câmeras de vídeo digitais têm sido amplamente populares. Portanto, por exemplo, em eventos em jardins de infância que cuidam de crianças, imagens da aparência dos eventos freqüentemente são fotografadas pelos pais ou semelhantes através do uso de câmeras de vídeo digitais. Quando a fotografia da imagem é feita pelos pais ou semelhantes nesses eventos, embora imagens de seus filhos sejam fotografadas, principalmente, imagens de cenas ou semelhantes dos eventos freqüentemente são fotografadas, conforme necessário, de modo que como os eventos aparecem pode ser compreendido. Também, quando a fotografia da imagem é feita em cada evento em um jardim de infância, o número de imagens em movimento que foram fotografadas é aumentado.
Fotografia de imagem em movimento dessa maneira pode ser reproduzida em casa, usando, por exemplo, um aparelho de reprodução de imagem em movimento em sua tela. No caso onde a reprodução é feita usando um aparelho de reprodução de imagem em movimento como acima, por exemplo, quando todas as fotografias de imagens em movimento devem ser reproduzidas desde o começo, o tempo de reprodução torna-se longo. Portanto, pode ser considerado que, se um observador puder buscar todas as imagens em movimento por partes desejadas e reproduzir seqüencialmente as partes recuperadas, o observador pode desfrutar eficientemente as imagens em movimento.
Com essa finalidade, técnicas para gerar imagens de unha de polegar de porções individuais de uma imagem em movimento e, usando as imagens de unha de polegar geradas, reproduzir a imagem em movimento, começando das posições de gravação desejadas têm sido propostas. Por exemplo, um aparelho de reprodução que gera uma pluralidade de imagens de unha de polegar de telas mostrando cenas individuais entre uma pluralidade de cenas de uma imagem em movimento gravadas em um meio de gravação e exposições dessas imagens de unha de polegar são propostas. Através da seleção de uma imagem de unha de polegar dentre as imagens de unha de polegar expostas, o aparelho de reprodução começa a reproduzir a imagem em movimento a partir do alto de uma cena correspondente à imagem de unha de polegar selecionada (por exemplo, veja a Publicação de Pedido de Patente Japonesa Não Examinado No. 11-289517 (figura 7)). Exposição da Invenção
De acordo com a técnica convencional descrita acima, no caso onde fotografias de imagens em movimento, em uma pluralidade de eventos, em um jardim de infância ou semelhante, devem ser visualizadas, a reprodução de uma imagem em movimento pode ser iniciada a partir de cima de uma cena desejada, usando imagens de unha de polegar mostradas para essas imagens em movimento.
Aqui, por exemplo, no caso onde fotografias de imagens em movimento, principalmente de uma criança em uma pluralidade de eventos em um jardim de infância devem ser visualizadas, é considerado que muitas cenas similares, principalmente incluindo a criança, devem ser reproduzidas, embora os eventos sejam diferentes. Nesse caso, imagens de unha de polegar a serem geradas são similares, freqüentemente. Além disso, quando o número de imagens em movimento nas fotografias é grande, o número de imagens de unha de polegar a serem geradas á aumentado. É considerado que, quando imagens de unha de polegar similares são exibidas ou quando muitas imagens de unha de polegar são mostradas como acima, uma busca apropriada não pode ser conduzida rapidamente.
Por exemplo, mesmo no caso onde as pessoas que servem como objetos fotográficos são as mesmas, se uma imagem em movimento é ou não um alvo da busca pode ser facilmente determinado de acordo com o local onde a imagem em movimento foi fotografada, a atmosfera circundante e semelhante. Portanto, por exemplo, no caso onde fotografias de imagens em movimento em uma pluralidade de eventos em um jardim de infância ou semelhante devem ser visualizadas, se referência puder ser feita facilmente aos locais onde esses eventos ocorrem, a atmosfera circundante e semelhante, os detalhes das imagens em movimento podem ser facilmente compreendidos. Desse modo, é considerado que uma imagem em movimento desejada pode ser recuperada rapidamente.
Portanto, é um objetivo da presente invenção compreender, facilmente, os detalhes de uma fotografia de imagem em movimento por meio de um aparelho de captura de imagem.
A presente invenção foi feita afim de resolver os problemas precedentes e, um primeiro aspecto da mesma reside em um aparelho de processamento de imagem, um método de processamento e um programa para fazer um computador executar o método.O aparelho de processamento de informação é caracterizado pelo fato de incluir: meio de armazenamento de imagem em movimento para armazenar uma imagem em movimento capturada, capturada por um aparelho de captura de imagem; meio de contenção de imagens, para conter imagens capturadas, constituindo a imagem em movimento capturada como imagens históricas; meio de cálculo de informação - transformação para calcular informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre as imagens capturadas, outra imagem capturada; meio de transformação de imagem para transformar a imagem capturada com base na informação de transformação calculada; meio de combinação de imagens para combinar a imagem capturada transformada com as imagens históricas para gerar uma nova imagem histórica e fazer com que no meio de combinação de imagens contenha a nova imagem histórica; meio de obtenção de posição - imagem para obtenção de uma posição de coordenada da imagem capturada transformada na imagem histórica gerada pela combinação; meio de armazenamento de posição de imagem para armazenar a posição de coordenada obtida e a imagem capturada em associação uma com a outra; meio de exposição para mostrar a imagem histórica como uma imagem representativa que representa a imagem em movimento capturada; meio de aceitação de operação para aceitar uma operação de seleção para seleção de uma posição na imagem representativa exposta; e meio de controle de exposição para reproduzir, com base na posição selecionada, na imagem representativa, a imagem em movimento capturada armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondente à posição selecionada. Em conseqüência, a operação a seguir é obtida: informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas, constituindo uma imagem em movimento capturada, outra imagem capturada é calculada; a imagem capturada é transformada com base na informação de transformação calculada; a imagem capturada transformada é combinada com imagens históricas para gerar uma nova imagem histórica e a nova imagem histórica é levada a ser mantida; uma posição de coordenada da imagem capturada transformada na imagem histórica é obtida e é armazenada em associação com a imagem capturada; a imagem histórica é exposta como um imagem representativa, que representa a imagem em movimento capturada; e, quando uma operação de seleção para seleção de uma posição na imagem representativa exposta é aceita, a imagem em movimento capturada é reproduzida, começando de uma imagem capturada correspondente à posição selecionada na imagem representativa. Também, nesse caso, o meio de cálculo de informação de transformação pode incluir meio de extração de pontos característicos para extrair pontos característicos na primeira imagem capturada e na segunda imagem capturada com base em pixéis individuais, constituindo a primeira imagem capturada e a segunda imagem capturada, constituindo a imagem em movimento capturada; meio de cálculo da quantidade de movimento para calcular a quantidade de movimento referente à primeira imagem capturada e à segunda imagem capturada com base nos pontos característicos individuais extraídos; e meio de cálculo de parâmetro de transformação para calcular a informação de transformação através do cálculo de um parâmetro de transformação pre- determinado com base na quantidade de movimento calculada. Também nesse caso, o meio de extração de pontos característicos pode ser implementado por um processador de múltiplos núcleos. O processador de múltiplos núcleos pode extrair quantidades características na primeira imagem capturada e na segunda imagem capturada através da realização através da realização de processamento paralelo, usando uma operação de SIMD, pixéis individuais, constituindo a primeira imagem capturada e a segunda imagem capturada. Também nesse caso, o meio de cálculo da quantidade de movimento pode ser implementado por um processador de múltiplos núcleos. O processador de múltiplos núcleos pode calcular a quantidade de movimento referente à primeira imagem capturada e à segunda imagem capturada por meio da realização de processamento paralelo, usando uma operação de SIMD, dos pontos característicos individuais extraídos. Também, no primeiro aspecto, o meio de obtenção de posição de imagem pode obter uma posição central da imagem capturada transformada como a posição de coordenada; o meio de armazenamento de posição de imagem pode armazenar a posição central obtida e a imagem capturada em associação uma com a outra; e o aparelho de processamento de imagem pode ainda incluir meio de seleção para selecionar a imagem capturada correspondente à posição selecionada por meio da seleção, dentre posições centrais armazenadas no meio de armazenamento de posição de imagem, uma posição central que está mais perto da posição selecionada na imagem representativa. Em conseqüência, a seguinte operação é obtida: uma posição central da imagem capturada transformada é obtida como a posição de coordenada e é armazenada em associação com a imagem capturada e a imagem capturada correspondente à posição selecionada é selecionada através de seleção, dentre as posições centrais armazenadas, uma posição central que está mais perto da posição selecionada na imagem representativa.
Também, no primeiro aspecto, o meio de obtenção de posição de imagem pode obter a posição central da imagem capturada transformada e um tamanho da mesma como a posição de coordenada; o meio de armazenamento de posição de imagem pode armazenar a posição central obtida e o tamanho e a imagem capturada em associação uma com a outra; e o meio de seleção pode selecionar, quando uma pluralidade das posições centrais que estão mais perto da posição selecionada na imagem representativa são detectadas entre as posições centrais armazenadas no meio de armazenamento de posição de imagem, a imagem capturada correspondente à posição selecionada pela comparação de tamanhos correspondentes à pluralidade de posições centrais detectadas. Em conseqüência, a operação seguinte é obtida: uma posição central e tamanho da imagem capturada transformada são obtidos como a posição de coordenada e são armazenados em associação com a imagem capturada; e, quando uma pluralidade de posições centrais que estão mais perto da posição selecionada na imagem representativa são detectadas entre as posições centrais armazenadas, a imagem capturada correspondente à posição selecionada é selecionada através da comparação de tamanhos correspondentes à pluralidade de posições centrais detectadas.
Também, no primeiro aspecto, o meio de cálculo de informação de transformação pode, seqüencialmente, calcular a informação de transformação para cada um dos quadros que constituem a imagem em movimento capturada; o meio de transformação de imagem pode transformar, seqüencialmente, as imagens capturadas para cada um dos quadros; o meio de combinação de imagens pode combinar, seqüencialmente, para cada um dos quadros, a imagem capturada transformada com as imagens históricas e gerar uma nova imagem histórica; o meio de conservação de imagens pode, seqüencialmente, conservar a nova imagem histórica para cada um dos quadros; e o aparelho de processamento de imagem pode ainda incluir meio de armazenamento de imagem representativa para armazenamento, como a imagem representativa, a imagem histórica gerada pela combinação de imagens correspondentes a pelo menos um certo número de quadro entre os quadros que constituem a imagem em movimento capturada. Em conseqüência, a operação a seguir é obtida: a informação de transformação para cada um dos quadros é calculada, seqüencialmente; as imagens capturadas são transformadas, em seqüência, para cada um dos quadros; para cada um dos quadros, a imagem capturada transformada é combinada, seqüencialmente, com as imagens históricas para gerar uma nova imagem histórica e a nova imagem histórica é conservada, seqüencialmente; e, como uma imagem representativa que represente a imagem em movimento capturada, a imagem histórica gerada pela combinação de imagens correspondendo a pelo menos um certo número de quadro entre os quadros que constituem a imagem em movimento capturada é armazenada. Também, no primeiro aspecto, o meio de combinação de imagens pode gerar uma imagem de tamanho reduzido da imagem representativa; o aparelho de processamento de imagem pode ainda incluir meio de armazenamento de imagem representativa; o aparelho de processamento de imagem pode ainda incluir meio de armazenamento de imagem representativa para armazenar a imagem representativa e a imagem de tamanho reduzido em associação uma com a outra; e o meio de controle de exposição pode mostrar a imagem de tamanho reduzido armazenada no meio de armazenamento de imagem representativa como uma imagem selecionada em uma lista. Em conseqüência, a operação a seguir é obtida: uma imagem de tamanho reduzido da imagem representativa é gerada e é armazenada em associação com a imagem representativa; e a imagem de tamanho reduzido armazenada é mostrada como uma imagem selecionável em uma lista.
Também, um segundo aspecto da presente invenção reside em um aparelho de processamento de imagem e um método de processamento para a mesma e um programa para levar um computador a executar o método. O aparelho de processamento de imagem é caracterizado pelo fato de incluir: meio de entrada de imagem em movimento para recebimento de uma imagem em movimento capturada por um aparelho de captura de imagem como uma imagem em movimento capturada; meio de cálculo de informação de transformação para calcular informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo a imagem em movimento capturada, outra imagem capturada; meio de transformação de imagem para transformar a imagem capturada com base na informação de transformação calculada; meio de armazenamento de imagem índice com relação a pelo menos uma dentre a imagem capturada e a imagem capturada transformada como uma imagem índice da imagem em movimento capturada e armazenando uma posição de coordenada e tamanho da imagem índice em um espaço de captura de imagem definido pela informação de transformação; e meio de extração de imagem índice para extração de uma imagem índice da imagem em movimento capturada com base na imagem capturada transformada e a posição de coordenada e o tamanho da imagem índice, a posição de coordenada e o tamanho sendo armazenados no meio de armazenamento de imagem índice. Em conseqüência, a operação a seguir é obtida: quando uma imagem em movimento capturada é introduzida, informação de transformação para transformação, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo a imagem em movimento capturada, outra imagem capturada é calculada; a imagem capturada é transformada com base na informação de transformação calculada; e, com base na imagem capturada transformada e em uma posição de coordenada e no tamanho de uma imagem índice armazenada no meio de armazenamento de imagem índice, uma imagem índice é extraída da imagem em movimento capturada.
Também, no segundo aspecto, um meio de extração de imagem índice pode calcular uma taxa de sobreposição entre a imagem capturada transformada e a imagem índice armazenada no meio de armazenamento de imagem índice e extrai a imagem índice com base na taxa de sobreposição calculada. Em conseqüência, a operação a seguir é obtida: uma taxa de sobreposição entre a imagem capturada transformada e a imagem índice armazenada no meio de armazenamento de imagem índice é calculada e a imagem índice é extraída com base na taxa de sobreposição calculada. Também, no segundo aspecto, o meio de extração de imagem índice pode registrar, seqüencialmente, a posição de coordenada e o tamanho da imagem índice extraída no meio de armazenamento de imagem índice. Em conseqüência, a operação a seguir é obtida: a posição de coordenada e o tamanho da imagem índice extraída são registrados, em seqüência, no meio de armazenamento de imagem índice.
Também, no segundo aspecto, o meio de extração de imagem índice pode registrar, em seqüência, a posição de coordenada e o tamanho da imagem índice extraída e a imagem índice extraída em associação uma com a outra no meio de armazenamento de imagem índice. Em conseqüência, a operação a seguir é obtida: a posição de coordenada e o tamanho da imagem índice extraída são registrados, em seqüência, em associação um com o outro no meio de armazenamento de imagem índice.
Também, no segundo aspecto, o aparelho de processamento de imagem pode ainda incluir meio de controle de exposição para disposição da imagem índice. Em conseqüência a operação a seguir é obtida: com base na posição de coordenada e no tamanho da imagem índice armazenada no meio de armazenamento de imagem índice, a imagem índice é disposta em um espaço bidimensional e é visualizada.
Também, no segundo aspecto, o meio de extração de imagem índice pode registrar, em seqüência, a posição de coordenada e o tamanho da imagem índice extraída, a imagem índice extraída e a informação de tempo referente à imagem índice extraída na imagem em movimento capturada, em associação umas com as outras, no meio de armazenamento de imagem índice; e o aparelho de processamento de imagem pode ainda incluir meio de controle de exposição para disposição, virtualmente, da imagem índice em um espaço tridimensional com base em informação de tempo, posição de coordenada e tamanho da imagem índice, a informação de tempo, a posição de coordenada e o tamanho sendo armazenados no meio de armazenamento de imagem índice, projetando a imagem índice em um plano e mostrando a imagem índice. Em conseqüência a operação a seguir é obtida: a posição de coordenada e o tamanho da imagem índice extraída, a imagem índice e a informação de tempo referente à imagem índice são registrados, em seqüência, em associação uns com os outros no meio de armazenamento de imagem índice; e, com base na informação de tempo, na posição de coordenada e no tamanho da imagem índice, a informação de tempo, a posição de coordenada e o tamanho sendo armazenados no meio de armazenamento de imagem índice, a imagem índice é disposta virtualmente em um espaço tridimensional, projetada em um plano e visualizada.
Também, no segundo aspecto, o aparelho de processamento de imagem pode ainda incluir: meio de armazenamento de imagem em movimento para armazenar a imagem em movimento capturada; meio de aceitação de operação para aceitar uma operação de seleção para seleção da imagem índice disposta no espaço tridimensional; e meio de seleção para selecionar, com base na imagem índice selecionada, a informação de tempo armazenada no meio de armazenamento de imagem índice. O meio de controle de exposição pode reproduzir a imagem em movimento capturada armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondente à informação de tempo selecionada. Em conseqüência a operação a seguir é obtida: quando uma operação de seleção para selecionar a imagem índice disposta no espaço tridimensional é aceita, a informação de tempo é selecionada com base na imagem índice selecionada e a imagem em movimento é reproduzida, começando de uma imagem capturada correspondente à informação de tempo selecionada.
Também, no segundo aspecto, o aparelho de processamento de imagem pode ainda incluir: meio de conservação de imagens para adição de um marcador pré-determinado à imagem capturada transformada correspondente à imagem índice extraída, combinando a imagem capturada transformada com a imagem histórica para gera uma nova imagem histórica e levando o meio de conservação de imagens a conservar a nova imagem histórica; e meio de armazenamento de imagem representativa para armazenar a imagem histórica como uma imagem representativa que representa a imagem em movimento capturada. Em conseqüência a operação a seguir é obtida: um marcador pré-determinado é adicionado à imagem capturada, correspondente à imagem índice extraída; a imagem capturada transformada é combinada com a imagem histórica para gerar uma nova imagem histórica e a nova imagem histórica é levada a ser mantida; e a imagem histórica é armazenada como a imagem representativa.
Também, no segundo aspecto, o aparelho de processamento de imagem ainda pode incluir: meio de armazenamento de imagem em movimento para armazenar a imagem em movimento capturada; meio de exposição para mostrar a imagem representativa armazenada no meio de armazenamento de imagem representativa; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma posição na imagem representativa exposta; meio de seleção para selecionar a imagem índice extraída com base na porção selecionada da imagem representativa; e meio de controle de exposição para reproduzir a imagem em movimento capturada, armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondente à imagem índice selecionada. Em conseqüência a operação a seguir é obtida: quando uma operação de seleção para selecionar uma posição na imagem representativa exposta é aceita, a imagem índice é selecionada com base na posição selecionada na imagem representativa; e a imagem em movimento é reproduzida, começando de uma imagem capturada correspondente à imagem índice selecionada.
Também um terceiro aspecto da presente invenção reside em um aparelho de reprodução de imagem em movimento, um método de processamento para o mesmo e um programa para levar um computador a executar o método. O aparelho de reprodução de imagem em movimento é caracterizado pelo fato de incluir: meio de armazenamento de imagem em movimento para armazenar uma imagem em movimento capturada, que é capturada por um aparelho de captura de imagem; meio de conservação de imagens para conservar imagens capturadas, constituindo a imagem em movimento capturada como imagens históricas; meio de cálculo de informação de transformação para calcular informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre as imagens capturadas, outra imagem capturada; meio de transformação de imagem para combinar a imagem capturada transformada com as imagens históricas para gerar uma nova imagem histórica e levando o meio de conservação de imagens a obter uma posição de coordenada da imagem capturada transformada na imagem histórica gerada pela combinação; meio de armazenamento de posição de imagem para armazenar a posição de coordenada obtida e a imagem capturada, em associação uma com a outra; meio de exposição para mostrar a imagem histórica como a imagem representativa que representa a imagem em movimento capturada; meio de aceitação de operação para aceitar a operação de seleção para selecionar uma posição na imagem representativa exposta; e meio de controle de exposição para reproduzir, com base na posição selecionada na imagem representativa, imagem em movimento capturada armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondendo à posição selecionada. Em conseqüência a operação a seguir é obtida: informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas que constituem uma imagem em movimento capturada, outra imagem capturada é calculada; a imagem capturada é transformada com base na informação de transformação calculada; a imagem capturada transformada é combinada com as imagens históricas para gerar uma nova imagem histórica e a nova imagem histórica é levada a ser conservada; uma posição de coordenada da imagem capturada transformada ma imagem histórica é obtida e é armazenada em associação com a imagem capturada, - a imagem histórica é mostrada como uma imagem representativa, que representa a imagem em movimento capturada; e, quando uma operação de seleção para selecionar uma posição na imagem representativa exposta é aceita, imagem em movimento capturada é reproduzida, começando de uma imagem capturada correspondente à posição selecionada na imagem representativa.
Breve Descrição dos Desenhos
A figura 1 é um diagrama de blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 100 em uma modalidade da presente invenção.
A figura 2 é um diagrama mostrando, esquematicamente, os detalhes armazenados em uma unidade de armazenamento de posição de imagem 210 na modalidade da presente invenção.
A figura 3 é um diagrama mostrando, esquematicamente, os detalhes armazenados em uma unidade de armazenamento de imagem representativa 220 na modalidade da presente invenção.
A figura 4 inclui diagramas mostrando um exemplo de uma imagem correspondente a um quadro incluído em uma imagem em movimento.
A figura 5 inclui diagramas mostrando imagens simplificadas obtidas pela omissão de fundo e semelhantes da imagem correspondente ao quadro incluído na imagem em movimento.
A figura 6 é um fluxograma mostrando um procedimento de processamento de um processo de detecção de parâmetro de transformação afim realizado pelo aparelho de processamento de imagem 100 na modalidade da presente invenção.
A figura 7 inclui diagramas mostrando um exemplo de transição em um instantâneo de imagem em movimento por uma câmera.
A figura 8 inclui diagramas em que, em imagens individuais mostradas na figura 7, uma imagem correspondente ao quadro imediatamente precedente é indicado por linhas interrompidas e, adicionalmente, fluxos óticos detectados exemplificativos são mostrados. A figura 9 inclui diagramas mostrando um exemplo de combinação de imagens no caso onde uma imagem em movimento, incluindo imagens 401 a 403 mostradas na figura 7, é gerada pela combinação.
A figura 10 inclui diagramas mostrando um exemplo de transição em um instantâneo de imagem em movimento por uma câmera.
A figura 11 inclui diagramas em que, em imagens individuais mostradas na figura 10, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas e, adicionalmente, fluxos óticos detectados exemplos são mostrados.
A figura 12 inclui diagramas mostrando um exemplo de combinação no caso onde uma imagem em movimento, incluindo imagens 421 a 423, mostradas na figura 10, é gerada pela combinação.
A figura 13 inclui diagramas mostrando um exemplo de transição em um instantâneo de imagem em movimento por uma câmera.
A figura 14 inclui diagramas em que, em imagens individuais mostradas na figura 13, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas e, adicionalmente, fluxos óticos detectados exemplificativos são mostrados.
A figura 15 inclui diagramas mostrando um exemplo de combinação no caso onde uma imagem em movimento, incluindo imagens 441 a 443 mostradas na figura 13, é gerada pela combinação;
A figura 16 inclui diagramas mostrando um exemplo de transição em um instantâneo de imagem em movimento por uma câmera.
A figura 17 inclui diagramas mostrando um exemplo de transição em um instantâneo de imagem em movimento por uma câmera.
A figura 18 inclui diagramas mostrando um exemplo de transição em um instantâneo de imagem em movimento por uma câmera.
A figura 19 inclui diagramas mostrando um exemplo de transição em um instantâneo de imagem em movimento por uma câmera. A figura 20 é um diagrama mostrando um exemplo de uma imagem panorâmica gerada pela combinação realizada usando uma unidade de combinação de imagens 189 em um instantâneo de imagem em movimento por uma câmera.
A figura 21 é um diagrama mostrando um exemplo de exposição de uma tela de relação de imagens panorâmicas, mostradas em uma unidade de exposição 260 na modalidade da presente invenção.
A figura 22 inclui um diagrama mostrando um exemplo de exposição de uma tela de exposição de imagem panorâmica mostrada na unidade de exposição 260 na modalidade da presente invenção e um diagrama mostrando, esquematicamente, uma imagem em movimento e alguns dos quadros que constituem a imagem em movimento.
A figura 23 é um fluxograma mostrando um procedimento de processamento de um processo de geração de imagem panorâmica realizado pelo aparelho de processamento de imagem 100 na modalidade da presente invenção.
A figura 24 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem em movimento realizado pelo aparelho de processamento de imagem 100 na modalidade da presente invenção.
A figura 25 é um diagrama de blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 101 em uma modalidade da presente invenção.
A figura 26 é um diagrama mostrando, esquematicamente, os detalhes armazenados em uma unidade de armazenamento de imagem índice 280 na modalidade da presente invenção.
A figura 27 é um diagrama mostrando, esquematicamente, um exemplo de um método de extração nos casos onde uma imagem índice é extraída na modalidade da presente invenção. A figura 28 inclui um diagrama mostrando um exemplo de uma imagem panorâmica e, adicionalmente, um diagrama mostrando a relação entre quadros incluídos em uma imagem em movimento correspondente à imagem panorâmica e às imagens índice.
A figura 30 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem em movimento realizado pelo aparelho de processamento de imagem 101 na modalidade da presente invenção.
A figura 31 inclui diagramas mostrando, esquematicamente, o caso onde imagens índice armazenadas na unidade de armazenamento de imagem índice 280, na modalidade da presente invenção, são dispostas, virtualmente, em um espaço tridimensional.
A figura 32 inclui diagramas mostrando, esquematicamente, o caso onde as imagens índice armazenadas na unidade de armazenamento de imagem índice 280, na modalidade da presente invenção, são dispostas virtualmente no espaço tridimensional.
A figura 33 inclui diagramas mostrando exemplos de exposição de imagens índices 701 a 708, dispostas virtualmente no espaço tridimensional.
A figura 34 inclui diagramas mostrando exemplos de exposição de imagens índices 701 a 708, dispostas virtualmente no espaço tridimensional.
A figura 35 é um diagrama de blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 650 em uma modalidade da presente invenção.
A figura 36 inclui diagramas mostrando, esquematicamente, arquivos individuais registrados em uma unidade de armazenamento de imagem em movimento 660 e em uma unidade de armazenamento de metadados 670 na modalidade da presente invenção. A figura 37 é um diagrama mostrando um exemplo de estrutura de um processador de múltiplos núcleos 800 em uma modalidade da presente invenção.
A figura 38 é um diagrama mostrando um exemplo de estrutura de um núcleo de processador de controle 801 na modalidade da presente invenção.
A figura 39 é um diagrama mostrando um exemplo de estrutura de um núcleo de processador aritmético (#1) 811 na modalidade da presente invenção.
A figura 40 é um diagrama mostrando, esquematicamente, um método aritmético do processador de múltiplos núcleos 800 na modalidade da presente invenção.
A figura 41 é um diagrama mostrando, esquematicamente, programas e o fluxo de dados no caso onde operações são realizadas pelo processador de múltiplos núcleos 800 na modalidade da presente invenção.
A figura 42 inclui diagramas mostrando, esquematicamente, o esboço de um esquema aritmético de realização de processamento de uma pluralidade de itens de dados usando comandos individuais e um diagrama mostrando o esboço de uma operação de SIMD em que o processamento de uma pluralidade de itens de dados é realizado usando um comando único.
A figura 43 é um diagrama mostrando um exemplo de estrutura de um programa executado pelo núcleo de processador de controle 801 ou o núcleo de processador aritmético (#1) 811 na modalidade na modalidade da presente invenção.
A figura 44 inclui diagramas mostrando, esquematicamente, a estrutura de dados e o fluxo de um processo no caso onde um processo de filtragem é realizado usando um filtro Sobel 830 em dados de imagem armazenados em uma memória principal 781 na modalidade da presente invenção. A figura 45 é um diagrama mostrando, esquematicamente, o fluxo de dados no caso onde uma operação de SIMD é realizada usando o filtro Sobel 830 nos dados de imagem armazenados na memória principal 781 na modalidade da presente invenção.
A figura 46 é um diagrama mostrando, esquematicamente, um método de geração de vetores para geração de nove vetores de dados de imagem armazenados em um primeiro armazenamento temporário (buffer) 831, no caso onde um processo de filtragem é realizado usando o filtro Sobel 830 na modalidade da presente invenção.
A figura 47 é um diagrama mostrando, esquematicamente, um método de operação de vetor de realização de operações de vetores, usando comandos de SIMD em itens de dados de vetores 841 a 849 no caso onde um processo de filtragem é realizado usando o filtro Sobel 830 na modalidade da presente invenção.
A figura 48 é um diagrama mostrando, esquematicamente, o fluxo de um processo de cálculo de parâmetros de camerawork em séries de tempos na modalidade da presente invenção.
A figura 49 inclui um diagrama mostrando, esquematicamente, um Blu-ray Disc 880, que é um exemplo de um meio de gravação, um diagrama mostrando, esquematicamente, itens de dados 881 a 884 gravados no Blu-ray Disc 880 e um diagrama mostrando, esquematicamente, a estrutura interna de um Blu-ray player 890 que pode reproduzir o Blu-ray Disc 880.
Melhores Modos para Realização da Invenção
A seguir, modalidades da presente invenção serão agora aqui descritas em detalhes com referência aos desenhos.
A figura 1 é um diagrama de blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 100 em uma modalidade da presente invenção. O aparelho de processamento de imagem 100 inclui uma unidade de entrada de imagem em movimento 110, uma unidade de detecção de camerawork 120, uma unidade de controle de gravação 130, uma unidade de obtenção de imagem em movimento 140, uma unidade de extração de parâmetro de camerawork 150, uma unidade de transformação de imagem 160, uma memória de imagens 170, uma unidade de combinação de imagens 180, uma unidade de obtenção de posição de imagem 190, uma unidade de armazenamento de imagem em movimento 200, uma unidade de armazenamento de posição de imagem 210, uma unidade de armazenamento de imagem representativa 220, unidade de aceitação de operação 230, uma unidade de seleção 240, uma unidade de controle de exposição 250 e uma unidade de exposição 260. O aparelho de processamento de imagem 100 pode ser implementado, por exemplo, através de um computador pessoal que pode extrair, através da realização de uma análise de imagem de vídeo, uma quantidade característica de um instantâneo de imagem em movimento através de um aparelho de captura de imagem, tal como uma câmera de vídeo digital e aplicar vários tipos de processamento de imagem usando a quantidade característica extraída.
A unidade de entrada de imagem em movimento 110 é uma unidade de entrada de imagem em movimento que recebe uma imagem em movimento capturada por um aparelho de captura de imagem, tal como uma câmera de vídeo digital (daqui em diante chamada simplesmente uma "câmera") e sai a imagem em movimento de entrada para a unidade de detecção de camerawork 120.
A unidade de detecção de camerawork 120 é configurada para detectar informação de movimento de câmera (camerawork) no momento de captura de uma imagem, através da análise de uma saída de imagem em movimento da unidade de entrada de imagem em movimento 110. A unidade de detecção de camerawork 120 inclui uma unidade de extração de ponto característico 121, uma unidade de cálculo de fluxo ótico 122 e uma unidade de cálculo de parâmetro de camerawork 123. Isto é, a unidade de detecção de camerawork 120 extrai pontos característicos, de cada uma das imagens que constituem a imagem em movimento, adicionalmente, extrai fluxos óticos (vetores de movimento), correspondendo aos pontos característicos, seleciona um ponto característico que mostra um movimento dominante pela análise dos fluxos óticos correspondentes aos pontos característicos extraídos e estima um movimento de câmera com base no fluxo ótico correspondente ao ponto característico que mostra o movimento dominante. Aqui, o movimento dominante significa um movimento regular indicado por um número relativamente grande de fluxos óticos, entre fluxos óticos correspondentes a uma pluralidade de pontos característicos.
A unidade de extração de pontos característicos 121 é configurada para extrair pontos característicos de imagens correspondentes a quadros que constituem uma saída de imagem em movimento da unidade de entrada de imagem em movimento 110 e dar como saída os pontos característicos extraídos para a unidade de cálculo de fluxo ótico 122. Aqui, a unidade de extração de pontos característicos 121 extrai, para o quadro superior entre os quadros que constituem uma saída de imagem em movimento da unidade de entrada de imagem em movimento 110 pontos característicos de toda a imagem e para outros quadros que não o quadro superior, extrai pontos característicos de uma parte da região, uma imagem dos quais foi fotografada recentemente, em comparação com uma imagem correspondente ao quadro imediatamente precedente. Note que, por exemplo, um ponto com um gradiente de borda mais íngreme na direção vertical ou na direção horizontal (em geral, chamado um "ponto de canto"; aqui depois chamado de "ponto de canto") pode ser extraído como um ponto característico. O ponto de canto é um ponto característico que é forte no cálculo de um fluxo ótico e pode ser obtido usando detecção de borda. Note que a extração de pontos será descrita em detalhes com referência à figura 4 e à figura 5. Também, neste exemplo, a unidade de extração de pontos característicos 121 extrai pontos característicos de toda a imagem, para o quadro superior e para outros quadros que não o superior, extrai pontos característicos de uma parte da região, uma imagem dos quais foi fotografada recentemente, em comparação com a imagem imediatamente precedente. Contudo, de acordo com a capacidade de processamento ou semelhante, a unidade de extração de pontos característicos 121 pode extrair pontos característicos de toda a imagem para cada um dos outros quadros que não o superior.
A unidade de cálculo de fluxo ótico 122 é configurada para calcular um fluxo ótico correspondente a cada saída de ponto característico da unidade de extração de pontos característicos 121 e dar como saída um fluxo ótico obtido pelo cálculo para a unidade de cálculo de parâmetro de camerawork 123. Especificamente, a unidade de cálculo de fluxo ótico 122 obtém, como fluxos óticos do quadro atual, fluxos óticos correspondentes aos pontos característicos individuais em uma imagem correspondendo ao quadro imediatamente precedente por meio de comparação de imagens individualmente correspondentes a dois quadros consecutivos, incluídos em uma saída de imagem em movimento da unidade de entrada de imagem em movimento 110 (o quadro atual e o quadro imediatamente precedente). Também, os fluxos óticos são obtidos para cada um dos quadros que constituem a imagem em movimento. Note que os métodos de detecção, tais como um método de gradiente e um método de correspondência de blocos podem ser usados como métodos de detecção para detectar fluxos óticos. Note que o cálculo de fluxos óticos será descrito em detalhes com referência à figura 4 e à figura 5.
A unidade de cálculo de parâmetro de camerawork 123 é configurada para realizar um processo de cálculo de parâmetros de camerawork de extração de parâmetros de camerawork, usando os fluxos óticos correspondentes aos pontos característicos individuais, que saem da unidade de cálculo de fluxo ótico 122 e a saída são os parâmetros de camerawork calculados para a unidade de controle de registro 130. Aqui, na modalidade da presente invenção, imagens que constituem uma imagem em movimento a ser reproduzida são transformadas de acordo com o movimento de câmera e são visualizadas. A fim de realizar transformação das imagens, o movimento de câmera é extraído usando fluxos óticos calculados pela unidade de cálculo de fluxo ótico 122 e, com base no movimento extraído, parâmetros de camerawork (parâmetros de transformação) são calculados. Note que, na modalidade da presente invenção, um exemplo em que uma transformação afim é usada como um método de transformação de imagens para transformar imagens que constituem uma imagem em movimento a ser reproduzida será descrito. Também, um exemplo em que parâmetros de transformação afim, correspondendo a uma matriz inversa da matriz de parâmetros de transformação afim, calculados com base nos fluxos óticos, são usados como parâmetros de camerawork será descrito. Isto é, na modalidade da presente invenção, parâmetros de transformação afim usados como informação de transformação são definidos como parâmetros de transformação afim, correspondendo não a uma matriz afim representando o movimento de pontos característicos entre imagens consecutivas, mas a uma matriz afim indicando, quando uma das imagens consecutivas é usada como uma imagem de referência, onde uma imagem subsequente à imagem de referência se move. Também, um exemplo onde parâmetros de transformação afim são usados como parâmetros de camerawork será descrito. Note que outros métodos de transformação de imagem, como transformação projetiva, podem ser usados. Note que um parâmetro de transformação afim pode ser obtido pelo cálculo usando vetores de três pontos. Também, um parâmetro de transformação projetiva pode ser obtido através de cálculo usando vetores de quatro pontos. Aqui, parâmetros de camerawork são informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas que constituem uma imagem em movimento capturada, outra imagem capturada e inclui pelo menos informação de posição e informação de postura, descritas no sistema de coordenadas da câmera. Isto é, parâmetros de camerawork incluem informação referente à posição e à postura de uma câmera no caso onde uma imagem está sendo fotografada por um fotógrafo. Também, com base nos parâmetros de transformação afim, obtidos pela unidade de cálculo de parâmetro de camerawork 123, o movimento de câmera em resposta a uma operação introduzida pelo fotógrafo, tal como zooming in (entrar em close-up), zooming out (sair de close-up), panning (panorâmica), inclinação e rotação, pode ser estimado. Note que o cálculo de parâmetros de transformação afim será descrito em detalhes com referência à figura 4 e à figura 5.
A unidade de controle de registro 130 é configurada para registrar, na unidade de armazenamento de imagem em movimento 200, uma saída de imagem em movimento da unidade de entrada de imagem em movimento IlOe uma saída de parâmetros de transformação afim da unidade de cálculo de parâmetro de camerawork 123 como um arquivo de imagem em movimento pela associação do quadro correspondente e parâmetros de transformação afim uns com os outros.
A unidade de armazenamento de imagem em movimento 200 é configurada para armazenar um arquivo de imagens em movimento em que um quadro e parâmetros de transformação afim que correspondem um ao outro são associados um com o outro. Também, a unidade de armazenamento de imagem em movimento 200 fornece um arquivo de imagens em movimento para a unidade de obtenção de imagem em movimento 140 em resposta a uma solicitação da unidade de obtenção de imagem em movimento 140.
A unidade de obtenção de imagem em movimento 140 é configurada para obter um arquivo de imagens em movimento armazenado na unidade de armazenamento de imagem em movimento 200 e sai o arquivo de imagens em movimento obtido para a unidade de extração de parâmetro de camerawork 150 e a unidade de extração de parâmetro de camerawork 160.
A unidade de extração de parâmetro de camerawork 150 é configurada para extrair, em uma base de quadro a quadro, parâmetros de transformação afim, registrados em associação com uma saída de arquivo de imagens em movimento da unidade de obtenção de imagem em movimento 140 e sai os parâmetros de transformação afim extraídos para a unidade de transformação de imagem 160.
A unidade de transformação de imagem 160 é configurada para aplicar, em base de quadro a quadro, uma transformação afim a imagens que constituem uma imagem em movimento em um arquivo de imagens em movimento, saídas da unidade de obtenção de imagem em movimento 140, usando parâmetros de transformação afim saídos da unidade de extração de parâmetro de camerawork 150, e sair as imagens transformadas afins para a unidade de combinação de imagens 180 e a unidade de obtenção de posição de imagem 190. Especificamente, a unidade de transformação de imagem 160 realiza uma transformação afim uma transformação afim de uma imagem correspondente à saída de quadro atual da unidade de obtenção de imagem em movimento 140, usando saída de parâmetros de transformação afim da unidade de extração de parâmetro de camerawork 150. Note que a transformação de imagem será descrita em detalhes com referência à figura 7 até a figura 15 e semelhantes.
A memória de imagens 170 inclui um armazenamento temporário de trabalho que conserva a imagem composta gerada pela combinação realizada pela unidade de combinação de imagens 180. A memória de imagens 170 é configurada para fornecer uma imagem composta conservada para a unidade de combinação de imagens 180 e a unidade de obtenção de posição de imagem 190. Isto é, a memória de imagens 170 é uma memória de imagens que conserva as imagens históricas.
A unidade de combinação de imagens 180 é configurada para combinar uma saída de imagem transformada da unidade de transformação de imagem 160 com uma imagem composta conservada na memória de imagens 170 e sai a imagem composta gerada pela combinação com a memória de imagens 170. Especificamente, a unidade de combinação de imagens 180 combina imagens pela sobreposição de uma imagem composta correspondente a cada um dos quadros, até o quadro imediatamente precedente, mantido na memória de imagens 170, com uma imagem transformada afim, obtida pela unidade de transformação de imagem 160. Além disso, quando a combinação de imagens para uma imagem em movimento, do quadro superior até o último quadro, é completada, a unidade de combinação de imagens 180 gera uma imagem de tamanho reduzido de uma imagem composta conservada na memória de imagens 170 e sai a imagem de tamanho reduzido gerada e a imagem composta conservada na memória de imagens 170 como uma imagem panorâmica, para a unidade de armazenamento de imagem representativa 220 de modo que a imagem de tamanho reduzido e a imagem composta será registrada. A imagem panorâmica é uma imagem representativa que representa uma entrada de imagem em movimento da unidade de entrada de imagem em movimento 110, e é uma imagem gerada de modo a incluir a parte principal de cada espaço de instantâneo de imagem, incluída na imagem em movimento. Note que a combinação de imagens será descrita em detalhes com referência à figura 7 até a figura 15 e semelhantes.
A unidade de obtenção de posição de imagem 190 é configurada para obter, com base em uma saída de uma imagem transferida da unidade de transformação de imagem 160 e uma imagem composta conservada na memória de imagens 170, a posição central da saída de imagem transformada da unidade de transformação de imagem 160 e o tamanho (área) da imagem no armazenamento temporário de trabalho da memória de imagens 170 e sai a posição central obtida da imagem transformada e o tamanho da imagem, junto com um número de quadro correspondentes à imagem transformada, para a unidade de armazenamento de posição de imagem 210. Isto é, a unidade de obtenção de posição de imagem 190 obtém a posição de coordenada de uma saída de imagem transformada da unidade de transformação de imagem 160 em uma imagem panorâmica (imagem representativa) gerada pela unidade de combinação de imagens 180. Note que a posição central da imagem e o tamanho da imagem serão descritos em detalhes com referência à figura 2.
A unidade de armazenamento de posição de imagem 210 é configurada para armazenar um número de quadro da imagem e da posição central e do tamanho da imagem em associação uns com os outros, que são enviados da unidade de obtenção de posição de imagem 190 e a saída são o número de quadro armazenado e a posição central armazenada e o tamanho da imagem para a unidade de seleção 240. Note que cada item de informação armazenado na unidade de armazenamento de posição de imagem 210 será descrito em detalhes com referência à figura 2.
A unidade de armazenamento de imagem representativa 220 é configurada para armazenar uma saída de imagem composta da unidade de combinação de imagens 180 como uma imagem panorâmica referente à imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200 e, adicionalmente, armazenar uma saída de imagem de tamanho reduzido da unidade de combinação de imagens 180 como uma imagem panorâmica de tamanho reduzido com relação à imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200 e fornece a imagem panorâmica armazenada para a unidade de controle de exposição 250.
A unidade de aceitação de operação 230 inclui várias chaves de operação e semelhantes e é configurada para dar como saída, mediante aceitação de uma entrada de operação introduzida usando essas chaves, os detalhes da entrada de operação aceita para a unidade de seleção 240 ou para a unidade de controle de exposição 250. A unidade de aceitação de operação 230 inclui, por exemplo, um mouse (dispositivo de indicação). Um cursor (indicador de mouse) que se move de acordo com uma entrada de operação introduzida usando o mouse é visualizado na unidade de exposição 260. O cursor é um indicador de mouse usado para indicar uma instrução ou um alvo de operação em uma tela exposta na unidade de exposição 260.
A unidade de seleção 240 é configurada para, quando uma operação de seleção de posição é introduzida em uma imagem panorâmica, que é aceita pela unidade de aceitação de operação 230, selecionar um número de quadro dentre números de quadros armazenados na unidade de armazenamento de posição de imagem 210, com base na posição central e no tamanho da imagem, que são armazenados na unidade de armazenamento de posição de imagem 210 e sair o número de quadro selecionado e um ID de imagem em movimento correspondente a este para a unidade de controle de exposição 250. Note que a seleção será descrita em detalhes com referência à figura 22.
A unidade de controle de exposição 250 é configurada para controlar a exposição, em resposta a uma entrada de operação da unidade de aceitação de operação 230, uma imagem panorâmica armazenada na unidade de armazenamento de imagem representativa 220 ou uma imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200 na unidade de exposição 260. Também, quando um número de quadro e um ID de imagem em movimento são introduzidos da unidade de seleção 240, a unidade de controle de exposição 250 busca a unidade de armazenamento de imagem em movimento 200 para uma imagem em movimento correspondente ao ID de imagem em movimento e, adicionalmente, começa a reproduzir a imagem em movimento recuperada de uma posição correspondente ao número de quadro.
A unidade de exposição 260 é configurada para, sob controle da unidade de controle de exposição 250, mostrar uma imagem panorâmica armazenada na unidade de armazenamento de imagem representativa 220 ou uma imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200. Por exemplo, a unidade de exposição 260 pode ser implementada por uma tela de um computador pessoal ou de uma televisão. Note que exemplos de telas de uma imagem composta serão descritos em detalhes com referência à figura 20 e semelhantes.
A figura 2 é um diagrama mostrando, esquematicamente, os detalhes armazenados na unidade de armazenamento de posição de imagem 210 na modalidade da presente invenção.
Na unidade de armazenamento de posição de imagem 210, informação referente a uma imagem obtida por uma transformação afim realizada pela unidade de transformação de imagem 160 e combinação realizada pela unidade de combinação de imagens 180 é armazenada em séries de tempos em uma base de quadro a quadro. Especificamente, um ID de imagem em movimento 211, um número de quadro 212, uma posição central 213 e um tamanho de imagem 214 são armazenados em associação um com o outro na unidade de armazenamento de posição de imagem 210.
O ID de imagem em movimento 211 é um ID correspondente a cada imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200.
O número de quadro 212 é um número de identificação de um quadro incluído em uma imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200. Por exemplo, é suposto que o número de quadro do quadro superior é " 1" e o número de quadro do segundo um é "2". Os números de quadros são dados, similarmente, ao terceiro quadro e assim progressivamente. Como acima, para cada um dos quadros que constituem uma imagem em movimento obtida pela unidade de obtenção de imagem em movimento 140, um número de quadro de um quadro correspondente a uma imagem transformada afim, obtida pela unidade de transformação de imagem 160, é registrado em séries de tempos no número de quadro 212.
A posição central 213 é informação que indica a posição central 213 de uma imagem transformada afim, que é obtida pela unidade de transformação de imagem 160, no armazenamento temporário de trabalho da memória de imagens 170. Por exemplo, quando o armazenamento temporário de trabalho da memória de imagens 170 tem coordenadas de xy, os valores de coordenadas correspondentes à posição central de uma imagem transformada afim, obtida pela unidade de transformação de imagem 160 são registrados.
O tamanho de imagem 214 é uma imagem que indica o tamanho de uma imagem transformada afim, obtida pela unidade de transformação de imagem 160 no armazenamento temporário de trabalho da memória de imagens 170. Por exemplo, a área de imagem transformada afim obtida pela unidade de transformação de imagem 160 é registrada como o tamanho da imagem. Note que, na modalidade da presente invenção, um exemplo, em que a posição central e o tamanho da imagem são usados como informação de posição de uma imagem transformada afim obtida pela unidade de transformação de imagem 160, será descrito. Contudo, outra informação de posição, tal como coordenadas correspondentes aos quatro vértices da imagem, pode ser usada como informação de posição da imagem transformada afim.
A figura 3 é um diagrama mostrando, esquematicamente, os detalhes armazenados na unidade de armazenamento de imagem representativa 220 na modalidade da presente invenção.
Na unidade de armazenamento de imagem representativa 220, para cada imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200, uma imagem composta e uma imagem de tamanho reduzido gerada pela unidade de combinação de imagens 180 são armazenadas como uma imagem panorâmica e uma imagem panorâmica de tamanho reduzido. Especificamente, um ID de imagem em movimento 221, uma imagem panorâmica 222 e uma imagem panorâmica de tamanho reduzido 223 são armazenados em associação uns com os outro na unidade de armazenamento de imagem representativa 220. Por exemplo, uma imagem panorâmica e uma imagem panorâmica de tamanho reduzido são armazenadas para uma imagem em movimento.
O ID de imagem em movimento 221 é um é um ID correspondente a uma imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200.
A imagem panorâmica 222 é uma imagem composta gerada pela combinação realizada pela unidade de combinação de imagens 180, para cada imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200. Note que, na figura 3, imagens panorâmicas armazenadas na unidade de armazenamento de imagem representativa 220 são abreviadas e mostradas como "Al, BI" e "Cl".
A imagem panorâmica de tamanho reduzido 223 é uma imagem de tamanho reduzido gerada pela redução do tamanho de uma imagem composta gerada pela unidade de combinação de imagens 180 para cada imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200, que é obtida pela redução do tamanho de uma imagem panorâmica armazenada na imagem panorâmica 222. Note que, na figura 3, imagens panorâmicas individuais de tamanho reduzido armazenadas na unidade de armazenamento de imagem representativa 220 são abreviadas e mostradas como "A11, B11" e "C11".
A seguir, um método de detecção de parâmetros de transformação afim, usados na transformação de imagem, será descrito em detalhes com referência aos desenhos.
As figuras 4(a) a 4(c) incluem diagramas mostrando um exemplo de uma imagem correspondente a um quadro incluído em uma imagem em movimento. A figura 5(a) é um diagrama mostrando uma imagem simplificada obtida pela omissão de fundo e semelhante de uma imagem correspondente a um quadro que é um quadro antes de um quadro correspondente a uma imagem 300 mostrada na figura 4. Também, as figuras (b) e (c) incluem diagramas mostrando imagens simplificadas obtidas pela omissão do fundo e semelhante da imagem 300 mostrada na figura 4.
As imagens 300, 320 e 330 mostradas na figura 4 e na figura 5 incluem imagens 301, 321 e 331 de um cavalo, em que uma pessoa está montando e imagens 302, 322 e 332 de uma cobra posicionada exatamente antes das imagens do cavalo 301, 321 e 331. Também, conforme mostrado na figura 4, no fundo dessas imagens existem bandeiras, cadeiras e semelhantes, e as bandeiras estão tremulando ao vento.
A imagem 320, mostrada na figura 5(a) é uma imagem simplificada de uma imagem correspondente a um quadro que é um quadro antes de um quadro correspondente às imagens 300 e 330, mostradas nas figuras 4(a) a (c) e nas figuras 5(b) e (c). Também, as imagens 320 e 330, correspondentes aos dois quadros são imagens que mostram transição, no caso onde um objeto na tela se torna gradualmente maior, Isto é, no momento em que essa imagem foi capturada, uma operação de zoom-in, que é uma operação para aumentar gradualmente o tamanho de um objeto na tela, é realizada
Na modalidade da presente invenção, um método de detecção de pontos característicos em cada uma das imagens que constituem uma imagem em movimento e cálculo de parâmetros de transformação afim, usando fluxos óticos correspondentes aos pontos característicos, será descrito à guisa de exemplo. Também, neste exemplo, o caso onde pontos de canto são usados como pontos característicos será descrito.
Aqui, nas figuras 5(a) a (c), um método de cálculo de parâmetros de transformação afim, usando fluxos óticos correspondentes aos três pontos de canto detectados nas imagens 320 e 330, será descrito à guisa de exemplo.
Por exemplo, é suposto que, na imagem 320 mostrada na figura 5(a), um ponto de canto 323, perto da boca da imagem 321 do cavalo, um ponto de canto 324, perto da boca da boca da imagem do cavalo 321, um ponto de canto 324, perto do quadril da pessoa na imagem 321 do cavalo e um ponto de canto 325 perto da boca da imagem 322 da cobra são detectados como pontos característicos. Nesse caso, na imagem 330, mostrada na figura 5(b), fluxos óticos 337, 338 e 339, correspondendo aos pontos de canto 323, 324 e 325, na imagem 320, são detectados usando um método de gradiente, um método de correspondência de bloco ou semelhante. Com base nos fluxos óticos detectados 337, 338 e 339, pontos de cantos 333, 334 e 335, correspondentes aos pontos de cantos 323, 324 e 325 na imagem 320 são detectados.
Aqui, por exemplo, as imagens de cavalo 321 e 331 e as imagens de cobra 322 e 332, incluídas nas imagens 320 e 330, mostradas nas figuras 5(a) e (b), são posicionadas no solo e, em conseqüência, não se movem independentemente do movimento de câmera. Portanto, o movimento de câmera pode ser estimado precisamente com base nos fluxos óticos obtidos para os pontos de canto, detectados nas imagens de cavalo 321 e 331 e nas imagens de cobra 322 e 332. Por exemplo, conforme mostrado na figura 5(c), com base nos três fluxos óticos 337 a 339 detectados na imagem 330, pode ser estimado que a imagem 330 seja obtida pelo alargamento da imagem 320, com um ponto 336 servindo como o centro. Em conseqüência, o movimento de câmera no momento de fazer o instantâneo da imagem 330 pode ser determinado como uma operação de zoom-in, realizada cm o ponto 336 servindo como o centro. Como acima, pontos de canto em um objeto que não se move independentemente do movimento de câmera são detectados e, com base em fluxos óticos obtidos para esses pontos de cantos, o movimento de câmera com certa regularidade pode ser detectado precisamente. Portanto, parâmetros de transformação afim podem ser calculados e obtidos usando fluxos óticos obtidos para esses pontos de canto.
Contudo, o caso onde, como uma bandeira tremulando ao vento ou semelhante, um objeto que se move independentemente do movimento de câmera é incluído em uma imagem é concebível. Por exemplo, a imagem 300, mostrada na figura 4, inclui bandeiras tremulando ao vento. No caso onde pontos de canto nesse objeto que se move independentemente do movimento de câmera são detectados e o movimento de câmera é estimado usando fluxos óticos obtidos para esses pontos de canto, o movimento de câmera não ser estimado precisamente.
Por exemplo, fluxos óticos detectados na imagem 300, mostrados na figura 4(b) são denotados por setas e, adicionalmente, pontos de canto detectados dos fluxos óticos são denotados por círculos vazios na ponta das setas. Aqui, pontos de canto 303 a 305 são pontos de canto correspondentes aos pontos de canto 333 a 335, mostrados nas figuras 5(b) e (c). Também, pontos de canto 306 a 311 são pontos de canto detectados em bandeiras existentes no fundo da imagem 301 do cavalo. Uma vez que essas bandeiras estão tremulando ao vento, o movimento das bandeiras, devido ao efeito do vento, é detectado como fluxos óticos. Isto é, os fluxos óticos que correspondem, individualmente, aos pontos de canto 306 a 311, são detectados nas bandeiras que se movem independentemente do movimento de câmera. Portanto, quando três fluxos óticos usados no caso de cálculo de parâmetros de transformação afim incluem um fluxo ótico correspondente a pelo menos um ponto de canto entre os pontos de canto 306 a 311, o movimento de câmera preciso não pode ser detectado. Nesse caso, parâmetros de transformação afim precisos não podem ser calculados.
Conforme mostrado acima, por exemplo, há casos onde fluxos óticos correspondentes aos objetos que se movem independentemente do movimento de câmera (fluxos óticos, correspondendo, individualmente, aos pontos de canto 306 a 311, mostrados na figura 4(b) e fluxos óticos com certa regularidade com relação ao movimento de câmera (outros fluxos óticos que não os fluxos óticos individuais correspondentes aos pontos de canto 306 a 311 mostrados na figura 4(b) são detectados em um instantâneo.
Portanto, na modalidade da presente invenção, um exemplo em que um processo de cálculo de parâmetros de transformação afim de cálculo de parâmetros de transformação afim é realizado uma pluralidade de vezes com base em três fluxos óticos, assim, obtendo uma pluralidade de parâmetros de transformação afim e dentre esses parâmetros de transformação afim, um parâmetro de transformação afim ótimo é selecionado, será descrito. Note que, neste exemplo, o tamanho de um objeto em movimento incluído em cada uma das imagens que constituem uma imagem em movimento é relativamente pequena, com relação à área da imagem.
Aqui, uma transformação afim será descrita brevemente. Em duas dimensões, quando a posição de uma fonte de movimento é (x, y)ea posição de um destino de movimento subsequente a uma transformação afim é (x', y'), a matriz da transformação afim pode ser expressa pela equação 1.
<formula>formula see original document page 36</formula>
Aqui, a até f são parâmetros de transformação afim. Também, uma matriz afim AM, incluindo esses parâmetros de transformação afim, pode ser expressa pela equação a seguir. Nesse caso, um componente de zoom XZ na direção de X, um componente de Zoom YZ na direção de Y, um componente de translação XT na direção de X., um componente de translação YT na direção de Y e um componente de rotação R pode ser obtido individualmente pelas equações a seguir. Note que, no caso de uma matriz de identidade, a=e=l e b=c=d=f=0 [Equação 2].
<formula>formula see original document page 37</formula>
A seguir, um método de cálculo de parâmetros de transformação afim será descrito.
A princípio, em uma imagem correspondente ao quadro atual, que é um quadro entre quadros que constituem uma imagem em movimento, três pontos característicos são selecionados dentre pontos característicos com base no que os fluxos óticos são detectados. Por exemplo, três pontos de canto são selecionados, randomicamente, dentre pontos de canto (denotados por círculos vazios) detectados na imagem 300, mostrada na figura 4(b). Note que quatro pontos característicos são selecionados, randomicamente, quando parâmetros projetivos de transformação são usados como parâmetros de camerawork.
Então, usando três fluxos óticos correspondentes aos três pontos característicos selecionados, parâmetros de transformação afim são calculados. Por exemplo, parâmetros de transformação afim são calculados usando fluxos óticos (denotados por círculos vazios) na imagem 300, mostrada na figura 4(b). Os parâmetros de transformação afim podem ser obtidos usando a equação 1.
Então, com base nos parâmetros de transformação afim obtidos o escore para os parâmetros de transformação afim é calculado. Especificamente, usando os parâmetros de transformação afim obtidos, as posições dos destinos de movimento de todos os pontos característicos em uma imagem correspondente a um quadro imediatamente precedente ao quadro atual são obtidas. Um valor de diferença entre as posições de dois pontos característicos correspondentes é calculado, em uma base de ponto característico por ponto característico, através de comparação da posição de uma característica obtida usando os parâmetros de transformação afim com a posição do outro ponto característico detectado no quadro atual. Como o valor de diferença, por exemplo, a distância absoluta entre as posições dos dois pontos característicos correspondentes é calculada. Então, o valor de diferença calculado é comparado com um limite pré-estabelecido em uma de ponto característico por ponto característico e o número de pontos característicos cujos valores de diferença são menores do que o limite é obtido como o escore para os parâmetros de transformação afim. Como acima, três pontos característicos são selecionados randomicamente dentre pontos característicos com base no que os fluxos óticos são detectados. Com base nos fluxos óticos correspondentes a esses pontos característicos, um processo de cálculo do escore para os parâmetros de transformação afim é repetido um número pré-determinado de vezes, pelo que uma pluralidade de escores para parâmetros de transformação afim são calculados. Esse número de vezes pré- determinado pode ser estabelecido, conforme necessário de acordo com o tipo de imagem a ser comparado, a capacidade de processamento do aparelho de processamento de imagem 100 ou semelhante. De modo alternativo, um valor fixo pode ser usado como o número pré-determinado de vezes. Como o número pré-determinado de vezes, por exemplo, cerca de 20 vezes, pode ser estabelecido, levando-se em consideração a capacidade de processamento do aparelho de processamento de imagem 100.
Por exemplo, o caso onde três pontos de canto que não os pontos de canto 306 a 311 são selecionados dentre pontos de canto detectados na imagem 300, mostrada na figura 4(b) é considerado. Quando os parâmetros de transformação afim são calculados usando três fluxos óticos correspondentes aos três pontos de canto selecionados acima, como foi descrito acima, uma vez que os três fluxos óticos têm certa regularidade, parâmetros de transformação afim, que transformam uma imagem correspondente ao quadro imediatamente precedente de acordo com certa regularidade, são obtidos. Portanto, com relação às posições de pontos de canto obtidos usando os parâmetros de transformação afim e as posições de pontos de canto detectados no quadro atual, valores de diferença obtidos por outros pontos de canto que não os pontos de canto 306 a 311 são calculados como valores relativamente pequenos. Desse modo, o escore para os parâmetros de transformação afim se torna um valor grande.
Em contraste, o caso onde três pontos de canto, incluindo pelo menos um dos pontos de canto 306 a 311 são selecionados dentre pontos de canto detectados na imagem 300 mostrada na figura 4(b) é considerado. Quando parâmetros de transformação afim são calculados usando três fluxos óticos, correspondendo aos três pontos de canto selecionados acima, como foi descrito acima, uma vez que os três fluxos óticos incluem um fluxo ótico que não tem certa regularidade, parâmetros de transformação afim que não transformam uma imagem correspondente no quadro imediatamente precedente de acordo com a certa regularidade são obtidos. Portanto, valores de diferença obtidos para as posições de pontos de canto, obtidos usando os parâmetros de transformação afim, e as posições de pontos de canto detectados no quadro atual são calculados como valores relativamente grandes em pontos de canto arbitrários. Desse modo, o escore para os parâmetros de transformação afim se torna um valor pequeno.
Então, entre a pluralidade de escores obtidos para parâmetros de transformação afim, parâmetros de transformação afim cujo escore tenha o maior valor são selecionados como parâmetros de transformação afim representativos. Parâmetros de transformação afim de uma matriz inversa correspondente à matriz dos parâmetros de transformação afim selecionados são registrados em associação com o quadro atual na unidade de armazenamento de imagem em movimento 200. Dessa maneira, no caso onde transformações afins de imagens que constituem uma imagem em movimento devem ser realizadas, transformações afins podem ser realizadas usando parâmetros ótimos de transformação afim.
Conforme mostrado acima, mesmo quando cada uma das imagens que constituem uma imagem em movimento inclui um objeto que se move (objeto em movimento), tal como uma pessoa ou um carro, se o tamanho do objeto em movimento for relativamente pequeno com relação à área da imagem, o movimento de câmera pode ser extraído sem ser afetado pelo objeto em movimento.
Também, um movimento que é considerado ser causado, intencionalmente por um fotógrafo, tal como uma entrada de zoom, saída de zoom, panorâmica, inclinação e rotação, pode ser estimado por meio de extração do movimento de câmera
A seguir, a operação do aparelho de processamento de imagem 100 na modalidade da presente invenção será descrito com referência aos desenhos.
A figura 6 é um fluxograma mostrando um procedimento de processamento de um processo de detecção de parâmetro de transformação afim, realizado pelo aparelho de processamento de imagem 100, na modalidade da presente invenção.
A princípio, um arquivo de imagens em movimento é introduzido na unidade de entrada de imagem em movimento (etapa S900). Então, a introdução de arquivo de imagens em movimento na unidade de entrada de imagem em movimento 110 é decodificada e uma imagem de um quadro é obtida na ordem de série de tempo (etapa S901). Então, é determinado se o quadro obtido é o quadro de título da entrada de arquivo de imagem em movimento para a unidade de entrada de imagem em movimento 110 (etapa S902).
Quando o quadro obtido é o quadro de título (etapa S902), pontos característicos são extraídos de toda a imagem correspondente ao quadro de título (etapa S903). Por exemplo, conforme mostrado na figura 4(b), uma pluralidade de pontos de canto são extraídos na imagem. Então, parâmetros de transformação afim em uma matriz de identidade são selecionados como parâmetros de transformação afim (etapa S904) e o fluxo prossegue para a etapa S914.
Em contraste, quando o quadro obtido não é o quadro de título (etapa S902), pontos característicos são extraídos de uma região cuja imagem foi recentemente fotografada, com referência a uma imagem correspondente ao quadro imediatamente precedente (etapa S905). Isto é, uma vez que os pontos característicos já tenham sido extraídos na imagem correspondente ao quadro imediatamente precedente pode ser obtido por fluxos óticos correspondentes a esses pontos característicos, esse pontos característicos não são extraídos na imagem correspondente ao quadro atual.
Então, fluxos óticos correspondentes aos pontos característicos individuais extraídos da imagem correspondente ao quadro imediatamente precedente (etapa S905). Isto é, uma vez que pontos característicos já foram extraídos na imagem correspondente ao quadro imediatamente precedente podem ser obtidos por fluxos óticos correspondentes a esses pontos característicos, esses pontos característicos não são extraídos na imagem correspondente ao quadro atual.
Então, fluxos óticos correspondentes aos pontos característicos individuais extraídos da imagem correspondente ao quadro imediatamente precedente são calculados (etapa S906). Isto é, conforme mostrado na figura 4(b), fluxos óticos correspondentes aos pontos de canto individuais são calculados.
Então, uma variável i é inicializada para "1" (etapa S907). Então, M pontos característicos são selecionados dentre os pontos característicos com base em que os fluxos óticos foram detectados (etapa
5908). Por exemplo, três pontos característicos são selecionados aleatoriamente, quando parâmetros de transformação afim são usados como parâmetros de camerawork. Também, quatro pontos característicos são selecionados aleatoriamente, quando parâmetros de transformação projetivos são usados como parâmetros de camerawork. Então, parâmetros de transformação afim são calculados com base nos M fluxos óticos calculados em correspondência com os M pontos característicos selecionados (etapa 5909).
Então, com base nos parâmetros de transformação afim obtidos pelo cálculo, o escore para os parâmetros de transformação afim é calculado (etapa S910). Especificamente, usando os parâmetros de transformação afim, obtidos pelo cálculo, as posições dos destinos de movimento de todos os pontos característicos na imagem correspondente ao quadro imediatamente precedente são obtidas. Um valor de diferença entre as posições de dois pontos característicos correspondentes é calculado, em uma base de ponto característico por ponto característico, através de comparação da posição de um ponto característico obtido usando os parâmetros de transformação afim com a posição do outro ponto característico na imagem correspondente ao quadro atual, que foi obtido no momento de cálculo dos fluxos óticos na etapa S906. Como o valor de diferença, por exemplo, a distância absoluta entre as duas posições correspondentes é calculada. Então, o valor de diferença calculado é comparado com um limite pré-estabelecido em uma base de ponto característico por ponto característico e o número de pontos característicos cujos valores de diferença são menores do que o limite é obtido como o escore para os parâmetros de transformação afim.
Então, "1" é adicionado à variável i (etapa S911) e é determinado se a variável i é ou não maior do que uma constante N (etapa S912). Quando a variável i é menor do que ou igual à constante N (etapa S912), o fluxo retorna para a etapa S908 e o processo de cálculo de escore - parâmetro de transformação afim é repetido (etapas S908 a S910). Por exemplo, 20 pode ser usado como a constante N.
Em contraste, quando a variável i é maior do que a constante N (etapa S912) entre os escores obtidos para os parâmetros de transformação afim, os parâmetros de transformação afim cujo escore tem o maior valor são selecionados como parâmetros representativos de transformação afim (etapa S913). Então, parâmetros de transformação afim de uma matriz inversa correspondente à matriz dos parâmetros representativos de transformação afim selecionados são registrados em associação com o quadro atual na unidade de armazenamento de imagem em movimento 200 (etapa S914). Note que, quando o quadro atual é o quadro de título , os parâmetros de transformação afim selecionados de uma matriz de identidade são registrados em associação com o quadro de título na unidade de armazenamento de imagem em movimento 200. Então, a imagem correspondente ao quadro atual e os pontos característicos nesta imagem são escritos e salvos (etapa S915).
Então, é determinado se o quadro atual é ou não o último quadro da entrada de arquivo de imagem em movimento para a unidade de entrada de imagem em movimento 110 (etapa S916). Quando o quadro atual não é o último quadro (etapa S916), o fluxo retorna para a etapa S901 e o processo de detecção de parâmetro de transformação afim é repetido (etapas S901 a S915). Em contraste, quando o quadro atual é o último quadro (etapa S916), o processo de detecção de parâmetro de transformação afim está terminado.
Na modalidade da presente invenção, o exemplo em que, como detecção de parâmetros de camerawork, os parâmetros de transformação afim são detectados com base nos fluxos óticos detectados em imagens que constituem uma imagem em movimento foi descrito. De modo alternativo, um sensor, tal como um sensor de aceleração ou um sensor de giro ou um botão de zoom, usado no momento de realizar uma operação de zoom pode ser proporcionado na câmera. A quantidade do movimento de câmera no momento de fotografar uma imagem pode ser detectada usando o sensor ou o botão de zoom e, com base na quantidade do movimento de câmera, parâmetros de camerawork podem ser obtidos. Note que a quantidade detectada do movimento de câmera no momento de fotografar uma imagem pode ser usada no momento da determinar se os parâmetros de camerawork obtidos pela unidade de cálculo de parâmetro de camerawork 123 estão ou não corretos. Também, uma pluralidade de parâmetros de camerawork podem ser detectados pela unidade de cálculo de parâmetro de camerawork 123 e, com base na quantidade detectada do movimento de câmera, no momento de fotografar uma imagem, um parâmetro de camerawork pode ser selecionado dentre a pluralidade de parâmetros de camerawork.
A seguir, o caso em que uma imagem em movimento é gerada pela combinação de uso dos parâmetros de transformação afim descritos acima será descrito em detalhes com referência aos desenhos. Note que imagens individuais mostradas na figura 7 até a figura 15 são simplificadas, por causa da descrição, e, adicionalmente, a quantidade de movimento entre dois quadros consecutivos é aumentada e mostrada.
A princípio, o caso em que, no momento de fotografar uma imagem usando uma câmera, embora a ampliação permaneça inalterada, a lente da câmara é movida para várias direções, para cima, para baixo, para a esquerda e para a direita, com a posição da câmera servindo como o centro, será descrito.
A figura 7 inclui diagramas mostrando um exemplo de transição em uma imagem em movimento fotografada pela câmera. Na figura 7, os diagramas mostram imagens 401 a 403 correspondentes aos quadros consecutivos incluídos na imagem em movimento, no caso onde a imagem de uma pessoa 400 com uma montanha no fundo foi fotografada. Neste exemplo, o caso onde um fotógrafo está fotografando a imagem, enquanto o movimento da lente da câmera nas direções para a direita e para cima é ilustrado. Nesse caso, a pessoa 400, incluída na imagem em movimento, fotografada pela câmera, se move do lado direito para o lado esquerdo e, adicionalmente, se move para baixo, em imagens que constituem a imagem em movimento
A figura 8 inclui diagramas em que, nas imagens individuais mostradas na figura 7, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas e, adicionalmente, fluxos óticos detectados exemplificativos são mostrados. A imagem 401, mostrada na figura 8(a) é a mesma que a imagem 401, mostrada na figura 7(a). Também, porções indicadas por linhas cheias na imagem 402, mostrada na figura 8(b), são as mesmas que a imagem 402, mostrada na figura 7(b) e porções indicadas por linhas interrompidas na imagem 402 mostrada na figura 8(b) são as mesmas que as porções indicadas por linhas cheias na imagem 401 mostrada na figura 8(a). Também, as setas 404 a 406, na imagem 403, mostrada na figura 8(b) ilustram fluxos óticos exemplificativos mostrados na figura 8(b) ilustram fluxos óticos exemplificativos mostrados na figura 8(a). Também, setas 404 a 406 na imagem detectada na imagem 402. Similarmente, porções indicadas por linhas cheias na imagem 4030, mostrada na figura 8(c), são as mesmas que as porções indicadas pelas linhas cheias na imagem 402, mostrada na figura 8(b). Também, setas 407 a 409, na imagem 43, mostrada na figura 8(c), ilustram fluxos óticos exemplificativos, detectados na imagem 403.
Conforme mostrado a figura 8(b) e (c), a pessoa 400 e a montanha no fundo, que estão incluídas na imagem, se movem de acordo com o movimento de câmera. Com base nos fluxos óticos detectados desse movimento, parâmetros de transformação afim podem ser obtidos em uma base de quadro a quadro.
A figura 9 inclui diagramas mostrando um exemplo de combinação de imagem no caso onde uma imagem em movimento, incluindo as imagens 401 a 403, mostradas na figura 7, é gerada pela combinação.
Conforme mostrado na figura 9(a), a princípio, uma vez que há apenas a imagem 401, correspondente ao quadro de título, nenhuma combinação é realizada. Aqui, quando a matriz de parâmetros de transformação afim (matriz de 3 χ 3), correspondendo à imagem 401 é Al, o valor de Al é obtido e, com referência à posição e ao tamanho da imagem 401 do quadro de título, a imagem 401 é transformada afim, usando a matriz de Al. Aqui, uma vez que Al é uma matriz de identidade, a posição e o tamanho da imagem 401 não são transformados. Então, quando a imagem 402, correspondente ao quadro seguinte deve ser combinada, a imagem 402 é transformada afim, usando parâmetros de transformação afim, associados com esse quadro. Especificamente, quando a matriz de parâmetros de transformação afim, correspondente à imagem 402, é A2 e a matriz de parâmetros de transformação afim correspondente à imagem 401 é Al, o valor de Al x A2 é obtido e, com referência à posição e ao tamanho da imagem 401 do quadro de título, a imagem 402 é transformada afim, usando a matriz de Al x A2 obtida. Na imagem mostrada na figura 9(b), apenas a posição da imagem 402 é transformada. A imagem 402, que foi transformada afim, usando os parâmetros de transformação afim, é escrita de modo a sobrepor a imagem 401 correspondente ao quadro imediatamente precedente. Isto é, dentro da região da imagem 401, uma imagem da imagem 402 é escrita sobre uma região 410, sobrepondo a imagem 402. Também, dentro da região da imagem 401, uma imagem da imagem 401 é combinada em uma região 411, que não sobrepõe a imagem 420. Isto é, quando a imagem 402 correspondente ao segundo quadro deve ser combinada, conforme mostrado na figura 9(b), toda a porção da imagem 402 e uma porção da imagem 401, correspondente à região 411, são combinadas. Também, os parâmetros de transformação afim usados para fazer a transformação afim d imagem 402 são mantidos na unidade de transformação de imagem 160.
Então, quando a imagem 403 correspondente ao quadro seguinte deve ser combinada, a imagem 403 é transformada afim usando parâmetros de transformação afim associados com esse quadro. Isto é, a imagem 403 é transformada afim usando parâmetros de transformação afim obtidos usando uma matriz de parâmetros de transformação afim correspondente à imagem 403 e a matriz dos parâmetros de transformação afim correspondente à imagem 402, que são usadas na transformação afim imediatamente precedente. Especificamente, quando a matriz de parâmetros de transformação afim correspondente à imagem 403 é A3, a matriz de parâmetros de transformação afim correspondente à imagem 402 é A2 e a matriz de parâmetros de transformação afim, correspondendo à imagem 401 é Al, o valor de Al χ A2 χ A3 é obtido e, com referência à posição e ao tamanho da imagem 401 do quadro de título. Xá imagem 403 é transformada afim usando a matriz de Al χ A2 χ A3 obtida. Na imagem mostrada na figura 9(c), apenas a posição da imagem 403 é transformada. A imagem 403, que foi transformada afim usando os parâmetros de transformação afim, é escrita de modo a sobrepor uma imagem composta das imagens 401 e 402, uma imagem da imagem 403 é escrita sobre as regiões 413 e 414 sobrepondo a imagem 403. Também, dentro da região da imagem composta das imagens 401 e 402, a imagem composta das imagens 401 e 402 é combinada nas regiões 411 e 412, que não sobrepõem a imagem, 403. Isto é, quando a imagem 403, correspondente ao terceiro quadro deve ser combinada, conforme mostrado na figura 9(c), toda a porção da imagem 403, a porção da imagem 401 correspondente à região 411 e uma porção da imagem 420, correspondente à região 412 são combinadas. Também, os parâmetros de transformação afim, usados para fazer a transformação afim da imagem 403, são mantidos na unidade de transformação de imagem 160. Isto é, os parâmetros de transformação afim, obtidos pela multiplicação das matrizes dos parâmetros de transformação afim correspondendo às imagens 402 e 403, respectivamente, são mantidos na unidade de transformação de imagem 160. Como acima, quando uma imagem correspondente ao quadro atual deve ser transformada afim, a imagem correspondente ao quadro atual é transformada afim usando parâmetros de transformação afim obtidos usando uma matriz de parâmetros de transformação afim correspondente ao quadro atual e uma matriz de parâmetros de transformação afim correspondendo a cada um dos quadros que precede o quadro atual. Os parâmetros de transformação afim obtidos no momento da transformação afim são mantidos na unidade de transformação de imagem 160 e usados na transformação afim seguinte. Também, os valores de coordenadas correspondentes à posição central da imagem transformada afim e ao tamanho de imagem indicando o tamanho da imagem no armazenamento temporário de trabalho da memória de imagens 170 são registrados na unidade de armazenamento de posição de imagem 210. Também, o mesmo se aplica aos casos na figura 12 e na figura 15.
A seguir, o caso em que, no momento de fotografar uma imagem usando uma câmera, embora a direção da lente da câmera permaneça inalterada, a ampliação é mudada, será descrito.
A figura 10 inclui diagramas mostrando um exemplo de transição em um instantâneo de imagem em movimento pela câmera. Na figura 10, os diagramas mostram imagens 421 a 423 correspondentes aos quadros consecutivos incluídos na imagem em movimento, no caso onde a imagem de uma pessoa 420 com uma montanha no fundo foi fotografada. Neste exemplo, o caso onde um fotógrafo está fotografando a imagem, enquanto aumenta a ampliação da lente da câmera, é ilustrado. Nesse caso, a pessoa 420 incluída na imagem em movimento fotografada pela câmera se torna gradualmente maior em imagens que constituem a imagem em movimento. Note que o movimento da posição da câmera não será levado em consideração neste exemplo, embora a posição da câmera possa se mover ligeiramente no momento de aumento da ampliação.
A figura 11 inclui diagramas em que, nas imagens individuais mostradas na figura 10, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas e, adicionalmente, fluxos óticos detectados exemplificativos são mostrados. A imagem 421 mostrada na figura 1 l(a) é a mesma que a imagem 421 mostrada na figura 10(a). Também, porções indicadas por linhas cheias na imagem 422, mostrada na figura ll(b), são as mesmas que a imagem 422, mostrada na figura 10(b) e porções indicadas por linhas interrompidas na imagem 422 mostrada na figura ll(b) são as mesmas que as porções indicadas por linhas cheias na imagem 421 mostrada na figura 10(a). Também, as setas 424 a 426, na imagem 424, mostrada na figura ll(b) ilustram fluxos óticos exemplificativos detectados na imagem 422.
Similarmente, porções indicadas por linhas cheias na imagem 423, mostrada na figura 1 l(c), são as mesmas que a imagem 423, mostrada na figura 10(c) e porções indicadas por linhas interrompidas na imagem 423 mostrada na figura ll(c) são as mesmas que as porções indicadas por linhas cheias na imagem 422 mostrada na figura 10(b). Também, setas 427 a 429, na imagem 423, mostrada na figura ll(c), ilustram fluxos óticos exemplificativos, detectados na imagem 423.
Conforme mostrado na figura ll(b) e (c), os tamanhos da pessoa 420 e a montanha no fundo, que são incluídos na imagem, mudam à medida que a ampliação muda. Com base nos fluxos óticos detectados a partir dessa mudança, parâmetros de transformação afim podem ser obtidos em uma base de quadro a quadro. A figura 12 inclui diagramas mostrando um exemplo de combinação no caso onde uma imagem em movimento, incluindo as imagens 421 a 423 mostradas na figura 10, é gerada pela combinação.
Conforme mostrado na figura 12(a), a princípio, uma vez que há apenas a imagem 421, correspondente ao quadro de título, nenhuma combinação é realizada. Então, quando a imagem 422, correspondente ao quadro seguinte, deve ser combinada, a imagem 422 é transformada afim, usando parâmetros de transformação afim, associados com esse quadro. Na imagem mostrada na figura 12(b), apenas o tamanho da imagem 422 é transformado. A imagem 422, que foi transformada afim, usando os parâmetros de transformação afim, é escrita de modo a sobrepor a imagem 421 correspondente ao quadro imediatamente precedente. Isto é, dentro da região da imagem 421, uma imagem 422 é escrita sobre uma região que sobrepõe a imagem 422. Nesse caso, uma vez que a imagem 421 se sobrepõe à toda a região da imagem 422, toda a imagem da imagem 422 é escrita sobre a imagem 421. Também, dentro da região da imagem 421, uma imagem da imagem 421 é combinada em uma região da imagem 431 que não sobrepõe a imagem 422. Isto é, quando a imagem 422, correspondente ao segundo quadro, deve ser combinada, conforme mostrado na figura 12(b), toda a porção da imagem 422 e uma porção da imagem 421, correspondente à região 431, são combinadas. Também, os parâmetros de transformação afim usados para realizar a transformação afim da imagem 422 são mantidos na unidade de transformação de imagem 160.
Então, quando a imagem 423 correspondente ao quadro seguinte deve ser combinada, a imagem 423 é transformada afim usando parâmetros de transformação afim associados com esse quadro. Isto é, a imagem 423 é transformada afim usando parâmetros de transformação afim obtidos usando uma matriz de parâmetros de transformação afim correspondente à imagem 422, que são usados na transformação afim imediatamente precedente. Na imagem mostrada na figura 12(c), apenas o tamanho da imagem 423 é transformado. A imagem transformada afim 423 é escrita de modo a sobrepor uma imagem composta das imagens 421 e 422 correspondente aos quadros precedentes. Isto é, dentro da região da imagem composta das imagens 421 e 422, uma imagem da imagem 423 é escrita sobre uma região sobrepondo a imagem 423. Nesse caso, uma vez que a imagem 423 se sobrepõe a todas as regiões das imagens 421 e 422, toda a imagem da imagem 423 é escrita sobre a imagem composta das imagens 421 e 422. Também, dentro da região da imagem composta das imagens 421 e 42, a imagem composta das imagens 421 e 422 é combinada em regiões 432 e 433 que não sobrepõe a imagem 423. Isto é, quando a imagem 423, correspondente ao terceiro quadro deve ser combinada, conforme mostrado na figura 12(c), toda a porção da imagem 423, a porção da imagem 421, correspondente à região 432, e uma porção da imagem 422, correspondente à região 433 são combinadas. Também, os parâmetros de transformação afim usados para realizar a transformação afim da imagem 423 são mantidos na unidade de transformação de imagem 160. Isto é, os parâmetros de transformação afim obtidos pelo uso dos parâmetros de transformação afim correspondendo às imagens 422 e 423, respectivamente, são mantidos na unidade de transformação de imagem 160.
A seguir, o caso em que, no momento de fotografar uma imagem usando uma câmera, embora a direção da lente e a amplificação da câmera permaneçam inalteradas, a câmera é girada em torno da direção de fotografia da imagem, servindo como o centro de rotação, será descrito.
A figura 13 inclui diagramas mostrando um exemplo de transição em uma imagem em movimento fotografada pela câmera. Na figura 13, os diagramas mostram imagens 441 a 443, correspondendo aos quadros consecutivos incluídos na imagem em movimento no caso onde a imagem de uma pessoa 440 com uma montanha no fundo foi fotografada. Neste exemplo, o caso onde um fotógrafo está fotografando a imagem enquanto gira a câmera em torno da direção de fotografia da imagem, servindo como o centro de rotação, é ilustrado. Nesse caso, a pessoa 440, incluída na imagem em movimento fotografada pela câmera gira em imagens que constituem a imagem em movimento. Note que o movimento da posição da câmera não será levado em consideração neste exemplo, embora a posição da câmera possa se mover ligeiramente devido à rotação da câmera.
A figura 14 inclui diagramas em que, nas imagens individuais mostradas na figura 13, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas e, adicionalmente, fluxos óticos detectados exemplificativos são mostrados. A imagem 441 mostrada na figura 14(a) é a mesma que a imagem 441 mostrada na figura 13(a). Também, as porções indicadas por linhas cheias na imagem 442 mostradas na figura 14(b) são as mesmas que a imagem 442 mostrada na figura 13(b) e porções indicadas por linhas interrompidas na imagem 442 mostrada na figura 14(b) são as mesmas que as porções indicadas por linhas cheias na imagem 441 mostrada na figura 13(a). Também, as setas 444 a 446 na imagem 442 mostrada na figura 14(b) ilustram fluxos óticos exemplificativos de detectados na imagem 442. Similarmente, porções indicadas por linhas cheias na imagem 443 mostrada na figura 14(c) são as mesmas que a imagem 443 mostrada na figura 13(c) e porções indicadas por linhas interrompidas na imagem 443 mostrada na figura 14(c) são as mesmas que as porções indicadas pelas linhas cheias na imagem 442 mostrada na figura 13(b). Também, as setas 447 a 449 na imagem 443 mostrada na figura 14(c) fluxos óticos exemplificativos detectados na imagem 443.
Conforme mostrado na figura 14(b) e (c), a pessoa 440 e a montanha no fundo, que estão incluídas na imagem, se movem de acordo com a rotação da câmera. Com base nos fluxos óticos detectados desse movimento de rotação, parâmetros de transformação afim podem ser obtidos em uma base de quadro a quadro.
A figura 15 inclui diagramas mostrando um exemplo de combinação no caso onde a imagem em movimento, incluindo as imagens 441 a 443, mostradas na figura 13, é gerada pela combinação.
Conforme mostrado na figura 15 (a) a princípio, uma vez que há apenas a imagem 441 correspondente ao quadro de título, nenhuma combinação é realizada. Então, quando a imagem 442, correspondente ao quadro seguinte deve ser combinada, a imagem 442 é transformada afim usando parâmetros de transformação afim associados com esse quadro. Na imagem mostrada na figura 15(b), apenas o ângulo da imagem 442 é transformado. A imagem 442, que foi transformada afim usando os parâmetros de transformação afim, é escrita de modo a sobrepor a imagem 441 correspondente ao quadro imediatamente precedente. Isto é, dentro da região da imagem 441, uma imagem da imagem 442 é escrita sobre a região 450, sobrepondo a imagem 442. Também, dentro da região da imagem 441, uma imagem da imagem 441 é combinada em regiões 451 e 452, que não sobrepõem a imagem 442. Isto é, quando a imagem 442, correspondente ao segundo quadro, deve ser exposta, conforme mostrado na figura 15(b), toda a porção da imagem 442 e porções da imagem 441, correspondendo às regiões 451 e 452, são combinadas. Também, os parâmetros de transformação afim usados para realizar a transformação afim da imagem 442 são mantidos na unidade de transformação de imagem 160.
Então, quando a imagem 443, correspondente ao quadro seguinte, deve ser combinada, a imagem 443 é transformada afim usando parâmetros de transformação afim associados com esse quadro. Isto é, a imagem 443 é transformada afim usando parâmetros de transformação afim obtidos usando uma matriz de parâmetros de transformação afim correspondendo à imagem 443 e a matriz dos parâmetros de transformação afim, correspondendo à imagem 442, que são usados na transformação afim imediatamente precedente. Na imagem mostrada na figura 15(c), apenas o ângulo da imagem 443 é transformado. A imagem transformada afim 443 é escrita de modo a sobrepor uma imagem composta das imagens 441 e 442, correspondendo aos quadros precedentes. Isto é, dentro da região da imagem composta das imagens 441 e 442, uma imagem da imagem 443 é escrita através das regiões 453 a 457 sobrepondo a imagem 443. Também, dentro da região da imagem composta das imagens 441 e 442, a imagem composta das imagens 441 e 442 é ainda combinada nas regiões 458 a 461 que não sobrepõem a imagem 443. Isto é, quando a imagem 443 correspondendo ao terceiro quadro deve ser combinada, conforme mostrado na figura 15(c), toda a porção da imagem 443, a porção da imagem 441 correspondente à região 459 e as porções da imagem 442 correspondendo às regiões 458 e 460 são combinadas. Também, os parâmetros de transformação afim usados para realizar a transformação afim da imagem 443 são mantidos na unidade de transformação de imagem 160. Isto é, os parâmetros de transformação afim, obtidos pelo uso dos parâmetros de transformação afim correspondendo às imagens 442 e 443, respectivamente, são mantidos na unidade de transformação de imagem 160.
Os casos onde a posição, a ampliação e o ângulo de cada uma das imagens que constituem a imagem em movimento são mudados seqüencialmente foram descritos acima. Contudo, a modalidade é aplicável, similarmente, ao caso onde essas mudanças são combinadas.
A seguir, um exemplo de exposição no caso onde uma imagem em movimento realmente fotografada por uma câmera é gerada pela combinação será ilustrado. Em um exemplo de combinação de imagem ilustrado abaixo, uma imagem composta é mostrada apenas em uma região onde imagens correspondentes ao quadro atual e o quadro precedente são combinadas e a outra região é mostrada em preto. Também, uma borda é adicionada à periferia da imagem correspondente ao quadro atual. Além disso, no exemplo de combinação de imagem ilustrado abaixo, uma imagem composta, que está sendo gerada atualmente, é ilustrada à guisa de exemplo.
A figura 16 até a figura 19 incluem diagramas mostrando um exemplo de transição em uma imagem em movimento fotografada pela câmera. A figura 16 e a figura 17 são diagramas mostrando imagens 500 a 505 constituindo uma imagem em movimento no caso onde a imagem de um pai e uma criança brincando em um pátio dentro de um apartamento foi fotografada durante movimento da câmera.
Nas imagens 500 a 505, mostradas na figura 16 e na figura 17, imagens correspondentes ao quadro atual são imagens de 506 a 511. Também, imagens compostas que são imagens geradas pela combinação em correspondência com os quadros individuais precedentes são imagens 512 a 517. Conforme mostrado na figura 16 e na figura 17, um alvo a ser fotografado (o pátio dentro do apartamento ou semelhante) incluído na imagem fotografada é fixado à tela e as imagens 506 a 511, correspondentes ao quadro atual, se movem na tela de acordo com o movimento da câmera.
A figura 18 e a figura 19 são diagramas mostrando imagens de 520 a 525, correspondentes aos quadros que constituem uma imagem em movimento no caso onde a imagem de um pai e uma criança brincando em um pátio dentro de um apartamento foi fotografada durante a realização de uma operação de zoom-in.
Nas imagens 520 a 525 mostradas na figura 18 e na figura 19, imagens correspondentes ao quadro atual são imagens 526 a 531. Também, imagens compostas que são imagens geradas pela combinação em correspondência com os quadros individuais precedentes são imagens 532 a 537. Conforme mostrado na figura 18 e na figura 19, um alvo a ser fotografado (o pátio dentro do apartamento ou semelhante) incluído na imagem fotografada é fixado à tela e as imagens 526 a 531, correspondentes ao quadro atual, se movem na tela de acordo com o movimento da câmara. Como acima, nos exemplos de combinação de imagem mostrados na figura 16 até a figura 19, imagens correspondentes ao quadro atual se movem em uma tela ao mesmo tempo em que envolve o aumento/ redução de tamanho, pelo que uma imagem larga é gerada.
A figura 20 é um diagrama mostrando um exemplo de uma imagem panorâmica gerada pela combinação realizada usando a unidade de combinação de imagem 180 em uma imagem em movimento fotografada por uma câmera. Uma imagem panorâmica 540, mostrada na figura 20, é uma imagem panorâmica gerada a partir de uma imagem em movimento que foi fotografada principalmente de um pai e uma criança brincando em um pátio em um apartamento. Conforme mostrado na figura 20, junto com o pai e a criança, servindo como objetos centrais da imagem fotografada, o fundo, tal como o pátio no apartamento, que foi fotografado conforme necessário, é incluído na imagem panorâmica 540. Portanto, os detalhes da imagem em movimento podem ser facilmente compreendidos. Também um espaço onde a imagem foi fotografada pode ser rapidamente compreendido.
A seguir, o caso em que uma imagem em movimento é reproduzida usando uma imagem panorâmica será descrito em detalhes com referência aos desenhos.
A figura 21 é um diagrama mostrando um exemplo de exposição de uma tela de relação de imagens panorâmicas mostrada na unidade de exposição 260 na modalidade da presente invenção. A tela de relação de imagens panorâmicas é uma tela a ser mostrada no caso de seleção, por exemplo, de uma imagem em movimento desejada, a ser reproduzida quando imagens em movimento armazenadas na unidade de armazenamento de imagens em movimento 200 tiverem que ser reproduzidas. Note que imagens panorâmicas individuais mostradas na figura 21 são abreviadas e mostradas como "Ali", "Bll" e "Cll", respectivamente, como nas imagens panorâmicas de tamanho reduzido armazenadas na imagem panorâmica de tamanho reduzido 223 da unidade de armazenamento de imagens representativas 220, mostrada na figura 3. Note que a tela de relação de imagens panorâmicas é mostrada na unidade de exposição 260 em resposta a uma entrada de operação da unidade de aceitação de operação 230, que foi introduzida por um usuário.
Em uma tela de relação de imagens panorâmicas 600, imagens panorâmicas de tamanho reduzido 601 a 603 ("Ali", "Bll" e llCll"), registradas na imagem panorâmica de tamanho reduzido 223 da unidade de armazenamento de imagens representativas 220 são visualizadas individualmente e, de modo adicional, um cursor 604 para realizar uma operação de seleção é visualizado. Como acima, quando imagens em movimento registradas na unidade de armazenamento de imagens em movimento 200 têm que ser reproduzidas, uma vez que as imagens panorâmicas de tamanho reduzido correspondentes às imagens em movimento individuais são mostradas na tela de relação de imagens panorâmicas 600, os detalhes das imagens individuais podem ser facilmente compreendidos e, em conseqüência, uma imagem em movimento pode ser facilmente selecionada. Portanto, uma imagem em movimento a ser reproduzida pode ser selecionada de modo eficiente.
Aqui, um método de seleção para a seleção de uma imagem em movimento a ser reproduzida será descrito. Conforme mostrado na figura 21, quando as imagens panorâmicas de tamanho reduzido 601 a 603 são visualizadas na tela de relação de imagens panorâmicas 600, o usuário opera o cursor 604 através da introdução de uma entrada de operação de uma unidade de aceitação de operação 230 e seleciona uma imagem panorâmica de tamanho reduzido desejada dentre as imagens panorâmicas de tamanho reduzido 601 a 603. Por exemplo, uma imagem panorâmica de tamanho reduzido desejada recebe dois cliques usando um mouse. Uma imagem panorâmica correspondentes à imagem panorâmica de tamanho reduzido selecionada por essa operação de seleção é, por exemplo, conforme mostrado na figura 22(a), ampliada e visualizada na unidade de exposição 260.
A figura 2(a) é um diagrama mostrando um exemplo de visualização de uma tela de exposição de imagens panorâmicas, visualizada na unidade de exposição 260 na modalidade da presente invenção. Em uma tela de exposição de imagens panorâmicas 610, uma imagem panorâmica 620, correspondendo à imagem panorâmica de tamanho reduzido selecionada na tela de relação de imagens panorâmicas 600 é mostrada em toda a tela e, adicionalmente, um cursor 629 é mostrado. Aqui, bordas 621 a 628, indicadas por linhas tracejadas dentro da imagem panorâmica 620, são adicionadas por causa da descrição e as bordas 621 a 628 não são vistas realmente. Também, às bordas 621 a 628 mostram algumas das imagens que constituem uma imagem em movimento correspondente à imagem panorâmica 620.
A figura 22(b) é um diagrama mostrando, esquematicamente uma imagem em movimento 630, correspondente à imagem panorâmica 620, e quadros 631 a 638 que são alguns dos quadros que constituem a imagem em movimento 630. Aqui, é suposto que os quadros incluídos na imagem em movimento 630 são dispostos em séries de tempos, começando de "0", que é indicado por uma seta 639. Também, é suposto que os quadros 631 a 638 correspondem às imagens dentro das bordas 621 a 628, respectivamente, mostradas na figura 22(a).
Aqui, um método de reprodução para a reprodução da imagem em movimento 630, usando a imagem panorâmica 620 mostrada na tela de exposição de imagens panorâmicas 610 será descrito. Na imagem panorâmica 620 mostrada na tela de exposição de imagens panorâmicas 610, o usuário opera o cursor 629 através da introdução de uma entrada de operação da unidade de aceitação de operação 230 e seleciona uma porção desejada na imagem panorâmica 620. Por exemplo, uma porção desejada da imagem panorâmica 620 recebe um clique duplo usando um mouse. Com base na posição selecionada por essa operação de seleção, a reprodução da imagem em movimento 630 começa de uma posição pré-determinada. Especificamente, nas coordenadas registradas na posição central 213 da unidade de armazenamento de posição de imagem 210 em correspondência com a imagem em movimento 630, um ponto de coordenada que existe dentro da distância mínima da posição selecionada pela operação de seleção na imagem panorâmica 620 é detectado e o número de quadros 212 e o ID de imagem em movimento, correspondente a esse ponto de coordenada são selecionados. Quando o número de quadros selecionados 212 e o ID de imagem em movimento 211 são enviados para a unidade de controle de exposição 250, a unidade de controle de exposição 250 busca a unidade de armazenamento de imagens em movimento 200 para uma imagem em movimento correspondente ao ID de imagem em movimento 211, e adicionalmente, começa a reprodução da imagem em movimento recuperada de uma posição correspondente ao número de quadros 212. A imagem em movimento, começando daquela posição, é mostrada na unidade de exposição 260. Note que, nas coordenadas registradas na posição central 213 da unidade de armazenamento de posição de imagem 210, se uma pluralidade de pontos de coordenadas que existem dentro da distância mínima da posição selecionada pela operação de seleção na imagem panorâmica 620 são detectados, por exemplo, uma imagem com uma grande área registrada no tamanho de imagem 214 é selecionada. Alternativamente, uma imagem com um grande número de quadros pode ser selecionada. Note que um número de quadros apropriado e ID de imagem em movimento podem ser selecionados com base em outras funções de avaliação.
Por exemplo, na imagem panorâmica 620, mostrada na figura 22(a), se existe um cursor nas proximidades do centro da borda 628, quando um clique duplo é realizado usando um mouse, o número de quadros de um quadro correspondente a uma imagem dentro do quadro 628 é selecionado da unidade de armazenamento de posição de imagem 210 e, adicionalmente, o ID de imagem em movimento correspondente à imagem panorâmica 620 é selecionado da unidade de armazenamento de posição de imagem 210. Com base no ID de imagem em movimento selecionado e no número de quadros, a reprodução da imagem em movimento 630 começa da posição do quadro 638.
Em seguida, a operação do aparelho de processamento de imagem 100 na modalidade da presente invenção será descrita com referência aos desenhos.
Figura 23 é um fluxograma mostrando procedimento de processamento de um processo de geração de imagem panorâmica pelo aparelho de processamento de imagem 100 nas formas de realização da invenção presente.
A princípio, um armazenamento temporário de trabalho maior do que o tamanho das imagens que constituem uma imagem em movimento é preso na memória de imagens 170 (etapa S921). Então, um arquivo de imagens em movimento é obtido da unidade de armazenamento de imagens em movimento 200 (etapa S921). Então, o arquivo de imagens em movimento obtido é decodificado e o quadro atual, que é um quadro, é obtido (etapa S923).
Então, parâmetros de transformação afim, correspondentes ao quadro atual obtido, são extraídos do arquivo de imagens em movimento (etapa S924). Aqui, quando o quadro atual é o quadro de título, parâmetros de transformação afim de uma matriz de identidade são extraídos. Então, a imagem correspondente ao quadro atual é transformada afim, usando os parâmetros de transformação afim obtidos (etapa S925). Aqui, quando o quadro atual é o quadro de título, uma transformação afim é realizada usando os parâmetros de transformação afim da matriz de identidade. Portanto, a imagem real não é transformada. Então, a imagem transformada a fim correspondente ao quadro atual é escrita sobre e combinada com uma imagem composta de imagens individuais correspondentes aos quadros que precedem o quadro atual e uma imagem composta combinada com a imagem correspondente ao quadro atual é salva na memória de imagens 170 (etapa S926). Aqui, quando o quadro atual é o quadro de título, a imagem correspondente ao quadro de título é salva na memória de imagens 170. Então, a posição central e o tamanho de imagem da imagem transformada a fim correspondente ao quadro atual no armazenamento temporário de trabalho da memória de imagens 170 são registrados, junto com o número de quadro do quadro atual, na unidade de armazenamento de posição de imagem 210 (etapa S927). Aqui, quando o quadro atual é o quadro de título, a posição central e o tamanho de imagem da imagem correspondente ao quadro de título e o armazenamento temporário de trabalho na memória de imagens 170 são registrados, junto com o número de quadro "1", na unidade de armazenamento de posição de imagem 210.
Então, é determinado se, entre quadros que constituem o arquivo de imagens em movimento de entrada, o quadro atual é ou não o último quadro (etapa S928). Quando o quadro atual não é o último quadro (etapa S928), o fluxo retorna para a etapa S923 e o processo de geração de imagem composta é repetido (etapas S923 a S927).
Em contraste, quando o quadro atual é o último quadro (etapa S928), a imagem composta mantida na memória de imagens 170 é enviada para e registrada na unidade de armazenamento de imagens representativas 220 (etapa S929). Nesse caso, uma imagem de tamanho reduzido da imagem composta mantida na memória de imagens 170 é gerada e a imagem de tamanho reduzido é enviada para e registrada na unidade de armazenamento de imagens representativas 220. Então, o armazenamento temporário de trabalho anexado é liberado (etapa S930) e o processo de geração de imagem panorâmica é terminado.
A figura 24 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagens em movimento realizado pelo aparelho de processamento de imagem 100 na modalidade da presente invenção. Neste procedimento de processamento, o caso em que uma imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200 é reproduzida, começando de uma posição desejada, usando uma imagem panorâmica armazenada na unidade de armazenamento de imagem representativa 220 será descrito à guisa de exemplo.
A princípio, é determinado se uma entrada de operação para mostrar uma tela de relação de imagens panorâmicas é ou não aceita pela unidade de aceitação de operação 230 (etapa S941). Quando uma entrada de operação para mostrar uma tela de relação de imagens panorâmicas é aceita (etapa S941), uma tela de relação de imagens panorâmicas é mostrada na unidade de exposição 260 (etapa S942). Por exemplo, conforme mostrado na figura 21, a tela de relação de imagens panorâmicas 600 é mostrada. Em contraste, quando uma entrada de operação para mostrar uma tela de relação de imagens panorâmicas não é aceita (etapa S941), é determinado se a tela de relação de imagens panorâmicas é mostrada ou não na unidade de exposição 260 (etapa S948). Quando uma tela de relação de imagens panorâmicas é mostrada (etapa S948), o fluxo prossegue para a etapa S943. Quando uma tela de relação de imagens panorâmicas não é mostrada (etapa S948), o fluxo prossegue para a etapa S949.
Então, é determinado se uma entrada de operação para selecionar uma informação de posição dentre imagens panorâmicas incluídas na tela de relação de imagens panorâmicas mostradas na unidade de exposição 260 é aceita ou não pela unidade de aceitação de operação 230 (etapa S943). Quando uma entrada de operação para selecionar uma imagem panorâmica é aceita (etapa S943), uma tela de exposição de imagem panorâmica mostrando a imagem panorâmica selecionada em toda a tela é visualizada na unidade de exposição 260 (etapa S944). Por exemplo, conforme mostrado na figura 22(a), a tela de exposição de imagem panorâmica 610 é exibida. Em contraste, quando uma entrada de operação para selecionar uma imagem panorâmica 222 não é aceita (etapa S943), o processo de reprodução de imagem em movimento é terminado.
Quando uma entrada de operação para exposição de uma tela de relação de imagens panorâmicas não é aceita (etapa S941) e, quando uma tela de relação de imagens panorâmicas não é exibida (etapa S948), é determinado se uma tela de relação de imagens panorâmicas é ou não exibida na unidade de exposição 260 (etapa S949). Quando uma tela de exposição de imagem panorâmica é exibida (etapa S949), o fluxo prossegue para a etapa S945. Quando uma tela de exposição de imagem panorâmica não é exibida (etapa S949), o processo de reprodução de imagem em movimento é terminado.
Então, é determinado se uma entrada de operação para selecionar uma porção da imagem panorâmica incluída na tela de exposição de imagem panorâmica visualizada na unidade de exposição 260 é aceita ou não pela unidade de aceitação de operação 230 (etapa S945). Por exemplo, conforme mostrado na figura 22(a), uma porção da imagem panorâmica 620 é selecionada usando o cursor 629. Quando uma entrada de operação para selecionar uma porção da imagem panorâmica incluída na tela de exposição de imagem panorâmica é aceita (etapa s945), com base na posição selecionada na imagem panorâmica, o número de quadro e o ID de imagem em movimento são selecionados da unidade de armazenamento de posição de imagem 210 (etapa S946). Então, uma imagem em movimento correspondente ao ID de imagem em movimento selecionada é recuperada da unidade de armazenamento de imagem em movimento 200 e, adicionalmente, reprodução da imagem em movimento recuperada começa de uma posição correspondente ao número de quadro selecionado (etapa S947). Em contraste, quando uma entrada de operação para selecionar uma porção da imagem panorâmica incluída na tela de exposição de imagem panorâmica não é aceita (etapa S945), o processo de reprodução de imagem em movimento é terminado.
Como acima, o exemplo em que uma imagem em movimento é reproduzida, começando de uma posição desejada, pela seleção de uma posição arbitrária em uma imagem panorâmica foi descrito. Além disso, imagens índice que são imagens representativas incluídas em uma imagem em movimento podem ser extraídas da imagem em movimento e as imagens índice podem ser visualizadas em uma imagem panorâmica. Por meio da seleção de uma das imagens índice na imagem panorâmica, a imagem em movimento pode ser reproduzida, começando de uma posição desejada. Este exemplo será descrito em detalhes abaixo com referência aos desenhos.
A figura 25 é um diagrama de blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 101 em uma mo da presente invenção. Aqui, o aparelho de processamento de imagem 101 é um aparelho obtido pela modificação de parte do aparelho de processamento de imagem 100 mostrado na figura 1. O aparelho de processamento de imagem 101 é um aparelho de processamento de imagem 100 em que, em lugar da unidade de combinação de imagens 180, a unidade de obtenção de posição de imagem 190, a unidade de armazenamento de imagem representativa 220, a unidade de armazenamento de posição de imagem 210, a unidade de seleção 240 e a unidade de controle de exposição 250 do aparelho de processamento de imagem 100, uma unidade de combinação de imagens 181, uma unidade de extração de imagem índice 270, uma unidade de armazenamento de imagem representativa 225, uma unidade de armazenamento de imagem índice 280, uma unidade de seleção 241 e uma unidade de controle de exposição 251 são proporcionadas. Note que outras estruturas que não a unidade de combinação de imagens 181, a unidade de extração de imagem índice 270, a unidade de armazenamento de imagem representativa 225, a unidade de armazenamento de imagem índice 280, a unidade de seleção 241 e a unidade de controle de exposição 251 são similares àquelas do aparelho de processamento de imagem 100, mostrado na figura 1 e, em conseqüência, descrições dessas outras estruturas são omitidas.
A unidade de extração de imagem índice 270 é configurada para extrair, com base em uma saída de imagem transformada da unidade de transformação de imagem 160 e imagens índice armazenadas na unidade de armazenamento de imagem índice 280, uma imagem índice de cada uma das imagens que constituem uma imagem em movimento em um arquivo de imagens em movimento saído da unidade de obtenção de imagem em movimento 140 e sai a imagem índice extraída, junto com um número de quadro e informação de posição correspondendo à imagem índice extraída, para a unidade de armazenamento de imagem índice 280. Especificamente, a unidade de extração de imagem índice 270 extrai uma imagem índice com base na taxa de sobreposição entre cada imagem índice armazenada na unidade de armazenamento de imagem índice 280 e uma imagem transformada afim correspondente ao quadro atual. Também, quando a unidade de extração de imagem índice 270 extraiu a imagem índice, a unidade de extração de imagem índice 270 sai informação, indicando que a imagem correspondente ao quadro atual é uma imagem índice, para a unidade de combinação de imagens 181. Note que o método de extração de imagem índice será descrito em detalhes com referência à figura 27.
A unidade de armazenamento de imagem índice 280 é configurada para armazenar uma imagem índice enviada da unidade de extração de imagem índice 270 em associação com o número de quadro e a sua informação de posição. A unidade de armazenamento de imagem índice 280 sai a imagem índice armazenada para a unidade de controle de exposição 251 e, adicionalmente, sai o número de quadro e a informação de posição para a unidade de seleção 241. Também, a unidade de armazenamento de imagem índice 280 sai a informação de posição armazenada para a unidade de extração de imagem índice 270. Note que cada item de informação armazenado na unidade de armazenamento de imagem índice 280 será descrito em detalhes com referência à figura 26.
Quando informação indicando que a imagem correspondente ao quadro atual é uma imagem índice é introduzida da unidade de extração de imagem índice 270, a unidade de combinação de imagem 181 adiciona um marcador de imagem índice indicando que essa imagem é uma imagem índice para a periferia da imagem correspondente ao quadro atual. Por exemplo, conforme indicado por imagens índice 550a558 na figura 28(a), marcadores de imagens índice são adicionados. Note que, uma vez que a combinação de imagens e semelhantes que se afastam do acima são similares àquelas da unidade de combinação de imagens 180, suas descrições serão omitidas aqui.
A unidade de armazenamento de imagem representativa 225 é configurada para armazenar uma saída de imagem composta da unidade de combinação de imagens 181 como uma imagem panorâmica relacionada com uma imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200 e fornece a imagem panorâmica armazenada para a unidade de controle de exposição 251.
A unidade de seleção 241 é configurada para, quando uma operação de seleção de imagem índice em uma imagem panorâmica 222, que é aceita pela unidade de aceitação de operação 230, for introduzida, selecionar um número de quadro 212 dentre números de quadros armazenados na unidade de armazenamento de imagem índice 280, com base na informação de posição da imagem índice armazenada na unidade de armazenamento de imagem índice 280 e fazer sair o número de quadro selecionado e um ID de imagem em movimento correspondente a isso para a unidade de controle de exposição 251. Note que a seleção será descrita em detalhes com referência à figura 28.
A unidade de controle de exposição 251 é configurada para controlar, em resposta a uma entrada de operação da unidade de aceitação de operação 230, a exposição de uma relação de imagens índice armazenadas na unidade de armazenamento de imagem representativa 225 ou uma imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200 na unidade de exposição 260. Também, quando o número de quadro e o ID de imagem em movimento são introduzidos da unidade de seleção 241, a unidade de controle de exposição 251 busca a unidade de armazenamento de imagem em movimento 200 para uma imagem em movimento correspondente ao ID de imagem em movimento e, adicionalmente, começa a reproduzir a imagem em movimento recuperada de uma posição correspondente ao número de quadro.
A figura 26 é um diagrama mostrando, esquematicamente, os detalhes armazenados na unidade de armazenamento de imagem índice 280 na modalidade da presente invenção.
Na unidade de armazenamento de imagem índice 280, itens de informação referente às imagens índice extraídas pela unidade de extração de imagem índice 270 são armazenados em séries de tempos em uma base de quadro a quadro. Especificamente, um ID de imagem em movimento 281, um número de quadro 282, informação de posição 283 e uma imagem índice 284 são armazenados em associação uns com os outros na unidade de armazenamento de imagem índice 280.
O ID de imagem em movimento 281 é um ID correspondente a cada imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200.
O número de quadro 282 é um número de identificação de um quadro correspondente a uma imagem índice extraída pela unidade de extração de imagem índice 270. A informação de posição 283 é informação que indica a posição de uma imagem índice extraída pela unidade de extração de imagem índice 270 no armazenamento temporário de trabalho da memória de imagens 170. Por exemplo, quando o armazenamento temporário de trabalho da memória de imagens 170 tem coordenadas xy, os valores das coordenadas, correspondendo a quatro vértices de uma imagem índice extraída pela unidade de extração de imagem índice 270, são registrados. Isto é, as posições das coordenadas em um espaço de captura de imagem definido por informação de movimento de câmera são registradas como a posição de uma imagem índice extraída pela unidade de extração de imagem índice 270. Esse espaço de captura de imagem é, por exemplo, um espaço de imagem correspondente a uma imagem representativa gerada pela unidade de combinação de imagens 180 usando parâmetros de transformação afim, calculados com base na quantidade de movimento de câmera no momento de capturar uma imagem em movimento capturada, introduzida da unidade de entrada de imagem em movimento 110. Note que, na modalidade da presente invenção, um exemplo em que valores de coordenadas correspondentes aos quatro vértices de uma imagem índice extraída pela unidade de extração de imagem índice 270 são usados como informação de posição da imagem índice será descrito. Contudo, como a informação de posição da imagem índice, outra informação de posição, tal como a posição central e o tamanho da imagem, pode ser usada.
A imagem índice 284 é uma imagem índice extraída pela unidade de extração de imagem índice 270.
A figura 27 é um diagrama mostrando, esquematicamente, um exemplo de um método de extração no caso onde uma imagem índice é extraída na modalidade da presente invenção. Uma imagem composta 640, mostrada na figura 27, é mostrada como uma imagem composta simplificada, que, atualmente, está sendo gerada pela unidade de combinação de imagens 180. Neste exemplo, na imagem composta 640, imagens 641 a 643 são extraídas como imagens índice.
No caso onde uma imagem índice deve ser extraída, uma determinação é feita com base na taxa de sobreposição entre cada imagem índice armazenada na unidade de armazenamento de imagem índice 280 (imagem que já foi extraída como uma imagem índice) e uma imagem transformada afim correspondente ao quadro atual. Especificamente, a taxa de sobreposição entre cada imagem índice armazenada na unidade de armazenamento de imagem índice 280 (imagem que já foi extraída como imagem índice) e uma imagem transformada afim correspondente ao quadro atual é calculada. Por exemplo, é suposto que uma imagem 644, mostrada na figura 27, é uma imagem transformada afim correspondente ao quadro atual. Nesse caso, a taxa de sobreposição entre a imagem 644 e cada uma das imagens 641 a 643, que são imagens índice, é calculada. Com relação à imagem 644, uma região de sobreposição 645 que sobrepõe as imagens 641 e 642 e uma região de sobreposição 647 que sobrepõe apenas a imagem 642 são regiões que sobrepõem as imagens 641 a 643. Na figura 27, as regiões de sobreposição 645 a 647 são indicadas por linhas oblíquas. As áreas das regiões de sobreposição 645 a 647 são adicionadas. Os valores das áreas adicionadas (a área total das regiões de sobreposição 645 a 647) são comparados com um limite pré-estabelecido e, quando o valor da taxa de sobreposição, que é a proporção da área total das regiões de sobreposição 645 a 647 na área de toda a imagem 644, é menor do que ou igual ao limite, é uma imagem que tem menos sobreposição com outras imagens índice. Como acima, uma imagem que tem menos sobreposição com outras imagens índice. Como acima, uma imagem que tem menos sobreposição com outras imagens índice é extraída como uma imagem índice. Um número de quadro correspondente à imagem índice extraída, os valores de coordenadas correspondendo aos quatro vértices da imagem índice e a imagem índice são armazenados em associação com o ID de imagem em movimento na unidade de armazenamento de imagem índice 280.
Como acima, quando uma imagem índice é extraída, a unidade de extração de imagem índice 270 sai informação, indicando que a imagem correspondente ao quadro atual é uma imagem índice, para a unidade de combinação de imagens 181. Um marcador de imagem índice, indicando que a imagem correspondente ao quadro atual é uma imagem índice, é adicionado à periferia da imagem correspondente ao quadro atual na imagem composta gerada pela combinação realizada pela unidade de combinação de imagens 181. Por exemplo, conforme mostrado na figura 27, uma borda lisa é adicionada à periferia da imagem 644 na imagem composta 640. Note que, quando uma pluralidade de imagens índices se sobrepõem, um marcador de imagem índice que tem a hora da última fotografia de imagem é escrito sobre outros marcadores de imagens índice. Por exemplo, um marcador de imagem índice 644 é escrito sobre os marcadores de imagens índice. Por exemplo, um marcador de imagem índice da imagem 644 é escrito sobre os marcadores de imagens índice das imagens índice 641 a 643. Também, por exemplo, conforme mostrado na figura 28(a), marcadores de imagens índice das imagens índice 551 a 558 são sobrescritos de acordo com os tempos de fotografia de imagens. Na modalidade da presente invenção, um exemplo em que uma nova imagem índice é extraída com base nas taxas de sobreposição entre todas as imagens que já foram extraídas como imagens índice e uma imagem transformada afim correspondente ao quadro atual. Como acima, pelo uso de um ou de um número pré-determinado de imagens índice que foram extraídas imediatamente antes do quadro atual como alvos de comparação, para imagens que existem em posições relativamente próximas no espaço de captura de imagem, uma imagem com uma hora de fotografia de imagem relativamente cedo e uma imagem com uma hora de fotografia de imagem relativamente tarde podem ser extraídas como imagens índice.
A figura 28(a) é um diagrama mostrando um exemplo de uma imagem panorâmica gerada pela combinação realizada usando a unidade de combinação de imagens 181 em um instantâneo de imagem em movimento por uma câmera. Para uma imagem em movimento correspondente a uma imagem panorâmica 550 mostrada na figura 28(a), imagens índice 551 a 558 são extraídas. Também, a imagem panorâmica 550 é uma imagem panorâmica gerada para a mesma imagem em movimento que aquela da imagem panorâmica 540, mostrada na figura 20. A imagem panorâmica 550 é diferente da imagem panorâmica 540 pelo fato de marcadores de imagens índice serem adicionados à periferia das imagens índice 551 a 558. Note que, uma vez que um método de exposição da imagem panorâmica 550 é similar ao método de exposição de imagem panorâmica descrito com referência à figura 21 e à figura 22, uma descrição do mesmo é omitida aqui.
A figura 28(b) é um diagrama mostrando a relação entre quadros 571 a 578 incluídos em uma imagem em movimento 570, correspondendo à imagem panorâmica 550, mostrada na figura 28(a) e imagens índice 561 a 568. Note que as imagens índice 561 a 568 são imagens que correspondem às imagens índice 551 a 558 mostradas na figura 28(a) e são armazenadas na unidade de armazenamento de imagem índice 280. Também, as relações de correspondência entre os quadros 571 a 578 e as imagens de relação 561 a 568 são indicadas por setas. Aqui, é suposto que os quadros incluídos na imagem em movimento 570 são dispostos em séries de tempos, começando de "0", que é indicado por uma seta 579.
A seguir, o caso em que uma imagem em movimento é reproduzida usando uma imagem panorâmica à qual marcadores de imagens índice são adicionados será descrito em detalhes com referência aos desenhos.
Aqui, o caso em que, no caso onde a imagem panorâmica 550, mostrada na figura 28(a), é visualizada na unidade de exposição 260, a imagem em movimento 570 deve ser reproduzida, será descrito em detalhes com referência aos desenhos. Na imagem panorâmica 550, visualizada na unidade de exposição 260, um usuário opera um cursor (não mostrado nos desenhos) através da introdução de uma entrada de operação da unidade de aceitação de operação 230 e seleciona qualquer porção das imagens índice 551 a 558 incluída na imagem panorâmica 550. Por exemplo, qualquer porção das imagens índice 551 a 558 incluída na imagem panorâmica 550 recebe um clique duplo, usando um mouse. Com base na posição selecionada por essa operação de seleção, a reprodução da imagem em movimento 570 começa de uma posição pré-determinada. Especificamente, um retângulo incluindo, na imagem panorâmica 550, uma posição selecionada pela realização de uma operação de seleção de qualquer uma das imagens índice 551 a 558 é detectada em um retângulo especificado pelas coordenadas de quatro vértices registrados na informação de posição 283 da unidade de armazenamento de imagem índice 280 em correspondência com a imagem em movimento 570 e o número de quadro 282 e o ID de imagem em movimento 281 correspondente a esse retângulo (coordenadas de quatro vértices) são selecionados. Quando o número de quadro 282 selecionado e o ID de imagem em movimento 282 são enviados para a unidade de controle de exposição 251, a unidade de controle de exposição 251 busca a unidade de armazenamento de imagem em movimento 200 para uma imagem em movimento correspondente ao ID de imagem em movimento 281 e, adicionalmente, começa reproduzindo a imagem em movimento recuperada, de uma posição correspondente ao número de quadro 282. Note que, quando uma porção de sobreposição, onde uma pluralidade de imagens índice se sobrepõem, é selecionada dentre as imagens índice 551 a 558 incluídas na imagem panorâmica 550, uma imagem índice com a hora de fotografia da última imagem é selecionada. Isto é, uma imagem índice com o maior número de quadro é selecionado. Como acima, uma imagem índice é selecionada de acordo com regiões circundadas por marcadores de imagens índice visualizados. Alternativamente, imagens índice armazenadas na unidade de armazenamento de imagem índice 280 podem ser visualizadas como imagens de relação e uma imagem em movimento pode ser reproduzida usando as imagens de relação. Por exemplo, conforme mostrado na figura 28(b), imagens índice podem ser dispostas, em uma base imagem em movimento por imagem em movimento, na base de horas de fotografia de imagens. Através da seleção de uma dentre as imagens índice dispostas dessa maneira, uma imagem em movimento pode ser reproduzida como foi descrito acima. Também, por exemplo, a exposição de uma imagem panorâmica à qual marcadores de imagens índice são adicionados e a exposição de imagens índice dispostas em séries de tempos com base nas horas de fotografias de imagens podem ser comutadas através da realização de uma operação de clique, usando um mouse. Nesse caso, por exemplo, os rastros das imagens índice no momento da comutação podem ser visualizados usando animação.
A seguir, a operação do aparelho de processamento de imagem 100 na modalidade da presente invenção será descrita com referência aos desenhos.
A figura 29 é um fluxograma mostrando um procedimento de processamento de um processo de geração de imagem panorâmica realizado pelo aparelho de processamento de imagem 100 na modalidade da presente invenção. Note que, no procedimento de processamento mostrado na figura 29, uma vez que as etapas S921 a S925 e as etapas S928 a S930 são similares ao procedimento de processamento mostrado na figura 23, suas descrições são omitidas aqui.
É determinado se o quadro atual obtido na etapa S923 é ou não o quadro de título entre quadros que constituem uma imagem em movimento (etapa S950). Quando o quadro atual é o quadro de título (etapa S950), informação de posição da imagem correspondente ao quadro atual no armazenamento temporário de trabalho da memória de imagens 170 é obtida e a informação de posição e o número de quadro " 1" são registrados na unidade de armazenamento de imagem índice 280 (etapa S955). Então, a imagem correspondente ao quadro atual é salva na memória de imagens 170 (etapa S956). Em contraste, quando o quadro atual não é o quadro de título (etapa S950), o fluxo prossegue para a etapa S924.
A taxa de sobreposição entre a imagem correspondente ao quadro atual, que foi transformada afim na etapa S925, usando parâmetros de transformação afim e cada imagem índice armazenada na unidade de armazenamento de imagem índice 280 é calculada (etapa S951). Então, é determinado se o valor da taxa de sobreposição, que foi obtida por cálculo é maior do que ou igual a um limite (etapa S952). Quando o valor da taxa de sobreposição, que foi obtido por cálculo, não é menor do que ou igual ao limite (etapa S952), o fluxo prossegue para a etapa S954. Em contraste, quando o valor da taxa de sobreposição, que foi obtido por cálculo, é menor do que ou igual ao limite (etapa S952), informação de posição da imagem que corresponde ao quadro atual no armazenamento temporário de trabalho da memória de imagens 170 é obtida e a informação de posição e o número de quadro são registrados na unidade de armazenamento de imagem índice 280 (etapa S953). Então, a imagem transformada afim correspondente ao quadro atual é escrita sobre e combinada com uma imagem composta de imagens individuais correspondendo aos quadros que precedem o quadro atual e uma imagem composta, combinada com a imagem correspondente ao quadro atual, é salva na memória de imagens 170 (etapa S954). Nesse caso, um marcador de imagem índice é adicionado à periferia da imagem correspondente ao quadro atual.
A figura 30 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem em movimento realizado pelo aparelho de processamento de imagem 100 na modalidade da presente invenção. Nesse procedimento de processamento, o caso em que uma imagem em movimento armazenada na unidade de armazenamento de imagem em movimento 200 é reproduzida, começando de uma posição desejada na unidade de armazenamento de imagem representativa 225 será descrito à guisa de exemplo. Note que, no procedimento de processamento mostrado na figura 30, uma vez que as etapas S941 a S944 e as etapas S947 a S949 são similares às do procedimento de processamento mostrado na figura 24, suas descrições são aqui omitidas.
No caso onde uma tela de relação de imagens panorâmicas é visualizada na unidade de exposição 260 (etapa S944 e etapa S949), é determinado se uma entrada de operação para selecionar uma imagem índice incluída em uma imagem panorâmica na tela de relação de imagens panorâmicas é aceita ou não pela unidade de aceitação de operação 230 (etapa S961). Quando uma entrada de operação para selecionar uma imagem índice incluída na imagem panorâmica é aceita (etapa S962), o número de quadro e o ID de imagem em movimento armazenado na unidade de armazenamento de imagem índice 280 em correspondência com a imagem índice selecionada são selecionados (etapa S962). Em contraste, quando uma entrada de operação para selecionar uma imagem índice incluída na imagem panorâmica na tela de exposição de imagem panorâmica não é aceita (etapa S961), o processo de reprodução de imagem em movimento é terminado.
Como acima, com relação às imagens índice extraídas, o caso onde as imagens índice são visualizadas pela adição de marcadores de imagens índice a uma imagem panorâmica ou o caso onde as imagens índice são dispostas em séries de tempo e visualizadas foi descrito à guisa de exemplo. Aqui, um exemplo em que, usando números de quadros e informação de posição armazenada na unidade de armazenamento de imagem índice 280, imagens índice são dispostas, virtualmente, em um espaço tridimensional e as imagens índice no espaço tridimensional são visualizadas, será descrito em detalhes com referência aos desenhos. Isto é, as imagens índice dispostas virtualmente no espaço tridimensional são projetadas em um plano e visualizadas como imagens tridimensionais na unidade de exposição 260. Aqui o espaço tridimensional na modalidade da presente invenção é espaço constituído por espaço bidimensional (plano) correspondente a uma imagem capturada e espaço unidimensional correspondente ao eixo de tempos.
A figura 31 e a figura 32 incluem diagramas mostrando, esquematicamente, o caso onde imagens índice armazenadas na unidade de armazenamento de imagem índice 280 na modalidade da presente invenção são dispostas virtualmente em um espaço tridimensional. Na figura 31 e na figura 32, o caso onde imagens índice selecionadas 701 a 708 são dispostas em um espaço tridimensional definido por eixo-x, eixo-y e eixo-t é ilustrado. Aqui, eixo-x é um eixo que indica a direção horizontal em relação às imagens que constituem uma imagem em movimento que foi fotografada. Também, eixo-y é um eixo que indica a direção vertical em relação às imagens que constituem uma imagem em movimento que foi fotografada.
A figura 31 (a) e a figura 32(a) são diagramas mostrando o caso onde as imagens índice 701 a 708 dispostas no espaço tridimensional são vistas do lado frontal na direção do eixo-t. Note que a figura 31 (a) e a figura 32(a) são o mesmo diagrama. A figura 3 l(b) é um diagrama mostrando o caso onde as imagens índice 701 a 708, dispostas no espaço tridimensional, são vistas da lateral esquerda na direção do eixo-x. Aqui, na figura 31 até a figura 34, uma descrição será dada mostrando, esquematicamente, as imagens índice 701 a 708 como retângulos e, adicionalmente, adicionando os caracteres "HI" a "H8" ao interior dos retângulos, indicando as imagens individuais.
Conforme mostrado na figura 31 e na figura 32, as imagens índice 701 a 708 são dispostas em séries de tempos com relação ao eixo com base nos números de quadros armazenados em associação com as imagens índice individuais. Também, com base na informação de posição armazenada em associação com as imagens índice individuais, as imagens índice 701 a 708 são dispostas em posições no espaço de fotografia de imagem com relação ao eixo-x e ao eixo-y.
Como acima, imagens índice 701 a 708, dispostas, virtualmente, no espaço tridimensional, são projetadas em um plano e exibidas como imagens tridimensionais na unidade de exposição 260.
A figura 33 inclui diagramas mostrando exemplos de exposição das imagens índice 701 a 708, dispostas, virtualmente, em um espaço tridimensional. Na figura 3 3(a), uma tela de exposição de imagens índice 710, que mostra o lado superior das imagens índice 701 a 708 é mostrada. Note que a configuração da disposição das imagens índice 701 a 708 incluída na tela de exposição de imagens índice 710 é similar à configuração de disposição mostrada na figura 31(b). Na figura 33(b), uma tela de exposição de imagens índice 720, que mostra a lateral das imagens índice 701 a 708 incluídas na tela de exposição de imagens índice 720 é similar à configuração de disposição mostrada na figura 32(b). Note que o lado superior e a lateral de cada imagem índice podem ser mostrados esquematicamente, usando, por exemplo, um retângulo de acordo com o tamanho de cada imagem índice.
Aqui, apenas exemplos de telas do lado superior e da lateral das imagens índice 701 a 708 dispostas, virtualmente, no espaço tridimensional são ilustrados. Contudo, além dessas exposições, imagens índice dispostas virtualmente no espaço tridimensional podem ser exibidas de modo que elas possam ser vistas de cada direção de acordo com uma entrada de operação introduzida por usuário. Por exemplo, imagens índice individuais podem ser visualizadas de modo que elas possam ser vistas de uma direção frontal diagonalmente superior.
Como acima, quando imagens índice individuais são mostradas, como foi descrito acima, através da seleção de uma imagem índice desejada dentre as imagens índice exibidas, a reprodução de uma imagem em movimento pode ser iniciada de uma posição correspondente à imagem índice selecionada. Por exemplo, uma imagem índice desejada pode ser selecionada usando um cursor 711 mostrado na figura 33(a) ou um cursor 721 mostrado na figura 33(b).
Como acima, por meio da exposição de imagens índice dispostas virtualmente no espaço tridimensional, o espaço em que a imagem em movimento foi fotografada pode ser visual e facilmente compreendido, e adicionalmente, o tempo durante o qual a imagem em movimento foi fotografada pode ser visual e facilmente compreendido. Em conseqüência, estrutura funcional espacial e informação temporal no momento de fotografar uma imagem em movimento podem ser visual e facilmente compreendidas. Também, os detalhes da fotografia da imagem em movimento podem ser compreendidos rapidamente com base nesses itens de informação. Além disso, uma busca pode ser facilmente conduzida no caso onde a imagem em movimento deve ser reproduzida.
O exemplo onde a reprodução de uma imagem em movimento é iniciada de uma porção desejada através da seleção de uma imagem índice dentre imagens índice individuais exibidas foi descrito acima. Aqui, um exemplo onde, quando as imagens índice dispostas virtualmente no espaço tridimensional são exibidas, pela seleção de uma pluralidade de imagens índice dentre as imagens índice exibidas, uma imagem em movimento é reproduzida, começando de uma posição correspondente a cada uma das imagens índice selecionadas, será descrita em detalhes com referência aos desenhos
A figura 34 inclui diagramas mostrando exemplos das imagens índice 701 a 708 dispostas virtualmente no espaço tridimensional. Na figura 34(a), uma tela de exposição de imagens índice 730 que mostra o lado frontal das imagens índice 701 a 708 é mostrada. Note que a configuração de disposição das imagens índice 701 a 708 incluídas na tela de exposição de imagens índice 730 é similar à configuração de disposição mostrada na figura 31 (a) e 32(a). Na figura 34(b), uma tela de exposição de imagens índice 740, que mostra o lado superior das imagens índice 701 a 708, é mostrada. Note que a configuração de disposição das imagens índice selecionadas 701 a 708 incluídas na tela de exposição de imagens índice 740 é similar à tela de exposição de imagens índice 720.
Neste exemplo, quando a tela de exposição de imagens índice 730 ou 740 é exibida, uma pluralidade de imagens índice são selecionadas dentre as imagens índice individuais incluídas na tela de exposição de imagens índice 730 ou 740. Por exemplo, na tela de exposição de imagens índice 730, as imagens índice 701, 702, 707 e 708 são selecionadas dentre as imagens índice 701 a 708. Como um método de seleção, por exemplo, seleção pode ser feita através da realização de uma operação de arrasto usando um cursor 731 para especificar uma região encerrando imagens índice a serem selecionadas. Na figura 34(a), a região especificada usando o cursor 731 é indicada por linhas tracejadas. Nesse caso, por exemplo, apenas imagens índice em que todos os quatro cantos são encerrados podem ser selecionadas ou imagens índice cujas posições centrais dos quatro cantos são encerradas podem ser selecionadas. Também, o mesmo se aplica à figura 34(b) e uma pluralidade de imagens índice podem ser selecionadas usando um cursor 741.
Como acima, quando uma pluralidade de imagens índice são selecionadas, a imagem em movimento é iniciada de posições correspondentes às imagens índice selecionadas. Por exemplo, entre as imagens índice individuais selecionadas, a imagem em movimento é iniciada de uma posição correspondente à imagem índice cujo número de quadro correspondente é o menor. De acordo com a ordem de números de quadros correspondentes, a imagem em movimento é iniciada a partir de posições correspondentes às imagens índice individuais. Isto é, a reprodução da imagem em movimento inicia de acordo com o tempo de fotografia de imagem em ordem ascendente. Como acima, quando a reprodução da imagem em movimento se inicia a partir de posições correspondentes às imagens índice individuais selecionadas, após decorrer um tempo pré-determinado, a reprodução pode ser iniciada da posição seguinte. Também, junto com o número de quadro correspondente a uma imagem índice selecionada, números de quadros correspondentes às outras imagens índice podem ser enviados para a unidade de controle de exposição 251 e a imagem em movimento da posição correspondente ao número de quadro 212 seguinte pode ser reproduzida seqüencialmente.
Note que a seleção de uma pluralidade de imagens índice pode ser aplicada similarmente à imagem panorâmica mostrada na figura 28. Também, imagens índice podem ser dispostas em um espaço bidimensional e exibidas Além disso, imagens correspondentes aos quadros ou imagens individuais em intervalos pré-determinados podem ser dispostas no espaço tridimensional e exibidas.
Como acima, quando imagens índice dispostas virtualmente no espaço tridimensional são exibidas, uma pluralidade de imagens índice podem ser selecionadas e reproduzidas, seqüencialmente. Portanto, mesmo quando cenas espacialmente perto umas das outras são fotografadas em pontos temporariamente distantes, essas cenas espacialmente perto umas das outras podem ser reproduzidas como um grupo. Também, uma operação de seleção é fácil.
O exemplo onde parâmetros de transformação afim são registrados em um arquivo de imagens em movimento foi descrito acima. Contudo, parâmetros de transformação afim podem ser registrados como informação anexa (por exemplo, metadados) em um formato diferente daquele de um arquivo de imagens em movimento para cada um dos quadros que constituem uma imagem em movimento. Daqui em diante, um exemplo onde parâmetros de transformação afim são registrados em um arquivo de metadados como informação anexa em um formato diferente daquele de um arquivo de imagens em movimento será descrito em detalhes abaixo com referência aos desenhos.
A figura 35 é um diagrama de blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 650 em uma modalidade da presente invenção. Aqui, o aparelho de processamento de imagem 650 é um aparelho obtido pela modificação de parte do aparelho de processamento de imagem 100, mostrado na figura 1. O aparelho de processamento de imagem 650 é um aparelho de processamento de imagem em que, em lugar da unidade de controle de registro 130, a unidade de armazenamento de imagem em movimento 200, a unidade de obtenção de imagem em movimento 140 e a unidade de extração de parâmetro de camerawork 150 do aparelho de processamento de imagem 100, uma unidade de controle de registro 651, uma unidade de armazenamento de imagem em movimento 660, uma unidade de armazenamento de metadados 670 e uma unidade de obtenção de arquivo 652 são proporcionadas. Note que outras estruturas que não a unidade de controle de registro 651, a unidade de armazenamento de imagem em movimento 660, a unidade de armazenamento de metadados 670 e a unidade de obtenção de arquivo 652 são similares àquelas do aparelho de processamento de imagem 100 mostrado na figura 1 e, em conseqüência, descrição dessas outras estruturas são omitidas.
A unidade de controle de registro 651 é configurada para registrar uma saída de imagem em movimento da unidade de entrada de imagem em movimento 110 como um arquivo de imagens em movimento na unidade de armazenamento de imagem em movimento 660 e, adicionalmente, para registrar saída de parâmetros de transformação afim da unidade de cálculo de parâmetro de camerawork 123, em associação com uma imagem em movimento correspondente e um quadro, como um arquivo de metadados na unidade de armazenamento de metadados 670.
A unidade de armazenamento de imagem em movimento 660 é configurada para registrar uma saída de imagem em movimento da unidade de entrada de imagem em movimento 110 como um arquivo de imagens em movimento. Também, a unidade de armazenamento de imagem em movimento 660 fornece um arquivo de imagens em movimento para a unidade de obtenção de arquivo 652 em resposta a uma solicitação da unidade de obtenção de arquivo 652. Note que um arquivo de imagens em movimento armazenado na unidade de armazenamento de imagem em movimento 660 será descrito em detalhes com referência à figura 36.
A unidade de armazenamento de metadados 670 é configurada para armazenar parâmetros de transformação afim que saíram da unidade de cálculo de parâmetro de camerawork 123 como um arquivo de metadados. Também, a unidade de armazenamento de metadados 670 fornece um arquivo de metadados para a unidade de obtenção de arquivo 652 em resposta uma solicitação da unidade de obtenção de arquivo 652. Note que um arquivo de metadados armazenado na unidade de armazenamento de metadados 670 será descrito em detalhes com referência à figura 36.
A unidade de obtenção de arquivo 652 é configurada para obter um arquivo de imagens em movimento armazenado na unidade de armazenamento de imagem em movimento 660 e um arquivo de metadados armazenado, em associação com o arquivo de imagens em movimento, na unidade de armazenamento de metadados 670 e sai uma imagem em movimento no arquivo de imagens em movimento obtido e parâmetros de transformação afim no arquivo de metadados para a unidade de transformação de imagem 160.
A figura 36 inclui diagramas mostrando esquematicamente arquivos individuais registrados na unidade de armazenamento de imagem em movimento 660 e na unidade de armazenamento de metadados 670 na modalidade da presente invenção. Na figura 36(a), arquivos de imagens em movimento 661 a 663 armazenados na unidade de armazenamento de imagem em movimento 660 e arquivos de metadados 671 a 673 armazenados, em associação com os arquivos de imagens em movimento 661 a 663, na unidade de armazenamento de metadados 670 são mostrados. Aqui, é suposto que um ID de imagem em movimento que é informação de identificação para identificar cada arquivo de imagens em movimento armazenado na unidade de armazenamento de imagem em movimento 660 é dado a cada arquivo de imagens em movimento. Por exemplo, "# 1" é dado ao arquivo de imagens em movimento 661; "#2" é dado ao arquivo de imagens em movimento 662; e "#n" é dado ao arquivo de imagens em movimento 663.
Na figura 36(b), o arquivo de imagens em movimento 661 armazenado na unidade de armazenamento de imagem em movimento 661 e o arquivo de metadados 671 armazenado, em associação com o arquivo de imagens em movimento 661, na unidade de armazenamento de metadados 670, são mostrados esquematicamente. Aqui, o arquivo de imagens em movimento 661 é um arquivo contendo uma imagem em movimento constituída por n quadros e esses n quadros são indicados como quadros 1 (664) a n (667).
Também, um ID de imagem em movimento 674, um número de quadro 675 e parâmetros de transformação afim 676 são armazenados em associação um com o outro no arquivo de metadados 671.
O ID de imagem em movimento 674 é um ID de imagem em movimento dado a um arquivo de imagens em movimento correspondente. Por exemplo, "#1" dado ao arquivo de imagens em movimento 661 é armazenado.
O número de quadro 675 é um número serial de cada um dos quadros que constituem uma imagem em movimento em um arquivo de imagens em movimento correspondente. Por exemplo, "1" a "n", correspondendo aos quadros 1 (664) a n (667), constituindo a imagem em movimento no arquivo de imagens em movimento 661, são armazenados .
O número de quadro 675 é um número serial de cada um dos quadros que constituem uma imagem em movimento em um arquivo de imagens em movimento correspondente. Por exemplo, "1" a "n" correspondendo aos quadros 1 (664) a n (667), que constituem a imagem em movimento no arquivo de imagens em movimento 661, são armazenados.
O número de quadro 675 é um número serial de cada um dos quadros que constituem uma imagem em movimento em um arquivo de imagens em movimento correspondente. Por exemplo, "1" a "n" correspondendo aos quadros 1 (664) a n (667), que constituem a imagem em movimento no arquivo de imagens em movimento 661, são armazenados.
Os parâmetros de transformação afim 676 são parâmetros de transformação afim calculados para cada um dos quadros de uma imagem em movimento, que correspondem ao número de quadro 675. Note que os parâmetros de transformação afim 676 "a1, b1, c1, d1, e1 e f1", correspondendo ao número de quadro 675 " 1" são parâmetros de transformação afim de uma matriz de identidade. Também, os parâmetros de transformação afim "am, bm, cm, dm, em e fm", correspondendo ao número de quadro 675 "m (Mn é um inteiro maior do que ou igual a 2)" são parâmetros de transformação afim correspondendo ao quadro "m-1", que precede, imediatamente, o quadro "m".
O aparelho de processamento de imagem 650, obtido pela modificação de parte do aparelho de processamento de imagem 100, mostrado na figura 1, foi descrito acima como um exemplo de registro de parâmetros de transformação afim em um arquivo de metadados. A mesma técnica pode ser aplicada, similarmente, ao aparelho de processamento de imagem 101, mostrado na figura 24.
A seguir, o caso onde um processo de extração de ponto característico e um processo de cálculo de fluxo ótico na modalidade da presente invenção são realizados com um processador de múltiplos núcleos será descrito em detalhes com referência aos desenhos.
A figura 37 é um diagrama mostrando um exemplo de estrutura de um processador de múltiplos núcleos 800 em uma modalidade da presente invenção. O processador de múltiplos núcleos 800 é um processador em que uma pluralidade de tipos diferentes de núcleos de processador são montados em um acondicionamento únicos de CPU (Central Processing Unit - Unidade Central de Processamento). Isto é, a fim de manter a capacidade de processamento de cada unidade de núcleo de processador e, adicionalmente, tornar simples a configuração, uma pluralidade de núcleos de processador, incluindo dois tipos, um tipo correspondendo a todas as aplicações e o outro tipo otimizado, até um certo grau, para uma aplicação pré-determinada, são montados no processador de múltiplos núcleos 800.
O processador de múltiplos núcleos 800 inclui um núcleo de processador de controle 801, núcleos de processadores aritméticos (#1) 811 a (#8) e um barramento 802 e é conectado a uma memória 781. Também, o processador de múltiplos núcleos 800 é conectado a outros dispositivos, tais como um dispositivo de gráfico 782 e um dispositivo de I/O 783. Como o processador de múltiplos núcleos 800, por exemplo, "Cell (Cell Broadband Engine)", que é um microprocessador desenvolvido pelo requerente do presente pedido, e semelhante pode ser adotado.
O núcleo de processador de controle 801 é um núcleo de processador de controle que realiza, principalmente, comutação de ordenamento freqüente, como em um sistema operacional. Note que o núcleo de processador de controle 801 será descrito em detalhes com referência à figura 38.
Os núcleos de processadores aritméticos (#1) 811 a (#8) 818 são núcleos de processadores aritméticos simples e compactos que são bons em processamento de multimídia. Note que os núcleos de processadores aritméticos (#1) 811 a (#8) 818 serão descritos em detalhes com referência à figura 39.
O barramento 802 é um barramento de alta velocidade chamado um EIB (Barramento de Interconexão de Elemento). Cada núcleo de processador de controle 801 e dos núcleos de processadores aritméticos (#1) 811 a (#8) 818 é conectado o barramento 802. Cada núcleo de processador acessa dados via o barramento 802.
A memória principal 781 é uma memória principal conectada ao barramento 802. A memória principal 781 armazena dados processados por cada núcleo de processador.
O dispositivo de gráfico 782 é um dispositivo de gráfico conectado ao barramento 802. O dispositivo de I/O 783 é um dispositivo externo de entrada /saída conectado ao barramento 802.
A figura 38 é um diagrama mostrando um exemplo de estrutura do núcleo de processador de controle 801 nas formas de realização da presente invenção. O núcleo de processador de controle 801 inclui uma unidade de processador de controle 803 e um sistema de armazenagem de processador de controle 806.
O processador de controle 803 é uma unidade que serve como um núcleo que realiza processamento aritmético realizado pelo núcleo de processador de controle 801 e inclui um conjunto de comandos com base na arquitetura de um microprocessador. Como caches primárias, uma cache de comando 804 e uma cache de dados 805 são montadas. A cache de comando 804 é, por exemplo, uma cache de comando de 32-KB. A cache de dados 805 é, por exemplo, uma cache de dados de 32-KB.
O sistema de armazenamento de processador de controle 806 é uma unidade que controla acesso a dados da unidade de processador de controle 803 até a memória principal 781. A fim de aumentar a velocidade de acesso à memória da unidade de processador de controle 803, uma cache secundária de 512-KB 807 é montada.
A figura 39 é um diagrama mostrando um exemplo de estrutura do núcleo de processador aritmético (#1) 811 na modalidade da presente invenção. O núcleo de processador aritmético (#1) 811 inclui uma unidade de processador aritmético 820 e um controlador de fluxo de memória 822. Note que, uma vez que os núcleos de processadores aritméticos (#2) 812 a (#8) têm uma estrutura similar àquela do núcleo de processador aritmético (#1)811, suas descrições são aqui omitidas.
A unidade de processador aritmético 820 é uma unidade que serve como um núcleo que realiza processamento aritmético realizado pelo núcleo de processador aritmético (#1) 811 e inclui um único conjunto de comandos diferentes daquele da unidade de processador de controle 803 no núcleo de processador de controle 801. Também, um armazenamento local (LS) 821 é montado na unidade de processador aritmético 820.
O armazenamento local 821 é uma memória dedicada da unidade de processador aritmético 820 e, ao mesmo tempo, uma memória somente que pode ser referida diretamente da unidade de processador aritmético 820. Como o armazenamento local 821, por exemplo, uma memória cuja capacidade é 256 KB pode ser usada. Note que, a fim de que a unidade de processador aritmético 820 possa acessar a memória principal 781 e armazenamentos locais nos outros núcleos de processadores aritméticos (núcleos de processadores aritméticos (#2) 812 a (#8) 818), é necessário usar o controlador de fluxo de memória 822.
O controlador de fluxo de memória 822 é uma unidade para trocar dados entre a memória principal 781 e os outros núcleos de processadores aritméticos e semelhantes e é uma unidade chamada um MFC (Memory Flow Controller - Controlador de Fluxo de Memória). Aqui, a unidade de processador aritmético 820 solicita ao controlador de fluxo de memória 822, via uma interface chamada um canal, para transferir dados, por exemplo.
Vários modelos de programação têm sido propostos como modelos de programação do processador de múltiplos núcleos 800 ilustrado acima. Entre esses modelos de programação, um modelo que executa um programa principal no núcleo de processador de controle 801 e executa subprogramas nos núcleos de processadores aritméticos (#1)811 a (#8) 818 é conhecido como o modelo mais básico. Na modalidade da presente invenção, um método aritmético do processador de múltiplos núcleos 800, usando esse modelo será descrito em detalhes com referência aos desenhos.
A figura 40 é um diagrama mostrando, esquematicamente, um método aritmético do processador de múltiplos núcleos 800 na modalidade da presente invenção. Neste exemplo, o caso onde o núcleo de processador de controle 801 executa uma tarefa 784, usando dados 785, o núcleo de processador de controle 801 usa dados 787 (parte dos dados 785) necessários para o processamento de uma tarefa 786, que é parte da tarefa 784 e faz os núcleos de processadores aritméticos individuais executarem a tarefa 786 será ilustrado à guisa de exemplo.
Conforme mostrado no diagrama, quando o núcleo de processador de controle 801 executa a tarefa 784, usando os dados 785, o núcleo de processador de controle 801 usa os dados 787 (parte dos dados 785) necessários para o processamento da tarefa 786, que é parte da tarefa 784 e faz núcleos de processadores aritméticos individuais executarem a tarefa 786. Na modalidade da presente invenção, o processamento aritmético é realizado por núcleos de processadores aritméticos individuais para cada um dos quadros que constituem uma imagem em movimento.
Conforme mostrado no diagrama, quando o processador de múltiplos núcleos 800 realiza uma operação, os núcleos de processadores aritméticos (#1) 811 a (#8) 818 podem ser usados em paralelo e muitas operações podem ser realizadas em um tempo relativamente curto. De modo adicional, relativamente, muitos processos aritméticos podem ser realizados com um número menor de comandos pelo uso de uma operação de SIMD (Dados Múltiplos/ Instrução Única) nos núcleos de processadores aritméticos (#1) 811 a (#8) 818. Note que a operação de SIMD será descrita em detalhes com referência à figura 44 até a figura 47 e semelhantes.
A figura 41 é um diagrama mostrando, esquematicamente, programas e o fluxo de dados no caso onde operações são realizadas pelo processador de múltiplos núcleos 800 na modalidade da presente invenção. Aqui, a descrição se refere, entre os núcleos de processadores aritméticos (#1) 811 a (#8) 818, ao núcleo de processador aritmético (#1) 811, à guisa de exemplo. Contudo, as operações podem ser realizadas, similarmente, usando os núcleos de processadores aritméticos (#2) 812 a (#8) 818.
A princípio, o núcleo de processador de controle 801 envia, para o núcleo de processador aritmético (#1) n811, uma instrução para carregar um programa de núcleo de processador aritmético 823 armazenado na memória principal 781 no armazenamento local 821 do núcleo de processador aritmético (#1) 811. Em conseqüência, o núcleo de processador aritmético (#1) 811 carrega o programa de núcleo de processador aritmético 823 armazenado na memória principal 781 para o armazenamento local 821.
Então, o núcleo de processador de controle 801 instrui o núcleo de processador aritmético (#1) 811 para executar um programa de núcleo de processador aritmético 825 armazenado no armazenamento local 821.
Então, com base no programa de núcleo de processador aritmético 825, armazenado no armazenamento local 821, o núcleo de processador aritmético (#1) 811 processa dados 826 transferidos da memória principal 781, executa o processamento de acordo com as condições e armazena o resultado do processamento no armazenamento local 821.
Então, o núcleo de processador aritmético (#1) 811 transfere, do armazenamento local 821 para a memória principal 781, o resultado de processamento do processamento executado com base no programa de núcleo de processador aritmético 825 armazenado no armazenamento local 821.
Então, o núcleo de processador aritmético (#1) 811 notifica o núcleo de processador de controle 801 do término do processamento aritmético.
Em seguida, uma operação de SIMD realizada usando o processador de múltiplos núcleos 800 será descrita em detalhes com referência aos desenhos. Aqui, uma operação de SIMD é um esquema aritmético que realiza o processamento de uma pluralidade de itens de dados usando um único comando.
A figura 42(a) é um diagrama mostrando, esquematicamente, o esboço de um esquema aritmético de realização de processamento de uma pluralidade de itens de dados usando comandos individuais. O esquema aritmético mostrado na figura 42(a) é um esquema aritmético normal e é chamado, por exemplo, uma operação escalar. Por exemplo, um comando para adicionar dados "A1" e dados "B1" dá um resultado de processamento de dados "C1". Também, as outras três operações podem ser realizadas, similarmente. Um comando para adicionar itens de dados "A2", "A3" e "A4" e os itens de dados "B2", "B3" e "B4" na mesma fileira é realizado em cada processo. Com esse comando, valores em cada fileira são adicionados e processados e os resultados do processamento são obtidos como "C2", "C3" e "C4". Como acima, em uma operação escalar, para processamento de uma pluralidade de itens de dados, é necessário executar um comando para processamento de cada item de dados.
A figura 42(b) é um diagrama mostrando o esboço de uma operação de SIMD, que é um esquema aritmético que realiza o processamento de uma pluralidade de itens de dados usando um único comando. Aqui, grupos de itens de dados para uma operação de SIMD (itens de dados encerrados por linhas tracejadas 827 e 828) podem ser chamados itens de dados de vetores. Também, uma operação de SIMD realizada usando esses dados de vetores pode ser chamada uma operação de vetores.
Por exemplo, um comando único para adicionar dados de vetores encerrados por linhas tracejadas 827 ("A1", "A2", "A3" e "A4") e dados de vetores encerrados por linhas tracejada 828 ("B1", "B2", "B3" e B4") dá um resultado de processamento de "C1", "C2", "C3" e "C4" (itens de dados encerrados por linhas tracejadas 829). Como acima, uma vez que o processamento de uma pluralidade de itens de dados pode ser realizado usando um comando único em uma operação de SIMD, processamento aritmético pode ser realizado rapidamente. Também, um comando para essas operações de SIMD é executado pelo núcleo de processador de controle 801 no processador de múltiplos núcleos 800 e, para processamento aritmético de itens de dados em resposta ao comando, os núcleos de processadores aritméticos (#1)811 a (#8) 818 realizam processamento em paralelo.
Em contraste, por exemplo, o processamento para realizar a adição de dados "A1" e "B1", subtração de dados "A2" e "B2", multiplicação de dados "A3" e "B3" e divisão de dados "A4" e "B4" não pode ser realizado por uma operação de SIMD. Isto é, quando processamento diferente deve ser feito em uma pluralidade de itens de dados, o processamento não pode ser realizado por uma operação de SIMD.
Em seguida, um método aritmético específico de uma operação de SIMD no caso onde um processo de extração de ponto característico e um processo de cálculo de fluxo ótico são realizados será descrito em detalhes com referência aos desenhos.
A figura 43 é um diagrama mostrando um exemplo de estrutura de um programa executado pelo núcleo de processador de controle 801 ou o núcleo de processador aritmético (#1) 811 na modalidade da presente invenção. Aqui, apenas o núcleo de processador aritmético (#1) 811 é ilustrado. Contudo, processamento similar é realizado pelos núcleos de processadores aritméticos (#2) 812 a (#8) 818.
O núcleo de processador de controle 801 executa, como decodificação 851, decodificação 852, entrelaçamento 853 e redimensionamento 854. A decodificação 852 é um processo para decodificar um arquivo de imagens em movimento. O entrelaçamento 853 é um processo para desentrelaçar cada quadro decodificado. O redimensionamento 854 é um processo para reduzir o tamanho de cada quadro desentrelaçado.
Também, o núcleo de processador de controle 801 executa, como gerenciamento de núcleo de processador aritmético 856, envio de comando 857 e 859 e recepção de notificação de término 858 e 860. O envio de comando 857 e 859 é um processo para enviar um comando a fim de executar uma operação de SEVDD para os núcleos de processadores aritméticos (#1) 811 a (#8) 818. A recepção de notificação de término 858 e 860 é um processo para receber dos núcleos de processadores aritméticos (#1) 811 a (#8) 818 uma notificação de término de uma operação de SIMD em resposta ao comando descrito acima. Além disso, o núcleo de processador de controle 801 executa, como detecção de camerawork 861, um processo de cálculo de parâmetros de camerawork 862. O processo de cálculo de parâmetros de camerawork 862 é um processo para calcular parâmetros de transformação afim em uma base de quadro a quadro com base em fluxos óticos calculados por uma operação de SIMD realizada pelos núcleos de processadores aritméticos (#1) 811 a (#8) 818.
O núcleo de processador aritmético (#1) 811 executa, como um processo de extração de ponto característico 863, um processo de filtro de Sobel 864, um processo de matriz secundária de momento (Second Moment Matrix) 865, um processo de filtro separável 866, processo de extração de ponto de canto de Harris (Cale Harris) n867, um processo de dilatação 868 e um processo de classificação 869. O processo de filtro de Sobel 864 é um processo para calcular um valor dx na direção de x, obtido elo uso de um filtro de P2 (direção de x) e um valor dy na direção de Y, obtido pelo uso de um filtro na direção de Y. Note que o cálculo do valor dx na direção de x será descrito em detalhes com referência à figura 44 até a figura 47.
O processo de matriz secundária de momento 865 é um processo para calcular valores individuais dx2, dy2 e dx-dy pelo uso de dx e dy calculados pelo processo de filtro de Sobel 864.
O processo de filtro separável 866 é um processo para aplicar um filtro Gaussiano (processo de borramento) a dx2, dy2 e dx-dy, obtidos pelo processo de matriz secundária de momento 865.
O processo de extração de ponto de canto de Harris 867 é um processo para calcular o escore para cantos de Harris, usando os valores individuais dx2, dy2 e dx-dy aos quais o processo de borramento é aplicado pelo processo de filtro separável 866. O escore S para cantos de Harris é calculado, por exemplo, pela seguinte equação:
S= (dx2xdy2-dx.dyxdx.dy) / (dx2+dy2+Ɛ)
O processo de dilatação 868 é um processo para realizar um processo de borramento de uma imagem constituído pelos escores para cantos de Harris, que são calculados pelo processo de extração de ponto de canto de Harris 867.
O processo de classificação 869 é um processo de classificação de pixéis em ordem descendente dos escores para cantos de Harris, que são calculados pelo processo de extração de ponto de canto de Harris 867, captação de um número pré-determinado, começo do escore mais alto e extração dos pontos captados como pontos característicos.
O núcleo de processador aritmético (#1) 811 executa, como um processo de computação de fluxo ótico 870, um processo de geração de imagens de múltiplas resoluções (Make Pyramid Image) 871 e um processo de cálculo de fluxo ótico (Cale Optical Flow) 872.
O processo de geração de imagens de múltiplas resoluções 871 é um processo para gerar, seqüencialmente, imagens de tamanhos reduzidos, obtidas pela redução, em níveis múltiplos, do tamanho de uma imagem no momento de captura da imagem, usando uma câmera. As imagens geradas são chamadas imagens de múltiplas resoluções.
O processo de cálculo de fluxo ótico 872 é um processo para calcular fluxos óticos em uma imagem com a menor resolução, entre imagens de múltiplas resoluções, geradas pelo processo de geração de imagens de múltiplas resoluções 871 e, usando o resultado calculado, calcular mais uma vez fluxos óticos em uma imagem com a resolução mais alta seguinte. Essa série de processos é realizada repetidamente até que uma imagem com a resolução mais seja alcançada.
Como acima, por exemplo, para o processo de extração de ponto característico realizado pela unidade de extração de pontos característicos 121, mostrada na figura 1 e semelhantes e o processo de cálculo de fluxo ótico realizado pela unidade de cálculo de fluxo ótico 122, os resultados do processamento podem ser obtidos pela realização de uma operação de SIMD, usando o processador de múltiplos núcleos 800, realizando processamento paralelo. Note que o processo de extração de ponto característico e o processo de cálculo de fluxo ótico mostrado na figura 43 e semelhantes são apenas exemplificativos. Uma operação de SIMD pode ser realizada usando o processador de múltiplos núcleos 800, realizando outro processamento implementado por vários processos de filtragem, processos de limites e semelhantes, realizados em imagens que constituem uma imagem em movimento.
A figura 44 inclui diagramas mostrando, esquematicamente, a estrutura de dados e o fluxo de um processo no caso onde um processo de filtragem é realizado usando um filtro de Sobel 830 em dados de imagem armazenados na memória principal 781 (dados de imagem correspondendo a um quadro incluído em uma imagem em movimento capturada por uma câmera), na modalidade da presente invenção. Note que os dados de imagem armazenados na memória principal 781 mostrada no desenho são simplificados e mostrados como tendo 32 pixéis horizontais. Também, o filtro de Sobel 830 é um filtro de extração de borda de 3 x 3. Conforme mostrado no diagrama, um processo de filtragem de dados de imagem armazenados na memória principal 781 é realizado usando o filtro de Sobel 830 e o resultado do processo de filtragem sai. Neste exemplo, um exemplo onde quatro resultados de filtragem são obtidos ao mesmo tempo usando uma operação de SIMD será descrito.
A figura 45 é um diagrama mostrando, esquematicamente, o fluxo de dados no caso onde uma operação de SIMD é realizada usando o filtro de Sobel 830 nos dados de imagem armazenados na memória principal 781 na modalidade da presente invenção. A princípio, um número pre- determinado de linhas (por exemplo, três linhas), incluindo a primeira linha, de dados de imagem armazenados na memória principal 781 são transferidas por DMA (Direct Memory Access - Acesso Direto à Memória) para um primeiro armazenamento temporário 831 incluído no armazenamento local 821 de um núcleo de processador aritmético. Adicionalmente, as linhas que foram transferidas por DMA para o primeiro armazenamento temporário 831 são desviadas, individualmente, uma linha abaixo e o número de linhas pre- determinado seguinte são transferidos por DMA para um segundo armazenamento temporário 832. Como acima, o retardo devido à transferência por DMA pode ser oculto pelo uso de armazenamentos temporários duplos.
A figura 46 é um diagrama mostrando, esquematicamente, um método de geração de vetor para gerar nove vetores a partir dos dados de imagem armazenados no primeiro armazenamento temporário 831, no caso onde um processo de filtragem é realizado usando o filtro de Sobel 830 na modalidade da presente invenção. Conforme mostrado na figura 45, após a transferência de DMA ser realizada, nove vetores são gerados dos dados de imagem armazenados no primeiro armazenamento temporário 831. Especificamente, os dados de vetor 841 são gerados de quatro itens de dados, começando do canto esquerdo, de uma linha de dados de imagem armazenados no primeiro armazenamento temporário 831. Esses quatro itens de dados são deslocados um para a direita e, dos quatro itens de dados seguintes, dados de vetor 842 são gerados. Similarmente, os quatro itens de dados são deslocados um para a direita e, dos quatro itens de dados seguintes, dados de vetor 843 são gerados. Também, itens de dados de vetores 844 a 849 são gerados, de modo similar, individualmente, de quatro itens de dados da segunda linha e da terceira linha.
A figura 47 é um diagrama mostrando, esquematicamente, um método de operação de vetor de realização de operações de vetores usado comandos de SIMD nos itens de dados de vetor 841 a 849, no caso onde um processo de filtragem é realizado usando o filtro de Sobel 830 na modalidade da presente invenção. Especificamente, as operações de SIMD são realizadas seqüencialmente nos itens de dados de vetor 841 a 843 e um vetor A é obtido. Nas operações de SIMD, a princípio, uma operação de SIMD de "'-Γ χ 'vector data 841'" é realizada. Então, uma operação de SIMD de "Ό1 χ Vector data 842'" é realizada e uma operação de SIMD de ml' χ Vector data 843'" é realizada. Aqui, uma vez que o resultado da operação de "'0' χ Vector data 842'" tenha sido determinado ser "0", essa operação pode ser omitida. Também, uma vez que o resultado da operação de "Τ χ Vector data 843"', essa operação pode ser omitida.
Então, um processo de adição do resultado da operação de "'-1' x Vector data 841"' e o resultado da operação "Ό' X Vector data 842"' é realizado usando uma operação de SIMD. Então, um processo de adição do resultado desse processo de adição e o resultado da operação de "Tx 'vector data 843"' é realizado usando uma operação de SIMD. Aqui, por exemplo, uma operação na estrutura de dados "vector data 1" x "vector data 2" + "vector data 3" pode ser realizada usando operações de SIMD. Portanto, para uma operação para o vetor A, por exemplo, operações de SIMD de "Ό1 x 'vector data 842"' e "'1' x 'vector data 843'" podem ser omitidas e 1 x 'vector 841' + 'vector data 843"' pode ser realizada usando uma única operação de SIMD.
Também, similarmente, as operações de SIMD são realizadas nos itens de dados de vetor 844 a 846 e um vetor B é obtido. As operações de SIMD são realizadas nos itens de dados de vetor 847 a 849 e um vetor C é obtido.
Então, uma operação de SIMD dos vetores AaC obtidos pelas operações de SIMD é realizada e um vetor D é obtido. Como acima, os resultados, o número dos quais é o número de componentes de um vetor (quatro itens de dados neste exemplo), podem ser obtidos ao mesmo tempo pela realização de uma operação de SIMD.
Após o vetor D ser calculado, a posição dos dados a serem obtidos é deslocada uma à direita nos dados de imagem armazenados no primeiro armazenamento temporário 831, mostrado na figura 45 e processos similares são executados, repetidamente, assim, calculando, em seqüência, vetores individuais D. Quando o processamento de um item na extremidade direita dos dados de imagem armazenados no primeiro armazenamento temporário 831, mostrado na figura 45, é completado, os resultados do processamento são transferidos por DMA para a memória principal 781.
Então, de dados de imagem armazenados na memória principal 781, linhas individuais, que são transferidas por DMA para o segundo armazenamento temporário 832, são deslocadas um abaixo e o número de linhas pré-determinado seguinte são transferidos por DMA para o primeiro armazenamento temporário 831. De modo adicional, os processos descritos acima são realizados, repetidamente, em dados de imagem armazenados no segundo armazenamento temporário 832. Processos similares são realizados repetidamente até que, entre as linhas individuais de dados de imagem armazenados na memória principal 781, uma linha na extremidade de fundo seja alcançada.
Similarmente, a parte principal de processamento de extração de ponto característico e cálculo de fluxo ótico é realizada usando operações de SIMD, pelo que um aumento na velocidade pode ser realizado.
A figura 48 é um diagrama mostrando, esquematicamente, o fluxo de um processo de cálculo de parâmetros de camerawork em séries de tempo na modalidade da presente invenção. Como foi descrito acima, por exemplo, processamento de decodificação e análise de uma imagem em movimento pode ser realizado em paralelo através da realização de operações de SIMD, usando o processador de múltiplos núcleos 800. Portanto, o tempo de análise de um quadro incluído em uma imagem em movimento pode ser reduzido para ser menor do que o tempo de decodificação.
Por exemplo, no diagrama, tl denota um tempo requerido para o núcleo de processador de controle 801 para realizar um processo de decodificação de um quadro incluído em uma imagem em movimento; t2 denota um tempo requerido para os núcleos de processadores aritméticos (#1) 811a (#8) 818 realizarem um processo de extração de ponto característico de um quadro incluído em uma imagem em movimento; t3 denota um tempo requerido para os núcleos de processadores aritméticos (#1) 811 a (#8) 818 para realizar um processo de cálculo de fluxo ótico de um quadro incluído em uma imagem em movimento; t4 denota um tempo requerido para o núcleo de processador de controle 801 para realizar um processo de detecção de camerawork de um quadro incluído em uma imagem em movimento. Note que t5 denota um tempo requerido para o núcleo de processador de controle 801 e os núcleos de processadores aritméticos (#1) 811 a (#8) 818 realizarem um processo de detecção de camerawork de um quadro incluído em uma imagem em movimento. Também, t6 denota um tempo requerido para o núcleo de processador de controle 801 realizar um processo de gerenciamento dos núcleos de processadores aritméticos (#1)811 a (#8) 818. Por exemplo, t1 pode ser ajustado para "25,0 ms", t2 pode ser ajustado para "7,9 ms", t3 pode —ser ajustado para "6,7 ms", t4 pode ser ajustado para "1,2 ms" e t5 pode ser ajustado para "15,8 ms".
A seguir, o caso onde o conteúdo de imagem em movimento é reproduzido usando um arquivo de metadados em uma modalidade da presente invenção será descrito em detalhes com referência aos desenhos.
A figura 49(a) é uma vista de topo mostrando, esquematicamente, um Blu-ray Disc (marca registrada) 880, que é um exemplo de um meio de registro e a figura 49(b) é um diagrama mostrando, esquematicamente, itens de dados 881 a 884 gravados no Blu-ray Disc 880. No Blu-ray Disc 880, por exemplo, junto com o conteúdo de imagem em movimento 882, que é uma imagem em movimento capturada por uma câmera ou semelhante, subtítulos 883 do conteúdo de imagem em movimento 882 e metadados obtidos pela análise do conteúdo da imagem em movimento 882 (por exemplo, itens de informação mostrados na figura 2, na figura 3, na figura 26 e na figura 36(b)) 884, um programa Java (marca registrada) 881 referente à reprodução de uma imagem em movimento na modalidade da presente invenção é gravado.
A figura 49(c) é um diagrama mostrando, esquematicamente, a estrutura interna de um Blu-ray player (Blu-ray Disc Player) 890 que pode reproduzir o Blu-ray Disc 880. Aqui, uma vez que o Blu-ray player 890, capaz de reproduzir um Blu-ray disc inclui, como um padrão, além de uma CPU 891 e um OS 892, uma Java VM (marca registrada) (máquina virtual Java (marca registrada)) e biblioteca 893, o Blu-ray player 890 pode executar um programa Java (marca registrada). Portanto, através da montagem do Blu- ray Disc 880 no Blu-ray player 890, o Blu-ray player 890 pode carregar e executar o programa Java (marca registrada) 881. Em conseqüência, quando da reprodução do conteúdo da imagem em movimento 882, o Blu-ray player 890 pode exibir uma imagem panorâmica correspondente a uma imagem em movimento na modalidade da presente invenção, buscar uma imagem em movimento dentre uma pluralidade deJmagens em movimento e semelhantes, usando os metadados 884. Isto é, a reprodução de uma imagem em movimento na modalidade da presente invenção pode ser realizada em todos os Blu-ray players, sem usar software dedicado de PC ou semelhante.
Como foi ilustrado acima, de acordo com as modalidades da presente invenção, quando uma fotografia de imagem em movimento por um aparelho de captura de imagem deve ser visualizada, uma imagem panorâmica, correspondente à imagem em movimento, pode ser exibida, pelo que os detalhes de cada imagem em movimento podem ser facilmente compreendidos. Também, quando uma imagem em movimento desejada deve ser recuperada dentre uma pluralidade de imagens em movimento, uma busca pode ser conduzida através de referência às imagens panorâmicas de tamanho reduzido, pelo que uma imagem em movimento desejada pode ser detectada rapidamente. Além disso, uma vez que a imagem em movimento pode ser reproduzida, começando de uma posição desejada, através da seleção de uma posição arbitrária em uma imagem panorâmica, uma busca dentro de uma imagem em movimento pode ser realizada rapidamente.
Também, quando imagens índice devem ser extraídas de uma imagem em movimento, as imagens índice podem ser extraídas com base em posições espaciais, pelo que as imagens índice, com base nas quais os detalhes da imagem em movimento podem ser facilmente compreendidos, podem ser extraídas. Também, a posição de reprodução de uma imagem em movimento pode ser mais facilmente especificada através da disposição, espacialmente, em uma imagem panorâmica, imagens índice extraídas da imagem em movimento. Como acima, uma vez que uma busca pode ser conduzida usando imagens índice, um local em um espaço de fotografia de imagem para um quadro desejado em uma imagem em movimento pode ser especificado e detectado rapidamente.
Também, informação espacial e informação temporal no momento de fotografar uma imagem em movimento podem ser compreendidas, visual e facilmente, pela exposição de imagens índice dispostas virtualmente em um espaço tridimensional, pelo que os detalhes de fotografia da imagem em movimento podem ser rapidamente compreendidos com base nesses itens de informação. Também, uma busca pode ser facilmente conduzida no caso onde uma imagem em movimento deve ser reproduzida.
Isto é, uma imagem em movimento pode ser apreciada com diversão usando uma imagem panorâmica ou imagens índice que expandem, espacialmente, a imagem em movimento usando quadros passados. Em conseqüência, por exemplo, um observador pode reproduzir uma imagem em movimento enquanto olha para uma imagem panorâmica ou imagens índice que são dispostas em um espaço tridimensional, pelo que o observador pode apreciar a imagem em movimento com muita diversão.
Também, de acordo com as modalidades da presente invenção, parâmetros de transformação afim de um quadro podem ser calculados dentro de um tempo de processo de decodificação de um quadro pelo cálculo de parâmetros de transformação afim, usando operações de SIMD, através da utilização de um processador de múltiplos núcleos. Em conseqüência,a geração de uma imagem panorâmica, a extração de imagem índice e semelhantes podem ser realizadas rapidamente.
Note que uma imagem composta gerada pela combinação nas etapas S926, S954 e semelhantes pode ser registrada em um meio registro ou semelhante, de modo que a imagem composta pode ser usada para outros tipos de reprodução e exposição. Também, nas modalidades da presente invenção, o exemplo em que as imagens são combinadas usando parâmetros de transformação afim pré-calculados foi descrito. Contudo, parâmetros de transformação afim podem ser calculados no momento de combinar as imagens e, usando os parâmetros de transformação afim calculados, as imagens podem ser combinadas.
Também, nas modalidades da presente invenção, o exemplo em que uma imagem composta é gerada pela repetição de um processo de geração de imagem composta em todos os quadros que constituem um arquivo de imagens em movimento de entrada e a imagem composta pode ser registrada na unidade de armazenamento de imagem representativa 220. Também, nas modalidades da presente invenção, o exemplo em que uma imagem composta é gerada pela repetição de um processo de geração de imagem composta, começando do quadro de título incluído em uma imagem em movimento, foi descrito. Contudo, por exemplo, uma imagem composta pode ser gerada pela repetição de um processo de geração de imagem composta, começando do último quadro em direção ao quadro de título.
Também, nas modalidades da presente invenção, o caso em que o movimento de câmera é obtido no caso onde o tamanho de um objeto em movimento é relativamente pequeno com relação à área de uma imagem incluída em uma imagem em movimento e, usando o movimento de câmera, a imagem em movimento é reproduzida foi descrito. Contudo, as modalidades da presente invenção também são aplicáveis ao caso onde o tamanho de uma imagem em movimento é relativamente grande com relação à área de uma imagem incluída em uma imagem em movimento. Por exemplo, quando uma imagem de um trem se afastando de uma estação é capturada com o trem servindo como um objeto central da imagem, de modo que a proporção do trem com relação á área de imagem se torna grande, se os parâmetros de transformação afim acima descritos forem calculados, o movimento do trem é calculado. Nesse caso, usando o movimento do trem, uma imagem composta pode ser gerada pelo método de geração de imagem composta descrito acima. Como acima, informação de movimento com relação à quantidade de movimento de uma câmera em relação à quantidade de movimento de um sujeito no momento de captura de uma imagem pode ser calculada e usada como informação de transformação para transformar imagens que constituem uma imagem em movimento.
Também, nas modalidades da presente invenção, um aparelho de processamento de imagem que mostra uma imagem composta ou imagens índice em uma unidade de exposição foi descrito à guisa de exemplo. Contudo, as modalidades da presente invenção são aplicáveis a um aparelho de processamento de imagem que tem meios de saída de imagem para a saída de informação de imagem para exposição de uma imagem composta ou imagens índice em outro aparelho de exibição de imagem. Além disso, as modalidades da presente invenção são aplicáveis a um aparelho de reprodução de imagem em movimento capaz de reproduzir uma imagem em movimento, um aparelho de captura de imagem, tal como uma câmera de vídeo digital, capaz de reproduzir uma imagem em movimento fotografada e semelhantes.
Também, nas modalidades da presente invenção, um aparelho de processamento de imagem foi descrito à guisa de exemplo. Contudo, as modalidades da presente invenção são aplicáveis a um aparelho de reprodução de imagem em movimento capaz de reproduzir uma imagem em movimento ou semelhante. Também, nas modalidades da presente invenção, uma imagem em movimento capturada por uma câmera foi descrita. Contudo, por exemplo, as modalidades da presente invenção são aplicáveis a uma imagem em movimento editada, no caso onde uma imagem em movimento capturada por uma câmera é editada, uma imagem em movimento adicionada parcialmente com animação ou semelhante. Note que as modalidades da presente invenção são ilustradas à guisa de exemplo para realizar a presente invenção. Embora haja uma correspondência entre as modalidades e as características das reivindicações, que serão descritas abaixo, a presente invenção não está limitada às mesmas e várias modificações podem ser feitas sem afastamento da essência da presente invenção.
Isto é, na reivindicação 1 ou 15, meios de armazenamento de imagem em movimento correspondem, por exemplo, à unidade de armazenamento de imagem em movimento 200 ou 660. Também, o meio de sustentação de imagem corresponde, por exemplo, à memória de imagens 170. Também, meio de cálculo de informação de transformação corresponde, por exemplo, à unidade de detecção de camerawork 120. Também, o meio de transformação de imagem corresponde, por exemplo, à unidade de transformação de imagem 160. Também, o meio de combinação de imagens corresponde, por exemplo, à unidade de combinação de imagens 180. Também, meio de obtenção de posição de imagem corresponde, por exemplo, à unidade de obtenção de posição de imagem 190. Também, o meio de armazenamento de posição de imagem corresponde, por exemplo, à unidade de armazenamento de posição de imagem 210. Também, meio de exposição corresponde, por exemplo, à unidade de exposição 260. Também, meio de aceitação de operação corresponde, por exemplo, à unidade de aceitação de operação 230. Também, o meio de controle de exposição corresponde, por exemplo, à unidade de aceitação de operação 230. Também, o meio de controle de exposição corresponde, por exemplo, à unidade de controle de exposição 250.
Também, na reivindicação 2, o meio de seleção corresponde, por exemplo, à unidade de seleção 240.
Também, na reivindicação 4 ou 5, meio de armazenamento de imagem representativa corresponde, por exemplo, à unidade de armazenamento de imagem representativa 220.
Também, na reivindicação 6, meio de entrada de imagem em movimento corresponde, por exemplo, à unidade de entrada de imagem em movimento 110. Também, meio de cálculo de informação de transformação corresponde, por exemplo, à unidade de detecção de camerawork 120. Também, meio de transformação de imagem corresponde, por exemplo, à unidade de transformação de imagem 160. Também, o meio de armazenamento de imagem índice corresponde, por exemplo, à unidade de armazenamento de imagem índice 280. Também, o meio de extração de imagem índice corresponde, por exemplo, à unidade de extração de imagem índice 270.
Também, na reivindicação 10 ou 11, meio de controle de exposição corresponde, por exemplo, à unidade de controle de exposição 251.
Também, na reivindicação 12, meio de armazenamento de imagem em movimento corresponde, por exemplo, à unidade de armazenamento de imagem em movimento 200. Também, o meio de aceitação de operação corresponde, por exemplo, à unidade de aceitação de operação 230. Também, o meio de seleção corresponde, por exemplo, à unidade de seleção 241.
Também, na reivindicação 13, o meio de conservação de imagens corresponde, por exemplo, à memória de imagens 170. Também, o meio de combinação de imagens corresponde, por exemplo, à unidade de combinação de imagens 181. Também, o meio de armazenamento de imagem representativa corresponde, por exemplo, à unidade de armazenamento de imagem representativa 225.
Também, na reivindicação 14, meio de armazenamento de imagem em movimento corresponde, por exemplo, à unidade de armazenamento de imagem em movimento 200. Também, meio de exposição corresponde, por exemplo, à unidade de exposição 260. Também, o meio de aceitação de operação corresponde, por exemplo, à unidade de aceitação de operação 230. Também, o meio de seleção corresponde, por exemplo, à unidade de seleção 241. Também, o meio de controle de exposição corresponde, por exemplo, à unidade de controle de exposição 251.
Também, na reivindicação 16 ou 17, uma etapa de cálculo de informação de transformação corresponde, por exemplo, às etapas S903 a S913. Também, uma etapa de transformação de imagem corresponde, por exemplo, è etapa S925. Também, uma etapa de combinação de imagens corresponde, por exemplo, às etapas S926 e S954. Também, uma etapa de obtenção de posição de imagem corresponde, por exemplo, à etapa S927. Também, uma etapa de armazenamento no meio de armazenamento de posição de imagem corresponde, por exemplo, à etapa S927. Também, uma etapa de exposição corresponde, por exemplo, à etapa S942. Também, uma etapa de aceitação de operação corresponde, por exemplo, à etapa S945. Também, uma etapa de controle de exposição corresponde, por exemplo, à etapa S947.
Note que os procedimentos de processamento descritos nas modalidades da presente invenção podem ser considerados como um método tendo a série de procedimentos ou podem ser considerados como um programa para permitir a um computador executar as séries de procedimentos ou como um meio de registro tendo o programa nele registrado.
De acordo com a presente invenção, uma grande vantagem, a de que os detalhes de uma imagem em movimento fotografada por um aparelho de captura de imagem podem ser facilmente compreendidos, pode ser obtida.
Claims (17)
1. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: meio de armazenamento de imagem em movimento para armazenar uma imagem em movimento capturada por um aparelho de captura de imagem; meio de conservação de imagens para conservar imagens capturadas, constituindo a imagem em movimento capturada como imagens históricas; meio de cálculo de informação de transformação para calcular informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre as imagens capturadas, outra imagem capturada; meio de transformação de imagem para transformar a imagem capturada com base na informação de transformação calculada; meio de combinação de imagens para combinar a imagem capturada transformada com as imagens históricas para gerar uma nova imagem histórica e levar o meio de conservação de imagens a conservar a nova imagem histórica; meio de obtenção de posição de imagem para obter uma posição coordenada da imagem capturada transformada na imagem histórica gerada pela combinação; meio de armazenamento de posição de imagem para armazenar a posição coordenada obtida e a imagem capturada em associação uma com a outra; meio de exposição para mostrar a imagem histórica como uma imagem representativa que representa a imagem em movimento capturada; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma posição na imagem representativa exposta; e meio de controle de exposição para reproduzir, com base na posição selecionada na imagem representativa, a imagem em movimento capturada armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondente à posição selecionada.
2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato do meio de obtenção de posição de imagem obter uma posição central da imagem capturada transformada como a posição coordenada, o meio de armazenamento de posição de imagem armazena a posição central obtida e a imagem capturada em associação uma com a outra, e o aparelho de processamento de imagem ainda compreende meio de seleção para selecionar a imagem capturada correspondente à posição selecionada através de seleção, dentre posições centrais armazenadas no meio de armazenamento de posição de imagem, uma posição central que está mais perto da posição selecionada na imagem representativa.
3. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato do meio de obtenção de posição de imagem obter a posição central da imagem capturada transformada e um tamanho da mesma como a posição coordenada, o meio de armazenamento de posição de imagem armazena a posição central e tamanho obtidos e a imagem capturada em associação uns com os outros, e o meio de seleção seleciona, quando uma pluralidade de posições centrais que estão mais perto da posição selecionada na imagem representativa são detectadas entre as posições centrais armazenadas no meio de armazenamento de posição de imagem, a imagem capturada correspondente à posição selecionada pela comparação de tamanhos correspondentes à pluralidade de posições centrais detectadas.
4. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato do meio de cálculo de informação de transformação calcula, seqüencialmente, a informação de transformação para cada um dos quadro que constituem a imagem em movimento capturada; o meio de transformação de imagem transforma, em seqüência, as imagens capturadas para cada um dos quadros; o meio de combinação de imagens combina, seqüencialmente, para cada um dos quadros, a imagem capturada transformada com as imagens históricas e gera uma nova imagem histórica; o meio de conservação de imagens conserva, seqüencialmente, a nova imagem histórica para cada um dos quadros; e o aparelho de processamento de imagem ainda compreende o meio de armazenamento de imagem representativa para armazenar, como a imagem representativa, a imagem histórica gerada pela combinação de imagens correspondentes a pelo menos um certo número de quadros entre os quadros que constituem a imagem em movimento capturada.
5. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato do meio de combinação de imagens gerar um imagem de tamanho reduzido da imagem representativa; o aparelho de processamento de imagem ainda compreende meio de armazenamento de imagem representativa para armazenar a imagem representativa e a imagem de tamanho reduzido em associação uma com a outra; e o meio de controle de exposição mostra a imagem de tamanho reduzido armazenada no meio de armazenamento de imagem representativa como uma imagem selecionável em uma lista.
6. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: meio de entrada de imagem em movimento para recebimento de uma imagem em movimento capturada por um aparelho de captura de imagem como uma imagem em movimento capturada; meio de cálculo de informação de transformação para calcular informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas que constituem a imagem em movimento capturada, outra imagem capturada; meio de transformação de imagem para transformar a imagem capturada com base na informação de transformação calculada; meio de armazenamento de imagem índice com relação a pelo menos uma dentre a imagem capturada e a imagem capturada transformada como uma imagem índice da imagem em movimento capturada e armazenando uma posição coordenada e tamanho da imagem índice em um espaço de captura de imagem definido pela informação de transformação; e meio de extração de imagem índice para extração de uma imagem índice da imagem em movimento capturada com base na imagem capturada transformada e a posição coordenada e o tamanho da imagem índice, a posição coordenada e o tamanho sendo armazenados no meio de armazenamento de imagem índice.
7. Aparelho de processamento de imagem de acordo com a reivindicação 6, caracterizado pelo fato do meio de extração de imagem índice calcular uma taxa de sobreposição entre a imagem capturada transformada e a imagem índice armazenada no meio de armazenamento de imagem índice e extrai a imagem índice com base na taxa de sobreposição calculada.
8. Aparelho de processamento de imagem de acordo com a reivindicação 6, caracterizado pelo fato do meio de extração de imagem índice registrar, seqüencialmente a posição coordenada e o tamanho da imagem índice extraída no meio de armazenamento de imagem índice.
9. Aparelho de processamento de imagem de acordo com a reivindicação 6, caracterizado pelo fato do meio de extração de imagem índice registrar, seqüencialmente, a posição coordenada e o tamanho da imagem índice extraída e a imagem índice extraída em associação uma com a outra no meio de armazenamento de imagem índice.
10. Aparelho de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de ainda compreender meio de controle de exposição para disposição da imagem índice em um espaço bidimensional com base na posição coordenada e no tamanho da imagem índice, a posição coordenada e o tamanho sendo armazenados no meio de armazenamento de imagem índice e mostrando a imagem índice.
11. Aparelho de processamento de imagem de acordo com a reivindicação 6, caracterizado pelo fato do meio de extração de imagem índice registrar, seqüencialmente, a posição coordenada e o tamanho da imagem índice extraída, a imagem índice extraída e a informação de tempo referente à imagem índice extraída na imagem em movimento capturada, em associação uma com a outra, no meio de armazenamento de imagem índice; e o aparelho de processamento de imagem ainda compreende meio de controle de exposição para dispor, virtualmente, a imagem índice em um espaço tridimensional com base na informação de tempo, na posição coordenada e no tamanho da imagem índice, a informação de tempo, a posição coordenada e o tamanho sendo armazenados no meio de armazenamento de imagem índice, projetando a imagem índice em um plano e mostrando a imagem índice.
12 Aparelho de processamento de imagem de acordo com a reivindicação 11, caracterizado pelo fato de ainda compreender: meio de armazenamento de imagem em movimento para armazenar a imagem em movimento capturada; meio de aceitação de operação para aceitar uma operação de seleção para seleção da imagem índice disposta no espaço tridimensional; e meio de seleção para selecionar, com base na imagem índice selecionada, a informação de tempo armazenada no meio de armazenamento de imagem índice, em que o meio de controle de exposição reproduz a imagem em movimento capturada armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondente à informação de tempo selecionada.
13. Aparelho de processamento de imagem de acordo com a reivindicação 6, caracterizado pelo fato de ainda compreender: meio de conservação de imagens para conservar uma imagem histórica; meio de combinação de imagens para adição de um marcador pré-determinado à imagem capturada transformada, correspondendo à imagem índice extraída, combinação da imagem capturada transformada com a imagem histórica para gerar uma nova imagem histórica e levando o meio de conservação de imagens a conservar a nova imagem histórica; e meio de armazenamento de imagem representativa para armazenar a imagem histórica como uma imagem representativa que representa a imagem em movimento capturada.
14. Aparelho de processamento de imagem de acordo com a reivindicação 13, caracterizado pelo fato de ainda compreender: meio de armazenamento de imagem em movimento para armazenar a imagem em movimento capturada; meio de exposição para mostrar a imagem representativa armazenada no meio de armazenamento de imagem representativa; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma posição na imagem representativa exposta; meio de seleção para selecionar a imagem índice extraída com base na porção selecionada da imagem representativa; e meio de controle de exposição para reproduzir a imagem em movimento capturada, armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondente à imagem índice selecionada.
15. Aparelho de reprodução de imagem em movimento, caracterizado pelo fato de compreender: meio de armazenamento de imagem em movimento para armazenar uma imagem em movimento capturada, que é capturada por um aparelho de captura de imagem; meio de conservação de imagens para conservar imagens capturadas, constituindo a imagem em movimento capturada como imagens históricas; meio de cálculo de informação de transformação para calcular informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre as imagens capturadas, outra imagem capturada; meio de transformação de imagem para transformar a imagem capturada com base na informação de transformação calculada: meio de combinação de imagens para combinar a imagem capturada transformada com as imagens históricas para gerar uma nova imagem histórica e levando o meio de conservação de imagens a conservar a nova imagem história; meio de obtenção de posição de imagem para obter uma posição coordenada da imagem capturada transformada na imagem histórica gerada pela combinação; meio de armazenamento de posição de imagem para armazenar a posição coordenada obtida e a imagem capturada, em associação uma com a outra; meio de exposição para mostrar a imagem histórica como a imagem representativa que representa a imagem em movimento capturada; meio de aceitação de operação para aceitar a operação de seleção para selecionar uma posição na imagem representativa exposta; e meio de controle de exposição para reproduzir, com base na posição selecionada na imagem representativa, imagem em movimento capturada armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondendo à posição selecionada.
16. Método de processamento de imagem em um aparelho de processamento de imagem, incluindo meio de armazenamento de imagem em movimento para armazenar uma imagem em movimento capturada que é capturada por um aparelho de captura de imagem e meio de conservação de imagens para conservar imagens capturadas que constituem a imagem em movimento capturada como imagens históricas, caracterizado pelo fato de compreender: uma etapa de cálculo de informação de transformação para cálculo de informação de transformação para transformação com referência a pelo menos uma imagem capturada entre as imagens capturadas, outra imagem capturada; uma etapa de transformação de imagem para transformar a imagem capturada com base na informação de transformação calculada; uma etapa de combinação para combinar a imagem capturada transformada com as imagens históricas a fim de gerar uma nova imagem histórica e levando meio de conservação de imagem a conservar a nova imagem histórica; uma etapa de obtenção de posição de imagem para obter uma posição coordenada da imagem capturada transformada na imagem histórica gerada pela combinação; uma etapa de armazenamento da posição coordenada obtida e da segunda imagem capturada em associação uma com a outra no meio de armazenamento de posição de imagem; uma etapa de exposição da imagem histórica como uma imagem representativa que representa a imagem em movimento capturada; uma etapa de aceitação de operação para aceitar uma operação de seleção para selecionar uma posição na imagem representativa mostrada; e uma etapa de controle de exposição para reprodução, com base na posição selecionada na imagem representativa, a imagem em movimento capturada armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondente à posição selecionada.
17. Programa em um aparelho de processamento de imagem incluindo meio de armazenamento de imagem em movimento para armazenamento de uma imagem em movimento capturada que é capturada por um aparelho de captura de imagem e meio de conservação de imagens para conservar as imagens capturadas, constituindo a imagem em movimento capturada como imagens históricas, caracterizado pelo fato de levar um computador a realizar: uma etapa de cálculo de informação de transformação para cálculo de informação de transformação para transformar, com estrutura funcional a pelo menos uma imagem capturada entre as imagens capturadas, outra imagem capturada; uma etapa de transformação de imagem para transformar a imagem capturada com base na informação de transformação calculada; uma etapa de combinação de imagens para combinar a imagem capturada transformada com as imagens históricas para gerar uma nova imagem histórica e levar o meio de conservação de imagens a conservar a nova imagem histórica; uma etapa de obtenção de posição de imagem para obtenção de uma posição coordenada da imagem capturada transformada na imagem histórica gerada pela combinação; uma etapa de armazenamento da posição coordenada obtida e da imagem capturada em associação uma com a outra no meio de armazenamento de posição de imagem; uma etapa de exposição para expor a imagem histórica como uma imagem representativa que representa a imagem em movimento capturada; uma etapa de aceitação de operação para aceitar uma operação de seleção para selecionar uma posição na imagem representativa exposta; e uma etapa de controle de exposição, com base na posição selecionada na imagem representativa, a imagem em movimento capturada armazenada no meio de armazenamento de imagem em movimento, começando de uma imagem capturada correspondente à posição selecionada.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007219094 | 2007-08-24 | ||
| JP2007-219094 | 2007-08-24 | ||
| JP2007317768A JP2009077363A (ja) | 2007-08-24 | 2007-12-07 | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| JP2007-317768 | 2007-12-07 | ||
| PCT/JP2008/064984 WO2009028409A1 (ja) | 2007-08-24 | 2008-08-22 | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BRPI0806239A2 true BRPI0806239A2 (pt) | 2011-09-06 |
Family
ID=40387131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0806239-0A BRPI0806239A2 (pt) | 2007-08-24 | 2008-08-22 | aparelhos de processamento de imagem e de reprodução de imagem em movimento, método de processamento de imagem em um aparelho de processamento de imagem, e, programa em um aparelho de processamento de imagem |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8754959B2 (pt) |
| EP (1) | EP2073539A4 (pt) |
| JP (1) | JP2009077363A (pt) |
| KR (1) | KR20100043138A (pt) |
| BR (1) | BRPI0806239A2 (pt) |
| RU (1) | RU2009131717A (pt) |
| TW (1) | TW200922325A (pt) |
| WO (1) | WO2009028409A1 (pt) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5092722B2 (ja) | 2007-12-07 | 2012-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2009151896A (ja) | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| JP5395512B2 (ja) * | 2009-05-26 | 2014-01-22 | オリンパスイメージング株式会社 | 撮影装置 |
| JP5279636B2 (ja) * | 2009-06-30 | 2013-09-04 | キヤノン株式会社 | 撮像装置 |
| JP5340895B2 (ja) * | 2009-11-24 | 2013-11-13 | 株式会社ソニー・コンピュータエンタテインメント | 画像データ作成支援装置および画像データ作成支援方法 |
| JP5293587B2 (ja) * | 2009-12-16 | 2013-09-18 | ソニー株式会社 | 表示制御装置、表示制御方法、プログラム |
| TWI495342B (zh) * | 2011-08-12 | 2015-08-01 | Univ Far East | Use a hand-held electronic device to upload and synthesize photos |
| CN102364470B (zh) * | 2011-10-14 | 2013-05-15 | 西安工业大学 | 一种基于图像序列的三维动画检索方法 |
| KR101913837B1 (ko) * | 2011-11-29 | 2018-11-01 | 삼성전자주식회사 | 파노라마 영상 생성 방법 및 이를 적용한 영상기기 |
| US9690458B2 (en) * | 2012-09-10 | 2017-06-27 | Mediatek Inc. | Image viewing method for displaying portion of selected image based on user interaction input and related image viewing system and machine readable medium |
| KR20150060026A (ko) * | 2013-11-25 | 2015-06-03 | 삼성전자주식회사 | 이전 커맨드 정보를 이용하여 현재 커맨드를 처리하는 방법 및 장치. |
| TWI571753B (zh) * | 2014-11-07 | 2017-02-21 | 財團法人資訊工業策進會 | 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品 |
| US10078218B2 (en) * | 2016-01-01 | 2018-09-18 | Oculus Vr, Llc | Non-overlapped stereo imaging for virtual reality headset tracking |
| KR102360179B1 (ko) | 2016-02-02 | 2022-02-08 | 삼성전자주식회사 | 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라 |
| KR101905580B1 (ko) * | 2016-02-17 | 2018-10-11 | 한국전자통신연구원 | 촬영 기능을 갖는 모바일 장치를 이용한 상황 재연 방법 및 시스템 |
| JP7063267B2 (ja) | 2016-08-25 | 2022-05-09 | 日本電気株式会社 | 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム |
| JP7385667B2 (ja) * | 2019-09-20 | 2023-11-22 | 富士フイルム株式会社 | 撮影装置、及び撮影方法 |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
| JP2989364B2 (ja) * | 1992-03-12 | 1999-12-13 | シャープ株式会社 | 画像処理装置及び画像処理方法 |
| US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| JPH0962861A (ja) | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | パノラマ映像装置 |
| US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
| JPH09121358A (ja) * | 1995-10-25 | 1997-05-06 | Matsushita Electric Ind Co Ltd | 画像符号化及び復号化装置と方法 |
| US5706416A (en) * | 1995-11-13 | 1998-01-06 | Massachusetts Institute Of Technology | Method and apparatus for relating and combining multiple images of the same scene or object(s) |
| US5768447A (en) * | 1996-06-14 | 1998-06-16 | David Sarnoff Research Center, Inc. | Method for indexing image information using a reference model |
| US5943445A (en) * | 1996-12-19 | 1999-08-24 | Digital Equipment Corporation | Dynamic sprites for encoding video data |
| US6215505B1 (en) * | 1997-06-20 | 2001-04-10 | Nippon Telegraph And Telephone Corporation | Scheme for interactive video manipulation and display of moving object on background image |
| JPH11120353A (ja) * | 1997-10-16 | 1999-04-30 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
| JP4154012B2 (ja) * | 1997-10-30 | 2008-09-24 | 株式会社日立製作所 | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 |
| US6366699B1 (en) * | 1997-12-04 | 2002-04-02 | Nippon Telegraph And Telephone Corporation | Scheme for extractions and recognitions of telop characters from video data |
| JPH11289517A (ja) | 1998-04-02 | 1999-10-19 | Sony Corp | 再生装置及び再生方法 |
| US6192393B1 (en) * | 1998-04-07 | 2001-02-20 | Mgi Software Corporation | Method and system for panorama viewing |
| US7292261B1 (en) * | 1999-08-20 | 2007-11-06 | Patrick Teo | Virtual reality camera |
| EP1089230A3 (en) * | 1999-09-24 | 2008-06-11 | Nippon Telegraph and Telephone Corporation | Method and apparatus for separating background sprite and foreground object and method and apparatus for extracting segmentation mask |
| IL136080A0 (en) * | 2000-05-11 | 2001-05-20 | Yeda Res & Dev | Sequence-to-sequence alignment |
| US6895126B2 (en) * | 2000-10-06 | 2005-05-17 | Enrico Di Bernardo | System and method for creating, storing, and utilizing composite images of a geographic location |
| US7194112B2 (en) * | 2001-03-12 | 2007-03-20 | Eastman Kodak Company | Three dimensional spatial panorama formation with a range imaging system |
| JP4519364B2 (ja) * | 2001-05-31 | 2010-08-04 | 株式会社日立メディコ | パノラマ画像表示方法、ソフトウエア及び装置 |
| US6839067B2 (en) * | 2002-07-26 | 2005-01-04 | Fuji Xerox Co., Ltd. | Capturing and producing shared multi-resolution video |
| US7113185B2 (en) * | 2002-11-14 | 2006-09-26 | Microsoft Corporation | System and method for automatically learning flexible sprites in video layers |
| JP4419499B2 (ja) * | 2003-01-07 | 2010-02-24 | セイコーエプソン株式会社 | 画像生成装置、画像ずれ量検出装置、画像生成方法、画像ずれ量検出方法、画像生成プログラムおよび画像ずれ量検出プログラム |
| US7139006B2 (en) * | 2003-02-04 | 2006-11-21 | Mitsubishi Electric Research Laboratories, Inc | System and method for presenting and browsing images serially |
| US20060109283A1 (en) * | 2003-02-04 | 2006-05-25 | Shipman Samuel E | Temporal-context-based video browsing interface for PVR-enabled television systems |
| JP4583717B2 (ja) | 2003-03-03 | 2010-11-17 | ソニー株式会社 | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 |
| JP4180083B2 (ja) | 2003-09-26 | 2008-11-12 | シャープ株式会社 | パノラマ画像作成装置及びパノラマ画像撮影装置 |
| US7606441B2 (en) * | 2003-11-27 | 2009-10-20 | Seiko Epson Corporation | Image processing device and a method for the same |
| JP2005217874A (ja) | 2004-01-30 | 2005-08-11 | Konica Minolta Photo Imaging Inc | ファイル管理方法 |
| US7627194B2 (en) * | 2004-08-13 | 2009-12-01 | Samsung Electronics Co., Ltd. | Method and device for making virtual image region for motion estimation and compensation of panorama image |
| KR100677142B1 (ko) * | 2004-08-13 | 2007-02-02 | 경희대학교 산학협력단 | 파노라마 영상의 움직임 추정 및 보상 |
| US7623682B2 (en) * | 2004-08-13 | 2009-11-24 | Samsung Electronics Co., Ltd. | Method and device for motion estimation and compensation for panorama image |
| US20070103544A1 (en) * | 2004-08-26 | 2007-05-10 | Naofumi Nakazawa | Panorama image creation device and panorama image imaging device |
| US7911482B1 (en) * | 2006-01-06 | 2011-03-22 | Videomining Corporation | Method and system for efficient annotation of object trajectories in image sequences |
| JP5260264B2 (ja) | 2008-03-25 | 2013-08-14 | 富士通株式会社 | ビーコン無線通信装置、ビーコン無線通信プログラム、およびビーコン無線通信方法 |
-
2007
- 2007-12-07 JP JP2007317768A patent/JP2009077363A/ja not_active Abandoned
-
2008
- 2008-08-07 TW TW097130137A patent/TW200922325A/zh unknown
- 2008-08-22 BR BRPI0806239-0A patent/BRPI0806239A2/pt not_active IP Right Cessation
- 2008-08-22 WO PCT/JP2008/064984 patent/WO2009028409A1/ja active Application Filing
- 2008-08-22 US US12/447,923 patent/US8754959B2/en not_active Expired - Fee Related
- 2008-08-22 RU RU2009131717/09A patent/RU2009131717A/ru not_active Application Discontinuation
- 2008-08-22 KR KR1020097017397A patent/KR20100043138A/ko not_active Application Discontinuation
- 2008-08-22 EP EP08828856A patent/EP2073539A4/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP2073539A4 (en) | 2011-08-10 |
| EP2073539A1 (en) | 2009-06-24 |
| TW200922325A (en) | 2009-05-16 |
| KR20100043138A (ko) | 2010-04-28 |
| JP2009077363A (ja) | 2009-04-09 |
| US20100066860A1 (en) | 2010-03-18 |
| US8754959B2 (en) | 2014-06-17 |
| WO2009028409A1 (ja) | 2009-03-05 |
| RU2009131717A (ru) | 2011-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BRPI0806239A2 (pt) | aparelhos de processamento de imagem e de reprodução de imagem em movimento, método de processamento de imagem em um aparelho de processamento de imagem, e, programa em um aparelho de processamento de imagem | |
| JP5223318B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| BRPI0807370A2 (pt) | Aparelho e método de processamento de image, aparelho de reprodução de imagem móvel, e, programa. | |
| JP4678404B2 (ja) | 撮像装置、その制御方法およびプログラム | |
| JP5053404B2 (ja) | 関連メタデータに基づくデジタル画像のキャプチャと表示 | |
| JP5092722B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| WO2009081806A1 (ja) | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム | |
| US8421871B2 (en) | Method and apparatus for image pickup and image processing | |
| BRPI0920385A2 (pt) | aparelho e mÉtodo de processamento de imagem, e, programa | |
| BRPI0904357A2 (pt) | aparelho e método de processamento de imagem, e, programa | |
| BRPI0906263A2 (pt) | aparelho e método de processamento de imagem, e, programa | |
| CN106937051A (zh) | 成像设备、成像方法和程序 | |
| EP2129112A1 (en) | Image processor, and processing method and program for the same | |
| JP4697221B2 (ja) | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム | |
| BR102022014625A2 (pt) | Aparelho de processamento de imagem, método de processamento de imagem e suporte de armazenamento | |
| Hsieh et al. | Photo navigator | |
| CN101617531A (zh) | 图像处理装置、运动图像播放装置及其处理方法和程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] |
Free format text: REFERENTE A 5A ANUIDADE. |
|
| B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] |
Free format text: REFERENTE AO DESPACHO 8.6 PUBLICADO NA RPI 2260 DE 29/04/2014. |