BRPI0807370A2 - Aparelho e método de processamento de image, aparelho de reprodução de imagem móvel, e, programa. - Google Patents
Aparelho e método de processamento de image, aparelho de reprodução de imagem móvel, e, programa. Download PDFInfo
- Publication number
- BRPI0807370A2 BRPI0807370A2 BRPI0807370-8A BRPI0807370A BRPI0807370A2 BR PI0807370 A2 BRPI0807370 A2 BR PI0807370A2 BR PI0807370 A BRPI0807370 A BR PI0807370A BR PI0807370 A2 BRPI0807370 A2 BR PI0807370A2
- Authority
- BR
- Brazil
- Prior art keywords
- image
- captured
- transformation
- output
- historical
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims description 197
- 238000000034 method Methods 0.000 title description 167
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 title description 2
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000009466 transformation Effects 0.000 claims description 541
- 239000002131 composite material Substances 0.000 claims description 236
- 238000003860 storage Methods 0.000 claims description 107
- 238000000605 extraction Methods 0.000 claims description 87
- 238000004364 calculation method Methods 0.000 claims description 76
- 230000001131 transforming effect Effects 0.000 claims description 32
- 238000012423 maintenance Methods 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 116
- 230000008569 process Effects 0.000 description 99
- 230000003287 optical effect Effects 0.000 description 88
- 239000011159 matrix material Substances 0.000 description 67
- 239000013598 vector Substances 0.000 description 52
- 230000007704 transition Effects 0.000 description 26
- 238000012800 visualization Methods 0.000 description 26
- 238000001514 detection method Methods 0.000 description 22
- 230000004907 flux Effects 0.000 description 22
- 238000001914 filtration Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000000717 retained effect Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000000844 transformation Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 241000270295 Serpentes Species 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/16—Spatio-temporal transformations, e.g. video cubism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2541—Blu-ray discs; Blue laser DVR discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
“APARELHO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E, APARELHO DE REPRODUÇÃO DE IMAGEM MÓVEL”
Campo Técnico
A presente invenção relaciona-se a um aparelho de processamento de imagem, e mais particularmente a um aparelho de processamento de imagem capaz de reproduzir uma imagem móvel, um aparelho de reprodução de imagem móvel, um método de processamento para isto e um programa para fazer com que o computador execute o método.
Fundamentos da Técnica
Nos anos recentes, câmeras de vídeo digital têm sido amplamente difundidas. Portanto, por exemplo, em eventos de crianças no jardim de infância, imagens dos eventos são freqüentemente fotografadas por parentes ou similares usando câmeras de vídeo digital. Quando a captura de imagem é feita por parentes e similares em tais eventos, embora imagens de suas crianças sejam capturadas principalmente, imagens de cenas ou similares dos eventos são freqüentemente capturadas, se necessário, do modo como os eventos parecem ser entendidos.
Imagens móveis capturadas de tal maneira podem ser reproduzidas em casa, por exemplo, usando um aparelho de reprodução de imagem móvel em um visor deste. Por exemplo, no caso em que um pai deve buscar uma imagem móvel na qual a criança serve como assunto principal, a imagem móvel incluindo principalmente a criança é reproduzida. Entretanto, quando um espectador continua navegando em uma imagem móvel do mesmo alvo por um mesmo tempo de reprodução, o espectador pode se tomar menos interessado na imagem móvel reproduzida, à medida que o tempo de reprodução decorre. Portanto, no sentido de tomar o espectador mais interessado, é concebível exibir outras imagens e similares relativas a uma imagem sendo correntemente exibida. Por exemplo, um método de exibição de imagem para visualização com rolagem, juntamente com uma imagem móvel, um índice de vídeo (imagem parada) de acordo com a progressão da imagem móvel tem sido proposto (por exemplo, ver Publicação de Pedido de Patente Não Examinada Japonesa No. 11 -289517 (Figura 7)).
De acordo com a técnica convencional acima descrita, imagens paradas passadas, presentes e futuras com referência a uma imagem móvel são exibidas como índices de vídeo. Isto permite a navegação, juntamente com a imagem móvel correntemente exibida das imagens paradas passadas, 10 presentes e futuras. Portanto, por exemplo, no caso em que o parente está navegando em uma imagem móvel capturada em um evento em um jardim de infância do qual uma criança participa, mesmo no caso em que uma imagem da criança está sendo exibida na imagem móvel corrente, a cena do evento relativa à imagem móvel corrente, por exemplo, pode ser exibida como uma 15 imagem parada, passada ou futura. Neste caso, o pai pode assistir o aparecimento da criança bem como assistir a cena do evento ou similar. Isto facilita o entendimento do aparecimento do evento e toma o espectador mais interessado.
Entretanto, com a técnica convencional acima descrita, no caso 20 em que uma imagem da criança está sendo exibida como a imagem móvel corrente, a cena do evento ou similar pode não ser exibida, e imagens cujos detalhes são substancialmente os mesmos da imagem móvel corrente podem ser exibidos como imagens paradas passadas ou futuras. Em tal caso, é importante manter o espectador interessado na imagem móvel. Portanto, é 25 considerado que, se o espectador pode entender apropriadamente como as coisas estão em tomo de uma pessoa central servindo como assunto de uma imagem sendo capturada, enquanto busca a pessoa central e similar, o espectador pode entender facilmente os detalhes da imagem móvel, de modo que o espectador pode ser tomar mais interessado na imagem móvel. Portanto, é um objetivo da presente invenção entender facilmente os detalhes de uma imagem móvel capturada por um aparelho de captura de imagem no caso em que a imagem móvel é buscada.
Descrição da Invenção 5 A presente invenção foi feita no sentido de resolver os
problemas precedentes e, um primeiro aspecto desta reside em um aparelho de processamento de imagem, um método de processamento para isto, e um programa para fazer com que um computador execute o método. O aparelho de processamento de informação é caracterizado por incluir: meio de entrada 10 de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; meio de cálculo de transformação- informação para calcular, com base em uma primeira imagem capturada incluída na imagem móvel capturada e uma segunda imagem capturada posicionada subseqüentemente à primeira imagem capturada, ao longo de um 15 eixo de tempo da imagem móvel capturada, informação de transformação relativa à primeira imagem capturada e segunda imagem capturada; meio de manutenção de imagem para manter, como uma imagem histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionada antes da segunda imagem capturada ao longo do eixo de tempo da imagem móvel 20 capturada; meio de transformação de imagem para transformar em pelo menos uma da imagem histórica e segunda imagem capturada com base na informação de transformação calculada; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; meio de combinação de 25 imagem para combinar a imagem histórica e a segunda imagem capturada pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem, em resposta à operação de seleção aceita, para gerar uma imagem composta; meio de saída para emitir a imagem composta; e meio de controle para fazer com que o meio de saída emita seqüencialmente a imagem composta. Conseqüentemente, a seguinte operação é obtida: informação de transformação é calculada com base em uma primeira imagem capturada e uma segunda imagem capturada; com base na informação de transformação calculada, pelo menos uma de uma imagem histórica e segunda 5 imagem capturada é transformada; a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada em resposta a uma operação de seleção aceita, são combinadas para gerar uma imagem composta; e a imagem composta é emitida seqüencialmente.
Também, no primeiro aspecto, o meio de combinação de 10 imagem pode combinar a segunda imagem capturada e a imagem histórica, pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem, escrevendo a segunda imagem capturada sobre a imagem histórica, para gerar a imagem composta, e fazer com que o meio de manutenção de imagem mantenha a imagem composta como uma nova 15 imagem histórica. Conseqüentemente, a seguinte operação é obtida: a segunda imagem capturada e a imagem histórica, pelo menos uma das quais tenha sido transformada, são combinadas escrevendo a segunda imagem capturada sobre a imagem histórica, para gerar uma imagem composta, e a imagem composta é mantida como uma nova imagem histórica.
Também, no primeiro aspecto, o meio de combinação de
imagem pode escrever a segunda imagem capturada, que tenha sido transformada pelo meio de transformação de imagem, sobre a imagem histórica e combinar a segunda imagem capturada transformada com a imagem histórica, transformando uma qualidade de imagem da segunda 25 imagem capturada transformada de acordo com a imagem histórica. Conseqüentemente, a seguinte operação é obtida: transformando a qualidade de imagem da segunda imagem capturada transformada de acordo com a imagem histórica, a segunda imagem capturada é escrita sobre e combinada com a imagem histórica. Também, no primeiro aspecto, o meio de combinação de imagem pode escrever a segunda imagem transformada pelo meio de transformação de imagem, que existia antes da transformação da qualidade de imagem, sobre a nova imagem histórica, para gerar uma nova imagem composta, e o meio de controle pode fazer com que o meio de saída emita seqüencialmente a nova imagem composta. Conseqüentemente, a seguinte operação é obtida: a segunda imagem que existia antes da transformação da qualidade de imagem é escrita sobre a nova imagem histórica, para gerar uma nova imagem composta, e a nova imagem composta é emitida seqüencialmente.
Também, no primeiro aspecto, o aparelho de processamento de imagem pode incluir adicionalmente meio de extração de imagem de saída para extrair uma imagem de saída a ser emitida pelo meio de saída, a partir da nova imagem histórica mantida no meio de manutenção de imagem. O meio de combinação de imagem pode escrever a segunda imagem transformada pelo meio de transformação de imagem, que existia antes da transformação da qualidade de imagem, através da imagem de saída e combinar a segunda imagem com a imagem de saída, para gerar uma nova imagem de saída, e o meio de controle pode fazer com que o meio de saída emita seqüencialmente a nova imagem de saída. Conseqüentemente, a seguinte operação é obtida: uma imagem de saída é extraída da nova imagem histórica mantida no meio de manutenção de imagem. A segunda imagem que existia antes da transformação da qualidade de imagem é escrita sobre e combinada com a imagem de saída para gerar uma nova imagem de saída; e a nova imagem de saída é seqüencialmente emitida.
Também, no primeiro aspecto, o meio de extração de imagem de saída pode calcular, com base em uma posição e tamanho da segunda imagem capturada transformada em uma região de manutenção do meio de manutenção de imagem e uma posição e tamanho da imagem de saída na região de manutenção, uma posição na qual a segunda imagem transformada pelo meio de transformação de imagem, que existia antes da transformação da qualidade de imagem, é escrita sobre a imagem de saída e um tamanho da segunda imagem; e o meio de combinação de imagem pode escrever a segunda imagem transformada pelo meio de transformação de imagem, que existia antes da transformação da qualidade de imagem, sobre a imagem de saída e combinar a segunda imagem com a imagem de saída, com base na posição calculada e tamanho. Conseqüentemente, a seguinte operação é obtida: com base na posição e tamanho da segunda imagem capturada em uma região de manutenção e na posição e tamanho da imagem emitida na região de manutenção, a posição na qual a segunda imagem que existia antes da transformação da qualidade de imagem é escrita sobre a imagem de saída, e o tamanho desta é calculado; e a segunda imagem que existia antes da transformação da qualidade de imagem é escrita sobre e combinada com a imagem de saída.
Também, no primeiro aspecto, quando pelo menos uma porção da segunda imagem capturada transformada incluída na nova imagem histórica se projeta a partir de uma região de saída que é uma região para extrair a imagem de saída, o meio de extração de imagem de saída pode 20 mover a região de saída em uma direção da porção de imagem projetada e extrair a imagem de saída da nova imagem histórica. Conseqüentemente, a seguinte operação é obtida: quando pelo menos uma porção da segunda imagem capturada incluída na nova imagem histórica se projeta a partir de uma região de saída, a região de saída é movida em uma direção da porção de 25 imagem projetada, e a imagem de saída é extraída.
Também, no primeiro aspecto, a qualidade da imagem pode ser pelo menos uma dentre uma resolução e uma relação de compressão. Conseqüentemente, a seguinte operação é obtida: transformando pelo menos uma dentre a resolução e a relação de compressão da segunda imagem capturada transformada de acordo com a imagem histórica, a segunda imagem capturada é escrita sobre e combinada com a imagem histórica.
Também, no primeiro aspecto, o aparelho de processamento de imagem pode incluir adicionalmente meio de extração de imagem de saída 5 para extrair, como uma imagem de saída a ser emitida pelo meio de saída, uma imagem incluída em uma região calculada com base na informação de transformação calculada, a partir da nova imagem histórica mantida no meio de manutenção de imagem. O meio de combinação de imagem pode escrever a segunda imagem capturada que existia antes da transformação efetuada pelo 10 meio de transformação de imagem sobre a imagem de saída e combinar a segunda imagem capturada com a imagem de saída, para gerar uma nova imagem e o meio de controle pode fazer com que o meio de saída emita seqüencialmente a nova imagem de saída. Conseqüentemente, a seguinte operação é obtida: uma imagem incluída em uma região calculada com base 15 na informação de transformação, é extraída da nova imagem histórica como a imagem de saída; a segunda imagem capturada que existia antes da transformação, é escrita sobre e combinada com a imagem de saída para gerar uma nova imagem de saída; e é feito com que o meio de saída emita seqüencialmente a nova imagem de saída.
Também, no primeiro aspecto, o meio de extração de imagem
de saída pode transformar, com base na informação de transformação calculada, a imagem de saída em uma direção oposta a uma direção na qual a segunda imagem capturada é transformada pelo meio de transformação de imagem; e o meio de combinação de imagem pode escrever a segunda 25 imagem capturada que existia antes da transformação efetuada pelo meio de transformação de imagem, sobre a imagem de saída transformada, e combinar a segunda imagem capturada com a imagem de saída transformada, para gerar uma nova imagem de saída. Conseqüentemente, a seguinte operação é obtida: com base na informação de transformação, a mensagem de saída é transformada em uma direção oposta a uma direção na qual a segunda imagem capturada é transformada; e a segunda imagem capturada que existia antes da transformação é escrita sobre e combinada com a imagem de saída transformada, para gerar uma nova imagem de saída.
Também, no primeiro aspecto, o meio de transformação de
imagem pode transformar, com base na informação de transformação calculada, a imagem histórica em uma direção oposta a uma direção na qual a segunda imagem capturada é transformada. Conseqüentemente, a seguinte operação é obtida: a imagem histórica é transformada, com base na 10 informação de transformação, em uma direção oposta à direção na qual a segunda imagem capturada é transformada.
Também, no primeiro aspecto, a informação de transformação pode incluir elementos relativos a aumento/redução, movimento e rotação; e o meio de transformação de imagem pode transformar a segunda imagem 15 capturada com base nos elementos relacionados a movimento e rotação, que são incluídos na informação de transformação calculada, e transformar a imagem histórica com base no elemento relacionado a aumento/redução, que está incluído na informação de transformação calculada. Conseqüentemente, a seguinte operação é obtida: a segunda imagem capturada é transformada com 20 base em elementos relativos a movimento e rotação, que estão incluídos na informação de transformação; e a imagem histórica é transformada com base em um elemento relacionado a aumento/redução, que está incluído na informação de transformação.
Também, no primeiro aspecto, o meio de transformação de 25 imagem pode transformar a imagem histórica em uma direção oposta a uma direção na qual a segunda imagem capturada é transformada. Conseqüentemente, a seguinte operação é obtida: a imagem histórica é transformada em uma direção oposta à direção na qual a segunda imagem capturada é transformada. Também, no primeiro aspecto, o meio de cálculo de informação de transformação pode calcular seqüencialmente a informação de transformação para cada um dos quadros constituindo a imagem móvel capturada; o meio de transformação de imagem pode transformar, para cada 5 um dos quadros, pelo menos uma dentre a imagem histórica e a segunda imagem capturada; o meio de combinação de imagem pode combinar, seqüencialmente, para cada um dos quadros, a imagem histórica e a segunda imagem capturada, pelo menos uma das quais foi transformada pelo meio de transformação de imagem; e o meio de controle pode fazer com que a imagem 10 composta seja emitida seqüencialmente para cada um dos quadros. Conseqüentemente, a seguinte operação é obtida: a informação de transformação é seqüencialmente calculada para cada um dos quadros constituindo a imagem móvel capturada; pelo menos uma dentre a imagem histórica e a segunda imagem capturada é transformada para cada um dos 15 quadros; a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tendo sido transformada, são seqüencialmente combinadas para cada um dos quadros, para gerar uma imagem composta; e a imagem composta é seqüencialmente emitida para cada um dos quadros.
Também, no primeiro aspecto, a primeira imagem capturada e 20 a segunda imagem capturada podem ser imagens correspondentes a dois quadros sucessivos, incluídos na imagem móvel capturada. Conseqüentemente, a seguinte operação é obtida: usando imagens correspondentes a dois quadros consecutivos incluídos na imagem móvel capturada, são efetuados cálculo da informação de transformação, 25 combinando as imagens capturadas, e emissão da imagem composta.
Também, no primeiro aspecto, a informação de transformação pode ser informação de movimento do aparelho de captura de imagem no instante em que a primeira imagem capturada ou a segunda imagem capturada foram capturadas; e o meio de cálculo de informação de transformação pode calcular a informação de transformação comparando a primeira imagem capturada e a segunda imagem capturada. Conseqüentemente, a seguinte operação é obtida: comparando a primeira imagem capturada e a segunda imagem capturada, informação de movimento do aparelho de processamento 5 de imagem no instante em que a primeira imagem capturada ou a segunda imagem capturada foram capturadas, é calculada.
Também, no primeiro aspecto, a informação de transformação pode ser informação de movimento relativa a quantidades relativas de movimento do aparelho de captura de imagem e um assunto fotográfico no 10 instante em que a primeira imagem capturada ou a segunda imagem capturada foi capturada; e o meio de cálculo de informação de transformação pode calcular a informação de transformação comparando a primeira imagem capturada e a segunda imagem capturada. Conseqüentemente, a seguinte operação é obtida: comparando a primeira imagem capturada e a segunda 15 imagem capturada, informação de movimento relativa a quantidades relativas de movimento do aparelho de captura de imagem e um assunto fotográfico no instante em que a primeira imagem capturada ou a segunda imagem capturada foi capturada, é calculada.
Também, no primeiro aspecto, o meio de cálculo de 20 informação de transformação pode incluir: meio de extração de ponto de característica para extrair pontos de característica na primeira imagem capturada e na segunda imagem capturada, com base nos pixéis individuais constituindo a primeira imagem capturada e a segunda imagem capturada; meio de cálculo de quantidade de movimento para calcular uma quantidade de 25 movimento relativa à primeira imagem capturada e à segunda imagem capturada, com base nos pontos de característica individual extraídos; e meio de cálculo de parâmetro de transformação para calcular a informação de transformação calculando um parâmetro de transformação pré-determinado com base na quantidade de movimento calculada. Conseqüentemente, a seguinte operação é obtida: com base nos pixéis individuais constituindo a primeira imagem capturada e a segunda imagem capturada, pontos de característica na primeira imagem capturada e na segunda imagem capturada são extraídos; com base nos pontos de características individuais extraídos, 5 uma quantidade de movimento relativa à primeira imagem capturada e segunda imagem capturada é calculada; e com base na quantidade calculada de movimento, um parâmetro de transformação pré-determinado é calculado, calculando deste modo a informação de transformação.
Também, no primeiro aspecto, o meio de extração de ponto de 10 característica pode ser configurado como um processador multi núcleo. O processador multi núcleo pode extrair quantidades de característica na primeira imagem capturada e na segunda imagem capturada, executando processamento paralelo usando operações SIMD nos pixéis individuais constituindo a primeira imagem capturada e segunda imagem capturada. 15 Conseqüentemente, a seguinte operação é obtida: efetuando, usando um processador multi núcleo, processamento paralelo usando operações SIMD sobre pixéis individuais constituindo a primeira imagem capturada e a segunda imagem capturada, quantidades de característica na primeira imagem capturada e na segunda imagem capturada são extraídas.
Também, no primeiro aspecto, o meio de cálculo de
quantidade de movimento pode ser configurado por um processador multi núcleo. O processador multi núcleo pode calcular a quantidade de movimento relativa à primeira imagem capturada e segunda imagem capturada, executando processamento paralelo usando operações SIMD sobre os pontos 25 de característica individual extraídos. Conseqüentemente, a seguinte operação é obtida: efetuando, usando um processador multi núcleo, processamento paralelo usando operações SIMD sobre os pontos de característica individual extraídos, a quantidade de movimento relativa à primeira imagem capturada e segunda imagem capturada é calculada. Também, no primeiro aspecto, o aparelho de processamento de imagem pode incluir adicionalmente meio de compressão para comprimir a imagem capturada. A imagem histórica no instante de emissão da imagem composta, pode ser uma imagem comprimida, e a segunda imagem capturada 5 pode ser uma imagem não comprimida ou uma imagem capturada com uma resolução mais alta que a imagem histórica comprimida. Conseqüentemente, a seguinte operação é obtida: a imagem histórica no instante de emissão da imagem composta é uma imagem comprimida; e a segunda imagem capturada é uma imagem não comprimida ou uma imagem capturada com uma 10 resolução mais alta que a imagem histórica comprimida.
Também, um segundo aspecto da presente invenção reside em um aparelho de processamento de imagem, um método de processamento para este e um programa para fazer com que um computador execute o método. O aparelho de processamento de imagem é caracterizado por incluir: 15 meio de obtenção de imagem móvel para obter uma imagem móvel capturada com a qual informação de transformação para transformar pelo menos uma dentre uma primeira imagem capturada e uma segunda imagem capturada incluídas na imagem móvel capturada é associada e gravada, a imagem móvel capturada sendo capturada por um aparelho de captura de imagem; meio de 20 extração de informação de transformação a partir da imagem móvel capturada obtida; meio de fixação de imagem para manter, como uma imagem histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionada antes da segunda imagem capturada ao longo de um eixo de tempo da imagem móvel capturada; meio de transformação de imagem para 25 transformar pelo menos uma dentre a imagem histórica e a segunda imagem capturada com base na informação de transformação extraída; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; meio de combinação de imagem para combinar a imagem histórica e a menos uma dentre a imagem histórica e a segunda imagem capturada, com base na informação de transformação calculada;
etapa de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem;
etapa de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada na etapa de transformação de imagem, em resposta à operação de seleção aceita, para gerar uma imagem composta; e etapa de controle para fazer com que a imagem composta seja
emitida seqüencialmente. base na informação de transformação obtida; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; meio de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem em resposta à operação de seleção aceita, para gerar uma imagem composta; meio de saída para emitir a imagem composta; e meio de controle para fazer com que o meio de saída emita seqüencialmente a imagem composta. Conseqüentemente, a seguinte operação é obtida: pelo menos uma dentre uma imagem histórica e uma segunda imagem capturada é transformada com base na informação de transformação obtida; a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada em resposta a uma operação de seleção aceita, são combinadas para gerar uma imagem composta; e a imagem composta é emitida seqüencialmente.
Também, um quarto aspecto da presente invenção reside em um aparelho de processamento de imagem, um método de processamento para este e um programa para fazer com que um computador execute o método. O aparelho de processamento de imagem é caracterizado por incluir: 20 meio de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; meio de cálculo de informação de transformação para calcular informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo a imagem móvel capturada, uma outra 25 imagem capturada para cada uma das imagens capturadas; meio de transformação de imagem para transformar, com base na informação de transformação calculada com referência pelo menos a uma imagem de referência, a pelo menos uma imagem capturada entre as imagens capturadas constituindo a imagem móvel capturada, uma imagem capturada correspondendo à informação de transformação; meio de fixação de imagem para manter a imagem capturada transformada; e meio de controle para fazer com que o meio de saída emita seqüencialmente a última imagem capturada mantida no meio de manutenção de imagem. Conseqüentemente, a seguinte 5 operação é obtida: informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo uma imagem móvel capturada, uma outra imagem capturada é calculada para cada uma das imagens capturadas; a imagem capturada é transformada, com referência, como uma imagem de referência, a pelo menos 10 uma imagem capturada entre as imagens capturadas, com base na informação de transformação; e a imagem capturada transformada é mantida; e a última imagem capturada mantida é emitida seqüencialmente.
Também, um quinto aspecto da presente invenção reside em um aparelho de reprodução de imagem móvel, um método de processamento 15 para este e um programa para fazer com que um computador execute o método. O aparelho de reprodução de imagem móvel é caracterizado por incluir: meio de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; meio de cálculo de informação de transformação para calcular, com base em uma primeira 20 imagem capturada incluída na imagem móvel capturada e uma segunda imagem capturada posicionada subseqüente à primeira imagem capturada, ao longo de um eixo de tempo da imagem móvel capturada, informação de transformação relativa à primeira imagem capturada e segunda imagem capturada; meio de manutenção de imagem para manter, como uma imagem 25 histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionadas antes da segunda imagem capturada ao longo do eixo de tempo da imagem móvel capturada; meio de transformação de imagem para transformar pelo menos uma dentre a imagem histórica e a segunda imagem capturada, com base na informação de transformação calculada; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; meio de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido 5 transformada pelo meio de transformação de imagem, em resposta à operação de seleção aceita, para gerar uma imagem composta; meio de exibição para exibir a imagem composta; e meio de controle para fazer com que o meio de visualização exiba seqüencialmente a imagem composta. Conseqüentemente, a seguinte operação é obtida: informação de transformação é calculada com 10 base em uma primeira imagem capturada e uma segunda imagem capturada; com base na informação de transformação calculada, pelo menos uma dentre uma imagem histórica e segunda imagem capturada é transformada; a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada em resposta a uma operação de seleção aceita, são combinadas 15 para gerar uma imagem composta; e a imagem composta é exibida seqüencialmente.
Também, um sexto aspecto da presente invenção reside em um aparelho de processamento de imagem, um método de processamento para este e um programa para fazer com que um computador execute o método. O 20 aparelho de processamento de imagem é caracterizado por incluir: meio de entrada de imagem móvel para receber uma imagem móvel capturada por um aparelho de captura de imagem como uma imagem móvel capturada; meio de armazenagem de imagem móvel capturada para armazenar a imagem móvel capturada; meio de cálculo de informação de transformação para calcular, 25 para cada um dos quadros constituindo a imagem móvel capturada, informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo a imagem móvel capturada, uma outra imagem capturada; e meio de controle de gravação para gravar a informação de transformação calculada em associação com cada um dos quadros no meio de armazenado de imagem móvel capturada. Conseqüentemente, a seguinte operação é obtida: informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo uma imagem móvel 5 capturada, uma outra imagem capturada é calculada para cada um dos quadros; e a informação de transformação calculada é gravada em associação com cada um dos quadros.
Também, um sétimo aspecto da presente invenção reside em um aparelho de processamento de imagem, um método de processamento para este e um programa para fazer com que um computador execute o método. O aparelho de processamento de imagem é caracterizado por incluir: meio de entrada de imagem móvel para receber uma imagem móvel capturada por um aparelho de captura de imagem como uma imagem móvel capturada; meio de armazenagem de metadados para armazenar metadados relativos à imagem móvel capturada; meio de cálculo de informação de transformação para calcular, para cada um dos quadros constituindo a imagem móvel capturada, informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo a imagem móvel capturada, uma outra imagem capturada; e meio de controle de gravação para gravar, como os metadados, a informação de transformação calculada em associação com a imagem móvel capturada e o quadro no meio de armazenagem de metadados. Conseqüentemente, a seguinte operação é obtida: informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo uma imagem móvel capturada, uma outra imagem capturada é calculada para cada um dos quadros; e a informação de transformação calculada é gravada como metadados em associação com a imagem móvel capturada e o quadro.
Também, no sétimo aspecto, os metadados podem incluir pelo menos informação de posição e informação de postura descrita em um sistema de coordenadas do aparelho de captura de imagem. Conseqüentemente, a seguinte operação é obtida: metadados incluindo pelo menos informação de posição e informação de postura descritas em um sistema de coordenadas do aparelho de captura de imagem são gravados.
De acordo com a presente invenção, uma grande vantagem de que os detalhes da imagem móvel disparada por um aparelho de captura de imagem podem ser facilmente entendidos no caso em que a imagem móvel é buscada, pode ser obtida.
Breve Descrição dos Desenhos
Figura 1 é um diagrama em blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 100 em uma realização da presente invenção.
Figura 2 inclui diagramas mostrando um exemplo de uma imagem correspondente a um quadro incluída em uma imagem móvel.
Figura 3 inclui diagrama mostrando imagens simplificadas obtidas omitindo o segundo plano e similar da imagem correspondente ao quadro incluído na imagem móvel.
Figura 4 é um fluxograma mostrando um procedimento de processamento de um processo de detecção de parâmetro de transformação conectada efetuado pelo aparelho de processamento de imagem 100 na realização da presente invenção.
Figura 5 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 6 inclui diagramas nos quais, em imagens individuais mostradas na Figura 5, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas, e adicionalmente, fluxos ópticos típicos detectados são mostrados.
Figura 7 inclui diagramas mostrando um exemplo de visualização no caso em que uma imagem móvel incluindo imagens 401 a 403 mostradas na Figura 5 é reproduzida.
Figura 8 inclui diagramas mostrando um exemplo de visualização no caso em que a imagem móvel incluindo as imagens 401 a 403 mostradas na Figura 5 é reproduzida.
Figura 9 inclui diagramas mostrando um exemplo de transição
em uma imagem móvel disparada por uma câmera.
Figura 10 inclui diagramas nos quais, em imagens individuais mostradas na Figura 9, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas e, adicionalmente, fluxos ópticos típicos detectados são mostrados.
Figura 11 inclui diagramas mostrando um exemplo de visualização no caso em que uma imagem móvel incluindo imagens 421 a 423 mostradas na Figura 9 é reproduzida.
Figura 12 inclui diagramas mostrando um exemplo de visualização no caso em que a imagem móvel incluindo as imagens 421 a 423 mostradas na Figura 9 é reproduzida.
Figura 13 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 14 inclui diagramas nos quais, em imagens individuais mostradas na Figura 13, uma imagem correspondente ao quadro imediatamente anterior é indicada por linhas interrompidas, e adicionalmente são mostrados fluxos ópticos típicos detectados.
Figura 15 inclui diagramas mostrando um exemplo de visualização no caso em que uma imagem móvel incluindo imagens 441 a 443 mostradas na Figura 13 é reproduzida.
Figura 16 inclui diagramas mostrando um exemplo de visualização no caso em que a imagem móvel incluindo as imagens 441 a 443 mostradas na Figura 13 é reproduzida.
Figura 17 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera. Figura 18 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 19 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 20 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 21 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 22 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 23 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 24 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 25 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado pelo aparelho de processamento de imagem 100 na realização da presente invenção.
Figura 26 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado pelo aparelho de processamento de imagem 100 na realização da presente invenção.
Figura 27 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado pelo aparelho de processamento de imagem 100 na realização da presente invenção.
Figura 28 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera. Figura 29 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 30 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera.
Figura 31 inclui diagramas mostrando um exemplo de
transição em uma imagem móvel disparada por uma câmera.
Figura 32 é um diagrama em blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 650 em uma realização da presente invenção.
Figura 33 inclui diagramas mostrando esquematicamente
arquivos individuais gravados em uma unidade de armazenagem de imagem móvel 660 e em uma unidade de armazenagem de metadados 670 na realização da presente invenção.
Figura 34 é um diagrama em blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 680 em uma realização da presente invenção.
Figura 35 inclui diagramas mostrando esquematicamente a relação entre quadros individuais de um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 na realização da presente invenção, e uma região de visualização.
Figura 36 inclui diagramas mostrando esquematicamente um método de movimentação de região de visualização no caso em que a imagem atual se projeta a partir da região de visualização.
Figura 37 inclui diagramas mostrando um exemplo de transição no caso em que a região de visualização é movida com o método de movimento mostrado na Figura 36.
Figura 38 inclui diagramas mostrando esquematicamente a relação entre quadros individuais de um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 na realização da presente invenção, e a região de visualização. Figura 39 inclui diagramas mostrando em linhas gerais um método de aumento no caso em que, quando um modo de visualização para fixar a imagem corrente em uma unidade de visualização 689 tenha sido especificado, uma imagem móvel exibida na unidade de visualização 689 é aumentada e exibida.
Figura 40 inclui diagramas mostrando esquematicamente o fluxo de quadros individuais de um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 na realização da presente invenção.
Figura 41 inclui diagramas mostrando esquematicamente o fluxo dos quadros individuais do arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 na realização da presente invenção.
Figura 42 inclui um diagrama mostrando um exemplo de visualização (imagem 750) no caso em que uma imagem móvel disparada por uma câmera é reproduzida, e um diagrama mostrando uma imagem 754 em um estado anterior a efetuar uma transformação conectada de uma imagem corrente 752 na imagem 750.
Figura 43 inclui um diagrama mostrando uma imagem 755 no caso em que uma região de imagem rodeada por uma margem 753 mostrada na Figura 42 é aumentada e exibida, e um diagrama mostrando uma imagem 757 salva em uma memória de visualização 686 em um estado em que a imagem corrente transformada por refinamento é salva na memória de imagem 684.
Figura 44 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado pelo aparelho de processamento de imagem 680 na realização da presente invenção. Figura 45 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado pelo aparelho de processamento de imagem 680 na realização da presente invenção.
Figura 46 é um diagrama mostrando um exemplo de estrutura de um processador multi núcleo 800 em uma realização da presente invenção.
Figura 47 é um diagrama mostrando um exemplo de estrutura de um núcleo de processador de controle 801 na realização da presente invenção.
Figura 48 é um diagrama mostrando um exemplo de estrutura de um núcleo de processador aritmético (#1) 811 na realização da presente invenção.
Figura 49 é um diagrama mostrando esquematicamente um método aritmético do processador multi núcleo 800 na realização da presente invenção.
Figura 50 é um diagrama mostrando esquematicamente programas e o fluxo de dados no caso em que operações são executadas pelo processador multi núcleo 800 na realização da presente invenção.
Figura 51 inclui diagramas mostrando esquematicamente as linhas gerais de um esquema aritmético para executar processamento de diversos itens de dados, usando comandos individuais, e um diagrama mostrando as linhas gerais de uma operação SIMD na qual o processamento de diversos itens de dados é executado usando um único comando.
Figura 52 é um diagrama mostrando um exemplo de estrutura de um programa executado pelo núcleo de processador de controle 801 do núcleo de processador aritmético (#1)811 na realização da presente invenção.
Figura 53 é um diagrama mostrando esquematicamente a estrutura de dados e o fluxo de um processo no caso em que um processo de filtragem é executado usando um filtro Sobel 830 nos dados de imagem armazenados em uma memória principal 781 na realização da presente invenção.
Figura 54 é um diagrama mostrando esquematicamente o fluxo de dados no caso em que uma operação SIMD é efetuada usando o filtro Sobel 830 nos dados de imagem armazenados na memória principal 781 na realização da presente invenção.
Figura 55 é um diagrama mostrando esquematicamente um método de geração de vetor para gerar nove vetores a partir de dados de imagem armazenados em uma primeira armazenagem temporária 831 no caso em que um processo de filtragem é executado usando o filtro Sobel 830 na realização da presente invenção.
Figura 56 é um diagrama mostrando esquematicamente um método de operação de vetor para efetuar operações de vetor usando comandos SIMD em itens dos dados de vetor 841 a 849 no caso em que um processo de filtragem é executado usando o filtro Sobel 830 na realização da presente invenção.
Figura 57 é um diagrama mostrando esquematicamente o fluxo de um processo de cálculo de parâmetro de trabalho de câmera em série de tempo na realização da presente invenção.
Figura 58 inclui um diagrama mostrando esquematicamente
um Disco Blu-ray 880 que é um exemplo de um meio de gravação, um diagrama mostrando esquematicamente itens de dados 881 a 884 gravados no Disco Blu-ray 880, e um diagrama mostrando esquematicamente a estrutura interna de um reprodutor Blu-ray 890 que pode reproduzir o Disco Blu-ray 880.
Melhor Modo para Realizar a Invenção
A seguir, realizações da presente invenção serão agora descritas aqui em detalhe com referência aos desenhos.
Figura 1 é um diagrama em blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 100 em uma realização da presente invenção. O aparelho de processamento de imagem 100 inclui uma unidade de entrada de imagem móvel 110, uma unidade de detecção de trabalho de câmera 120, uma unidade de controle de gravação 130, uma unidade de armazenagem de imagem móvel 200, uma unidade de obtenção de imagem móvel 140, uma unidade de extração de parâmetro de trabalho de câmera 150, uma unidade de transformação de imagem 160, uma memória de imagem 170, uma unidade de combinação de imagem 180, uma unidade de controle de visualização 190, uma unidade de visualização 191 e uma unidade de aceitação de operação 195. O aparelho de processamento de imagem 100 pode ser implementado, por exemplo, por um computador pessoal que pode extrair, efetuando uma análise de imagem de vídeo, uma quantidade de característica de uma imagem móvel disparada por um aparelho de captura de imagem, tal como uma câmera de vídeo digital, e aplicar vários tipos de processamento de imagem usando a quantidade de característica extraída.
A unidade de entrada de imagem móvel 110 é uma unidade de entrada de imagem móvel que recebe uma imagem móvel capturada por um aparelho de captura de imagem tal como uma câmera de vídeo digital (posteriormente simplesmente chamada “câmera”) e emite a imagem móvel recebida para a unidade de detecção de trabalho de câmera 120.
A unidade de detecção de trabalho de câmera 120 é configurada para detectar informação de movimento de câmera (trabalho de câmera) no instante da captura de uma imagem, analisando uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110. A unidade de detecção de trabalho de câmera 120 inclui uma unidade de extração de ponto de característica 121, uma unidade de cálculo de fluxo óptico 122 e uma unidade de cálculo de parâmetro de trabalho de câmera 123. Isto é, a unidade de detecção de trabalho de câmera 120 extrai pontos de característica de cada uma das imagens constituindo uma imagem móvel, extrai adicionalmente fluxos ópticos (vetores de movimento) correspondendo aos pontos de característica, seleciona um ponto de característica que mostra um movimento dominante, analisando os fluxos ópticos correspondentes aos 5 pontos de característica extraídos, e estima o movimento da câmera com base no fluxo óptico correspondente ao ponto de característica que mostra o movimento dominante. Aqui, o movimento dominante significa um movimento regular indicado por um número relativamente grande de fluxos ópticos, entre fluxos ópticos correspondentes a diversos pontos de 10 característica.
A unidade de extração de ponto de característica 121 é configurada para extrair pontos de característica de imagens correspondentes a quadros constituindo uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 e para emitir os pontos de característica 15 extraídos para a unidade de cálculo de fluxo óptico 122. Aqui, a unidade de extração de ponto de característica 121 extrai, para o quadro principal entre quadros constituindo uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110, pontos de característica a partir da imagem inteira e, para quadros diferentes do quadro principal, extrai pontos de 20 característica de um parte de região, cuja imagem foi recém capturada, comparada com uma imagem correspondente ao quadro imediatamente precedente. Notar que, por exemplo, um ponto com um gradiente de borda mais íngreme na direção vertical ou direção horizontal (geralmente chamado um “ponto de canto”; posteriormente chamado um “ponto de canto”) pode ser 25 extraído como um ponto de característica. O ponto de característica é um ponto de característica que é forte ao calcular um fluxo óptico e pode ser obtido usando detecção de borda. Notar que a extração de pontos de canto será descrita em detalhe com referência à Figura 2 e à Figura 3. Também, neste exemplo, a unidade de extração de ponto de característica 121 extrai pontos de característica da imagem inteira para o quadro principal, e para quadros diferentes do principal, extrai pontos de característica de uma parte de região, cuja imagem foi recém capturada, comparada com a imagem imediatamente precedente. Entretanto, de acordo com a capacidade de 5 processamento ou similar, a unidade de extração de ponto de característica 121 pode extrair pontos de característica da imagem inteira para cada um dos quadros diferentes daquele principal.
A unidade de cálculo de fluxo óptico 122 é configurada para calcular um fluxo óptico correspondente a cada ponto de característica 10 emitido a partir da unidade de extração de ponto de característica 121, e emite um fluxo óptico obtido pelo cálculo à unidade de cálculo de parâmetro de trabalho de câmera 123. Especificamente, a unidade de cálculo de fluxo óptico 122 obtém, como fluxos ópticos do quadro corrente, fluxos ópticos correspondente a pontos de característica individuais em uma imagem 15 correspondente ao quadro imediatamente precedente, comparando imagens individualmente correspondentes a dois quadros consecutivos incluídas em uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 (o quadro corrente e o quadro imediatamente precedente). Também, fluxos ópticos são obtidos para cada um dos quadros constituindo uma 20 imagem móvel. Notar que métodos de detecção tais como um método de gradiente e um método de coincidência de blocos podem ser usados como métodos de detecção para detectar fluxos ópticos. Notar que o cálculo de fluxos ópticos será descrito em detalhe com referência à Figura 2 e à Figura 3.
A unidade de cálculo de parâmetro de trabalho de câmera 123 25 é configurada para efetuar processo de cálculo de parâmetro de trabalho de câmera de calcular parâmetros de trabalho de câmera usando fluxos ópticos correspondentes a pontos de característica individuais, que são emitidos a partir da unidade de cálculo de fluxo óptico 122, e emite os parâmetros de trabalho doe câmera calculados para a unidade de controle de gravação 130. Aqui, na realização da presente invenção, imagens constituindo uma imagem móvel a ser reproduzida são transformadas de acordo com o movimento da câmera e são exibidas. No sentido de efetuar transformação das imagens, o movimento da câmera é extraído usando fluxos ópticos calculados pela 5 unidade de cálculo de fluxo óptico 122 e, com base no movimento extraído, parâmetros de trabalho de câmera (parâmetros de transformação) são calculados. Notar que, na realização da presente invenção, um exemplo no qual uma transformação conectada é usada como um método de transformação de imagem para transformar imagens constituindo uma 10 imagem móvel a ser reproduzida, será descrito. Também, um exemplo no qual parâmetros de transformação conectada correspondendo a uma matriz inversa de uma matriz de parâmetros de transformação conectada calculada com base nos fluxos ópticos, são usados como parâmetros de trabalho de câmera, será descrito. Isto é, na realização da presente invenção, parâmetros de 15 transformação conectada usados como informação de transformação são definidos como parâmetros de transformação conectada correspondentes, não a uma matriz conectada representando o movimento de pontos de característica entre imagens consecutivas, porém a uma matriz conectada indicando, quando uma das imagens consecutivas é usada como uma imagem 20 de referência, onde uma imagem subseqüente à imagem de referência se move. Também, embora um exemplo no qual parâmetros de transformação conectada sejam usados como parâmetros de trabalho de câmera, seja descrito, outros métodos de transformação de imagem, tais como transformação projetiva, podem ser usados. Notar que um parâmetro de 25 transformação conectada pode ser obtido pelo cálculo usando vetores de três extremidades. Também, um parâmetro de transformação projetivo pode ser obtido por cálculos usando vetores de quatro extremidades. Aqui, parâmetros de trabalho de câmera consistem em informação de transformação para transformar, com referência a pelo menos uma imagem composta entre imagens capturadas constituindo uma imagem móvel capturada, uma outra imagem capturada, e pelo menos inclui informação de posição e informação de postura descritas no sistema de coordenadas da câmera. Isto é, parâmetros de trabalho de câmera incluem informação relativa à posição e postura de uma 5 câmera no caso em que uma imagem está sendo capturada por um fotógrafo. Também, com base nos parâmetros de transformação conectada obtidos pela unidade de cálculo de parâmetro de trabalho de câmera 123, o movimento de câmera em resposta a uma operação inserida pelo fotógrafo, tal como aproximação, afastamento, panorâmica, inclinação e rotação, pode ser 10 estimado. Notar que o cálculo de parâmetros de transformação conectada serão descritos em detalhe com referência à Figura 2 e à Figura 3.
A unidade de controle de gravação 130 é configurada para gravar, na unidade de armazenagem de imagem móvel 200, uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 e 15 parâmetro de transformação conectada emitidos a partir da unidade de cálculo de parâmetro de trabalho de câmera 123 como um arquivo de imagem móvel, associando o quadro correspondente e parâmetro de transformação conectada uns com os outros.
A unidade de armazenagem de imagem móvel 200 é 20 configurada para armazenar um arquivo de imagem móvel no qual um quadro e parâmetro de transformação conectada que correspondem uns aos outros são associados. Também, a unidade de armazenagem de imagem móvel 200 fornece um arquivo de imagem móvel à unidade de obtenção de imagem móvel 140, em resposta a uma requisição a partir da unidade de obtenção de 25 imagem móvel 140.
A unidade de obtenção de imagem móvel 140 é configurada para obter um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 200, em resposta a uma operação inserida a partir da unidade de aceitação de operação 195, que se relaciona a obtenção de uma imagem móvel, e a emitir o arquivo de imagem móvel obtido para a unidade de extração de parâmetro de trabalho de câmera 150, unidade de transformação de imagem 160 e unidade de combinação de imagem 180.
A unidade de extração de parâmetro de trabalho de câmera 150 5 é configurada para extrair, em uma base quadro a quadro, parâmetros de transformação conectada gravados em associação com o arquivo de imagem móvel emitido a partir da unidade de obtenção de imagem móvel 140, e emite os parâmetros de transformação conectada extraídos para a unidade de transformação de imagem 160.
A unidade de transformação de imagem 160 é configurada
para aplicar, em uma base quadro a quadro, uma transformação conectada a imagens constituindo uma imagem móvel em um arquivo de imagem móvel emitido a partir da unidade de obtenção de imagem móvel 140, ou uma imagem mantida na memória de imagem 170, usando parâmetros de 15 transformação conectada emitidos a partir da unidade de extração de parâmetro de trabalho de câmera 150, e para emitir as imagens transformadas conectadas para a unidade de combinação de imagem 180. Especificamente, no caso em que uma imagem móvel deve ser reproduzida e exibida enquanto repara uma imagem composta que é gerada combinando imagens 20 correspondentes a quadros individuais precedendo o quadro atual, a unidade de transformação de imagem 160 executa uma transformação conectada de uma imagem correspondente ao quadro atual, que é emitida a partir da unidade de obtenção de imagem móvel 140, usando parâmetros de transformação conectada emitidos a partir da unidade de extração de 25 parâmetro de trabalho de câmera 150. Em contraste, no caso em que uma imagem móvel deve ser reproduzida e exibida enquanto repara uma imagem correspondente ao quadro atual, a unidade de transformação de imagem 160 executa uma transformação conectada de uma imagem composta gerada combinando imagens correspondentes a quadros precedentes individuais, que é mantida na memória de imagem 170, usando parâmetros de transformação conectada emitidos a partir da unidade de extração de parâmetro de trabalho de câmera 150, em um direção oposta à dos parâmetros de transformação conectada. Também, no caso em que uma imagem móvel deve ser 5 reproduzida e exibida enquanto repara a magnificação de visualização de uma imagem correspondente ao quadro atual, a unidade de transformação de imagem 160 separa parâmetros de transformação conectada emitidos a partir da unidade de extração de parâmetro de trabalho de câmera 150 em elementos relacionados a aumento/redução (componentes de zoom) e elementos 10 diferentes de aumento/redução (elementos relacionados a movimento ou rotação). A unidade de transformação de imagem 160 aplica uma transformação conectada a uma imagem composta correspondente aos quadros precedentes individuais, que é mantida na memória de imagem 170, usando os elementos relacionados a aumento/redução em uma direção oposta 15 à dos parâmetros de transformação conectada e aplica uma transformação conectada à imagem correspondente ao quadro atual, que é emitida a partir da unidade de obtenção de imagem móvel 140, usando os elementos relacionados a movimentos ou rotação. Estas transformações são executadas de acordo com entradas de operação a partir da unidade de aceitação de 20 operação 195, que se relacionam a instruções de reprodução. Notar que estas transformações de imagens serão descritas em detalhe com referência às Figuras 5 a 16 e similar.
A memória de imagem 170 é uma armazenagem temporária de trabalho que mantém uma imagem composta gerada pela combinação 25 executada pela unidade de combinação de imagem 180. A memória de imagem 170 é configurada para fornecer uma imagem composta mantida à unidade de transformação de imagem 160 ou unidade de combinação de imagem 180. Isto é, a memória de imagem 170 é uma memória de imagem que mantém uma imagem histórica. A unidade de combinação de imagem 180 é configurada para combinar uma imagem emitida a partir da unidade de transformação de imagem 160, uma imagem composta mantida na memória de imagem 170 ou uma imagem emitida a partir da unidade de obtenção de imagem móvel 140, e 5 para emitir uma imagem composta gerada pela combinação para a memória de imagem 170 e unidade de visualização 191. Especificamente, quando uma imagem móvel deve ser reproduzida e exibida enquanto repara uma imagem composta gerada combinando imagens correspondentes a quadros individuais precedendo o quadro atual, a unidade de combinação de imagem 180 escreve 10 uma imagem transformada conectada gerada pela unidade de transformação de imagem 160 sobre a imagem composta correspondente aos quadros individuais precedentes, o que é mantida na memória de imagem 170, deste modo combinando as imagens. Em contraste, quando uma imagem móvel deve ser reproduzida e exibida enquanto repara uma imagem correspondente 15 ao quadro atual, a unidade de combinação de imagem 180 escreve a imagem correspondente ao quadro atual, que é emitida a partir da unidade de obtenção de imagem móvel 140, sobre uma imagem gerada efetuando, com a unidade de transformação de imagem 160, uma transformação conectada de uma imagem composta correspondente aos quadros individuais precedentes, o que 20 é mantida na memória de imagem 170, deste modo combinando as imagens. Alternativamente, quando uma imagem móvel deve ser reproduzida e exibida enquanto repara a magnificação de visualização de uma imagem correspondente ao quadro atual, a unidade de combinação de imagem 180 escreve uma imagem transformada conectada correspondente ao quadro atual, 25 que é gerada pela unidade de transformação de imagem 160, sobre uma imagem composta transformada conectada correspondendo a quadros precedentes individuais, o que é gerado pela unidade de transformação de imagem 160, combinando deste modo as imagens. Estas operações de combinação são efetuadas de acordo com operações inseridas a partir da unidade de aceitação de operação 195, que se relaciona a instruções de reprodução. Notar que estas operações de combinação de imagem são descritas em detalhes com referência às Figuras 5 a 16 e similar.
A unidade de controle de visualização 190, é configurada para exibir seqüencialmente, na unidade de visualização 191, uma imagem composta gerada pela combinação efetuada pela unidade de combinação de imagem 180, em uma base quadro a quadro.
A unidade de visualização 191 é configurada para exibir, sob controle da unidade de controle de visualização 190,, uma imagem composta gerada pela combinação efetuada pela unidade de combinação de imagem 180. Por exemplo, a unidade de visualização 191 pode ser implementada por um visor de um computador pessoal ou uma televisão. Notar que exemplos de visualização de uma imagem composta serão descritos em detalhe com referência às Figuras 17 a 24, 28 a 31, e similar.
A unidade de aceitação de operação 195 inclui vários códigos de operação e similares e é configurada para emitir, ao aceitar uma entrada de operação inserida usando estes códigos, os detalhes da operação aceita inseridos na unidade de obtenção de imagem móvel 140, unidade de transformação de imagem 160 ou unidade de combinação de imagem 180. A unidade de aceitação de operação 195 inclui, por exemplo, um código de configuração para configurar um modo de visualização, no caso em que uma imagem móvel é reproduzida. Como modos de visualização desta, por exemplo, há um modo de visualização no qual uma transformação conectada é aplicada a um arquivo de imagem fixa correspondente ao quadro atual, e uma imagem composta é gerada combinando a imagem transformada conectada com uma imagem composta correspondente a quadros precedentes individuais e é exibida, ou um modo de visualização no qual uma transformação conectada é aplicada a uma imagem composta correspondente a quadros precedentes individuais em uma direção oposta aos parâmetros de transformação conectada, e uma imagem composta é gerada combinando a imagem composta transformada conectada com uma imagem correspondente ao quadro atual, e é exibida. Isto é, de acordo com a realização da presente invenção, a visualização pode ser efetuada comutando arbitrariamente entre 5 um método de combinação/visualização de imagem no qual imagens históricas no passado são transformadas enquanto reparam uma margem de visualização da imagem atual, e um método de combinação/visualização de imagem na qual a margem de visualização da imagem atual é movida com base no trabalho de câmera.
A seguir, um método de detecção para detectar parâmetros de
transformação conectada usados na transformação de imagem, será descrito em detalhe com referência aos desenhos.
Partes (a) a (c) da Figura 2 são diagramas mostrando um exemplo de uma imagem correspondente a um quadro incluído em uma 15 imagem móvel. A parte (a) da Figura 3 é um diagrama mostrando uma imagem simplificada obtida omitindo o segundo plano e similar de uma imagem correspondente a um quadro que é um quadro anterior a um quadro correspondente a uma imagem 300 mostrada na Figura 2. Também, partes (b) e (c) da Figura 3 são diagramas mostrando imagens simplificadas obtidas 20 omitindo o segundo plano e similar da imagem 300 mostrada na Figura 2.
As imagens 300, 320 e 330 mostradas na Figura 2 e Figura 3 incluem imagens 301, 321 e 331 de um cavalo, no qual uma pessoa está montando, e imagens 302, 322 e 332 de uma cobra posicionada logo acima das imagens do cavalo 301, 321 e 331. Também, conforme mostrado na 25 Figura 2, bandeiras, cadeiras e similares existem no segundo plano destas imagens, e as bandeiras estão tremulando ao vento.
A imagem 320 mostrada na parte (a) da Figura 3 é uma imagem simplificada de uma imagem correspondente a um quadro que é um quadro antes de um quadro correspondente às imagens 300 e 330 mostradas nas partes (a) a (c) da Figura 2 e partes (b) e (c) da Figura 3. Também, as imagens 320 e 330 correspondentes a dois quadros consecutivos, são imagens que mostram transição no caso em que um assunto na tela se toma gradualmente maior. Isto é, no instante em que esta imagem foi capturada, 5 uma operação de aproximação, que é uma operação para aumentar gradualmente o tamanho de um assunto na tela, foi efetuada.
Na realização da presente invenção, um método para detectar pontos de característica em cada uma das imagens constituindo uma imagem móvel e calcular parâmetros de transformação conectada usando fluxos 10 ópticos correspondentes aos pontos de característica, será descrito por meio de exemplo. Também, neste exemplo, o caso em que pontos de canto são usados como pontos de característica será descrito.
Aqui, nas parte (a) a (c) da Figura 3, um método para calcular parâmetros de transformação conectada usando fluxos ópticos correspondentes a três pontos de canto detectados nas imagens 320 e 330 será descrito a título de exemplo.
Por exemplo, é suposto que, na imagem 320 mostrada na parte
(a) da Figura 3, um ponto de canto 323 próximo à imagem da boca do cavalo 321, um ponto de canto 324 próximo aos quadris da pessoa na imagem do 20 cavalo 321, e um ponto de canto 325 próximo à imagem da boca da cobra 322 são detectados como pontos de característica. Neste caso, na imagem 330 mostrada na parte (b) da Figura 3, fluxos ópticos 337, 338 e 339 correspondentes aos pontos de canto 323, 324 e 325 na imagem 320 são detectados usando um método de gradiente, um método de coincidência de 25 bloco ou similar. Com base nos fluxos ópticos detectados 337, 338 e 339, pontos de canto 333, 334 e 335 correspondentes aos pontos de canto 323, 324 e 325 na imagem 320 são detectados.
Aqui, por exemplo, as imagens do cavalo 321 e 331 e as imagens da cobra 322 e 332 incluídas nas imagens 320 e 330 mostradas nas parte (a) e (b) da Figura 3 são posicionadas no solo e conseqüentemente, não se movem independentemente do movimento da câmera. Portanto, o movimento da câmera pode ser estimado precisamente com base nos fluxos ópticos obtidos para os pontos de canto detectados nas imagens do cavalo 321 5 e 331 e imagens da cobra 322 e 332. Por exemplo, conforme mostrado na parte (c) da Figura 3, com base nos três fluxos ópticos 337 a 339 detectados na imagem 330, pode ser estimado que a imagem 330 é obtida aumentando a imagem 320, com um ponto 336 servindo como centro. Conseqüentemente, o movimento da câmera no instante da captura da imagem 330 pode ser 10 determinado como uma operação de aproximação efetuada com o ponto 336 servindo como centro, conforme acima, pontos de canto em um objeto que não se move independentemente do movimento da câmera são detectados e, com base nos fluxos ópticos obtidos para estes pontos de canto, o movimento da câmera com certa regularidade pode ser detectado precisamente. Portanto, 15 parâmetros de transformação conectada podem ser calculados e obtidos usando fluxos ópticos obtidos para estes pontos de canto.
Entretanto, o caso em que, como em uma bandeira tremulando ao vento ou similar, um objeto que se move independentemente do movimento da câmera é incluído em uma imagem, é concebível. Por exemplo, 20 a imagem 300 mostrada na Figura 2 inclui bandeiras tremulando ao vento. No caso em que pontos de canto em tal objeto que se move independentemente do movimento da câmera são detectados, e o movimento da câmera é estimado usando fluxos ópticos obtidos para estes pontos de canto, o movimento da câmera não pode ser estimado precisamente.
Por exemplo, fluxos ópticos detectados na imagem 300
mostrada na parte (b) da Figura 2 são designados por setas, e adicionalmente, pontos de canto detectados a partir de fluxos ópticos são designados por círculos vazios na ponta das setas. Aqui, pontos de canto 303 a 305 são pontos de canto correspondentes aos pontos de canto 333 a 335 mostrados nas partes (b) e (c) da Figura 3. Também, pontos de canto 306 a 311 são pontos de canto detectados em bandeiras existentes no segundo plano da imagem do cavalo 301. Uma vez que estas bandeiras estão tremulando ao vento, o movimento da bandeira devido ao efeito do vento é detectado como fluxos ópticos. Isto é, 5 fluxos ópticos correspondendo individualmente aos pontos de canto 306 a 311 são detectados nas bandeiras que se movem independentemente do movimento da câmera. Portanto, quando três fluxos ópticos usados no caso de calcular parâmetros de transformação conectada incluem um fluxo óptico correspondente a pelo menos um ponto de canto entre os pontos de canto 306 10 a 311, o movimento da câmera preciso não pode ser detectado. Neste caso, parâmetros de transformação conectada precisos não podem ser calculados.
Conforme mostrado acima, por exemplo, há instâncias em que fluxos ópticos correspondentes a objetos que se movem independentemente do movimento da câmera (fluxos ópticos correspondendo individualmente aos 15 pontos de canto 306 a 311 mostrados na parte (b) da Figura 2) e fluxos ópticos com certa regularidade com respeito ao movimento da câmera (fluxos ópticos diferentes dos fluxos ópticos individuais correspondentes aos pontos de canto 306 a 311 mostrados na parte 9 (b) da Figura 2) são detectados em uma imagem capturada.
Portanto, na realização da presente invenção, será descrito um
exemplo no qual um processo de cálculo de parâmetro de transformação conectada para calcular parâmetros de transformação conectada é executado diversas vezes com base em três fluxos ópticos, obtendo então diversos parâmetros de transformação conectada e, dentre estes parâmetros de 25 transformação conectada, é selecionado um parâmetro de transformação conectada ótimo. Notar que, neste exemplo, o tamanho de um objeto móvel incluído em cada uma das imagens constituindo uma imagem móvel é relativamente pequeno, com respeito à área da imagem.
Aqui, uma transformação conectada será brevemente descrita. Em duas dimensões, quando a posição de uma fonte de movimento é (x, y) e a posição de um destino do movimento subseqüente a uma transformação conectada é (x\ y’) a matriz da transformação conectada pode ser expressa pela equação 1.
[Eq. 1]
a
b
c
d
e
f
0
0
1
\
(Eq. 1)
Aqui, a a / são parâmetros de transformação conectada. Também, uma matriz conectada AM incluindo estes parâmetros de transformação conectada pode ser expressa pela seguinte equação. Neste caso, um componente de aproximação XZ na direção X, um componente de 10 aproximação YZ na direção Y, um componente de translação XT na direção X, um componente de translação YT na direção Y e um componente de rotação R podem ser obtidos individualmente pelas equações seguintes. Notar que, no caso de uma matriz identidade, a = e= 1 eb = c=d = f=0.
[Eq. 2]
AM =
abc d e f
XZ =
J 2
a +
YZ
2
b +
XT=c
YT = f
R= t a n 1
A seguir, será descrito um método de cálculo de parâmetro de
transformação conectada.
Primeiramente, em uma imagem correspondente ao quadro atual, que é um quadro entre quadros constituindo uma imagem móvel, três pontos de característica são selecionados dentre pontos de característica baseados nos quais os fluxos ópticos são detectados. Por exemplo, três pontos de canto são selecionados randomicamente dentre pontos de canto (indicados por círculos vazios) detectados na imagem 300 mostrada na parte (b) da Figura 2. Notar que quatro pontos de característica são selecionados 5 randomicamente quando parâmetros de transformação projetivos são usados como parâmetros de trabalho de câmera.
Então, usando três fluxos ópticos correspondentes aos três pontos de característica selecionados, parâmetros de transformação conectada são calculados. Por exemplo, parâmetros de transformação conectada são 10 calculados usando fluxos ópticos (denotados por setas conectadas a círculos vazios) correspondentes a três pontos de canto selecionados dentre os pontos de canto (denotados por círculos vazios) na imagem 300 mostrada na parte (b) da Figura 2. Os parâmetros de transformação conectada podem ser obtidos usando a equação 1.
Então, com base nos parâmetros de transformação conectada
obtidos, a contagem para os parâmetros de transformação conectada é calculada. Especificamente, usando os parâmetros de transformação conectada obtidos, as posições dos destinos de movimento de todos os pontos de característica em uma imagem correspondente a um quadro precedendo 20 imediatamente o quadro atual, são obtidas. Um valor de diferença entre as posições de dois pontos de característica correspondentes é calculado, em uma base de ponto de característica a ponto de característica, comparando a posição de uma característica obtida usando os parâmetros de transformação conectada com a posição do outro ponto de característica detectado no quadro 25 atual. Como valor de diferença, por exemplo, a distância absoluta entre as posições dos dois pontos de característica correspondentes é calculada. Então, o valor de diferença calculado é comparado com um limite pré ajustado em uma base de ponto de característica a ponto de característica, e o número de pontos de característica cujos valores de diferença são menores que o limite é obtido como a contagem para os parâmetros de transformação conectada. Conforme acima, três pontos de característica são randomicamente selecionados dentre pontos de característica baseado nos quais os fluxos são detectados. Com base nos fluxos ópticos correspondentes a estes pontos de 5 característica, um processo para calcular a contagem para os parâmetros de transformação conectada é repetida um número pré-determinado de vezes, onde diversas contagens para parâmetros de transformação conectada são calculadas. Este número de vezes pré-determinado pode ser ajustado, se necessário, de acordo com o tipo de imagem a ser comparada, com a 10 capacidade de processamento do aparelho de processamento de imagem 100 ou similar. Alternativamente, um valor fixo pode ser usado como o número pré-determinado de vezes. Como o número pré-determinado de vezes, por exemplo, cerca de 20 vezes pode ser ajustado levando em consideração a capacidade de processamento do aparelho de processamento de imagem 100.
Por exemplo, é considerado o caso em que três pontos de canto
diferentes dos pontos de canto 306 a 311 são selecionados dentre os pontos de canto detectados na imagem 300 mostrado na parte (b) da Figura 2. Quando parâmetros de transformação conectada são calculados usando três fluxos ópticos correspondentes aos três pontos de canto acima selecionados, como 20 foi descrito acima, uma vez que os três fluxos ópticos possuem certa regularidade, parâmetros de transformação conectada que transforma uma imagem correspondente ao quadro imediatamente precedente de acordo com a certa regularidade, são obtidos. Portanto, com vistas às posições dos pontos de canto obtidos usando os parâmetros de transformação conectada e as posições 25 dos pontos de canto detectadas no quadro atual, valores de diferença obtidos para pontos de canto diferentes dos pontos de canto 306 a 311 são calculados como valores relativamente pequenos. Então, a contagem para os parâmetros de transformação conectada toma-se um valor grande.
Em contraste, é considerado o caso em que três pontos de canto incluindo pelo menos um dos pontos de canto 306 a 311 são selecionados dentre pontos de canto detectados na imagem 300 mostrada na parte (b) da Figura 2. Quando parâmetros de transformação conectada são calculados usando três fluxos ópticos correspondentes aos três pontos de 5 canto acima selecionados, como foi descrito acima, uma vez que os três fluxos ópticos incluem um fluxo óptico que não tem certa regularidade, parâmetros de transformação conectada que não transformam uma imagem correspondente ao quadro imediatamente precedente de acordo com a certa regularidade, são obtidos. Portanto, valores de diferença obtidos para as 10 posições dos pontos de canto obtidas usando os parâmetros de transformação conectada e as posições dos pontos de cantos das posições detectadas no quadro atual, são calculados como valores relativamente grandes em pontos de canto arbitrários. Então, as contagens para os parâmetros de transformação conectada toma-se um valor pequeno.
Então, dentre as diversas contagens obtidas para parâmetros de
transformação conectada, parâmetros de transformação conectada cuja contagem tem o valor maior são selecionados como parâmetros de transformação conectada representativos. Os parâmetros de transformação conectada representativos selecionados são gravados em associação com o 20 quadro atual na unidade de armazenagem de imagem móvel 200. Deste modo, no caso em que transformações conectadas de imagens constituindo uma imagem móvel devem ser executados, transformações conectadas podem ser efetuadas usando parâmetros de transformação conectada ótimos.
Conforme mostrado acima, mesmo quando cada uma das imagens constituindo uma imagem móvel inclui um objeto que se move (objeto móvel), tal como uma pessoa ou um carro, se o tamanho do objeto móvel é relativamente pequeno com respeito à área de imagem, o movimento da câmera pode ser extraído sem ser afetado pelo objeto móvel.
Também, um movimento que é visto como intencionalmente causado por um fotógrafo, tal como aproximação, afastamento, panorâmica, inclinação e rotação pode ser estimado extraindo o movimento da câmera.
A seguir, a operação do aparelho de processamento de imagem 100 na realização da presente invenção será descrita com referência aos 5 desenhos.
Figura 4 é um fluxograma mostrando um procedimento de processamento de um processo de detecção de parâmetro de transformação conectada efetuado pelo aparelho de processamento de imagem 100 na realização da presente invenção.
Primeiramente, um arquivo de imagem móvel é inserido na
unidade de entrada de imagem móvel 110 (etapa S900). Então, o arquivo de imagem móvel inserido na unidade de entrada de imagem móvel 110 é decodificado, e uma imagem de um quadro é obtida na ordem da série de tempo (etapa S901). Então, é determinado se o quadro obtido é ou não o 15 quadro principal do arquivo de imagem móvel inserido na unidade de entrada de imagem móvel 110 (etapa S902). Quando o quadro obtido é o quadro principal (etapa S902), pontos de característica são extraídos da imagem inteira, correspondendo ao quadro principal (S903). Por exemplo, conforme mostrado na parte (b) da Figura 2, diversos pontos de canto são extraídos na 20 imagem. Então, parâmetros de transformação conectada em uma matriz identidade são selecionados como parâmetros de transformação conectada (etapa S904) e o fluxo avança para a etapa S914.
Em contraste, quando o quadro obtido não é o quadro principal (etapa S902), pontos de característica são extraídos de uma região cuja 25 imagem foi recém capturada, com referência a uma imagem correspondente ao quadro imediatamente precedente (etapa S905). Isto é, uma vez que pontos de característica que já tenham sido extraídos na imagem correspondente ao quadro imediatamente precedentes podem ser obtidos por fluxos ópticos correspondentes a estes pontos de característica, estes pontos de característica não são extraídos na imagem correspondente ao quadro atual. Então, fluxos ópticos correspondentes aos pontos de característica individuais extraídos da imagem correspondente ao quadro imediatamente precedente são calculados (etapa S906). Isto é, conforme mostrado na parte (b) da Figura 2, fluxos ópticos correspondentes aos pontos de canto individuais são calculados.
Então, uma variável i é inicializada para “1” (etapa S907). Então, M pontos de característica são selecionados dentre os pontos de característica baseados nos quais os fluxos ópticos tenham sido detectados (etapa S908). Por exemplo, três pontos de característica são selecionados randomicamente quando parâmetros de transformação conectada são usados como parâmetros de trabalho de câmera. Também, quatro pontos de característica são selecionados randomicamente quando parâmetros de transformação projetivos são usados como parâmetros de trabalho de câmera. Então, parâmetros de transformação conectada são calculados com base nos M fluxos ópticos calculados em correspondência com os M pontos de característica selecionados (etapa S909).
Então, com base nos parâmetros de transformação conectada obtidos pelo cálculo, a contagem para os parâmetros de transformação conectada é calculada (etapa S910). Especificamente, usando os parâmetros de transformação conectada obtidos por cálculo, as posições dos destinos de movimento de todos os pontos de característica na imagem correspondente ao quadro imediatamente precedente são obtidas. Um valor de diferença entre as posições de dois pontos de característica correspondentes é calculado, em uma base de ponto de característica a ponto de característica, comparando a posição de um ponto de característica obtido usando os parâmetros de transformação conectada com a posição do outro ponto de característica na imagem correspondente ao quadro corrente, que foi obtida no instante de cálculo dos fluxos ópticos na etapa S906. Como o valor de diferença, por exemplo, a distância absoluta entre as duas posições correspondentes é calculada. Então, o valor de diferença calculado é comparado com um limiar pré ajustado em uma base de ponto de característica a ponto de característica, e o número de pontos de característica cujos valores de diferença são menores 5 que o limite é obtido como a contagem para os parâmetros de transformação conectada.
Então, “1” é adicionado à variável i (etapa S911) e é determinado se a variável i é maior ou não que uma constante N (etapa S912). Quando a variável i é menor ou igual à constante N (etapa S912), o fluxo 10 retoma à etapa S908, e o processo de cálculo de contagem de parâmetro de transformação conectada é repetido (etapas S908 a S910). Por exemplo, 20 pode ser usado como a constante N.
Em contraste, quando a variável i é maior que a constante N (etapa S912), entre as contagens obtidas para os parâmetros de transformação conectada, os parâmetros de transformação conectada cuja contagem possui o maior valor, são selecionados como parâmetros de transformação conectada representativos (etapa S913). Então, parâmetros de transformação conectada de uma matriz inversa correspondente à matriz dos parâmetros de transformação conectada representativos são gravados em associação com o quadro atual na unidade de armazenagem de imagem móvel 200 (etapa S914). Notar que, quando o quadro atual é o quadro principal, os parâmetros de transformação conectada selecionados de uma matriz identidade são gravados em associação com o quadro principal na unidade de armazenagem de imagem móvel 200. Então, a imagem correspondente ao quadro atual e os pontos de característica nesta imagem são escritas e salvas (etapa S915).
Então, é determinado se o quadro atual é ou não o último quadro do arquivo de imagem móvel inserido na unidade de entrada de imagem móvel 110 (etapa S916). Quando o quadro atual não é o último quadro (etapa S916), o fluxo retoma à etapa S901, e o processo de detecção de parâmetro de transformação conectada é repetido (etapas S901 a S915). Em contraste, quando o quadro atual é o último quadro (etapa S916), o processo de detecção de parâmetro de transformação conectada é terminado.
Na realização da presente invenção, o exemplo no qual, como detecção dos parâmetros de trabalho de câmera, parâmetros de transformação conectada são detectados com base em fluxos ópticos detectados em imagens constituindo uma imagem móvel foram descritos. Entretanto, um sensor tal como um sensor de aceleração ou um giro sensor ou uma tecla de zoom usada no instante de efetuar uma operação de aproximação, pode ser provido na câmera. A quantidade do movimento da câmera no instante da captura de uma imagem pode ser detectada usando o sensor ou a tecla de zoom, e com base na quantidade de movimento da câmera, parâmetros de trabalho de câmera podem ser obtidos. Notar que a quantidade detectada do movimento da câmera no instante de captura de uma imagem pode ser usada no instante de determinar se os parâmetros de trabalho de câmera obtidos pela unidade de cálculo de parâmetro de trabalho de câmera 123 são corretos ou não. Também, diversos parâmetros de trabalho de câmera podem ser detectados pela unidade de cálculo de parâmetro de trabalho de câmera 123 e, com base na quantidade detectada do movimento de câmera no instante de captura de uma imagem, um parâmetro de trabalho de câmera pode ser selecionado dentre os diversos parâmetros de trabalho de câmera.
A seguir, o caso no qual uma imagem móvel é reproduzida e visualizada usando os parâmetros de transformação conectada acima descritos, será descrito em detalhe com referência aos desenhos. Notar que imagens individuais mostradas nas Figuras 5 a 16 são simplificadas para simplicidade da descrição, e adicionalmente a quantidade de movimento entre dois quadros consecutivos é aumentada e mostrada.
Primeiramente, será descrito o caso no qual, no instante de captura de uma imagem usando uma câmera, embora a magnificação permaneça inalterada, a lente da câmera é movida em qualquer das direções para cima, para baixo, para a esquerda e para a direita, com a posição da câmera servindo como o centro.
Figura 5 inclui diagramas mostrando um exemplo de transição 5 em uma imagem móvel disparada por uma câmera. Na Figura 5, o diagrama mostra imagens 401 a 403 correspondendo a quadros consecutivos incluídos na imagem móvel no caso em que a imagem de uma pessoa 400 com uma montanha em segundo plano tenha sido capturada. Neste exemplo, o caso em que um fotógrafo está capturando a imagem enquanto move a lente da câmera 10 nas direções para a direita e para cima é ilustrado. Neste caso, a pessoa 400 incluída na imagem móvel capturada pela câmera se move do lado direito para o lado esquerdo, e adicionalmente se move para baixo nas imagens constituindo a imagem móvel.
Figura 6 inclui diagramas nos quais, em imagens individuais 15 mostradas na Figura 5, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas, e adicionalmente, fluxos ópticos típicos detectados são mostrados. A imagem 401 mostrada na parte (a) da Figura 6 é a mesma que a imagem 401 mostrada na parte (a) da Figura 5. Também, porções indicadas por linhas sólidas na imagem 402 mostradas na 20 parte (b) da Figura 6 são as mesmas que a imagem 402 mostrada na parte (b) da Figura 5, e porções indicadas por linhas interrompidas na imagem 402 mostrada na parte (b) da Figura 6 são as mesmas que porções indicadas por linhas sólidas na imagem 401 mostrada na parte (a) da Figura 6. Também, setas 404 a 406 na imagem 402 mostrada na parte (b) da Figura 6 ilustram 25 fluxos ópticos típicos detectados na imagem 402. Similarmente, porções indicadas por linhas sólidas na imagem 403 mostrada na parte (c) da Figura 6 são as mesmas que a imagem 403 mostrada na parte (c) da Figura 5, e porções indicadas por linhas interrompidas na imagem 403 mostrada na parte (c) da Figura 6 são as mesmas que as porções indicadas pelas linhas sólidas na imagem 402 mostrada na parte (b) da Figura 6. Também, setas 407 a 409 na imagem 403 mostrada na parte (c) da Figura 6 ilustram fluxos ópticos típicos detectados na imagem 403.
Conforme mostrado nas parte (b) e (c) da Figura 6, a pessoa
400 e a montanha em segundo plano, que estão incluídas na imagem, se movem de acordo com o movimento da câmera. Com base nos fluxos ópticos detectados a partir deste movimento, parâmetros de transformação conectada podem ser obtidos em uma base de quadro a quadro.
Figura 7 inclui diagramas mostrando um exemplo de visualização no caso em que uma imagem móvel incluindo imagens 401 a 403 mostradas na Figura 5 é reproduzida. Notar que, na realização da presente invenção, uma vez que imagens individuais constituindo uma imagem móvel são combinadas, à medida que o tempo de reprodução passa, uma imagem exibida na unidade de visualização 191 se toma maior que uma imagem normal. Portanto, uma imagem que é exibida primeiramente, é exibida como uma imagem relativamente pequena, comparada com o tamanho de uma região de visualização da unidade de visualização 191. Notar que o tamanho, posição e similar de uma imagem exibida primeiro podem ser especificados pelo usuário.
Conforme mostrado na parte (a) da Figura 7, primeiramente, somente a imagem 401 correspondente ao quadro principal é exibida. Aqui, quando a matriz de parâmetros de transformação conectada (matriz 3x3) correspondendo a imagem 401 é Al, o valor de Al é obtido e, com referência à posição e tamanho da imagem 401 do quadro principal, a imagem 401 é submetida a transformação conectada usando a matriz Al obtida. Aqui, uma vez que A é uma matriz identidade, a posição e tamanho da imagem 401 não são transformadas. Então, quando a imagem 402 correspondente ao próximo quadro deve ser exibida, a imagem 402 é submetida a transformação conectada usando parâmetros de transformação conectada associados a este quadro. Especificamente, quando a matriz de parâmetros de transformação conectada correspondente à imagem 402 é A2 e a matriz de parâmetros de transformação conectada correspondente à imagem 401 é Al, o valor de Al x A2 é obtido e, com referência à posição e tamanho da imagem 401 do quadro 5 principal, a imagem 402 é submetida a transformação conectada usando a matriz Al x A2 obtida. Na imagem mostrada na parte (b) da Figura 7, somente a posição da imagem 402 é transformada. A imagem 402 que foi submetida a transformação conectada usando os parâmetros de transformação conectada, é escrita de modo a superpor a imagem 401 correspondente ao 10 quadro imediatamente precedente. Isto é, dentro da região da imagem 401, uma imagem da imagem 402 é escrita sobre uma região 410 superpondo a imagem 402. Também, dentro da região da imagem 401, uma imagem da imagem 401 é combinada em uma região 411 que não se superpõe à imagem 402. Isto é, quando a imagem 402 correspondente ao segundo quadro deve ser 15 exibida, conforme mostrado na parte (b) da Figura 7 uma imagem composta gerada combinando a porção inteira da imagem 402 e uma porção da imagem 401 correspondente à região 411, é exibida. Também, uma margem de imagem indicando que esta é a última imagem entre imagens exibidas, pode ser visualizada em tomo da imagem correspondente ao quadro atual. Na parte 20 (b) da Figura 7, uma margem de imagem é exibida em tomo da imagem 402. Também, os parâmetros de transformação conectada usados para transformação conectada da imagem 402 são mantidos na unidade de transformação de imagem 160.
Então, quando a imagem 403 correspondente ao próximo 25 quadro deve ser exibida, a imagem 403 é submetida a transformação conectada usando parâmetros de transformação conectada associados a este quadro. Isto é, a imagem 403 é submetida a transformada conectada usando parâmetros de transformação conectada obtidos usando uma matriz de parâmetros de transformação conectada correspondente à imagem 403 e a matriz dos parâmetros de transformação conectada correspondente à imagem 402, que são usadas na transformação conectada imediatamente precedente. Especificamente, quando a matriz de parâmetros de transformação conectada correspondente à imagem 403 é A3, a matriz de parâmetros de transformação 5 conectada correspondente à imagem 402 é A2, e a matriz de parâmetros de transformação conectada correspondente à imagem 401 é Al, o valor de Al x A2 x A3 é obtido e, com referência à posição e tamanho da imagem 401 do quadro principal, a imagem 403 é submetida a transformação conectada usando a matriz Al x A2 x A3 obtida. Na imagem mostrada na parte (c) da 10 Figura 7 somente a posição na imagem 403 é transformada. A imagem 403, que foi submetida a transformação conectada usando os parâmetros de transformação conectada, é escrita de modo a superpor uma imagem composta das imagens 401 e 402 correspondendo aos quadros precedentes. Isto é, dentro da região da imagem composta das imagens 401 e 402, uma 15 imagem de imagem 403 é escrita sobre as regiões 413 e 414 superpondo a imagem 403. Também, dentro da região da imagem composta das imagens
401 e 402, a imagem composta das imagens 401 e 402 é combinada em regiões 411 e 412 que não se superpõem à imagem 403. Isto é, quando a imagem 403 correspondente ao terceiro quadro deve ser exibida, conforme 20 mostrado na parte (c) da Figura 7, uma imagem composta gerada combinando a porção inteira da imagem 403, a porção da imagem 401 correspondente à região 411, e uma porção da imagem 402 correspondente à região 412 é exibida. Também, quando uma margem de imagem indicando que esta é a última imagem entre imagens exibidas deve ser visualizada em tomo da 25 imagem correspondente ao quadro atual, a margem da imagem é exibida em tomo da imagem 403 mostrada na parte (c) da Figura 7. Também, os parâmetros de transformação conectada usados na transformação conectada da imagem 403 são mantidos na unidade de transformação de imagem 160. Isto é, os parâmetros de transformação conectada obtidos multiplicando as matrizes dos parâmetros de transformação conectada correspondentes às imagens 402 e 403, respectivamente são mantidas na unidade de transformação de imagem 160. Conforme acima, quando uma imagem correspondente ao quadro atual deve ser submetida a transformação 5 conectada, a imagem correspondente ao quadro atual é submetida a transformação conectada usando parâmetros de transformação conectada obtidos usando uma matriz de parâmetros de transformação conectada correspondente ao quadro atual e uma matriz de parâmetros de transformação conectada correspondendo a cada um dos quadros precedendo o quadro atual. 10 Os parâmetros de transformação conectada obtidos no instante da transformação conectada são mantidos na unidade de transformação de imagem 160 e usados na próxima transformação conectada. Também, o mesmo se aplica aos casos na Figura 11 e na Figura 15.
Figura 8 inclui diagramas mostrando um exemplo de 15 visualização no caso em que a imagem móvel incluindo as imagens 401 a 403 mostradas na Figura 5 é reproduzida. No exemplo de visualização mostrado na Figura 7, uma imagem composta correspondente a quadros individuais precedendo o quadro atual (uma imagem no início) é fixada, a imagem submetida a transformação conectada correspondente ao quadro atual é escrita 20 sobre e combinada com a imagem composta, e uma imagem gerada pela combinação é visualizada. Em contraste, no exemplo de visualização mostrado na Figura 8, a posição da imagem correspondente ao quadro atual é fixada, uma imagem composta correspondente a quadros individuais precedendo o quarta é submetida a transformação conectada em uma direção 25 oposta aos parâmetros de transformação conectada, a imagem correspondente ao quadro atual é escrita sobre e combinada com a imagem composta submetida a transformação conectada, e uma imagem gerada pela combinação é exibida. Isto é, nos exemplos de visualização mostrados na Figura 7 e na Figura 8, embora uma imagem exibida em uma posição fixa e uma imagem a ser submetida a transformação conectada são diferentes, outras porções são comuns. Portanto, as porções comuns às da Figura 7 recebem numerais de referência comuns e são descritas.
Conforme mostrado na parte (a) da Figura 8, primeiramente, 5 somente a imagem 401 correspondente ao quadro principal é exibida. Aqui, uma vez que a imagem 401 é o quadro principal, nenhum quadro prévio existe. Então, quando a imagem 402 correspondente ao próximo quadro deve ser visualizada, a imagem 401 que é a imagem imediatamente precedente, é submetida a transformação conectada usando parâmetros de transformação 10 conectada associados a este quadro. Especificamente, quando a matriz de parâmetros de transformação conectada correspondente à imagem 402 é A2 e a matriz de parâmetros de transformação conectada correspondente à imagem
401 é Al, o valor de Inv (Al x A2) é obtido e a imagem 401 é submetida a transformação conectada usando a matriz Inv (Al x A2). Aqui, Inv A (A é
uma matriz) indica uma matriz inversa de A. Na imagem mostrada na parte
(b) da Figura 8, somente a posição da imagem 401 é transformada. A imagem
402 correspondente ao quadro atual é escrita de modo a superpor a imagem submetida a transformação conectada 401. Notar que uma imagem composta gerada escrevendo a imagem 402 sobre a imagem 401 é a mesma que a
imagem composta mostrada na parte (b) da Figura 7, e conseqüentemente, uma descrição desta é omitida aqui.
Então, quando a imagem 403 correspondente ao próximo quadro deve ser visualizada, usando parâmetros de transformação conectada associados a este quadro, uma imagem composta da imagem 401 e da imagem 25 402 correspondente aos quadros precedentes, é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada. Especificamente, quando a matriz de parâmetros de transformação conectada correspondente à imagem 403 é A3, a matriz de parâmetros de transformação conectada correspondente à imagem 402 é A2, e a matriz de parâmetros de transformação conectada correspondente à imagem 401 é Al, o valor de Inv (Al x A2 x A3) é obtido, e a imagem composta das imagens 401 e 402 é submetida a transformação conectada usando a matriz Inv (Al x A2 x A3). Na imagem mostrada na parte (c) da Figura 8, somente a posição da 5 imagem composta da imagem 401 e da imagem 402 é transformada. A imagem 403 correspondente ao quadro atual é escrita de modo a superpor a imagem composta submetida a transformação conectada das imagens 401 e 402. Notar que uma imagem composta gerada escrevendo a imagem 403 sobre as imagens 401 e 402 é a mesma que a imagem composta mostrada na 10 parte (c) da Figura 7, e conseqüentemente uma descrição desta é omitida aqui.
A seguir, é descrito o caso no qual, no instante de captura de uma imagem usando uma câmera, embora a direção da lente da câmera permaneça inalterada, a magnificação é mudada.
Figura 9 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera. Na Figura 9, os diagramas mostram imagens 421 a 423 correspondentes a quadros consecutivos incluídos na imagem móvel, no caso em que a imagem de uma pessoa 420 com uma montanha no segundo plano foi capturada. Neste exemplo, é ilustrado o caso em que um fotógrafo está capturando a imagem enquanto aumenta a magnificação da lente da câmera. Neste caso, a pessoa 420 incluída na imagem móvel capturada pela câmera toma-se gradualmente maior em imagens constituindo a imagem móvel. Notar que uma descrição deste exemplo não leva em consideração o movimento da posição da câmera, então a posição da câmera pode se mover levemente em um instante de aumentar a magnificação.
Figura 10 inclui diagramas nos quais, em imagens individuais mostradas na Figura 9, uma imagem correspondente ao quadro imediatamente precedente é indicada por linhas interrompidas e, adicionalmente, fluxos ópticos típicos detectados são mostrados. A imagem 421 mostrada na parte (a) da Figura 10 é a mesma da imagem 421 mostrada na parte (a) da Figura 9. Também, porções indicadas por linhas sólidas na imagem 422 mostradas na parte (b) da Figura 10 são as mesmas da imagem 422 mostradas na parte (b) da Figura 9, e porções indicadas por linhas interrompidas na imagem 422 5 mostradas na parte (b) da Figura 10 são as mesmas que porções indicadas por linhas sólidas na imagem 421 mostrada na parte (a) da Figura 9. Também, setas 424 a 426 na imagem 422 mostrada na parte (b) da Figura 10 ilustram fluxos ópticos típicos detectados na imagem 422. Similarmente, porções indicadas por linhas sólidas na imagem 423 mostrada na parte (c) da Figura 10 10 são as mesmas que a imagem 423 mostrada na parte (c) da Figura 9, e porção s indicadas por linhas interrompidas na imagem 423 mostrada na parte
(c) da Figura 10 são as mesmas que as porções indicadas pelas linhas sólidas na imagem 422 mostrada na parte (b) da Figura 9. Também, setas 427 a 429 na imagem 423 mostrada na parte (c) da Figura 10 ilustram fluxos ópticos típicos detectados na imagem 423.
Conforme mostrado nas parte (b) e (c) da Figura 10, os tamanhos da pessoa 420 e a montanha no segundo plano, que estão incluídos na imagem, mudam à medida que a magnificação muda. Com base nos fluxos ópticos detectados a partir desta mudança, parâmetros de transformação conectada podem ser obtidos em uma base de quadro a quadro.
Figura 11 inclui diagramas mostrando um exemplo de visualização no caso em que uma imagem móvel incluindo imagens 421 a 423 mostradas na Figura 9 é reproduzida.
Conforme mostrado na parte (a) da Figura 11, primeiramente, 25 apenas a imagem 421 correspondente ao cabeçalho principal é exibida. Então, quando a imagem 422 correspondente ao próximo quadro deve ser exibida, a imagem 422 é submetida a transformação conectada, usando parâmetros de transformação conectada associados a este quadro. Na imagem mostrada na parte (b) da Figura 11 somente o tamanho da imagem 422 é transformado. A imagem 422, que foi submetida a transformação conectada usando os parâmetros de transformação conectada, é escrita de modo a se superpor à imagem 421 correspondente ao quadro imediatamente precedente. Isto é, dentro da região da imagem 421, uma imagem da imagem 422 é escrita sobre 5 uma região superpondo a imagem 422. Neste caso, uma vez que a imagem
421 se superpõe a região da imagem 422, a imagem inteira da imagem 422 é escrita sobre a imagem 421. Também, dentro da região da imagem 421, uma imagem da imagem 421 é combinada em uma região 431 que não se superpõe à imagem 422. Isto é, quando a imagem 422 correspondente ao segundo 10 quadros deve ser exibida, conforme mostrado na parte (b) da Figura 11, uma imagem composta gerada combinando a porção inteira da imagem 422 e uma porção da imagem 421 correspondente à região 431, é exibida. Também, uma margem de imagem indicando que esta é a última imagem entre imagens exibidas, pode ser exibida em tomo da imagem correspondente ao quadro 15 atual. Na parte (b) da Figura 11, uma margem de imagem é exibida em tomo da imagem 422. Também, os parâmetros de transformação conectada usados para submeter a transformada conectada a imagem 422 são mantidos na unidade de transformação de imagem 160.
Então, quando a imagem 423 correspondente ao próximo 20 quadro deve ser visualizada, a imagem 423 é submetida a transformação conectada usando parâmetros de transformação conectada associados a este quadro. Isto é, a imagem 423 é submetida a transformação conectada usando parâmetros de transformação conectada obtidos usando uma matriz de parâmetros de transformação conectada correspondendo à imagem 423 e a 25 matriz dos parâmetros de transformação conectada correspondendo à imagem 422, que são usadas na transformação conectada imediatamente precedente. Na imagem mostrada na parte (11) da Figura 11, apenas o tamanho da imagem 423 é transformado. A imagem 423 submetida a transformação conectada é escrita de modo a se superpor a uma imagem composta das imagens 421 e 422, correspondentes aos quadros precedentes. Isto é, dentro da região da imagem composta das imagens 421 e 422, uma imagem da imagem 423 é escrita sobre uma região superpondo a imagem 423. Neste caso, uma vez que a imagem 423 se superpõe às regiões inteiras das imagens 5 421 e 422, a imagem inteira da imagem 423 é escrita sobre a imagem composta das imagens 421 e 422. Também, dentro da região da imagem composta das imagens 421 e 422, a imagem composta das imagens 421 e 422 é combinada nas regiões 432 e 433 que não se superpõem à imagem 423. Isto é, quando a imagem 423 correspondente ao terceiro quadro deve ser exibida, 10 conforme mostrado na parte (11) da Figura 11, uma imagem composta gerada combinando a porção inteira da imagem 423, a porção da imagem 421 correspondente à região 432 e uma porção da imagem 422 correspondente à região 433 é exibida. Também, quando uma margem de imagem indicando que esta é a última imagem dentre imagens exibidas deve ser visualizada em 15 tomo da imagem correspondente ao quadro atual, a margem da imagem é exibida em tomo da imagem 423 mostrada na parte (11) da Figura 11. Também, os parâmetros de transformação conectada usados para submeter a transformação conectada a imagem 423 são mantidos na unidade de transformação de imagem 160. Isto é, os parâmetros de transformação 20 conectada obtidos usando os parâmetros de transformação conectada correspondentes às imagens 422 e 423, respectivamente, são mantidos na unidade de transformação de imagem 160.
Figura 12 inclui diagramas mostrando um exemplo de visualização no caso em que a imagem móvel incluindo as imagens 421 a 423 25 mostradas na Figura 9 é reproduzida. A diferença entre os exemplos de visualização mostrados na Figura Ile Figura 12 é similar à diferença entre os exemplos de visualização mostrados na Figura 7 e Figura 8. Embora uma imagem exibida em uma posição fixa e uma imagem a ser submetida a transformação conectada sejam diferentes, outras porções são comuns. Portanto, as porções comuns a aquelas na Figura 11 recebem numerais de referência comuns e são descritas.
Conforme mostrado na parte (a) da Figura 12, primeiramente, apenas a imagem 421 correspondente ao quadro principal é visualizada.
Então, quando a imagem 422 correspondente ao próximo quadro deve ser exibida, a imagem 421, que é a imagem imediatamente precedente, é submetida a transformação conectada usando parâmetros de transformação conectada associados a este quadro, em uma direção oposta à dos parâmetros de transformação conectada. Na imagem mostrada na parte (b) da Figura 12, 10 somente o tamanho da imagem 421 é transformado. A imagem 422 correspondente ao quadro corrente é escrita de modo a se superpor à imagem
421 submetida a transformação conectada. Notar que, embora uma imagem composta gerada escrevendo a imagem 422 sobre a imagem 421 tenha um tamanho diferente da imagem composta mostrada na parte (b) da Figura 11,
outros pontos são os mesmos daqueles da imagem composta mostrada na parte (b) da Figura 11, e conseqüentemente, uma descrição destes é omitida aqui.
Então, quando a imagem 423 correspondente ao próximo quadro deve ser exibida, usando parâmetros de transformação conectada associados a este quadro, uma imagem composta da imagem 421 e da imagem
422 correspondentes aos quadros precedentes é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada. Na imagem mostrada na parte (c) da Figura 12, somente o tamanho da imagem composta da imagem 421 e imagem 422 é transformado.
A imagem 423 correspondente ao quadro atual é escrita de modo a se superpor à imagem composta submetida a transformação conectada das imagens 421 e 422. Notar que embora uma imagem composta gerada escrevendo a imagem 423 sobre a imagem composta das imagens 421 e 422 tenham um tamanho diferente da imagem composta mostrada na parte (11) da Figura 11, outros pontos são os mesmos daqueles da imagem composta mostrada na parte (11) da Figura 11, e conseqüentemente, uma descrição desta é omitida aqui.
A seguir, será descrito o caso no qual, no instante de captura 5 de uma imagem usando uma câmera, embora a direção da lente e a magnificação da câmera permaneçam inalteradas, a câmera é girada em tomo da direção de captura de imagem servindo como centro de rotação.
Figura 13 inclui diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera. Na Figura 13, os 10 diagramas mostram imagens 441 a 443 correspondentes a quadros consecutivos incluídos na imagem móvel, no caso em que a imagem de uma pessoa 440 com uma montanha no segundo plano tenha sido capturada. Neste exemplo, é ilustrado o caso em que um fotógrafo está capturando a imagem enquanto gira a câmera em tomo da direção de captura de imagem, servindo 15 como o centro de rotação. Neste caso, a pessoa 440 incluída na imagem móvel capturada pela câmera gira imagens constituindo a imagem móvel. Notar que uma descrição deste exemplo não leva em consideração o movimento da posição da câmera, embora a posição da câmera possa se mover ligeiramente devido à rotação da câmera.
Figura 14 inclui diagramas nos quais, em imagens individuais
mostradas na Figura 13, uma imagem correspondente ao quadro imediatamente anterior é indicada por linhas interrompidas, e adicionalmente são mostrados fluxos ópticos típicos detectados. A imagem 441 mostrada na parte (a) da Figura 14 é a mesma que a imagem 441 mostrada na parte (a) da 25 Figura 13. Também, porções indicadas por linhas sólidas na imagem 442 mostrada na parte (b) da Figura 14 são as mesmas que a imagem 442 mostrada na parte (b) da Figura 13, e porções indicadas por linhas interrompidas na imagem 442 mostradas na parte (b) da Figura 14 são as mesmas que as porções indicadas por linhas sólidas na imagem 441 mostrada na parte (a) da Figura 13. Também, setas 444 a 446 na imagem 442 mostradas na parte (b) da Figura 14, ilustram fluxos ópticos típicos detectados da imagem 442. Similarmente, porções indicadas por linhas sólidas na imagem 443 mostrada na parte (c) da Figura 14 são as mesmas da imagem 443 5 mostrada na parte (c) da Figura 13, e porções indicadas por linhas interrompidas na imagem 443 mostradas na parte (c) da Figura 14 são as mesmas das porções indicadas por linhas sólidas na imagem 442 mostrada na parte (b) da Figura 13. Também, setas 447 a 449 na imagem 443 mostrada na parte (c) da Figura 14 ilustram fluxos ópticos típicos detectados na imagem 10 443.
Conforme mostrado nas partes (b) e (c) da Figura 14, a pessoa 440 e a montanha no segundo plano, que são incluídas na imagem, giram de acordo com a rotação da câmera. Com base nos fluxos ópticos detectados a partir deste movimento de rotação, parâmetros de transformação conectada podem ser obtidos em uma base de quadro.
Figura 15 inclui diagramas mostrando um exemplo de visualização no caso em que uma imagem móvel incluindo imagens 441 a 443 mostradas na Figura 13 é reproduzida.
Conforme mostrado na parte (a) da Figura 15 primeiramente, 20 apenas a imagem 441 correspondente ao quadro principal é visualizada. Então, quando a imagem 442 correspondente ao próximo quadro deve ser exibida, a imagem 442 é submetida a transformação conectada usando parâmetros de transformação conectada associados a este quadro. Na imagem mostrada na parte (b) da Figura 15 somente o ângulo da imagem 442 é 25 transformado. A imagem 442 submetida a transformação conectada é escrita de modo a se superpor à imagem 441 correspondente ao quadro imediatamente precedente. Isto é, dentro da região da imagem 441, uma imagem da imagem 442 é escrita sobre uma região 450 superpondo a imagem 442. Também, dentro da região da imagem 441, uma imagem da imagem 441 é combinada em regiões 451 e 452 que não se superpõem à imagem 442. Isto é, quando a imagem 442 correspondente ao segundo quadro deve ser exibida, conforme mostrado na parte (b) da Figura 15, uma imagem composta gerada combinando a porção inteira da imagem 442 e uma porção da imagem 441 5 correspondente às regiões 451 e 452 é exibida. Também, uma margem de imagem indicando que esta é a última imagem dentro de imagens exibidas, pode ser visualizada em tomo da imagem correspondente ao quadro atual. Na parte (b) da Figura 15, uma margem de imagem é exibida em tomo da imagem 442. Também, os parâmetros de transformação conectada usados 10 para submeter a imagem 442 a transformação conectada são mantidos na unidade de transformação de imagem 160.
Então, quando a imagem 443 correspondente ao próximo quadro deve ser exibida, a imagem 443 é submetida a transformação conectada usando parâmetros de transformação conectada associados a este 15 quadro. Isto é, a imagem 443 é submetida a transformação conectada usando parâmetros de transformação conectada obtidos usando uma matriz de parâmetros de transformação conectada correspondente à imagem 443 e a matriz de parâmetros de transformação conectada correspondente à imagem
442, que são usadas na transformação conectada imediatamente precedente. 20 Na imagem móvel mostrada na parte (c) da Figura 15, somente o ângulo da imagem 443 é transformado. A imagem 443 submetida a transformação conectada é escrita de modo a se superpor a uma imagem composta das imagens 441 e 442 correspondentes aos quadros precedentes. Isto é, dentro da região da imagem composta das imagens 441 e 442, uma imagem da imagem 25 443 é escrita sobre regiões 453 a 457 superpondo-se à imagem 443. Também, dentro da região da imagem composta das imagens 441 e 442, a imagem composta das imagens 441 e 442 é adicionalmente combinada em regiões 458 a 461 que não se superpõem à imagem 443. Isto é, quando a imagem 443 correspondente ao terceiro quadro deve ser visualizada, conforme mostrado na parte (c) da Figura 15, uma imagem composta gerada combinando a porção inteira da imagem 443, a porção da imagem 441 correspondente à região 459 e uma porção da imagem 442 correspondente às regiões 458 e 460, é visualizada. Também, quando uma margem de imagem indicando que esta é 5 a última imagem dentre imagens exibidas, deve ser visualizada em tomo da imagem correspondente ao quadro atual, a margem de imagem é exibida em tomo da imagem 443 mostrada na parte (c) da Figura 15. Também, os parâmetros de transformação conectada usados para transformação conectada da imagem 443 são mantidos na unidade de transformação de imagem 160. 10 Isto é, os parâmetros de transformação conectada obtidos usando os parâmetros de transformação conectada correspondentes às imagens 442 e
443, respectivamente, são mantidos na unidade de transformação de imagem 160.
Figura 16 inclui diagramas mostrando um exemplo de 15 visualização no caso em que a imagem móvel incluindo as imagens 441 a 443 mostradas na Figura 13 é reproduzida. A diferença entre os exemplos de visualização mostrados na Figura 15 e na Figura 16 é similar à diferença entre os exemplos de visualização mostrados na Figura 7 e na Figura 8. embora uma imagem exibida em uma posição fixa e uma imagem a ser submetida a 20 transformação conectada sejam diferentes, outras porções são comuns. Portanto, as porções comuns às da Figura 15 recebem numerais de referência comum e são descritas.
Conforme mostrado na parte (a) da Figura 16, primeiramente, somente a imagem 441 correspondente ao quadro principal é exibida. Então, 25 quando a imagem 442 correspondente ao próximo quadro deve ser exibida, a imagem 441, que é a imagem imediatamente precedente, é submetida a transformação conectada usando parâmetros de transformação conectada associados a este quadro, em uma direção oposta à dos parâmetros de transformação conectada. Na imagem mostrada na parte (b) da Figura 16, somente o ângulo da imagem 441 é transformado. A imagem 442 correspondente ao quadro atual é escrita de modo a se superpor à imagem 441 submetida a transformação conectada. Notar que, embora uma imagem composta gerada escrevendo a imagem 442 sobre a imagem 441, tem um ângulo diferente da imagem composta mostrada na parte (b) da Figura 15, outros pontos são os mesmos daqueles da imagem composta mostrada na parte (b) da Figura 15, e conseqüentemente, uma descrição desta é omitida aqui.
Então, quando a imagem 443 correspondente ao próximo quadro deve ser exibida, usando parâmetros de transformação conectada associados a este quadro, uma imagem composta da imagem 441 e da imagem 442 correspondente aos quadros precedentes é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada. Na imagem mostrada na parte (c) da Figura 16, somente o ângulo da imagem composta da imagem 441 e da imagem 442 é transformado. A imagem 443 correspondente ao quadro atual é escrita de modo a se superpor à imagem submetida a transformação conectada das imagens 441 e 442. Notar que, embora uma imagem composta gerada escrevendo a imagem 443 sobre as imagens 441 e 442 possuem um ângulo diferente da imagem composta mostrada na parte (c) da Figura 15, outros pontos são os mesmos daqueles da imagem composta mostrada na parte (c) da Figura 15, e conseqüentemente, uma descrição destes é omitida aqui.
Os casos em que a posição, magnificação e ângulo de cada uma das imagens constituindo a imagem móvel são seqüencialmente ligados, foram descritos acima. Entretanto, a realização é similarmente aplicável ao caso em que estas mudanças são combinadas.
A seguir, um exemplo de visualização no caso em que uma imagem móvel realmente capturada por uma câmera é reproduzido, será ilustrado. Em um exemplo de visualização ilustrado abaixo, dentro de uma região de visualização da unidade de visualização 191, uma imagem composta é exibida somente em uma região em que imagens correspondentes ao quadro atual e os quadros precedentes são exibidos, e a outra região é mostrada em preto. Também, uma margem é exibida em tomo da imagem correspondente ao quadro atual. Ainda mais, no exemplo de visualização ilustrado abaixo, um exemplo de visualização no qual uma imagem móvel é reproduzida a partir do meio, será ilustrado.
Figura 17 a Figura 24 incluem diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera. Figura 17 e Figura 18 são diagramas mostrando imagens 500 a 505 constituindo uma imagem móvel no caso em que a imagem de um pai e de um filho brincando em um playground dentro de um apartamento foi capturada enquanto se movia a câmera. Neste exemplo, é ilustrado o caso em que uma imagem correspondente ao quadro atual é submetida a transformação conectada, e a imagem submetida a transformação conectada é escrita sobre uma imagem composta correspondente a quadros precedentes individuais.
Nas imagens 500 a 505 mostradas na Figura 17 e na Figura 18, imagens correspondentes ao quadro atual são imagens 506 a 511. Também, imagens compostas que são imagens geradas pela combinação em correspondência com os quadros individuais precedentes, são imagens 512 a 517. Conforme mostrado na Figura 17 e na Figura 18, um alvo sendo capturado (o playground dentro do apartamento ou similar) incluído na imagem capturada, é fixado na tela, e as imagens 506 a 511 correspondentes ao quadro atual se movem na tela de acordo com o movimento da câmera. Exibindo as imagens desta maneira, as imagens podem ser mostradas a um espectador de uma maneira como se a imagem correspondente ao quadro atual estivesse avançando, em uma região de visualização exibida em preto na unidade de visualização 191, de acordo com o movimento da câmera.
Figura 19 e Figura 20 são diagramas mostrando imagens 520 a 525 correspondendo a quadros constituindo uma imagem móvel no caso em que a imagem de um pai e um filho brincando em um playground em um apartamento foram capturadas enquanto se efetuada uma operação de aproximação. Neste exemplo, será ilustrado o caso em que uma imagem correspondente ao quadro atual é submetida a transformação conectada, a imagem submetida a transformação conectada é escrita sobre uma imagem composta correspondendo a quadros precedentes individuais.
Nas imagens 520 a 525 mostradas na Figura 19 e na Figura 20, imagens correspondentes ao quadro atual são imagens 526 a 531. Também, imagens compostas que são imagens geradas pela combinação em correspondência com os quadros individuais precedentes, são imagens 532 a 537. Conforme mostrado na Figura 19 e na Figura 20, um alvo sendo capturado (o playground dentro do apartamento ou similar) incluído na imagem capturada é fixado na tela, e as imagens 526 a 531 correspondendo ao quadro atual se move na tela de acordo com o movimento da câmera. Visualizando as imagens desta maneira, o espectador pode reconhecer facilmente uma pessoa servindo como alvo de aproximação no espaço inteiro.
Conforme acima, nos exemplos de visualização mostrados na Figura 17 a Figura 20, imagens correspondentes ao quadro atual se movem em um visor enquanto envolvem aumento/redução de tamanho, pelo qual uma imagem larga é gerada. Também, em imagens compostas geradas seqüencialmente, apenas um objeto incluído em uma imagem correspondente ao quadro atual se move, e em porções fora da imagem correspondente ao quadro atual, objetos que foram exibidos no passado são exibidos em um estado parado.
Figura 21 e Figura 22 são diagramas mostrando imagens 540 a 545 correspondendo a quadros constituindo uma imagem móvel no caso em que a imagem de um pai e um filho brincando em um playground dentro de um apartamento, foi capturada enquanto a câmera era movida. Neste exemplo, será ilustrado o caso em que uma imagem composta correspondente a quadros precedentes individuais é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada, e a imagem correspondente ao quadro atual é escrita sobre a imagem composta submetida 5 a transformação conectada.
Nas imagens 540 a 545 mostradas nas Figuras 21 e 22, imagens correspondendo ao quadro atual são imagens 546 a 551. Também, imagens compostas que são imagens geradas pela combinação em correspondência com os quadros individuais precedentes, são imagens 552 a 10 557. Conforme mostrado na Figura 21 e na Figura 22, as imagens 546 a 551 correspondendo ao quadro atual são fixas na tela, e dentre alvos sendo capturados (o playground dentro do apartamento ou similar), que estão incluídos na imagem capturada, imagens diferentes daquelas correspondentes ao quadro atual se movem na tela de acordo com o movimento da câmera. 15 Exibindo as imagens desta maneira, as imagens podem ser mostradas a um espectador de uma maneira como se a imagem composta correspondentes aos quadros precedentes estivessem avançando, em uma região de visualização exibida em preto na unidade de extração de ponto de característica 121, de acordo com o movimento da câmera. Isto é, a imagem composta 20 correspondente aos quadros precedentes pode ser exibida de uma maneira como se a imagem composta estivesse avançando em uma direção oposta a aquela mostrada na Figura 17 e na Figura 18.
Figura 23 e Figura 24 são diagramas mostrando imagens 560 a 565 correspondendo a quadros constituindo uma imagem móvel no caso em 25 que a imagem de um pai e um filho brincando em um playground dentro de um apartamento tenha sido capturada enquanto se efetuava uma operação de aproximação. Neste exemplo, será ilustrado o caso em que uma imagem composta correspondente a quadros precedentes individuais é submetida a transformação conectada em uma direção oposta a aquela dos parâmetros de transformação conectada, e a imagem correspondente ao quadro atual é escrita sobre a imagem composta submetida a transformação conectada.
Nas imagens 560 a 565 mostradas na Figura 23 e Figura 24, imagens correspondentes ao quadro atual são imagens 566 a 571. Também, imagens compostas que são imagens geradas pela combinação em correspondência com os quadros individuais precedentes, são imagens 572 a 577. Conforme mostrado na Figura 23 e na Figura 24, as imagens 566 a 571 correspondendo ao quadro atual são fixadas na tela e, dentre alvos sendo capturados (o playground com o apartamento ou similar) que estão incluídas na imagem capturada, imagens diferentes daquelas correspondentes ao quadro atual se movem na tela de acordo com o movimento da câmera. Exibindo as imagens de tal maneira, uma pessoa servindo como um alvo de aproximação pode ser gradualmente aumentada em tamanho, de acordo com a aproximação e, conseqüentemente, o espectador pode reconhecer facilmente a pessoa no espaço inteiro.
Conforme acima, nos exemplos de visualização mostrados na Figura 21a Figura 24, a imagem correspondente ao quadro atual é fixada em uma posição fixa, e imagens periféricas em tomo da imagem correspondendo ao quadro atual se movem em um visor enquanto envolvem aumento/redução 20 de tamanho, deste modo uma imagem larga é gerada. Também, em imagens compostas geradas seqüencialmente, somente um objeto incluído na imagem correspondente ao quadro atual se move e, em porções fora da imagem correspondente ao quadro atual, objetos que foram exibidos no passados são exibidos em um estado parado onde os objetos se movem como um todo.
A seguir, a operação do aparelho de processamento de imagem
100 na realização da presente invenção será descrita com referência aos desenhos.
Figura 25 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado pelo aparelho de processamento de imagem 100 na realização da presente invenção. Neste procedimento de processamento, será ilustrado um exemplo no qual uma imagem correspondente ao quadro atual é submetida a transformação conectada, a imagem submetida a transformação conectada é 5 escrita sobre uma imagem composta correspondente a quadros precedentes individuais.
Primeiramente, um meio de armazenagem temporária de trabalho maior que o tamanho das imagens constituindo uma imagem móvel, é mantido na memória de imagem 170 (etapa S921). Então, um arquivo de 10 imagem móvel é obtido a partir da unidade de armazenagem de imagem móvel 200 (etapa S922). Então, o arquivo de imagem móvel obtido é decodificado, e o quadro atual, que é um quadro, é obtido (etapa S923).
Então, parâmetros de transformação conectada correspondentes ao quadro atual obtido são extraídos do arquivo de imagem 15 móvel (etapa S924). Aqui, quando o quadro atual é o quadro principal, parâmetros de transformação conectada de uma matriz identidade são extraídos. Então, a imagem correspondente ao quadro atual é submetida a transformação conectada usando os parâmetros de transformação conectada obtidos (etapa S925). Aqui, quando o quadro atual é o quadro principal, uma 20 transformação conectada é executada usando os parâmetros de transformação conectada da matriz identidade. Portanto, a imagem real não é transformada. Então, a imagem submetida a transformação conectada correspondente ao quadro atual é escrita sobre e combinada com uma imagem composta de imagens individuais correspondentes a quadros precedendo o quadro atual, e 25 uma imagem composta combinada com imagem correspondente ao quadro atual é salva na memória de imagem 170 (etapa S926). Aqui, quando o quadro atual é o quadro principal, a imagem correspondente ao quadro principal é salva na memória de imagem 170. Então, na imagem composta combinada na etapa S926 como a imagem correspondente ao quadro atual, é exibida na unidade de visualização 191 (etapa S927). Aqui, quando o quadro atual é o quadro principal, a imagem correspondente ao quadro principal é exibida na unidade de visualização 191.
Então, é determinado se dentre quadros constituindo o arquivo 5 de imagem móvel de entrada o quadro atual é ou não o último quadro (etapa S928). Quando o quadro atual não é o último quadro (etapa S928), o fluxo retoma à etapa S923, e o processo de visualização de imagem composta é repetido (etapas S923 a S927).
Em contraste, quando o quadro atual é o último quadro (etapa S928), o meio de armazenagem temporária de trabalho mantido é liberado (etapa S929), e o processo de reprodução de imagem móvel é terminado.
Figura 26 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado pelo aparelho de processamento de imagem 100 na realização da presente 15 invenção. Neste procedimento de processamento, será ilustrado um exemplo no qual uma imagem composta correspondente a quadros individuais precedendo o quadro atual é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada, e a imagem correspondente ao quadro atual é escrita sobre a imagem composta submetida 20 a transformação conectada. Notar que, no procedimento de processamento mostrado na Figura 26, uma vez que as etapas S921 a S924 e as etapas S927 a S929 são similares ao procedimento de processamento mostrado na Figura 25, descrições destas são omitidas aqui.
Parâmetros de transformação conectada correspondentes ao 25 quadro atual obtido na etapa S923 são extraídos do arquivo de imagem móvel (etapa S924). Então, usando os parâmetros de transformação conectada obtidos, uma imagem composta correspondente a quadros individuais precedendo o quadro atual, que é salva na memória de imagem 170, é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada (etapa S941). Aqui, quando o quadro atual é o quadro principal, uma vez que não há imagem composta salva na memória de imagem 170, a imagem não é transformada. Então, a imagem correspondente ao quadro atual é escrita sobre e combinada com a imagem 5 composta submetida a transformação conectada, e uma imagem composta combinada com a imagem correspondente ao quadro atual é salva na memória de imagem 170 (etapa S942). Aqui, quando o quadro atual é o quadro principal, a imagem correspondente ao quadro principal é salva na memória de imagem 170. Então, a imagem composta combinada com a imagem 10 correspondente ao quadro atual na etapa S942 é exibida na unidade de visualização 191 (etapa S927).
É descrito o caso em que uma imagem composta é gerada aplicando uma técnica relacionada conectada a uma imagem correspondente ao quadro atual ou o caso em que uma imagem composta é gerada aplicando 15 uma transformação conectada a uma imagem composta correspondente a quadros precedentes individuais, em uma direção oposta a aquela dos parâmetros de transformação conectada. Entretanto, uma imagem composta pode ser gerada aplicando uma transformação conectada à imagem correspondente ao quadro atual, e aplicando adicionalmente uma 20 transformação conectada à imagem composta correspondente aos quadros precedentes individuais em uma direção oposta à dos parâmetros de transformação conectada. Aqui, será descrito um detalhe, com referência aos desenhos, um exemplo no qual parâmetros de transformação conectada são separados em elementos relacionados a aumento/redução (componentes de 25 zoom) e elementos diferentes de aumento/redução (elementos relacionados a movimento ou rotação); e uma transformação conectada é aplicada, usando os elementos relacionados a aumento/redução, para uma imagem composta correspondente a quadros precedentes individuais em uma direção oposta à dos parâmetros de transformação conectada, entrada uma transformação conectada é aplicada, usando os elementos relacionados ao movimento ou rotação, a uma imagem correspondente ao quadro atual, onde uma imagem composta é gerada.
Figura 27 é um fluxograma mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado pelo aparelho de processamento de imagem 100 na realização da presente invenção. Neste procedimento de processamento, será ilustrado um exemplo no qual uma imagem correspondente ao quadro atual é submetida a transformação conectada usando elementos relacionados a movimento ou rotação, e adicionalmente, uma imagem composta correspondente a quadros precedentes individuais é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada, usando elementos relacionados a aumento/redução pelos quais a imagem submetida a transformação conectada correspondente ao quadro atual é escrita sobre a imagem composta submetida a transformação conectada. Notar que, no procedimento de processamento mostrado na Figura 27, uma vez que as etapas S921 a S924 e as etapas S927 a S929 são similares ao procedimento mostrado na Figura 25, descrições destas são omitidas aqui.
Parâmetros de transformação conectada correspondentes ao 20 quadro atual, obtidos na etapa S923 são extraídos do arquivo de imagem móvel (etapa S924). Então, a partir de elementos individuais dos parâmetros de transformação conectada obtidos, elementos relacionados a aumento/redução são separados (etapa S951). Então, usando os elementos separados relativos a aumento/redução, uma imagem composta 25 correspondente a quadros individuais precedendo ao quadro individual, que é salva na memória de imagem 170, é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada (etapa S952). Aqui, quando o quadro atual é o quadro principal, uma vez que não há imagem composta salva na memória de imagem 170, a imagem não é transformada. Então, usando os elementos separados relativos a movimento ou rotação, a imagem correspondente ao quadro atual é submetida a transformação conectada (etapa S953). Aqui, quando o quadro atual é o quadro principal, uma transformação conectada é executada usando os parâmetros de transformação conectada da matriz identidade. Portanto, a imagem real não é transformada.
Então, a imagem submetida a transformação conectada correspondente ao quadro atual é escrita sobre e combinada com a imagem composta submetida a transformação conectada, e uma imagem composta combinada com a imagem correspondente ao quadro atual é salva na memória de imagem 170. Então, a imagem composta combinada com a imagem correspondente ao quadro atual na etapa S954 é exibida na unidade de visualização 191 (etapa S927).
A seguir, será ilustrado um exemplo de visualização no caso em que, com o procedimento de processamento do processo de reprodução de imagem móvel mostrado na Figura 27, uma imagem móvel realmente capturada por uma câmera é reproduzida.
Figura 28 a Figura 31 incluem diagramas mostrando um exemplo de transição em uma imagem móvel disparada por uma câmera. Figura 28 e Figura 29 são diagramas mostrando imagens 580 a 585 constituindo uma imagem móvel no caso em que a imagem de um pai e uma criança brincando em um playground dentro de um apartamento tenha sido capturada enquanto a câmera se movia. Notar que o caso em que nenhuma operação de zoom é executada é mostrado nas Figuras 28 e 29.
Nas imagens 580 a 585 mostradas na Figura 28 e Figura 29, imagens correspondentes ao quadro atual são imagens 586 a 591. Também, imagens compostas que são imagens geradas pela combinação em correspondência com os quadros individuais precedentes, são imagens 592 a 597. Conforme mostrado na Figura 28 e Figura 29, um alvo sendo capturado (o playground dentro do apartamento ou similar) incluído na imagem capturada, é fixado na tela, e as imagens 586 a 591 correspondentes ao quadro atual se movem na tela de acordo com o movimento da câmera. Aqui, uma vez que as imagens 580 a 585 mostradas na Figura 28 e Figura 29 são 5 imagens capturadas nas quais nenhuma operação de aproximação tenha sido efetuada, parâmetros de transformação conectada dificilmente contém elementos relativos a aumento/redução. Portanto, exemplos de visualização na Figura 29 e Figura 29 são substancialmente os mesmos daqueles mostrados na Figura 17 e Figura 18.
Figura 30 e Figura 31 são diagramas mostrando imagens 600 a
605 correspondentes a quadros constituindo uma imagem móvel no caso em que a imagem de um pai e uma criança brincando em um playground dentro de um apartamento foi capturada enquanto se efetuava uma operação de aproximação.
Nas imagens 600 a 605 mostradas na Figura 30 e Figura 31,
imagens correspondentes ao quadro atual são imagens 606 a 611. Também, imagens compostas que são imagens geradas pela combinação em correspondência com os quadros individuais precedentes, são imagens 612 a 617. Conforme mostrado na Figura 30 e Figura 31, as imagens 612a617de 20 um alvo sendo capturado (o playground dentro do apartamento ou similar) incluídas na imagem capturadas são aumentadas de acordo com o movimento de aproximação da câmera, e as imagens 606 a 611 correspondentes ao quadro atual permanecem do mesmo tamanho e se movem na tela de acordo com o movimento da câmera. Isto é, à medida que imagens periféricas são 25 gradualmente aumentadas, as imagens 606 a 611 correspondentes ao quadro atual se movem. Exibindo as imagens desta maneira, vários estilos de visualização podem ser providos a um espectador.
O exemplo em que parâmetros de transformação conectada são gravados em um arquivo de imagem móvel foi descrito acima. Entretanto, parâmetros de transformação conectada podem ser gravados como informação que os acompanham (por exemplo, metadados) em um formato diferente daquele de um arquivo de imagem móvel para cada uma dos quadros constituindo uma imagem móvel. Posteriormente, um exemplo em que parâmetros de transformação conectada são gravados em um arquivo de metadados como informação que os acompanha em um formato diferente daquele de um arquivo de imagem móvel, será descrito em detalhe abaixo, com referência aos desenhos.
Figura 32 é um diagrama em blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 650 em uma realização da presente invenção. Aqui, o aparelho de processamento de imagem 650 é um aparelho obtido modificando parte do aparelho de processamento de imagem 100 mostrado na Figura I. O aparelho de processamento de imagem 650 é um aparelho de processamento de imagem no qual, ao invés da unidade de controle de gravação 130, unidade de armazenagem de imagem móvel 200, unidade de obtenção de imagem móvel 140 e unidade de extração de parâmetro de trabalho de câmera 150 do aparelho de processamento de imagem 100, uma unidade de controle de gravação 651, uma unidade de armazenagem de imagem móvel 660, uma unidade de armazenagem de metadados 670 e uma unidade de obtenção de arquivo 652 são providas. Notar que estruturas diferentes da unidade de controle de gravação 651, unidade de armazenagem de imagem móvel 660, unidade de armazenagem de metadados 670 e unidade de obtenção de arquivo 652 são similares às do aparelho de processamento de imagem 100 mostrado na Figura 1, e conseqüentemente, descrições destas outras estruturas são omitidas.
A unidade de controle de gravação 651 é configurada para gravar uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 como um arquivo de imagem móvel na unidade de armazenagem de imagem móvel 660, e adicionalmente para gravar parâmetros de transformação conectada emitidos a partir da unidade de cálculo de parâmetro de trabalho de câmera 123, em associação com uma imagem móvel correspondente e um quadro, como um arquivo de metadados na unidade de 5 armazenagem de metadados 670.
A unidade de armazenagem de imagem móvel 660 é configurada para armazenar uma imagem móvel emitida a partir da unidade de entrada de imagem móvel 110 como um arquivo de imagem móvel. Também, a unidade de armazenagem de imagem móvel 660 fornece um 10 arquivo de imagem móvel à unidade de obtenção de arquivo 652 em resposta a uma requisição da unidade de obtenção de arquivo 652. Notar que um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 será descrito em detalhe com referência à Figura 33.
A unidade de armazenagem de metadados 670 é configurada 15 para armazenar parâmetros de transformação conectada emitidos a partir da unidade de cálculo de parâmetro de trabalho de câmera 123 como um arquivo de metadados. Também, a unidade de armazenagem de metadados 670 fornece um arquivo de metadados à unidade de obtenção de arquivo 652 em resposta a uma requisição a partir da unidade de obtenção de arquivo 652. 20 Notar que um arquivo de metadados armazenado na unidade de armazenagem de metadados 670 será descrito em detalhe com referência à Figura 33.
Em resposta a uma operação inserida a partir da unidade de aceitação de operação 195, que se relaciona a reprodução de uma imagem móvel, a unidade de obtenção de arquivo 652 é configurada para obter um 25 arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 e um arquivo de metadados armazenado, em associação com o arquivo de imagem móvel, na unidade de armazenagem de metadados 670. A unidade de obtenção de arquivo 652 emite uma imagem móvel no arquivo de imagem móvel obtido e parâmetros de transformação conectada no arquivo de metadados para a unidade de transformação de imagem 160, e emite a imagem móvel no arquivo de imagem móvel obtido para a unidade de combinação de imagem 180.
Figura 33 inclui diagramas mostrando esquematicamente 5 arquivos individuais gravados na unidade de armazenagem de imagem móvel 660 e na unidade de armazenagem de metadados 670 na realização da presente invenção. Na parte (a) da Figura 33, são mostrados arquivos de imagem móvel 661 a 663 armazenados na unidade de armazenagem de imagem móvel 660, e arquivos de metadados 671 a 673 armazenados em 10 associação com os arquivos de imagem móvel 661 a 663, na unidade de armazenagem de metadados 670. Aqui, é suposto que um ID de imagem móvel que é uma informação de identificação para identificar cada arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel
660 é dado a cada arquivo de imagem móvel. Por exemplo, “#1” é dado ao arquivo de imagem móvel 661. “#2” é dado ao arquivo de imagem móvel 662; e “#n” é dado ao arquivo de imagem móvel 663.
Na parte (b) da Figura 33, são mostrados esquematicamente o arquivo de imagem móvel 661 armazenado na unidade de armazenagem de imagem móvel 661, e o arquivo de metadados 671 armazenado, em 20 associação com o arquivo de imagem móvel 661, na unidade de armazenagem de metadados 670. Aqui, o arquivo de imagem móvel 661 é um arquivo contendo uma imagem móvel constituída por n quadros, e estes n quadros são indicados como quadro 1 (664) a n (667).
Também, um ID de imagem móvel 674, um número de quadro 675, e parâmetros de transformação conectada 676 são armazenados em associação um com o outro no arquivo de metadados 671.
O ID de imagem móvel 674 é um ID de imagem móvel dado a um arquivo de imagem móvel correspondente. Por exemplo, “#1” dado ao arquivo de imagem móvel 661 é armazenado. O número de quadro 675 é um número serial de cada um dos quadros constituindo uma imagem móvel em um arquivo de imagem móvel correspondente. Por exemplo, “1” a “n” correspondente aos quadros 1 664) a n (667) constituindo a imagem móvel no arquivo de imagem móvel 661, são 5 armazenados.
Os parâmetros de transformação conectada 676 são parâmetros de transformação conectada calculados para cada um dos quadros de uma imagem móvel, o que correspondente ao número de quadro 675. Notar que os parâmetros de transformação conectada 676 “al, bl, cl, dl, el e fl” 10 correspondentes ao número de quadro 675 “1” são parâmetros de transformação conectada de uma matriz de identidade. Também, os parâmetros de transformação conectada 676 “am, bm, cm, dm, em e fm” correspondentes ao número de quadro 675 “m (m é um inteiro maior ou igual a 2)” são parâmetros de transformação conectada correspondentes ao quadro 15 “m-1” que precede imediatamente o quadro “m”.
O caso, no qual, de acordo com reproduzir ou não uma imagem móvel, com a imagem móvel atual correspondente ao quadro atual sendo fixada em uma parte central ou similar da unidade de visualização 191, uma transformação conectada é aplicada à imagem correspondente ao quadro 20 atual e uma imagem composta é gerada, e o caso no qual uma transformação conectada é aplicada a uma imagem composta correspondente a quadros correspondentes individuais em uma direção oposta à dos parâmetros de transformação conectada e uma imagem composta é gerada, foi descrito. Entretanto, transformações conectadas podem ser aplicadas seqüencialmente à 25 imagem atual correspondente ao quadro atual, e uma imagem composta pode ser gerada e salva seqüencialmente na memória de imagem. Adicionalmente, a partir da imagem composta na memória de imagem, uma região de visualização que é uma região a ser exibida pode ser extraída e visualizada. Conseqüentemente, um modo de visualização da unidade de visualização pode ser comutado durante a reprodução da imagem móvel. Estes métodos de reprodução de imagem móvel serão descritos em detalhe abaixo, com referência aos desenhos.
Figura 34 é um diagrama em blocos mostrando um exemplo de estrutura funcional de um aparelho de processamento de imagem 680 em uma realização da presente invenção. Aqui, o aparelho de processamento de imagem 680 é um aparelho obtido modificando parte do aparelho de processamento de imagem 650 mostrado na Figura 32. O aparelho de processamento de imagem 680 inclui a unidade de entrada de imagem móvel 110, a unidade de detecção de trabalho de câmera 120, a unidade de controle de gravação 651, a unidade de armazenagem de imagem móvel 660, a unidade de armazenagem de metadados 670, uma unidade de obtenção de arquivo 681, unidade de transformação de imagem 682, uma unidade de combinação de imagem 683, uma memória de imagem 684, uma unidade de extração de região de visualização 685, uma memória de visualização 686, uma unidade de controle de visualização 687, uma unidade de aceitação de operação 688 e uma unidade de visualização 689. Notar que estruturas da unidade de entrada de imagem móvel 110, unidade de detecção de trabalho de câmera 120, unidade de controle 651, a unidade de armazenagem de imagem móvel 660 e a unidade de armazenagem de metadados 670 são similares às do aparelho de processamento de imagem 650 mostrado na Figura 32, e conseqüentemente, descrições destas outras estruturas são omitidas. Também, neste exemplo, um exemplo de qual parte do aparelho de processamento de imagem 650 mostrado na Figura 32 é modificada, será descrito. Entretanto, esta realização é também aplicável ao aparelho de processamento de imagem 100 mostrado na Figura 1.
Em resposta a uma operação inserida a partir da unidade de aceitação de operação 688, que se relaciona a reprodução de uma imagem móvel, a unidade de obtenção de arquivo 681 é configurada para obter um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 e um arquivo de metadados armazenado, em associação com o arquivo de imagem móvel, na unidade de armazenagem de metadados 670. A unidade de obtenção de arquivo 681 emite uma imagem móvel no 5 arquivo de imagem móvel obtido e parâmetros de transformação conectada no arquivo de metadados para a unidade de transformação de imagem 682, e emite a imagem móvel no arquivo de imagem móvel obtido, para a unidade de combinação de imagem 683.
A unidade de transformação de imagem 682 é configurada 10 para aplicar, em uma base quadro a quadro, transformações conectadas a imagens constituindo uma imagem móvel em um arquivo de imagem móvel emitido a partir da unidade de obtenção de arquivo 681, usando parâmetros de transformação correspondentes à imagem móvel, e para emitir as imagens submetidas a transformação conectada para a unidade de combinação de 15 imagem 683.
A unidade de combinação de imagem 683 é configurada para combinar uma imagem submetida a transformação conectada gerada pela unidade de transformação de imagem 682 com uma imagem composta correspondente a quadros precedentes individuais, o que é mantido na 20 memória de imagem 684, escrevendo a imagem submetida a transformação conectada sobre a imagem composta, e para salvar uma nova imagem composta gerada pela combinação na memória de imagem 684. Também, a unidade de combinação de imagem 683 combina a imagem atual com uma imagem composta mantida na memória de visualização 686, escrevendo a 25 imagem atual sobre a imagem composta, com base na posição da imagem corrente em uma região de visualização emitida a partir da unidade de extração de região de visualização 685. Especificamente, quando um modo de visualização para fixar a imagem atual tiver sido especificado, a unidade de combinação de imagem 683 combina a imagem atual emitida a partir da unidade de obtenção de arquivo 681 com a imagem composta mantida na memória de visualização 686, escrevendo a imagem atual sobre uma porção central da imagem composta. Em contraste, quando um modo de visualização para fixar uma imagem composta de imagens precedentes da imagem atual tiver sido especificado, a unidade de combinação de imagem 683 combina a imagem atual submetida a transformação conectada gerada pela unidade de transformação de imagem 682 com a imagem composta mantida na memória de visualização 686, escrevendo a imagem atual submetida a transformação conectada sobre a imagem composta, com base na posição da imagem atual em uma região de visualização emitida a partir da unidade de extração de região de visualização 685. Também, a unidade de combinação de imagem
683 comprime a imagem submetida a transformação conectada gerada pela unidade de transformação de imagem 682, escreve a imagem comprimida, submetida a transformação conectada sobre a imagem composta mantida na memória de imagem 684 por meio da qual a imagem atual escrita sobre a imagem composta mantida na memória de visualização 686 toma-se uma imagem não comprimida ou uma imagem capturada com uma resolução mais alta que uma imagem histórica comprimida. Conseqüentemente, uma imagem histórica no instante de emitir uma imagem composta toma-se uma imagem comprimida, e a imagem atual toma-se uma imagem móvel não comprimida ou uma imagem capturada com uma resolução mais alta que a imagem histórica comprimida. Aqui, do tamanho da imagem corrente a ser combinada na memória de visualização 686 é determinado de acordo com o valor da magnificação de visualização. Notar que, a combinação da imagem atual na memória de visualização 686 será descrita em detalhe com referência às Figuras 40 e 411.
A memória de imagem 684 é um meio de armazenagem temporária de trabalho que mantém uma imagem composta gerada pela combinação efetuada pela unidade de combinação de imagem 683. A memória de imagem 684 é configurada para fornecer uma imagem composta mantida à unidade de combinação de imagem 683 ou unidade de extração de região de visualização 685. Isto é, a memória de imagem 684 é uma memória de imagem que mantém uma imagem histórica.
A unidade de extração de região de visualização 685 é configurada para extrair uma imagem existente dentro da faixa de uma região de visualização, que é uma região a ser exibida, a partir de uma imagem composta mantida na memória de imagem 684, e faz com que a memória de visualização 686 mantenha a imagem extraída. Também, quando pelo menos uma porção da imagem atual correspondente ao quadro atual na imagem composta mantida na memória de imagem 684 se projeta a partir do alcance da região de visualização, a unidade de extração de região de visualização 685 movimenta a região de visualização de tal modo que a imagem atual inteira será incluída na faixa da região de visualização, e posteriormente extrai uma imagem existente dentro da faixa da região de visualização, a partir da imagem composta mantida na memória de imagem 684. Ainda mais, quando um modo de visualização para fixar uma imagem composta de imagens, precedendo a imagem atual, tiver sido especificado, a unidade de extração de região de visualização 685 calcula a posição da imagem atual na região de visualização, e emite a posição da imagem atual na região de visualização, à unidade de combinação de imagem 683. Notar que a extração de uma imagem incluída no alcance da região de visualização será descrito em detalhe com referência á Figura 35 a Figura 41 e similar, e o movimento da realização será descrito em detalhe com referência à Figura 36, Figura 37 e similar. Também, o cálculo da posição da imagem atual na região de visualização, será descrito em detalhe com referência à Figura 40.
A memória de visualização 686 é um meio de armazenagem temporária de visualização que mantém uma imagem extraída pela unidade de extração de região de visualização 685 da memória de imagem 684, e a imagem mantida é exibida na unidade de visualização 689. Notar que a imagem mantida na memória de visualização 686 será descrita em detalhe com referência à Figura 35, Figura 36 e similar.
A unidade de controle de visualização 687 é configurada para 5 exibir seqüencialmente, em uma base quadro a quadro, uma imagem composta mantida na memória de visualização 686.
A unidade de visualização 689 é configurada para exibir, sob controle da unidade de controle de visualização 687, uma imagem composta mantida na memória de visualização 686. Por exemplo, a unidade de 10 visualização 689 pode ser implementada por um visor de um computador pessoal ou uma televisão. Notar que, exemplos de visualização de uma imagem composta serão descritos em detalhe com referência à Figura 42 e similar.
A unidade de aceitação de operação 688 inclui várias teclas de 15 operação e similares e é configurada para emitir, ao aceitar uma entrada de operação inserida por estas teclas, os detalhes da entrada de operação aceita para a unidade de obtenção de arquivo 681 ou unidade de extração de região de visualização 685. Na unidade de aceitação de operação 688, por exemplo, uma tecla de instrução de reprodução que dá uma instrução para reproduzir 20 uma imagem móvel, uma tecla de especificação de magnificação de visualização que especifica magnificação de especificação de uma imagem móvel, e uma tecla de configuração que ajusta um modo de visualização no caso em que uma imagem móvel é reproduzida, são providas. Como modos de visualização, por exemplo, há um modo de visualização no qual a imagem 25 atual correspondente ao quadro atual é submetida a transformação conectada e exibida em um estado no qual uma imagem composta correspondente a quadros individuais precedendo o quadro atual é fixada, ou um modo de exibição no qual uma imagem composta correspondente a quadros precedentes individuais é submetida a transformação conectada em uma direção oposta à dos parâmetros de transformação conectada e é exibida em um estado no qual a imagem atual correspondente ao quadro atual é fixada. A comutação pode ser executada entre estes modos de visualização mesmo durante a reprodução de uma imagem móvel. Isto é, de acordo com a 5 realização da presente invenção, a visualização pode ser efetuada comutando arbitrariamente entre um método de combinação/visualização de imagem no qual imagens históricas no passado são transformadas enquanto é fixada uma margem de visualização de imagem atual, e um método de combinação/visualização de imagem no qual a margem de visualização da 10 imagem atual é movida com base no trabalho de câmera.
Figura 35 inclui diagramas mostrando esquematicamente a relação entre quadros individuais de um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 na realização da presente invenção, e a região de visualização. Aqui, somente a memória de 15 imagem 684, a unidade de armazenagem de metadados 670 e a unidade de aceitação de operação 688 são ilustradas, e estruturas diferentes destas partes são omitidas nos desenhos. Também, o caso no qual, a partir de quadros “1” a “3” incluídos no arquivo de imagem móvel 661 mostrado na parte (b) da Figura 33, é gerada uma imagem composta na memória de imagem 684 20 usando os parâmetros de transformação conectada 676 armazenados no arquivo de metadados 671, será descrita por meio de exemplo. Notar que, na Figura 35, o caso em que uma imagem composta correspondente a quadros individuais precedendo o quadro atual, é fixada na unidade de visualização 689, é mostrado.
Na parte (a) da Figura 35, é mostrado o caso no qual um
quadro 1 (664), que é o primeiro quadro entre quadros constituindo o arquivo de imagem móvel 661 mostrado na parte (b) da Figura 33, é salvo na memória de imagem 684. Por exemplo, quando uma entrada de operação de uma instrução de reprodução que dá uma instrução para fixar uma imagem composta correspondente a quadros individuais precedendo o quadro atual e para reproduzir o arquivo de imagem móvel 661 armazenado na unidade de armazenagem de imagem móvel 660, é aceita pela unidade de aceitação de operação 688, conforme mostrado na parte (a) da Figura 35, uma imagem 351 5 correspondente ao quadro 1 (664) do arquivo de imagem móvel 661 é salva na memória de imagem 684. Aqui, com vistas à posição na qual a imagem 351 correspondente ao primeiro quadro é salva na memória de imagem 684, a imagem 351 pode ser salva em uma posição pré especificada, ou em uma posição especificada por um usuário utilizando a unidade de aceitação de 10 operação 688. Também, por exemplo, o tamanho de uma imagem composta dos quadros “1” a “n” pode ser calculado usando os parâmetros de transformação conectada 676 que são armazenados no arquivo de metadados 671 e que se relacionam ao arquivo de imagem móvel 661 e, com base no cálculo, a posição na qual a imagem 351 é salva pode ser determinada. Notar 15 que, neste exemplo, será dada uma descrição na qual a posição esquerda superior da imagem 351 colocada na memória de imagem 684 serve como a origem, a direção horizontal (abscissa) serve como o eixo x e a direção (ordenada) serve como eixo y.
Conforme mostrado na parte (a) da Figura 35, é suposto que 20 uma região de visualização no caso em que a imagem 351 é colocada na memória de imagem 684 é uma região de visualização 361. A região de visualização 361 é determinada, com base na posição na qual a imagem 351 é salva e um tamanho desta, de acordo com o valor de magnificação de visualização aceito pela unidade de aceitação de operação 688. Por exemplo, 25 quando uma magnificação de visualização de “0,5 vezes” na qual a imagem atual é afastada tiver sido especificada, a região de visualização 361 se toma duas vezes o tamanho da imagem 351, com a imagem 351 servindo como o centro. Notar que a posição da região de visualização 361 relativa à imagem
351 pode ser determinada a partir de parâmetros de transformação conectada. Isto é, quando uma magnificação de visualização de “0,5 vezes” na qual a imagem atual é afastada tiver sido especificada, a região de visualização é ajustada usando parâmetros de transformação conectada com cujos componentes de zoom na direção x e na direção y são dobrados. Também, 5 quando a região de visualização deve ser transladada ou girada em relação à imagem atual, a posição e alcance da região de visualização pode ser determinada usando parâmetros de transformação conectada.
Na parte (b) da Figura 35, o caso no qual um quadro 2 (665) dentre os quadros constituindo o arquivo de imagem móvel 661 mostrado na parte (b) da Figura 33 é salvo na memória de imagem 684, é mostrado. Neste caso, como tem sido descrito acima, uma imagem 352 correspondente ao quadro 2 (665) é transformada usando os parâmetros de transformação conectada 676 armazenados em associação com os números de quadro 675 “1” e “2” no arquivo de metadados 671, e a imagem transformada 352 é escrita sobre e combinada com a imagem 351. Neste caso, por exemplo, quando a imagem 352 correspondente ao quadro atual não se projeta a partir do alcance da região de visualização 361, a posição e tamanho da região de visualização 361 permanece inalterado. Aqui, o caso no qual a imagem atual se projeta a partir do alcance da região de visualização atual, será descrito em detalhe com referência à Figura 36 e Figura 37. Notar que a região de visualização 361 pode ser transladada de acordo com o movimento da imagem 352 em relação à imagem 351.
Na parte (c) da Figura 35, o caso no qual um quadro 3 dentre os quadros constituindo o arquivo de imagem móvel 661 mostrado na parte 25 (b) da Figura 33 é salvo na memória de imagem 684, é mostrado. Também neste caso, como tem sido descrito acima, uma imagem 353 correspondente ao quadro 3 é transformada usando os parâmetros de transformação conectada 676 armazenados em associação com os números de quadro 675 “1” a “3” no arquivo de metadados 671, e a imagem transformada 353 é escrita sobre e combinada com as imagens 351 e 352.
A seguir, um processo no caso em que a região de visualização é movida de acordo com o movimento da imagem atual, será descrito em detalhe com referência aos desenhos.
Figura 36 inclui diagramas mostrando esquematicamente um
método de movimentação de região de visualização no caso em que a imagem atual se projeta a partir da região de visualização. Parte (a) da Figura 36 é um diagrama mostrando a relação entre diversas imagens incluindo uma imagem atual 760, que são mantidas na memória de imagem 684, e uma região de 10 visualização 759. Conforme mostrado na parte (a) da Figura 36, uma vez que a imagem atual 760 inteira, é incluída no alcance da região de visualização 759, a imagem atual 760 inteira, juntamente com outras imagens, é exibida na unidade de visualização 689.
Parte (b) da Figura 36 é um diagrama mostrando a relação 15 entre diversas imagens incluindo uma imagem atual 762, que são mantidas na memória de imagem 684, e a região de visualização 759. Aqui, a imagem atual 762 é uma imagem correspondente ao próximo quadro da imagem atual 760 mostrada na parte (a) da Figura 36. Conforme mostrado na parte (b) da Figura 36, quando uma porção da imagem atual 762 se projeta além do 20 alcance da região de visualização 759, uma porção da imagem atual 760 não é exibida na unidade de visualização 689. Portanto, em tal caso, conforme mostrado na parte (b) da Figura 36, um valor de diferença 763 entre um lado da região de visualização 759 e a imagem atual 762 projetando-se além do alcance da região de visualização 759 é calculado pela unidade de extração de 25 região de visualização 685, e a região de visualização 759 é movida de um valor obtido adicionando um valor adicional 764 ao valor de diferença 763. Aqui, o valor adicional 764 pode ser, por exemplo, de cinco pixéis. Alternativamente, a região de visualização 759 pode ser movida somente do valor de diferença, ao invés de adicionar o valor adicional. Notar que, na parte (b) da Figura 36, o caso no qual a imagem atual 762 se projeta a partir da porção lateral direita de uma região de visualização 761 será descrito a título de exemplo. Entretanto, quando a imagem atual se projeta a partir da porção superior, a porção inferior ou a porção do lado esquerdo, a região de 5 visualização pode ser movida usando um método similar. Também, quando a imagem atual se projeta a partir de pelo menos duas porções dentre as porções superior, inferior, esquerda e direita, um valor de diferença com cada um dos lados é calculado, e com base nos valores de diferença individuais calculados, a região de visualização pode ser movida em direções dos lados respectivos.
Na parte (c) da Figura 36, uma região de visualização 765
movida com base no valor de diferença 763 calculado em um estado mostrado na parte (b) da Figura 36, é mostrada.
Figura 37 inclui diagramas mostrando um exemplo de transição no caso em que a região de visualização é movida com o método de 15 movimento mostrado na Figura 36. Parte (a) da Figura 37 é um diagrama mostrando um exemplo de transição da região de visualização na memória de imagem 684, no caso em que a região de visualização é movida, e parte (b) da Figura 37 é um diagrama mostrando um exemplo de transição de imagens exibidas na unidade de visualização 689 no caso em que a região de 20 visualização é movida. Conforme mostrado nos diagramas, mesmo quando imagens subseqüentes à imagem atual 767 se projeta além de uma região de visualização 766, a região de visualização 766 pode ser seqüencialmente movida de acordo com a posição da imagem atual. Por exemplo, quando a imagem atual avança a partir da imagem atual 767 para uma imagem atual 25 769 na memória de imagem 684, de acordo com este movimento, a região de visualização 766 se move para a posição de uma região de visualização 768. Neste caso, uma imagem exibida na unidade de visualização 689 muda de uma imagem 770 para uma imagem 771. Conseqüentemente, mesmo quando uma imagem exibida na unidade de visualização 689 deve ser aumentada/reduzida, a imagem atual inteira pode ser exibida constantemente na unidade de visualização 689.
A seguir, o caso no qual a imagem atual correspondente ao quadro atual é fixada na unidade de visualização 689, será descrito em detalhe 5 com referência aos desenhos.
Figura 38 inclui diagramas mostrando esquematicamente a relação entre quadros individuais de um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 na realização da presente invenção, e a região de visualização. Aqui, como na Figura 35, 10 somente a memória de imagem 684, a unidade de armazenagem de metadados 670 e a unidade de aceitação de operação 688 são ilustradas, e estruturas diferentes destas partes são omitidas nos desenhos. Também, o caso no qual, a partir dos quadros “1” a “3” incluídos no arquivo de imagem móvel 661 mostrado na parte (b) da Figura 33, uma imagem composta é gerada na 15 memória de imagem 684, usando os parâmetros de transformação conectada 676 armazenados no arquivo de metadados 671, será descrito a título de exemplo.
Na parte (a) da Figura 38, como na parte (a) da Figura 35, é mostrado o caso no qual o quadro 1 (664) fecha é salvo na memória de 20 imagem 684. Notar que, uma vez que as posições e tamanhos da imagem 351 e região de visualização 361 mostrado na parte (a) da Figura 38 são as mesmas daquelas mostradas na parte (a) da Figura 35, descrições detalhadas destas são omitidas aqui. Notar que, neste exemplo, juntamente com transformação da imagem atual, a região de visualização é transformada. 25 Entretanto, uma vez que parâmetros de transformação conectada correspondentes ao quadro 1 (664) são parâmetros de uma matriz identidade, a região de visualização 361 correspondente ao quadro 1 (664) é determinada levando em consideração somente a especificação da magnificação de visualização a partir da unidade de aceitação de operação 688. Na parte (b) da Figura 38, como na parte (a) da Figura 35, o caso no qual o quadro 2 (665) é salvo na memória de imagem 684, é mostrado. Neste caso, como na parte (a) da Figura 35, a imagem 352 correspondente ao quadro 2 (665) é transformado, e a imagem transformada
352 é descrita sobre combinada com a imagem 351. Adicionalmente, uma transformação conectada é também aplicada à região de visualização. Isto é, com referência à posição e tamanho da imagem 351, a imagem 352 correspondente ao quadro 2 (665) é transformada usando os parâmetros de transformação conectada 676 armazenados em associação com os números de quadro 675 “1” e “2” no arquivo de metadados 671. A posição e tamanho da imagem 352 são transformados usando parâmetros de transformação conectada determinados de acordo com o valor de magnificação de visualização aceito pela unidade de aceitação de operação 688, e uma região determinada de acordo com a posição e tamanho transformados toma-se uma região de visualização 362. Especificamente, quando matrizes de parâmetros de transformação conectada correspondentes aos números de quadro 675 “1” e “2” são Al e A2, e uma matriz de parâmetros de transformação conectada determinada de acordo com o valor de magnificação de visualização aceito pela unidade de aceitação de operação 688 é B (por exemplo, uma matriz com referência à imagem atual), o valor de Al x A2 x B é obtido e, com referência à posição e tamanho da imagem 351, a região de visualização 362 é determinada usando a matriz obtida Alx A2 x B.
Na parte (c) da Figura 38, como na parte (a) da Figura 35, o caso no qual o quadro 3 é salvo na memória de imagem 684 é mostrado. Também neste caso, como tem sido descrito acima, a imagem 353 correspondente ao quadro atual 3 é transformada, e a imagem transformada
353 é escrita sobre e combinada com as imagens 351 e 352. Adicionalmente, uma transformação conectada é aplicada à região de visualização, e uma região de visualização 363 relativa à imagem 353 é determinada. Especificamente, quando matrizes de parâmetros de transformação conectada correspondentes aos números de quadros 675 “1” a “3” são Al a A3, e uma matriz de parâmetros de transformação conectada determinada de acordo com o valor de magnificação de visualização aceito pela unidade de aceitação de operação 688 é B, o valor de Al x A2 x A3 x B é obtido, e com referência à posição e tamanho da imagem 351, a região de visualização 363 é determinada, usando a matriz a Al x A2 x A3 x B obtida.
Figura 39 inclui diagramas mostrando em linhas gerais um método de aumento no caso em que, quando um modo de visualização para fixar a imagem corrente em uma unidade de visualização 689 tenha sido especificado, uma imagem móvel exibida na unidade de visualização 689 é aumentada e exibida. Parte (a) da Figura 39 é um diagrama mostrando esquematicamente transição da região de visualização no caso em que uma imagem móvel exibida na unidade de visualização 689 é aumentada e exibida. Parte (b) da Figura 39 é um diagrama mostrando um exemplo de visualização no caso em que imagens dentro de regiões de visualização 698 e 699 mostradas na parte (a) da Figura 39 são exibidas na unidade de visualização 689.
Na parte (b) da Figura 39, como a região de visualização 698 mostrada na parte (a) da Figura 39, uma imagem 700 extraída da memória de imagem 684 e exibida na unidade de visualização 689 é mostrada. Aqui, quando uma operação de instrução de aumento/visualização é aceita pela unidade de aceitação de operação 688 em um estado em que a imagem 700 na parte (b) da Figura 39 é exibida, o tamanho da região de visualização 698 é reduzido pela unidade de extração de região de visualização 685, de acordo com a operação de instrução de aumento/visualização. Notar que, este processo de redução de tamanho é efetuado com uma imagem corrente 697 servindo como centro. Isto é, como tem sido descrito acima, a posição e tamanho da imagem 679 são transformados usando parâmetros de transformação conectada determinados de acordo com o valor de magnificação de visualização aceito pela unidade de aceitação de operação
688, e a região de visualização 698 é determinada de acordo com a posição e tamanho transformados. Neste exemplo, uma vez que uma entrada de 5 operação para aumentar a magnificação de visualização tenha sido dada, componentes de zoom de parâmetros de transformação conectada são determinados de acordo com o aumento da magnificação de visualização.
Por exemplo, conforme mostrado na parte (a) da Figura 39, o tamanho da região de visualização 698 é reduzido, e a região de visualização 10 698 toma-se a região de visualização 699. Na parte (b) da Figura 39, como a região de visualização 699 mostrada na parte (a) da Figura 39, uma imagem 701 extraída da memória de imagem 684 e exibida na unidade de visualização 689 é mostrada. Conforme acima, mudando apenas o tamanho da região de visualização, uma imagem incluindo a imagem atual pode ser aumentada ou 15 reduzida, e pode ser visualizada.
Como tem sido ilustrado acima, exibindo imagens dentro do alcance de uma região de visualização colocada na memória de imagem 684, uma imagem composta sendo reproduzida pode ser exibida seqüencialmente. Aqui, quando a imagem atual deve ser submetida a transformação conectada e 20 combinada na memória de imagem 684, transformação de qualidade de imagem, tal como um processo de transformação de resolução de transformar uma imagem para ter uma resolução mais baixa, e um processo de compressão, podem ser aplicados à imagem atual. Portanto, é considerado que, quando a imagem atual deve ser aumentada/visualizada com uma 25 magnificação de visualização mais alta, uma imagem composta incluindo a imagem atual pode ser borrada. Portanto, neste exemplo, visualizando a imagem atual sendo correntemente reproduzida, uma imagem composta é exibida usando uma imagem que existia antes da combinação efetuada na memória de imagem 684. Este método de visualização será descrito em detalha abaixo, com referência aos desenhos.
Figura 40 e Figura 41 incluem diagramas mostrando esquematicamente o fluxo de quadros individuais de um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660 na 5 realização da presente invenção. Aqui, somente a relação entre a unidade de armazenagem de imagem móvel 660, a unidade de armazenagem de metadados 670, a memória de imagem 684 e a memória de visualização 686 é ilustrada, e estruturas diferentes destas partes são omitidas nos desenhos. Também, na Figura 40, é mostrado o caso no qual uma imagem composta 10 correspondente a quadros individuais precedendo o quadro atual é fixada na unidade de visualização 689. Na Figura 41, é mostrado o caso no qual a imagem atual correspondente ao quadro atual é fixada na unidade de visualização 689.
Na parte (a) da Figura 40, o arquivo de imagem móvel 661 e o arquivo de metadados 671, que são mostrados na parte (b) da Figura 33, são simplificados e mostrados. Posteriormente, um exemplo no qual uma imagem correspondente a um quadro i (666) incluído no arquivo de imagem móvel
661 é exibida, será descrito. Isto é, é suposto que uma imagem composta foi gerada a partir de imagens correspondendo a quadros 1 a “i-1” constituindo o arquivo de imagem móvel 661. Também, é suposto que, de acordo com o movimento da imagem atual, a região de visualização 361 mostrada na Figura é movida para o lado direito.
Na parte (b) da Figura 40, a memória de imagem 684 na qual uma imagem composta gerada combinando imagens correspondentes a 25 quadros individuais constituindo o arquivo de imagem móvel 661 é mantida, é mostrada esquematicamente. Conforme mostrado na parte (b) da Figura 35, a imagem 351 correspondente ao quadro 1 (664) incluído no arquivo de imagem móvel 661 é mantida primeiramente, na memória de imagem 684. Após a imagem 351 ter sido mantida na memória de imagem 684, imagens individuais correspondentes aos quadros 2 a “i-1” constituindo o arquivo de imagem móvel 661, são seqüencialmente submetidos a transformação conectada usando valores dos parâmetros de transformação conectada 676 armazenados em associação com os quadros 2 a “i-1”, respectivamente, no 5 arquivo de metadados 671, e as imagens submetidas a transformação conectada são seqüencialmente escritas sobre e mantidas na memória de imagem 684. submetidos a transformação conectada. A partir de uma imagem composta mantida na memória de imagem 684, imagens existentes dentro de uma região de visualização determinada de acordo com uma entrada de 10 operação a partir da unidade de aceitação de operação 688, que se relaciona à especificação de magnificação de visualização, são extraídas, em uma base de quadro a quadro, pela unidade de extração de região de visualização 685.
Em um estado no qual uma imagem composta de imagens individuais correspondentes aos quadros 1 a “i-1” é mantida na memória de imagem 684, uma imagem correspondente ao quadro i (666) incluído no arquivo de imagem móvel 661 é submetida a transformação conectada usando os parâmetros de transformação conectada 676 armazenados, em associação com os quadros 1 a i no arquivo de metadados 671, e imagem atual submetida a transformação conectada 692 é escrita sobre e mantida na memória de imagem 684. A partir de uma imagem composta mantida na memória de imagem 684, imagens existentes dentro de uma região de visualização 690 determinada de acordo com uma entrada de operação a partir da unidade de aceitação de operação 688, que se relaciona à especificação de magnificação de visualização, são extraídas pela unidade de extração de região de visualização 685, e é feito com que a memória de visualização 686 mantenha imagens extraídas, conforme mostrado na parte (c) da Figura 40.
Na parte (c) da Figura 40, a memória de visualização 686 na qual imagens extraídas pela unidade de extração de região de visualização 685 são mantidas, é mostrada esquematicamente. Aqui, entre imagens extraídas pela unidade de extração de região de visualização 685, uma imagem atual 693 correspondente ao quadro atual não é a imagem atual 692 extraída pela unidade de extração de região de visualização 685 da memória de imagem 684, porém uma imagem obtida da unidade de armazenagem de imagem móvel 660 e submetida a transformação conectada pela unidade de transformação de imagem 682 é usada. Aqui, a posição de salvamento da imagem atual 693 na memória de visualização 686 pode ser determinada com base na posição e tamanho da imagem atual 692 na memória de imagem 684, e a posição e tamanho da região de visualização 690 na memória de imagem 684. Por exemplo, quando matrizes de parâmetros de transformação conectada armazenados em associação com os números de quadros 675 “1” a “i” no arquivo de metadados 671, são Al ... Ai, e uma matriz de parâmetros de transformação conectada para determinar a região de visualização 690 (por exemplo, uma matriz com referência à memória de imagem 684) é C, com referência à posição da imagem 351, a posição de salvamento da imagem atual 693 na memória de visualização 686 pode ser determinada usando Inv (C) x Al x ... x Ai.
Conforme mostrado na parte (c) da Figura 40, imagens extraídas pela unidade de extração de região de visualização 685 são mantidas na memória de visualização 686. Adicionalmente, uma imagem obtida a partir da unidade de armazenagem de imagem móvel 660 e submetida a transformação conectada pela unidade de transformação de imagem 682 é escrita sobre as imagens extraídas pela unidade de extração de região de visualização 685, e uma imagem composta é mantida na memória de visualização 686. A imagem mantida na memória de visualização 686 é exibida na unidade de visualização 689. Conforme acima, em relação a uma imagem atual, uma imagem atual relativamente limpa pode ser exibida usando uma imagem em um estado anterior para aplicar um processo tal como redução de tamanho à imagem submetida a transformação conectada e mantendo a imagem na memória de imagem 684. Também, mesmo quando o aumento ou similar é efetuado em resposta a uma operação do usuário, a imagem atual pode ser exibida em um estado limpo.
Na parte (a) da Figura 41, o arquivo de imagem móvel 661 e o arquivo de metadados 671, que são mostrados na parte (b) da Figura 33 são simplificados e mostrados. Notar que a unidade de armazenagem de imagem móvel 660 e a unidade de armazenagem de metadados 670 mostradas na parte (a) da Figura 41 e uma imagem composta mantida na memória de imagem
684 mostrada na parte (b) da Figura 41 são as mesmas daquelas nas partes (a) e (b) da Figura 40, e conseqüentemente, descrições destas são omitidas aqui.
Na parte (b) da Figura 41, a memória de imagem 684 na qual é mantida uma imagem composta a partir da imagem 351 para a imagem atual 692 mostrada na parte (b) da Figura 40, é mostrada esquematicamente, e a região de visualização 361 mostrada na parte (b) da Figura 38 é indicada por linhas interrompidas. Neste exemplo, conforme mostrado na Figura 38, no sentido de fixar a posição da imagem atual correspondente ao quadro atual na unidade de visualização 689, uma região de visualização é calculada por uma transformação conectada de acordo com a imagem atual 692. Isto é, com referência à imagem 351 que é a imagem atual, a imagem correspondente ao quadro i (666) é transformada para a imagem atual 692 usando os parâmetros de transformação conectada 676 armazenados em associação com os números de quadro 675 “1” a “i” no arquivo de metadados 671, e a imagem atual 692 é salva na memória de imagem 684. Observando uma região de visualização 695 correspondente ao quadro atual i (666), a posição e tamanho da imagem atual 692 são transformados usando parâmetros de transformação conectada determinados de acordo com o valor de magnificação de visualização aceito pela unidade de aceitação de operação 688, e a região de visualização 695 é determinada de acordo com a posição e tamanho transformados. A determinação da região de visualização é efetuada pela unidade de extração de região de visualização 685.
Na parte (c) da Figura 41, a memória de visualização 686 na qual imagens extraídas pela unidade de extração de região de visualização
685 são mantidas, é mostrada esquematicamente. Aqui, imagens mantidas na 5 memória de visualização 686 (imagens diferentes de uma imagem atual 696) são imagens obtidas transformando, usando uma matriz inversa de uma matriz relacionada a parâmetros de transformação conectada usados para transformar a região de visualização 695, imagens extraídas pela unidade de extração de região de visualização 685 (imagens existentes dentro do alcance da região de 10 visualização 695). Isto é, a forma de uma região de visualização colocada na memória de imagem 684 pode ser um paralelogramo ou similar devido a uma transformação conectada. No sentido de exibir, na unidade de visualização
689, uma imagem composta dentro de uma região de visualização que tenha sido submetida a transformação conectada da maneira precedente, a imagem 15 composta dentro da região de visualização é transformada usando uma matriz inversa de uma matriz relativa a parâmetros de transformação conectada usados para transformação conectada da imagem atual. Por exemplo, quando matrizes de parâmetros de transformação conectada armazenadas em associação com os números de quadro 675 “1” a “i” no arquivo de metadados 20 671, são Al, ... Ai, e uma matriz de parâmetros de transformação conectada para determinar a região de visualização 695 (por exemplo, uma matriz com referência à imagem atual) é B, Inv (Al x ... Ai x Ai) é usada como uma matriz para transformar uma imagem composta dentro da região de visualização. Conseqüentemente, por exemplo, conforme mostrado na parte 25 (c) da Figura 41, uma imagem transformada para um paralelogramo pode ser transformada para um retângulo, e exibida na unidade de visualização 689. Também, entre imagens extraídas pela unidade de extração de região de visualização 685, como a imagem atual 696 correspondente ao quadro atual, ao invés de uma imagem extraída pela unidade de extração de região de visualização 685 da memória de imagem 684, uma imagem que tenha sido obtida da unidade de armazenagem de imagem móvel 660 e que não tenha sido submetida a transformação conectada, é usada. Aqui, a posição e tamanho de salvamento na imagem atual 696 na memória de visualização 686 são determinados de acordo com magnificação de visualização a partir da unidade de aceitação de operação 688.
Conforme mostrado na parte (c) da Figura 41, imagens extraídas pela unidade de extração de região de visualização 685 são mantidas na memória de visualização 686. Adicionalmente, uma imagem obtida a partir da unidade de armazenagem de imagem móvel 660 é escrita sobre as imagens extraídas pela unidade de extração de região de visualização 685, e uma imagem composta é mantida na memória de visualização 686. Conseqüentemente, quando um modo de visualização para exibir a imagem atual em uma posição fixa tiver sido especificado, uma imagem composta submetida a transformação conectada pode ser trazida de volta, com uma matriz inversa, para um estado no qual a imagem composta não tenha sido submetida a transformação conectada, e a imagem composta que não tenha sido submetida a transformação conectada pode ser exibida. Também, observando uma imagem atual, como na Figura 40, uma imagem relativamente limpa pode ser exibida.
Como tem sido ilustrado, uma vez que a geração é efetuada usando o mesmo método que um método de geração de uma imagem composta mantida na memória de imagem 684, e a reprodução de uma imagem móvel em dois modos de visualização pode ser realizada, a comutação entre os dois modos de visualização pode ser efetuada durante a reprodução de uma imagem móvel. Conseqüentemente, um espectador de uma imagem móvel sendo reproduzida pode comutar o modo de visualização para um modo de visualização desejado, mesmo durante a reprodução. Por exemplo, no caso em que uma imagem móvel está sendo reproduzida em um modo de visualização mostrado na Figura 40, se uma pessoa do tipo do espectador aparece no centro da imagem atual e o espectador deseja colocar aquela pessoa em uma posição central da unidade de visualização 689 e observar aquela pessoa, o modo de visualização pode ser comutado para reprodução de uma imagem móvel em um modo de visualização mostrado na Figura 41, efetuando uma operação de comutação de modo de visualização a partir da unidade de aceitação de operação 688. Também, como a imagem atual, ao invés de uma imagem composta mantida na memória de imagem 684, uma imagem obtida da unidade de armazenagem de imagem móvel 660 pode ser usada. Portanto, uma imagem relativamente limpa pode ser vista. Este exemplo de visualização será descrito em detalhe, com referência à Figura 42 e Figura 43.
Parte (a) da Figura 42 é um diagrama mostrando um exemplo de visualização no caso em que uma imagem móvel capturada por uma câmera é reproduzida. Neste exemplo, é mostrada uma imagem 750 durante a reprodução de uma imagem móvel de um pai e uma criança brincando em um playground de grama diante de um grande edifício, que tenha sido capturada ao mover a câmera em uma direção horizontal. Aqui, na imagem 750, uma imagem 751 é formada como um panorama combinando imagens correspondendo a quadros individuais constituindo a imagem móvel. Também, uma imagem correspondente ao quadro atual na imagem 750 é uma imagem atual 752.
Aqui, o caso no qual uma região de imagem rodeada por uma margem 753 é aumentada e exibida, será descrito. Quando uma imagem exibida na unidade de visualização 689 deve ser aumentada/reduzida e exibida, um usuário opera a tecla de especificação de magnificação de visualização na unidade de aceitação de operação 688, pela qual o usuário pode especificar uma magnificação de visualização desejada. Por exemplo, conforme mostrado na parte (a) da Figura 42, no caso em que a imagem 750 é exibida na unidade de visualização 689, se uma região de imagem abrangida pela margem 753 deve ser aumentada e visualizada, o usuário especifica magnificação de visualização operando a tecla de especificação de magnificação de visualização na unidade de aceitação de operação 688 e, adicionalmente, o usuário especifica a posição, pela qual a região de imagem abrangida pela margem 753 pode ser aumentada e exibida.
Parte (b) da Figura 42 é um diagrama mostrando uma imagem
754 em um estado anterior a efetuar uma transformação conectada da imagem atual 752 na imagem 750.
Parte (a) da Figura 43 é uma diagrama mostrando uma imagem
755 no caso em que a região de imagem abrangida pela margem 753 mostrada na parte (a) da Figura 42 é aumentada e exibida. A imagem 755 mostrada na parte (a) da Figura 43 é uma imagem gerada pela combinação efetuada na memória de visualização 686 em um estado anterior ao salvamento da imagem atual submetida a transformação conectada na memória de imagem 684. Conforme acima, na região de uma imagem atual 756, uma imagem relativamente fina em um estado anterior a ser salva na memória de imagem
684 é exibida. Portanto, quando a imagem atual 756 é comparada com regiões diferentes desta região, a imagem atual 756 que é relativamente mais limpa que as outras regiões, pode ser exibida. Em contraste, uma imagem 757 mostrada na parte (b) da Figura 43 é uma imagem salva na memória de visualização 686 em um estado no qual a imagem atual submetida a transformação conectada é salva na memória de imagem 684. Quando imagens são exibidas desta maneira, mesmo na região de uma imagem atual 758, uma imagem em um nível equivalente a imagens em outras regiões, é exibida. Isto é, de acordo com a realização da presente invenção, no instante de combinar imagens e exibir uma imagem composta, uma imagem histórica mantida na memória de visualização 686 pode ser comprimida. Entretanto, como a imagem atual, uma imagem não comprimida ou uma imagem com uma resolução mais alta que a imagem histórica pode ser usada. Portanto, combinação e visualização de imagem de alta qualidade pode ser realizada.
Figuras 44 e 45 são fluxogramas mostrando um procedimento de processamento de um processo de reprodução de imagem móvel executado 5 pelo aparelho de processamento de imagem 680 na realização da presente invenção. Notar que, no procedimento de processamento mostrado na Figura 44 e Figura 45, uma vez que as etapas S921, S925, S926, S928 e S929 são similares ao procedimento de processamento mostrado na Figura 25, os mesmos numerais de referência são atribuídos a elas, e descrições destas são 10 omitidas aqui.
Em resposta a uma entrada de operação a partir da unidade de aceitação de operação 688, a unidade de obtenção de arquivo 681 obtém um arquivo de imagem móvel armazenado na unidade de armazenagem de imagem móvel 660, e adicionalmente obtém um arquivo de metadados 15 armazenado em associação com o arquivo de imagem móvel na unidade de armazenagem de metadados 670 (etapa S961). Então, a unidade de obtenção de arquivo 681 decodifica o arquivo de imagem móvel e obtém o quadro atual, que é um quadro incluído no arquivo de imagem móvel (etapa S962). Então, a unidade de obtenção de arquivo 681 obtém parâmetros de 20 transformação conectada correspondentes ao quadro atual obtido a partir do arquivo de metadados (etapa S963).
Então, após a imagem atual submetida a transformação conectada correspondente ao quadro atual ser escrita sobre uma imagem composta e salva na memória de imagem 170 (etapa S926), a unidade de 25 extração de região de visualização 685 determina se um modo de visualização para fixar a imagem atual foi ou não especificado (etapa S964). Quando o modo de visualização para fixar a imagem atual tiver sido especificado (etapa S964), a unidade de extração de região de visualização 685 determina a posição e tamanho da região de visualização usando parâmetros de transformação conectada a partir do primeiro quadro para o quadro atual e parâmetros de transformação conectada correspondentes a magnificação de visualização (etapa S965). Então, a unidade de extração de região de visualização 685 extrai uma imagem composta incluída na região de visualização a partir da memória de imagem 684 (etapa S966). Então, a unidade de extração de região de visualização 685 efetua uma transformação conectada da imagem composta extraída da memória de imagem 684 usando uma matriz inversa de uma matriz de parâmetros de transformação conectada usada para determinar a região de visualização (etapa S967).
Então, a unidade de extração de região de visualização 685 salva a imagem composta, que foi extraída da memória de imagem 684 e submetida a transformação conectada, na memória de visualização 686 (etapa S968). Então, a unidade de combinação de imagem 683 escreve e combina a imagem atual com a imagem composta mantida na memória de visualização
686 (etapa S969). Então, a imagem composta mantida na memória de visualização 686 é visualizada pela unidade de visualização 689 (etapa S970).
Também, quando o modo de visualização para fixar a imagem atual não tiver sido especificado (etapa S964), a unidade de extração de região de visualização 685 determina a posição e tamanho da região de visualização, usando os parâmetros de transformação conectada correspondentes a magnificação de visualização (S971). Notar que, quando a região de visualização se move de acordo com a transformação da imagem atual, a posição da região de visualização que foi exatamente movida pode ser usada.
Então, a unidade de extração de região de visualização 685 determina se a imagem atual mantida na memória de imagem 684 se projeta a partir da região de visualização (etapa S972). Quando a imagem atual mantida na memória de imagem 684 não se projeta a partir da região de visualização (isto é, quando a imagem atual inteira está incluída no alcance da região de visualização) (etapa S972), a unidade de extração de região de visualização 685 extrai a imagem composta incluída na região de visualização da memória de imagem 684 (etapa S973). Então, a unidade de extração de região de visualização 685 salva a imagem composta, que foi extraída da memória de imagem 684, na memória de visualização 686 (etapa S974).
Então, a unidade de extração de região de visualização 685 determina a posição da imagem atual na memória de visualização 686, usando uma matriz de parâmetros de transformação conectada usada para transformar a imagem atual e uma matriz inversa de uma matriz de parâmetros de transformação conectada usada para determinar a região de visualização (etapa S975). Então, a unidade de combinação de imagem 683 escreve e combina a imagem atual submetida a transformação conectada com a imagem composta mantida na memória de visualização 686 (etapa S976). Então, o fluxo avança para a etapa S970.
Alternativamente, quando a imagem atual mantida na memória de imagem 684 se projeta a partir da região de visualização (isto é, quando pelo menos uma porção da imagem atual não está incluída no alcance da região de visualização) (etapa S972), a unidade de extração de região de visualização 685 calcula um valor de diferença entre um lado da região de visualização e a porção da imagem atual projetando-se a partir da região de visualização (etapa S977). Então, a unidade de extração de região de visualização 685 move a região de visualização com base no valor da diferença calculado (etapa S978). Então, o fluxo avança para a etapa S973.
A seguir, o caso em que um processo de extração de ponto de característica e um processo de cálculo de fluxo óptico na realização da presente invenção, são efetuados com um processador multi núcleo, será descrito em detalhe com referência aos desenhos.
Figura 46 é um diagrama mostrando um exemplo de estrutura de um processador multi núcleo 800 em uma realização da presente invenção. O processador multi núcleo 800 é um processador no qual diversos tipos diferentes de núcleos de processador são montados em um único pacote de CPU (Unidade de Processamento Central). Isto é, no sentido de manter a capacidade de processamento de cada unidade de núcleo de processador e adicionalmente tomar a configuração simples, diversos núcleos de processador incluindo dois tipos, um tipo correspondendo a todas as aplicações e o outro tipo otimizado, até um certo grau, para uma aplicação pré-determinada, são montados no processador multi núcleo 800.
O processador multi núcleo 800 inclui um núcleo de processador de controle 801, núcleo de processador aritmético (#1) 811 a (#8) 818, e um barramento 802, e é conectado a uma memória principal 781. Também, o processador multi núcleo 800 é conectado a outros dispositivos, tais como um dispositivo gráfico 782 e um dispositivo I/O 783. Como o processador multi núcleo 800, por exemplo, “Célula (Máquina Faixa Larga de Célula)”, que é um microprocessador desenvolvido pelo requerente do presente pedido, e similar, pode ser adotado.
O núcleo de processador de controle 801 é um núcleo de processador de controle que executa principalmente comutação de encadeamento freqüente, como em um sistema operacional. Notar que o núcleo de processador de controle 801 será descrito em detalhe com referência à Figura 47.
Os núcleos de processador aritmético (#1) 811 a (#8) 818 são núcleos de processador aritmético simples e compactos que são bons no processamento de multimídia. Notar que os núcleos de processador aritmético (#1)811 a (#8) 818 será descritos em detalhe com referência à Figura 48.
O barramento 802 é um barramento de alta velocidade chamado EIB (Barramento de Interconexão de Elemento). Cada um dentre o núcleo de processador de controle 801 e os núcleos de processador aritmético (#1) 811 a (#8) 818 é conectado ao barramento 802. Cada núcleo de processador acessa dados via barramento 802. A memória principal 781 é uma memória principal conectada ao barramento 802. A memória principal 781 armazena vários programa para serem carregados em cada núcleo de processador, e dados necessários para processamento efetuado por cada núcleo de processador. Adicionalmente, a memória principal 781 armazena dados processados por cada núcleo de processador.
O dispositivo gráfico 782 é um dispositivo gráfico conectado ao barramento 802. O dispositivo I/O 783 é um dispositivo de entrada/saída externo conectado ao barramento 802.
Figura 47 é um diagrama mostrando um exemplo de estrutura de um núcleo de processador de controle 801 na realização da presente invenção. O núcleo de processador de controle 801 inclui uma unidade de processador de controle 803 e um sistema de armazenagem de processador de controle 806.
A unidade de processador de controle 803 é uma unidade que serve como um núcleo que efetua processamento aritmético executado pelo núcleo de processador de controle 801 e inclui um conjunto de comando baseado na arquitetura de um microprocessador. Como memórias caches primárias uma memória cache de comando 804 e uma memória cache de dados 805 são montados. A memória cache de comando 804 é, por exemplo, uma memória cache de comando de 32 KB. A memória cache de dados 805 é, por exemplo, uma memória cache de comando de dados de 32 KB.
O sistema de armazenagem de processador de controle 806 é uma unidade que controla o acesso de dados a partir da unidade de processador de controle 803 para a memória principal 781. No sentido de aumentar a velocidade do acesso de memória a partir da unidade de processador de controle 803, uma memória cache secundária de 512 KB 807 é montada.
Figura 48 é um diagrama mostrando um exemplo de estrutura de um núcleo de processador aritmético (#1) 811 na realização da presente invenção. O meio de gravação removível 811 inclui uma unidade de processador aritmético 820 e um controlador de fluxo de memória 822. Notar que, uma vez que os núcleos de processador aritmético (#2) 812 a (#8) 818 possuem uma estrutura similar ao núcleo de processador aritmético (#1) 811, e descrições destes são omitidas aqui.
A unidade de processador aritmético 820 é uma unidade que serve como um núcleo que efetua processamento aritmético executado pelo núcleo de processador aritmético (#1) 811 e inclui um único conjunto de comando diferente daquele da unidade de processador de controle 803, no núcleo de processador de controle 801. Também, uma armazenagem local (LS) 821 é montada na unidade de processador aritmético 820.
A armazenagem local (LS) 821 é uma memória dedicada da unidade de processador aritmético 820 e, ao mesmo tempo, uma única memória que pode ser diretamente referida a partir da unidade de processador aritmético 820. Como a armazenagem local (LS) 821, por exemplo, uma memória cuja capacidade é de 256 KB pode ser usada. Notar que, no sentido de que a unidade de processador aritmético 820 possa acessar a memória principal 781 e armazenagens locais nos outros núcleos de processador aritmético (núcleos de processador aritmético (#2) 812 a (#8) 818, é necessário usar o controlador de fluxo de memória 822.
O controlador de fluxo de memória 822 é uma unidade para trocar dados entre a memória principal 781 e outros núcleos de processador aritmético e similar e é uma unidade chamada uma MFC (Controlador de Fluxo de Memória). Aqui, a unidade de processador aritmético 820 requisita o controlador de fluxo de memória 822, através de uma interface chamada um canal para transferência de dados, por exemplo.
Vários modelos de programação têm sido propostos como modelo de programação do processador multi núcleo 800 ilustrado acima. Entre estes modelos de programação, um modelo que executa um programa principal no núcleo de processador de controle 801 e executa sub programas nos núcleos de processador aritmético (#1) 811 a (#8) 818 é conhecido como o modelo mais básico. Na realização da presente invenção, um método aritmético do processador multi núcleo 800 usando este modelo será descrito em detalhe com referência aos desenhos.
Figura 49 é um diagrama mostrando esquematicamente um método aritmético do processador multi núcleo 800 na realização da presente invenção. Neste exemplo, será ilustrado por meio de exemplo o caso em que, quando o núcleo de processador de controle 801 executa uma tarefa 784 usando dados 785, o núcleo de processador de controle 801 usa dados 787 (parte dos dados 785) necessários para processamento de uma tarefa 786 que é parte da tarefa 784 e faz com que núcleos de processador aritméticos individuais executem a tarefa 786.
Conforme mostrado no diagrama, quando o núcleo de processador de controle 801 executa a tarefa 784 usando os dados 785, o núcleo de processador de controle 801 usa os dados 787 (parte dos dados 785) necessários para processamento da tarefa 786, o que é parte da tarefa 784, e faz com que núcleos de processador aritméticos individuais executem a tarefa 786. Na realização da presente invenção, processamento aritmético é efetuado por núcleos de processador aritméticos individuais para cada um dos quadros constituindo uma imagem móvel.
Conforme mostrado no diagrama, quando o processador multi núcleo 800 executa uma operação, os núcleos de processador aritmético (#1) 811a (#8) 818 podem ser usados em paralelo e muitas operações podem ser efetuadas em um tempo relativamente curto. Adicionalmente, relativamente muitos processos aritméticos podem ser executados com um número menor de comandos, usando uma operação SIMD (Instrução Única/Dados Múltiplos) nos núcleos de processador aritmético (#1) 811 a (#8) 818. Notar que a operação SIMD será descrita em detalhe com referência às Figuras 53 a 56 e similares.
Figura 50 é um diagrama mostrando esquematicamente programas e o fluxo de dados no caso em que operações são executadas pelo processador multi núcleo 800 na realização da presente invenção. Aqui, a descrição é concernente, entre os núcleos de processador aritmético (#1)811 a (#8) 818, núcleo de processador aritmético (#1) 811 por meio de exemplo. Entretanto, as operações podem ser efetuadas similarmente usando os núcleos de processador aritmético (#2) 812 a (#8) 818.
Primeiramente, o núcleo de processador de controle 801 envia ao núcleo de processador aritmético (#1)811, uma instrução para carregar um programa de núcleo de processador aritmético 823 armazenado na memória principal 781 à armazenagem local (LS) 821 do núcleo de processador aritmético (#1) 811. Conseqüentemente, o núcleo de processador aritmético (#1) 811 carrega o programa de núcleo de processador aritmético 823 na memória principal 781 para a armazenagem local (LS) 821.
Então, o núcleo de processador de controle 801 instrui o núcleo de processador aritmético (#1) 811 para executar um programa de núcleo de processador aritmético 825 armazenado na armazenagem local (LS) 821.
Então, o núcleo de processador aritmético (#1) 811 transfere, da memória principal 781 para a armazenagem local (LS) 821, dados 824 necessários para executar e processar o programa de núcleo de processador aritmético 825 armazenado na armazenagem local 821.
Então, com base no programa de núcleo de processador aritmético 825 armazenado na armazenagem local 821, o núcleo de processador aritmético (#1) 811 processa dados 826 transferidos da memória principal 781, executa processamento de acordo com as condições e armazena o resultado do processamento na armazenagem local 821. Então, o núcleo de processador aritmético (#1) 811 transfere, da armazenagem local 821 para a memória principal 781 o resultado de processamento do processamento executado com base no programa de núcleo de processador aritmético 825 armazenado na armazenagem local 821.
Então, o núcleo de processador aritmético (#1) 811 notifica o núcleo de processador de controle 801 do término do processamento aritmético.
A seguir, uma operação SIMD efetuada usando o processador multi núcleo 800, será descrita em detalhe com referência aos desenhos. Aqui, uma operação SIMD é um esquema aritmético que efetua processamento de diversos itens de dados, usando um único comando.
Parte (a) da Figura 51 é um diagrama mostrando esquematicamente as linhas gerais de um esquema aritmético para executar processamento de diversos itens de dados, usando comandos individuais. O esquema aritmético mostrado na parte (a) da Figura 51 é um esquema aritmético normal e é chamado, por exemplo, de uma operação escalar. Por exemplo, um comando para adicionar dados “Al” e dados “BI” dá um resultado de processamento de dados “Cl”. Também, as outras três operações podem ser efetuadas similarmente. Um comando para adicionar itens de dados “A2”, “A3” e “A4” e itens de dados “B2”, “B3” e “B4” na mesma fila é executado em cada processo. Com este comando, valores em cada fila são adicionados e processados, e os resultados do processamento são obtidos como “C2”, “C3” e “C4”. Conforme acima, em uma operação escalar, para processamento de diversos itens de dados, é necessário executar um comando para processamento de cada item de dados.
Parte (b) da Figura 51 é um diagrama mostrando esquematicamente as linhas gerais de uma operação SIMD, que é um esquema aritmético que efetua processamento de diversos itens de dados, usando um único comando. Aqui, grupos de itens de dados para uma operação SIMD (itens de dados abrangidos por linhas pontilhadas 827 e 828) podem ser chamados de itens de dados de vetor. Também, uma operação SIMD efetuada usando tais dados de vetor pode ser chamada de uma operação de vetor.
Por exemplo, um único comando para adicionar dados de vetor abrangidos por linhas pontilhadas 827 (“Al”, “A2”, “A3” e “A4”) e dados de vetor abrangidos por linhas pontilhadas 828 (“Bl”, “B2”, “B3” e “B4”) produzem um resultado de processamento de “Cl”, “C2”, “C3” e “C4” (itens de dados abrangidos por linhas pontilhadas 829). Conforme acima, uma vez que o processamento de diversos itens de dados pode ser efetuado usando um único comando em uma operação SIMD, processamento aritmético pode ser rapidamente efetuado. Também, um comando para estas operações SIMD é executado pelo núcleo de processador de controle 801 em um processador multi núcleo 800 e, para processamento aritmético de itens de dados em resposta ao comando, os núcleos de processador aritmético (#1) 811 a (#8) 818 efetuam processamento paralelo.
Em contraste, por exemplo, o processamento para efetuar adição de dados “Al” e “Bl”, subtração de dados “A2” e “B2”, multiplicação de dados “A3” e “B3”, e divisão de dados “A4” e “B4” não pode ser efetuado por uma operação SIMD. Isto é, quando processamento diferente deve ser 20 feito em diversos itens de dados, o processamento não pode ser efetuado por uma operação SIMD.
A seguir, um método aritmético específico de uma operação SIMD no caso em que um processo de extração de ponto de característica e um processo de cálculo de fluxo óptico são efetuados, será descrito em detalhe com referência aos desenhos.
Figura 52 é um diagrama mostrando um exemplo de estrutura de um programa executado pelo núcleo de processador de controle 801 ou o núcleo de processador aritmético (#1) 811 na realização da presente invenção. Aqui, somente o núcleo de processador aritmético (#1) 811 é ilustrado. Entretanto, processamento similar é efetuado pelos núcleos de processador aritmético (#2) 812 a (#8) 818.
O núcleo de processador de controle 801 executa, como decodificação 851, decodificação 852, entrelaçamento 853 e redimensionamento 854. A decodificação 852 é um processo para decodificar um arquivo de imagem móvel. O entrelaçamento 853 é um processo para desintercalar cada quadro decodificado. O redimensionamento 854 é um processo para reduzir o tamanho de cada quadro desintercalado.
Também, o núcleo de processador de controle 801 executa, como gerenciamento de núcleo de processador aritmético 856, envio de comando 857 e 859 e recepção de notificação de terminação 858 e 860. O envio de comando 857 e 859 é um processo para enviar um comando para executar uma operação SIMD para os núcleos de processador aritmético (#1) 811 a (#8) 818. A recepção de notificação de terminação 858 e 860 é um processo para receber, dos núcleos de processador aritmético (#1) 811 a (#8) 818, uma notificação de terminação de uma operação SIMD, em resposta ao comando acima descrito. Ainda mais, o núcleo de processador de controle 801 executa, como detecção de trabalho de câmera 861, um processo de cálculo de parâmetro de trabalho de câmera 862. O processo de cálculo de parâmetro de trabalho de câmera 862 é um processo para calcular parâmetros de transformação conectada em uma base de quadro a quadro com base nos fluxos ópticos calculados por uma operação SIMD efetuada pelos núcleos de processador aritmético (#1)811 a (#8) 818.
O núcleo de processador aritmético (#1) 811 executa, como um processo de extração de ponto de característica 863, um processo de filtro Sobel 864, um processo de cálculo de matriz de momento secundário (Matriz de Momento Secundário) 865, um processo de filtro separável 866, um processo de extração de canto de Harris (Cale Harris) 867, um processo de dilatação 868 e um processo de classificação 869. O processo de filtro Sobel 864 é um processo para calcular um valor dx na direção x, obtido usando um filtro P2 (direção x) e um valor dy na direção y obtido usando um filtro na direção Y. Notar que o cálculo do valor dx na direção x será descrito em detalhe com referência às Figuras 53 a 56.
O processo de cálculo de matriz de momento secundário 865 é
2 2
um processo para calcular valores individuais dx , dy , e dx.dy usando dx e dy calculados pelo processo de filtro Sobel 864.
O processo de filtro separável 866 é um processo para aplicar
2 2
um filtro Gaussiano (processo de borrar) a dx , dy , e dx.dy obtidos pelo processo de cálculo de matriz de momento secundário 865.
O processo de extração de canto de Harris 867 é um processo
para calcular a contagem para cantos de Harris usando os valores individuais
2 2
dx , dy , e dx.dy aos quais o processo de borrar é aplicado pelo processo de filtro separável 866. A contagem S para cantos de Harris é calculada, por exemplo, pela seguinte equação.
S = (dx2 x dy2 - dx.dy x dx.dy)/(dx2 + dy2 + c)
O processo de dilatação 868 é um processo para executar um processo de borrar de uma imagem constituída pelas contagens para canto de Harris, que são calculadas pelo processo de extração de canto de Harris 867.
O processo de classificação 869 é um processo de classificar pixéis em ordem descendentes das contagens para cantos de Harris, que são calculadas pelo processo de extração de canto de Harris 867, capturando um número pré-determinado, começando da contagem mais alta e extraindo os pontos capturados como pontos de característica.
O núcleo de processador aritmético (#1) 811 executa, como um processo de computação de fluxo óptico 870, um processo de imagem de pirâmide (Efetuar Imagem de Pirâmide) 871 e um processo de cálculo de fluxo óptico (Cálculo de Fluxo Óptico) 872.
O processo de imagem de pirâmide 871 é um processo para gerar seqüencialmente imagens de tamanho reduzido obtidas reduzindo, em nível múltiplos, o tamanho de imagem de uma imagem no instante da captura de imagem usando uma câmera. As imagens geradas são chamadas imagens de resolução múltipla.
O processo de cálculo de fluxo óptico 872 é um processo para calcular fluxos ópticos em uma imagem com a resolução mais baixa, entre imagens de resolução múltiplas geradas pelo processo de imagem de pirâmide 871, e usando o resultado calculado, calcular novamente fluxos ópticos em uma imagem com a próxima resolução mais alta. Esta série de processos é executada repetidamente até que uma imagem com a resolução mais alta seja obtida.
Conforme acima, por exemplo, para o processo de extração de ponto de característica executado pela unidade de extração de ponto de característica 121 mostrada na Figura 1 e similar, e o processo de cálculo de fluxo óptico executado pela unidade de cálculo de fluxo óptico 122, resultados de processamento podem ser obtidos executando uma operação SIMD usando o processador multi núcleo 800 executando processamento paralelo. Notar que o processo de extração de ponto de característica e o processo de cálculo de fluxo óptico mostrado na Figura 52 e similar são apenas exemplos. Uma operação SIMD pode ser efetuada usando o processador multi núcleo 800 executando outros processamentos implementados por vários processos de filtragem, processos de limite e similares executados sobre imagens constituindo uma imagem móvel.
Figura 53 é um diagrama mostrando esquematicamente a estrutura de dados e o fluxo de um processo no caso em que um processo de filtragem é executado usando um filtro Sobel 830 nos dados de imagem armazenados na memória principal 781 (dados de imagem correspondentes a um quadro incluído em uma imagem móvel capturada por uma câmera) na realização da presente invenção. Notar que dados de imagem armazenados na memória principal 781 mostrados no desenho são simplificados e mostrados como possuindo 32 pixéis horizontais. Também, o filtro Sobel 830 é um filtro de extração de borda 3x3. Conforme mostrado no diagrama, um processo de filtragem de dados de imagem armazenados na memória principal 781 é 5 executado usando o filtro Sobel 830 e o resultado do processo de filtragem é emitido. Neste exemplo, um exemplo em que quatro resultados de filtragem são obtidos ao mesmo tempo usando uma operação SIMD, será descrito.
Figura 54 é um diagrama mostrando esquematicamente o fluxo de dados no caso em que uma operação SIMD é efetuada usando o filtro Sobel 830 nos dados de imagem armazenados na memória principal 781 na realização da presente invenção. Primeiramente, um número de linhas pre- determinado (por exemplo, três linhas) incluindo a primeira linha, de dados de imagem armazenados na memória principal 781 são transferidos via DMA (Acesso de Memória Direto) para uma primeira armazenagem temporária 831 incluída na armazenagem local 821 de um núcleo de processador aritmético. Adicionalmente, as linhas que foram transferidas por DMA para a primeira armazenagem temporária 831 são deslocadas individualmente uma linha para baixo e o próximo número de linhas pré-determinado é transferido via DMA para uma segunda armazenagem temporária 832. Conforme acima, o retardo devido à transferência DMA pode ser encoberto usando armazenagens temporárias duplas.
Figura 55 é um diagrama mostrando esquematicamente um método de geração de vetor para gerar nove vetores a partir de dados de imagem armazenados na primeira armazenagem temporária 831 no caso em 25 que um processo de filtragem é executado usando o filtro Sobel 830 na realização da presente invenção. Conforme mostrado na Figura 55, após a transferência DMA ser efetuada, nove vetores são gerados a partir de dados de imagem armazenados na primeira armazenagem temporária 831. Especificamente, dados de vetor 841 são gerados a partir de quatro itens de dados, começando do canto esquerdo, de uma linha dos dados de imagem armazenados na primeira armazenagem temporária 831. Estes quatro itens de dados são deslocados de um para a direita e, a partir dos próximos quatro itens de dados, dados de vetor 842 são gerados. Similarmente, os quatro itens 5 de dados são deslocados de um para a direita e, a partir dos próximos quatro itens de dados, dados de vetor 843 são gerados. Também, itens dos dados de vetor 844 a 849 são similarmente gerados individualmente a partir de quatro itens de dados da segunda linha e da terceira linha.
Figura 56 é um diagrama mostrando esquematicamente um método de operação de vetor para efetuar operações de vetor usando comandos SIMD em itens dos dados de vetor 841 a 849 no caso em que um processo de filtragem é executado usando o filtro Sobel 830 na realização da presente invenção. Especificamente, operações SIMD são seqüencialmente executadas sobre os itens de dados de vetor 841 a 843, e um vetor A é obtido. Nas operações SIMD, primeiramente, uma operação SIMD de “ ‘-Γ x ‘dados de vetor 841’ ” é efetuada. Então, uma operação SIMD de “ ‘0’ x ‘dados de vetor 842’ ” é efetuada, e uma operação SIMD de “ ‘ 1’ x ‘dados de vetor 843’ ” é efetuada. Aqui, uma vez que o resultado da operação de “ ‘0’ x ‘dados de vetor 842’ ” é determinado para ser “0”, esta operação pode ser omitida. Também, uma vez que o resultado da operação de “ ‘ 1’ x ‘dados de vetor 843’ ” é determinado para ser o mesmo valor que os “dados de vetor 843”, esta operação pode ser omitida.
Então, um processo de adição do resultado de operação de “ ‘- 1’ x ‘dados de vetor 841’ ” e o resultada da operação de “ ‘0’ x ‘dados de 25 vetor 842’ ” é efetuado usando uma operação SIMD. Então, um processo de adição do resultado deste processo de adição e o resultado de operação de “ ‘1’ x ‘dados de vetor 843’ ” é efetuado usando uma operação SIMD. Aqui, por exemplo, uma operação sobre a estrutura de dados “dados de vetor 1” x “dados de vetor 2” + “dados de vetor 3” pode ser efetuado usando operações SIMD. Portanto, para uma operação para o vetor A, por exemplo, operações SIMD de “ ‘0’ x ‘dados de vetor 842’ ” e “ ‘1’ x ‘dados de vetor 843’ ” podem ser omitidas, e “ ‘-Γ x ‘dados de vetor 841’ + ‘dados de vetor 843’ ” pode ser efetuada usando uma única operação SIMD.
Também, similarmente, operações SIMD são efetuadas sobre os itens dos dados de vetor 844 a 846 e um vetor B é obtido. Operações SIMD são efetuadas sobre os itens de dados de vetor 847 a 849 e o vetor C é obtido.
Então, uma operação SIMD dos vetores AaC obtidos pelas operações SIMD é executada, e um vetor D é obtido. Conforme acima, os resultados, cujo número é o número de componente de um vetor (quatro itens de dados neste exemplo), pode ser obtido ao mesmo tempo efetuando a operação SIMD.
Depois do vetor D ser calculado, a posição dos dados a serem retirados é deslocada de um para a direita nos dados de imagem armazenados na primeira armazenagem temporária 831 mostrada na Figura 55, e processos similares são executados repetidamente, deste modo calculando seqüencialmente vetores individuais D. Quando o processamento de um item na extremidade direita de dos dados de imagem armazenados na primeira armazenagem temporária 831 mostrada na Figura 55 é completado, os resultados do processamento são transferidos via DMA para a memória principal 781.
Então, dos dados de imagem armazenados na memória principal 781, linhas individuais que são transferidas via DMA para a segunda armazenagem temporária 832 são deslocados de um para baixo, e o próximo número pré-determinado de linhas é transferido via DMA para a primeira armazenagem temporária 831. Adicionalmente, os processos acima descritos são executados repetidamente sobre dados de imagem armazenados na segunda armazenagem temporária 832. Processos similares são executados repetidamente até que, entre as linhas individuais de dados de imagem armazenados na memória principal 781, uma linha na extremidade inferior é alcançada.
Similarmente, a maior parte do processamento de extração de ponto de característica e cálculo de fluxo óptico é efetuada usando operações SIMD, onde um aumento na velocidade pode ser realizado.
Figura 57 é um diagrama mostrando esquematicamente o fluxo de um processo de cálculo de parâmetro de trabalho de câmera em série de tempo na realização da presente invenção. Como tem sido descrito acima, por exemplo, o processamento de decodificação e análise de uma imagem móvel pode ser efetuado em paralelo, executando operações SIMD usando o processador multi núcleo 800. Portanto, o tempo de análise de um quadro incluído em um imagem móvel pode ser reduzido para ser mais curto que o tempo de decodificação.
Por exemplo, no diagrama, tl denota um tempo requerido para o núcleo de processador de controle 801 efetuar um processo de decodificação de um quadro incluído em uma imagem móvel; t2 denota um tempo requerido para os núcleos de processador aritmético (#1) 811 a (#8) 818 executarem um processo de extração de ponto de característica de um quadro incluído em uma imagem móvel; t3 denota um tempo requerido para os núcleos de processador aritmético (#1) 811 a (#8) 818 efetuarem um processo de cálculo de fluxo óptico de um quadro incluído na imagem móvel; e t4 denota um tempo requerido para o núcleo de processador de controle 801 executar um processo de detecção de trabalho de câmera de um quadro incluído em uma imagem móvel. Notar que t5 denota um tempo requerido para o núcleo de processador de controle 801 e os núcleos de processador aritmético (#1) 811 a (#8) 818 executarem um processo de detecção de trabalho de câmera de um quadro incluído em uma imagem móvel. Também, t6 denota um tempo requerido para o núcleo de processador de controle 801 executar um processo de gerenciar os núcleos de processador aritmético (#1) 811a (#8) 818. Por exemplo, tl pode ser ajustado para “25,0 ms”, t2 pode ser ajustado para “7,9 ms”, t3 pode ser ajustado para “6,7 ms”, t4 pode ser ajustado para “1,2 ms” e t5 pode ser ajustado para “15,8 ms”.
A seguir, o caso em que o conteúdo de imagem móvel é reproduzido usando um arquivo de metadados em uma realização da presente invenção, será descrito em detalhe com referência aos desenhos.
Parte (a) da Figura 58 é uma vista superior mostrando esquematicamente um Disco Blu-ray (marca registrada) 880 que é um exemplo de um meio de gravação, e parte (b) da Figura 58 é um diagrama mostrando esquematicamente itens de dados 881 a 884 gravados no Disco Blu-ray 880. No Disco Blu-ray 880, por exemplo, juntamente com conteúdo de imagem móvel 882 que é uma imagem móvel capturada por uma câmera ou similar, subtítulos 883 do conteúdo de imagem móvel 882, e metadados obtidos analisando o conteúdo de imagem móvel 882 (por exemplo, arquivo de metadados mostrado na parte (b) da Figura 33) 884, um programa Java (marca registrada) 881 relacionado a reprodução de uma imagem móvel na realização da presente invenção, é gravado.
Parte (c) da Figura 58 é um diagrama mostrando esquematicamente a estrutura interna de um reprodutor de Disco Blu-ray (Reprodutor de Disco Blu-ray) 890 que pode reproduzir o Disco Blu-ray 880. Aqui, uma vez que o reprodutor Blu-ray 890 capaz de reproduzir um disco Blu-ray inclui, como um padrão, além de uma CPU 891 e OS 892, uma VM Java (marca registrada) (máquina virtual Java (marca registrada)) e biblioteca 893, o reprodutor Blu-ray 890 pode executar um programa Java (marca registrada). Portanto, montando o Disco Blu-ray 880 no reprodutor Blu-ray 890, o reprodutor Blu-ray 890 pode carregar e executar o programa Java (marca registrada) 881. Conseqüentemente, quando o reprodutor Blu-ray 890 reproduz o conteúdo de imagem móvel 882, usando os metadados 884, a reprodução de uma imagem móvel na realização da presente invenção pode ser efetuada. Isto é, a reprodução de uma imagem móvel na realização da presente invenção pode ser realizada em todos os reprodutores Blu-ray, sem usar software de PC dedicado ou similar.
Também, o aparelho de processamento de informação nas realizações da presente invenção pode ser conectado a uma rede tal como a Internet, e uma imagem móvel pode ser reproduzida, combinando-a com uma imagem ou uma imagem móvel recebida através da rede. Por exemplo, o aparelho de processamento de imagem recebe uma imagem de paisagem de um determinado parque através de uma rede, visualiza a imagem da paisagem recebida do parque como uma imagem de segundo plano, e reproduz uma imagem móvel capturada de uma criança, enquanto a combina com a imagem de segundo plano. Conseqüentemente, uma imagem de pseudo reprodução aparecendo como se a criança estivesse se movendo através do parque, pode ser provida.
Como tem sido descrito acima, nas realizações da presente invenção, uma vez que imagens correspondentes a quadros antes da imagem atualmente exibida são combinadas com a imagem atual e uma imagem composta é exibida, juntamente com um alvo servindo como centro da captura de imagem, um segundo plano ou similar que tenha sido capturado pelo menos em uma zona de tempo parcial, pode ser facilmente pesquisado. Portanto, por exemplo, quando um espectador deseja olhar novamente para um segundo plano ou similar que tenha sido capturado pelo menos em uma zona de tempo parcial, o espectador pode observar a imagem atualmente exibida e, ao mesmo tempo, o segundo plano desta ou similar, sem executar uma operação de retomo, uma operação de busca ou similar. Também, quando um espectador busca uma imagem móvel capturada por uma câmera, o espectador pode entender facilmente os detalhes da imagem móvel.
Também, nos exemplos de visualização mostrados nas Figuras 7, 11, 15 e similares, uma vez que uma imagem correspondente a quadros precedentes é fixada, um espectador pode reconhecer facilmente a extensão espacial. Ainda mais, nos exemplos de visualização mostrados nas Figuras 8, 12, 16 e similares, uma vez que uma imagem correspondente ao quadro atual é exibida em uma posição fixa, um espectador pode reconhecer facilmente a porção de visualização atual.
Isto é, usando quadros passados, uma imagem móvel pode ser espacialmente expandida e apreciada. Conseqüentemente, por exemplo, um método de apreciação no qual, por exemplo, uma imagem panorâmica que é completada enquanto se reproduz uma imagem móvel, pode ser provida, onde um espectador pode apreciar a imagem móvel de modo mais divertido.
Também, reproduzindo uma imagem móvel usando o método de reprodução de imagem móvel mostrado nas Figuras 35 a 43 e similares, a comutação para um outro modo de visualização pode ser facilmente executada, mesmo durante a reprodução de uma imagem móvel. Portanto, por exemplo, a apreciação na qual uma imagem panorâmica é completada enquanto se reproduz uma imagem móvel pode ser desfrutada, e adicionalmente a comutação pode ser facilmente executada entre diversos modos de visualização, onde um espectador pode apreciar a imagem móvel de modo muito mais divertido. Também, uma vez que uma imagem em um estado anterior a ser salva na memória de imagem 684 pode ser exibida seqüencialmente como uma imagem atual, uma imagem relativamente limpa pode ser exibida.
Também, nas realizações da presente invenção, foi descrito o exemplo no qual a reprodução e visualização são executadas usando parâmetros de transformação conectada pré detectados. Entretanto, parâmetros de transformação conectada podem ser calculados no instante da reprodução e, usando os parâmetros de transformação conectada, reprodução e visualização podem ser executadas. Por exemplo, parâmetros de transformação conectada de um quadro podem ser calculados dentro de um tempo de processo de decodificação de um quadro, calculando parâmetros de transformação conectada usando operações SIMD utilizando um processador multi núcleo. Conseqüentemente, mesmo no caso em que uma imagem móvel para a qual não tenham sido calculados parâmetros de transformação 5 conectada deve ser reproduzida, a imagem móvel pode ser reproduzida enquanto se calcula parâmetros de transformação conectada. Portanto, a apreciação de uma imagem móvel enquanto se expande espacialmente a imagem móvel, pode ser prontamente executada.
Também, por exemplo, quando uma imagem móvel capturada com qualidade de imagem SD (Definição Padrão) deve ser apreciada ou uma imagem capturada usando uma função de salvamento de imagem móvel ou similar de uma câmera fixa digital ou um telefone móvel deve ser apreciada em uma TV (Televisão) de alta definição, se a imagem móvel é exibida em um estado com o tamanho de imagem original, esta pode deixar de empregar plenamente o número de pixéis da TV de alta definição. Também, quando o aumento e visualização são executados, em muitos casos, a aspereza da imagem toma-se notável. Portanto, efetuando a visualização descrita nas realizações da presente invenção, a apreciação na qual o número de pixéis de uma TV de alta definição é plenamente empregada, sem tomar a aspereza da imagem notável, pode ser efetuada.
Notar que uma imagem composta gerada pela combinação nas etapas S926, S942, S954 e similares pode ser gravada em um meio de gravação ou similar, de tal modo que a imagem composta pode ser usada para outros tipos de reprodução e visualização. Também, nas realizações da 25 presente invenção, foi descrito o exemplo no qual uma imagem composta correspondente a quadros precedendo o quadro atual é exibida. Entretanto, a imagem composta pode ser seqüencialmente apagada à medida que o tempo decorre. Neste caso, a entrega pode ser aplicada de tal maneira que a imagem composta é apagada enquanto deixa uma imagem residual. Também uma imagem correspondente ao quadro atual pode ser exibida em cor, e adicionalmente a entrega pode ser aplicada a uma imagem composta correspondendo a quadros precedendo o quadro atual de tal maneira que, à medida que o tempo passa, a exibição em cor muda para exibição em sépia.
Também, nas realizações da presente invenção, o caso no qual o movimento da câmera é obtido no caso em que o tamanho de um objeto móvel é relativamente pequeno com respeito à área de uma imagem incluída em uma imagem móvel e, usando o movimento da câmera, a imagem móvel é reproduzida, foi descrito. Entretanto, as realizações da presente invenção são também aplicáveis ao caso em que o tamanho de uma imagem móvel é relativamente grande com respeito a área de uma imagem incluída em uma imagem móvel. Por exemplo, quando uma imagem de um trem partindo de uma estação é capturada, com o trem servindo como um assunto central da imagem, de tal modo que a proporção do trem com respeito à área de imagem toma-se grande, se os parâmetros de transformação conectada acima descritos são calculados, o movimento do trem é calculado. Neste caso, usando o movimento do trem, uma imagem móvel pode ser reproduzida pelo método de visualização acima descrito. No caso em que uma imagem móvel é reproduzida de tal maneira, o segundo plano é fixo, e adicionalmente o trem é exibido como se estivesse progredindo à medida que a imagem atual progride. Conforme acima, informação de movimento relacionada a quantidades relativas de movimento de uma câmera e um assunto fotográfico no instante de captura de uma imagem, pode ser calculada e usada como informação de transformação para transformar imagens constituindo uma imagem móvel.
Isto é, de acordo com realizações da presente invenção, no caso em que uma primeira imagem e uma segunda imagem capturadas por um aparelho de captura de imagem, tal como uma câmera de vídeo digital devem ser exibidas, a segunda imagem pode ser colocada na primeira imagem e exibida usando a relação de posição relativa entre a primeira imagem e a segunda imagem, o que indica movimento do aparelho de captura de imagem ou movimento de um assunto fotográfico no instante de captura das imagens. Conseqüentemente, a reprodução de uma imagem móvel em uma unidade de visualização de maneira que, se o tempo decorre apenas em uma pequena 5 janela contemplada por um usuário pode ser realizada.
Também, nas realizações da presente invenção, um aparelho de processamento de imagem que exibe uma imagem composta gerada por uma unidade de combinação de imagem em uma unidade de visualização, foi descrita por meio de exemplo. Entretanto, as realizações da presente invenção 10 são aplicáveis a um aparelho de processamento de imagem que possui meios de saída para emitir informação de imagem para exibir uma imagem composta gerada por uma unidade de combinação de imagem ou um outro aparelho de visualização de imagem. Ainda mais, as realizações da presente invenção são aplicáveis a um aparelho de reprodução de imagem móvel capaz 15 de reproduzir uma imagem móvel, um aparelho de captura de imagem tal como uma câmera de vídeo digital capaz de reproduzir uma imagem móvel capturada, e similar.
Também, nas realizações da presente invenção, uma imagem móvel capturada por uma câmera foi descrita. Entretanto, por exemplo, as 20 realizações da presente invenção são aplicáveis a uma imagem móvel editada no caso em que uma imagem móvel capturada por uma câmera é editada, uma imagem móvel adicionada parcialmente com animação ou similar, ou similar. Também, embora o exemplo no qual parte ou todas as imagens históricas são exibidas tenha sido descrito nas realizações da presente invenção, somente a 25 imagem atual transformada pode ser exibida. Isto é, somente a imagem atual que é mantida por último na memória da imagem pode ser exibida seqüencialmente. Também, no caso de calcular parâmetros de transformação conectada, por exemplo, estreitando uma região onde vetores de movimento de pontos de característica em uma imagem composta são calculados, por exemplo, uma câmera é colocada faceando um trem em movimento, e uma imagem móvel do trem e uma imagem gigante deste pode ser gerada.
Notar que as realizações da presente invenção são ilustradas a título de exemplo para realizar a presente invenção. Embora haja uma 5 correspondência entre as realizações e as características das reivindicações, que serão descritas abaixo, a presente invenção não está limitada a isto, e várias modificações podem ser feitas sem se afastar do ponto essencial da presente invenção.
Isto é, na reivindicação 1 ou 25, meio de entrada de imagem móvel corresponde, por exemplo, à unidade de entrada de imagem móvel 110. Também, meio de cálculo de informação de transformação corresponde, por exemplo, à unidade de detecção de trabalho de câmera 120. Também, meio de manutenção de imagem corresponde, por exemplo, à memória de imagem 170 ou memória de imagem 684. Também, meio de transformação de imagem corresponde, por exemplo, à unidade de transformação de imagem 160 ou unidade de transformação de imagem 682. Também, meio de aceitação de operação corresponde, por exemplo, à unidade de aceitação de operação 195. Também, meio de combinação de imagem corresponde, por exemplo, à unidade de combinação de imagem 180 ou unidade de combinação de imagem 683. Também, meio de saída corresponde, por exemplo, à unidade de visualização 191 ou unidade de visualização 689. Também, meio de controle corresponde, por exemplo, à unidade de controle de visualização 190 ou unidade de controle de visualização 687.
Também, na reivindicação 25, meio de visualização corresponde, por exemplo, à unidade de visualização 191 ou unidade de visualização 689.
Também, na reivindicação 5 ou 9, meio de extração de saída corresponde, por exemplo, à unidade de extração de região de visualização 685. Também, na reivindicação 18, meio de extração de ponto de característica corresponde, por exemplo, à unidade de extração de ponto de característica 121. Também, meio de cálculo de quantidade de movimento corresponde, por exemplo, à unidade de cálculo de fluxo óptico 122. Também, meio de cálculo de parâmetro de transformação corresponde, por exemplo, à unidade de cálculo de parâmetro de trabalho de câmera 123.
Também, na reivindicação 21, meio de compressão corresponde, por exemplo, à unidade de combinação de imagem 683.
Também, na reivindicação 22, meio de obtenção de imagem móvel corresponde, por exemplo, à unidade de obtenção de imagem móvel 140. Também, meio de extração de informação de transformação corresponde, por exemplo, à unidade de extração de parâmetro de trabalho de câmera 150. Também, meio de manutenção de imagem corresponde, por exemplo, à memória de imagem 170 ou memória de imagem 684. Também, meio de transformação de imagem corresponde, por exemplo, à unidade de transformação de imagem 160 ou unidade de transformação de imagem 682. Também, meio de aceitação de operação corresponde, por exemplo, à unidade de aceitação de operação 195. Também, meio de combinação de imagem corresponde, por exemplo, à unidade de combinação de imagem 180 ou unidade de combinação de imagem 683. Também, meio de saída corresponde, por exemplo, à unidade de visualização 191 ou unidade de visualização 689. Também, meio de controle corresponde, por exemplo, à unidade de controle de visualização 190, ou unidade de controle de visualização 687.
Também, na reivindicação 23, meio de armazenagem de informação de transformação corresponde, por exemplo, à unidade de armazenagem de metadados 670. Também, meio obtenção de imagem móvel corresponde, por exemplo, à unidade de obtenção de arquivo 652 ou unidade de obtenção de arquivo 681. Também, meio de obtenção de informação de transformação corresponde, por exemplo, à unidade de obtenção de arquivo 652 ou unidade de obtenção de arquivo 681. Também, meio de manutenção de imagem corresponde, por exemplo, à memória de imagem 170 ou memória de imagem 684. Também, meio de transformação de imagem corresponde, por exemplo, à unidade de transformação de imagem 160 ou unidade de transformação de imagem 682. Também, meio doe aceitação de operação corresponde, por exemplo, à unidade de aceitação de operação 195. Também, meio de combinação de imagem corresponde, por exemplo, à unidade de combinação de imagem 180 ou unidade de combinação de imagem 683. Também, meio de saída corresponde, por exemplo, à unidade de visualização 191 ou unidade de visualização 689. Também, meio de controle corresponde, por exemplo, à unidade de controle de visualização 190, ou unidade de controle de visualização 687.
Também, na reivindicação 24, meio de entrada de imagem móvel corresponde, por exemplo, à unidade de entrada de imagem móvel 110. Também, meio de cálculo de informação de transformação corresponde, por exemplo, à unidade de detecção de trabalho de câmera 120. Também, meio de transformação de imagem corresponde, por exemplo, à unidade de transformação de imagem 160 ou unidade de transformação de imagem 682. Também, meio de controle corresponde, por exemplo, à unidade de controle de visualização 190, ou unidade de controle de visualização 687.
Também, na reivindicação 26, meio de entrada de imagem móvel corresponde, por exemplo, à unidade de entrada de imagem móvel 110. Também, meio de armazenagem de imagem móvel capturada corresponde, por exemplo, à unidade de armazenagem de imagem móvel 200. Também, meio de cálculo de informação de transformação corresponde, por exemplo, à unidade de detecção de trabalho de câmera 120. Também, meio de controle de gravação corresponde, por exemplo, à unidade de controle de gravação 130.
Também, na reivindicação 27, meio de entrada de imagem móvel corresponde, por exemplo, à unidade de entrada de imagem móvel 110. Também, meio de armazenagem de metadados corresponde, por exemplo, à unidade de armazenagem de metadados 670. Também, meio de cálculo de informação de transformação corresponde, por exemplo, à unidade de detecção de trabalho de câmera 120. Também, meio de controle de gravação corresponde, por exemplo, à unidade de controle de gravação 651.
Também, na reivindicação 20 ou 30, uma etapa de entrada de imagem móvel corresponde, por exemplo, à etapa S900. Também, uma etapa de calcular informação de transformação corresponde, por exemplo, às etapas S903 a S913. Também, uma etapa de manutenção de imagem corresponde, por exemplo, às etapas S926, S942 e S954. Uma etapa de transformação de imagem corresponde, por exemplo, a etapas S925, S941, S952 e S953. Uma etapa de aceitação de operação é executada, por exemplo, pela unidade de aceitação de operação 195. Também, uma etapa de combinação de imagem corresponde por exemplo, às etapas S926, S942 e S954. Também, uma etapa de controle corresponde, por exemplo, à etapa S927 ou S970.
Notar que procedimentos de processamento descritos nas realizações da presente invenção podem ser considerados como método tendo a série de procedimentos ou pode ser considerado como um programa para permitir que um computador execute a série de procedimentos ou como um meio de gravação possuindo o programa gravado nele.
Claims (30)
1. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: meio de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; meio de cálculo de transformação-informação para calcular, com base em uma primeira imagem capturada incluída na imagem móvel capturada e uma segunda imagem capturada posicionada subseqüentemente à primeira imagem capturada, ao longo de um eixo de tempo da imagem móvel capturada, informação de transformação relativa à primeira imagem capturada e segunda imagem capturada; meio de manutenção de imagem para manter, como uma imagem histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionada antes da segunda imagem capturada ao longo do eixo de tempo da imagem móvel capturada; meio de transformação de imagem para transformar em pelo menos uma da imagem histórica e segunda imagem capturada com base na informação de transformação calculada; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; meio de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem, em resposta à operação de seleção aceita, para gerar uma imagem composta; meio de saída para emitir a imagem composta; e meio de controle para fazer com que o meio de saída emita seqüencialmente a imagem composta.
2. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que o meio de combinação de imagem combina a segunda imagem capturada e a imagem histórica, pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem, escrevendo a segunda imagem capturada sobre a imagem histórica, para gerar a imagem composta, e faz com que o meio de manutenção de imagem mantenha a imagem composta como uma nova imagem histórica.
3. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que o meio de combinação de imagem escreve a segunda imagem capturada, que tenha sido transformada pelo meio de transformação de imagem, sobre a imagem histórica, e combina a segunda imagem capturada transformada com a imagem histórica, transformando uma qualidade de imagem da segunda imagem capturada transformada de acordo com a imagem histórica.
4. Aparelho de processamento de imagem de acordo com a reivindicação 3, caracterizado pelo fato de que o meio de combinação de imagem escreve a segunda imagem transformada pelo meio de transformação de imagem, que existia antes da transformação da qualidade de imagem, sobre a nova imagem histórica para gerar uma nova imagem composta, e meio de controle faz com que o meio de saída emita seqüencialmente a nova imagem composta.
5. Aparelho de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de compreender adicionalmente meio de extração de imagem de saída para extrair uma imagem de saída a ser emitida pelo meio de saída, a partir da nova imagem histórica mantida no meio de manutenção de imagem, onde o meio de combinação de imagem escreve a segunda imagem transformada pelo meio de transformação de imagem, que existia antes da transformação da qualidade da imagem, sobre a imagem de saída e combina a segunda imagem com a imagem de saída para gerar uma nova imagem de saída, e o meio de controle faz com que o meio de saída emita seqüencialmente a nova imagem composta.
6. Aparelho de processamento de imagem de acordo com a reivindicação 5, caracterizado pelo fato de que o meio de extração de imagem de saída calcula, com base em uma posição e tamanho da segunda imagem capturada transformada em uma região de manutenção do meio de manutenção de imagem e uma posição e tamanho da imagem de saída na região de manutenção, uma posição na qual a segunda imagem transformada pelo meio de transformação de imagem, que existia antes da transformação da qualidade de imagem, é escrita sobre a imagem de saída e um tamanho da segunda imagem, e o meio de combinação de imagem escreve a segunda imagem transformada pelo meio de transformação de imagem, que existia antes da transformação da qualidade de imagem, sobre a imagem de saída e combina a segunda imagem com a imagem de saída, com base na posição calculada e tamanho.
7. Aparelho de processamento de imagem de acordo com a reivindicação 5, caracterizado pelo fato de que, quando pelo menos uma porção da segunda imagem capturada transformada incluída na nova imagem histórica se projeta a partir de uma região de saída que é uma região para extrair a imagem de saída, o meio de extração de imagem de saída move a região de saída em uma direção da porção de imagem projetada e extrai a imagem de saída da nova imagem histórica.
8. Aparelho de processamento de imagem de acordo com a reivindicação 3, caracterizado pelo fato de que a qualidade da imagem é pelo menos uma dentre uma resolução e uma relação de compressão.
9. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de compreender adicionalmente meio de extração de imagem de saída para extrair, como uma imagem de saída a ser emitida pelo meio de saída, uma imagem incluída em uma região calculada com base na informação de transformação calculada, a partir da nova imagem histórica mantida no meio de manutenção de imagem, onde o meio de combinação de imagem escreve a segunda imagem capturada que existia antes da transformação efetuada pelo meio de transformação de imagem sobre a imagem de saída e combina a segunda imagem capturada com a imagem de saída, para gerar uma nova imagem e o meio de controle pode fazer com que o meio de saída emita seqüencialmente a nova imagem de saída, e o meio de controle faz com que o meio de saída emita seqüencialmente a nova imagem de saída.
10. Aparelho de processamento de imagem de acordo com a reivindicação 9, caracterizado pelo fato de que o meio de extração de imagem de saída transforma, com base na informação de transformação calculada, a imagem de saída em uma direção oposta a uma direção na qual a segunda imagem capturada é transformada pelo meio de transformação de imagem, e o meio de combinação de imagem escreve a segunda imagem capturada que existia antes da transformação efetuada pelo meio de transformação de imagem, sobre a imagem de saída transformada, e combina a segunda imagem capturada com a imagem de saída transformada, para gerar uma nova imagem de saída.
11. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que o meio de transformação de imagem transforma, com base na informação de transformação calculada, a imagem histórica em uma direção oposta a uma direção na qual a segunda imagem capturada é transformada.
12. Aparelho de processamento de imagem de acordo com a reivindicação 2, caracterizado pelo fato de que a informação de transformação inclui elementos relativos a aumento/redução, movimento e rotação; e o meio de transformação de imagem transforma a segunda imagem capturada com base nos elementos relativos a movimento e rotação, que são incluídos na informação de transformação calculada, e transforma a imagem histórica com base no elemento relacionado a aumento/redução, que está incluído na informação de transformação calculada.
13. Aparelho de processamento de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que o meio de transformação de imagem transforma a imagem histórica em uma direção oposta a uma direção na qual a segunda imagem capturada é transformada.
14. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que o meio de cálculo de informação de transformação calcula seqüencialmente a informação de transformação para cada um dos quadros constituindo a imagem móvel capturada, o meio de transformação de imagem transforma, para cada um dos quadros, pelo menos uma dentre a imagem histórica e a segunda imagem capturada, o meio de combinação de imagem combina, seqüencialmente, para cada um dos quadros, a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem, e o meio de controle faz com que a imagem composta seja emitida seqüencialmente para cada um dos quadros.
15. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira imagem capturada e a segunda imagem capturada são imagens correspondentes a dois quadros sucessivos, incluídos na imagem móvel capturada.
16. Aparelho de processamento de imagem de acordo com a reivindicação 15, caracterizado pelo fato de que a informação de transformação é informação de movimento do aparelho de captura de imagem no instante em que a primeira imagem capturada ou a segunda imagem capturada foram capturadas, e o meio de cálculo de informação de transformação calcula a informação de transformação comparando a primeira imagem capturada e a segunda imagem capturada.
17. Aparelho de processamento de imagem de acordo com a reivindicação 15, caracterizado pelo fato de que a informação de transformação é informação de movimento relativa a quantidades relativas de movimento do aparelho de captura de imagem e um assunto fotográfico no instante em que a primeira imagem capturada ou a segunda imagem capturada foram capturadas, e o meio de cálculo de informação de transformação calcula a informação de transformação comparando a primeira imagem capturada e a segunda imagem capturada.
18. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que o meio de cálculo de informação de transformação inclui: meio de extração de ponto de característica para extrair pontos de característica na primeira imagem capturada e na segunda imagem capturada, com base nos pixéis individuais constituindo a primeira imagem capturada e a segunda imagem capturada, meio de cálculo de quantidade de movimento para calcular uma quantidade de movimento relativa à primeira imagem capturada e à segunda imagem capturada, com base nos pontos de característica individual extraídos, e meio de cálculo de parâmetro de transformação para calcular a informação de transformação calculando um parâmetro de transformação pré- determinado com base na quantidade de movimento calculada.
19. Aparelho de processamento de imagem de acordo com a reivindicação 18, caracterizado pelo fato de que o meio de extração de ponto de característica é configurado por um processador multi núcleo, e o processador multi núcleo extrai quantidades de característica na primeira imagem capturada e na segunda imagem capturada, executando processamento paralelo usando operações SIMD nos pixéis individuais constituindo a primeira imagem capturada e segunda imagem capturada.
20. Aparelho de processamento de imagem de acordo com a reivindicação 18, caracterizado pelo fato de que o meio de cálculo de quantidade de movimento é configurado por um processador multi núcleo, e o processador multi núcleo calcula a quantidade de movimento relativa à primeira imagem capturada e segunda imagem capturada, executando processamento paralelo usando operações SIMD sobre os pontos de característica individual extraídos.
21. Aparelho de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente meio de compressão para comprimir a imagem capturada, onde a imagem histórica no instante de emissão da imagem composta, é uma imagem comprimida, e a segunda imagem capturada é uma imagem não comprimida ou uma imagem capturada com uma resolução mais alta que a imagem histórica comprimida.
22. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: meio de obtenção de imagem móvel para obter uma imagem móvel capturada com a qual informação de transformação para transformar pelo menos uma dentre uma primeira imagem capturada e uma segunda imagem capturada incluídas na imagem móvel capturada é associada e gravada, a imagem móvel capturada sendo capturada por um aparelho de captura de imagem; meio de extração de informação de transformação para extrair a informação de transformação a partir da imagem móvel capturada obtida; meio de fixação de imagem para manter, como uma imagem histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionada antes da segunda imagem capturada ao longo de um eixo de tempo da imagem móvel capturada; meio de transformação de imagem para transformar pelo menos uma dentre a imagem histórica e a segunda imagem capturada com base na informação de transformação extraída; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; meio de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem, em resposta à operação de seleção aceita, para gerar uma imagem composta; meio de saída para emitir a imagem composta; e meio de controle para fazer com que meio de saída emita seqüencialmente a imagem composta.
23. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: meio de armazenagem de informação de transformação para armazenar informação de transformação para transformar pelo menos uma dentre uma primeira imagem capturada e uma segunda imagem capturada, incluídas em uma imagem móvel capturada, capturada por um aparelho de captura de imagem, em associação com cada um dos quadros constituindo a imagem móvel capturada; meio de obtenção de imagem móvel para obter a imagem móvel capturada; meio de obtenção de informação de transformação para obter informação de transformação armazenada em associação com a imagem móvel capturada obtida no meio de armazenagem de informação de transformação; meio de fixação de imagem, para manter, como uma imagem histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionada antes da segunda imagem capturada, ao longo de um eixo de tempo da imagem móvel capturada; meio de transformação de imagem para transformar pelo menos uma dentre a imagem histórica e a segunda imagem capturada com base na informação de transformação obtida; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; meio de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem em resposta à operação de seleção aceita, para gerar uma imagem composta; meio de saída para emitir a imagem composta; e meio de controle para fazer com que o meio de saída emita seqüencialmente a imagem composta.
24. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: meio de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; meio de cálculo de informação de transformação para calcular informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo a imagem móvel capturada, uma outra imagem capturada para cada uma das imagens capturadas; meio de transformação de imagem para transformar, com base na informação de transformação calculada com referência, como uma imagem de referência, a pelo menos uma imagem capturada entre as imagens capturadas constituindo a imagem móvel capturada, uma imagem capturada correspondendo à informação de transformação; meio de fixação de imagem para manter a imagem capturada transformada; e meio de controle para fazer com que o meio de saída emita seqüencialmente a última imagem capturada mantida no meio de manutenção de imagem.
25. Aparelho de reprodução de imagem móvel, caracterizado pelo fato de compreender: meio de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; meio de cálculo de informação de transformação para calcular, com base em uma primeira imagem capturada incluída na imagem móvel capturada e uma segunda imagem capturada posicionada subseqüente à primeira imagem capturada, ao longo de um eixo de tempo da imagem móvel capturada, informação de transformação relativa à primeira imagem capturada e segunda imagem capturada; meio de manutenção de imagem para manter, como uma imagem histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionadas antes da segunda imagem capturada ao longo do eixo de tempo da imagem móvel capturada; meio de transformação de imagem para transformar pelo menos uma dentre a imagem histórica e a segunda imagem capturada, com base na informação de transformação calculada; meio de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; meio de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada pelo meio de transformação de imagem, em resposta à operação de seleção aceita, para gerar uma imagem composta; meio de exibição para exibir a imagem composta; e meio de controle para fazer com que o meio de visualização exiba seqüencialmente a imagem composta.
26. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: meio de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; meio de armazenagem de imagem móvel capturada para armazenar a imagem móvel capturada; meio de cálculo de informação de transformação para calcular, para cada um dos quadros constituindo a imagem móvel capturada, informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo a imagem móvel capturada, uma outra imagem capturada; e meio de controle de gravação para gravar a informação de transformação calculada em associação com cada um dos quadros no meio de armazenagem de imagem móvel capturada.
27. Aparelho de processamento de imagem, caracterizado pelo fato de compreender: meio de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; meio de armazenagem de metadados para armazenar metadados relativos à imagem móvel capturada; meio de cálculo de informação de transformação para calcular, para cada um dos quadros constituindo a imagem móvel capturada, informação de transformação para transformar, com referência a pelo menos uma imagem capturada entre imagens capturadas constituindo a imagem móvel capturada, uma outra imagem capturada; e meio de controle de gravação para gravar, como os metadados, a informação de transformação calculada, em associação com a imagem móvel capturada e o quadro no meio de armazenagem de metadados.
28. Aparelho de processamento de imagem de acordo com a reivindicação 27, caracterizado pelo fato de que os metadados incluem pelo menos informação de posição e informação de postura descrita em um sistema de coordenadas do aparelho de captura de imagem.
29. Método de processamento de imagem, caracterizado pelo fato de compreender: etapa de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; etapa de cálculo de informação de transformação para calcular, com base em uma primeira imagem capturada incluída na imagem móvel capturada e uma segunda imagem capturada posicionada subseqüente à primeira imagem capturada ao longo de um eixo de tempo da imagem móvel capturada, informação de transformação relativa à primeira imagem capturada e segunda imagem capturada; etapa de manutenção de imagem para fazer com que o meio de manutenção de imagem mantenha, como uma imagem histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionadas antes da segunda imagem capturada ao longo do eixo de tempo da imagem móvel capturada; etapa de transformação de imagem para transformar pelo menos uma dentre a imagem histórica e a segunda imagem capturada, com base na informação de transformação calculada; etapa de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; etapa de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada na etapa de transformação de imagem, em resposta à operação de seleção aceita, para gerar uma imagem composta; e etapa de controle para fazer com que a imagem composta seja emitida seqüencialmente.
30. Programa, caracterizado pelo fato de fazer com que um computador execute: uma etapa de entrada de imagem móvel para receber uma imagem móvel capturada, capturada por um aparelho de captura de imagem; uma etapa de cálculo de informação de transformação para calcular, com base em uma primeira imagem capturada incluída na imagem móvel capturada e uma segunda imagem capturada posicionada subseqüente à primeira imagem capturada ao longo de um eixo de tempo da imagem móvel capturada, informação de transformação relativa à primeira imagem capturada e segunda imagem capturada; uma etapa de manutenção de imagem para fazer com que o meio de manutenção de imagem mantenha, como uma imagem histórica, imagens individuais incluindo a primeira imagem capturada e sendo posicionadas antes da segunda imagem capturada ao longo do eixo de tempo da imagem móvel capturada; uma etapa de transformação de imagem para transformar pelo menos uma dentre a imagem histórica e a segunda imagem capturada, com base na informação de transformação calculada; uma etapa de aceitação de operação para aceitar uma operação de seleção para selecionar uma imagem a ser transformada pelo meio de transformação de imagem; uma etapa de combinação de imagem para combinar a imagem histórica e a segunda imagem capturada, pelo menos uma das quais tenha sido transformada na etapa de transformação de imagem, em resposta à operação de seleção aceita, para gerar uma imagem composta; e uma etapa de controle para fazer com que a imagem composta seja emitida seqüencialmente.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPP2007-219093 | 2007-08-24 | ||
| JP2007219093 | 2007-08-24 | ||
| JP2007317767A JP2009077362A (ja) | 2007-08-24 | 2007-12-07 | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| JPP2007-317767 | 2007-12-07 | ||
| PCT/JP2008/064992 WO2009028413A1 (ja) | 2007-08-24 | 2008-08-22 | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BRPI0807370A2 true BRPI0807370A2 (pt) | 2014-05-06 |
Family
ID=40387135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0807370-8A BRPI0807370A2 (pt) | 2007-08-24 | 2008-08-22 | Aparelho e método de processamento de image, aparelho de reprodução de imagem móvel, e, programa. |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8963951B2 (pt) |
| EP (1) | EP2180701A4 (pt) |
| JP (1) | JP2009077362A (pt) |
| KR (1) | KR20100043139A (pt) |
| BR (1) | BRPI0807370A2 (pt) |
| RU (1) | RU2009131724A (pt) |
| TW (1) | TW200922324A (pt) |
| WO (1) | WO2009028413A1 (pt) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5092722B2 (ja) | 2007-12-07 | 2012-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2009151896A (ja) | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
| JP4678404B2 (ja) * | 2007-12-27 | 2011-04-27 | ソニー株式会社 | 撮像装置、その制御方法およびプログラム |
| JP5133816B2 (ja) * | 2008-08-22 | 2013-01-30 | オリンパスイメージング株式会社 | カメラ、画像合成方法、およびプログラム |
| JP5343676B2 (ja) * | 2009-04-08 | 2013-11-13 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
| JP5436975B2 (ja) | 2009-08-21 | 2014-03-05 | オリンパスイメージング株式会社 | カメラ、カメラの表示制御方法、表示装置、及び表示方法 |
| GB2481606B (en) * | 2010-06-29 | 2017-02-01 | Promethean Ltd | Fine object positioning |
| TWI435261B (zh) * | 2010-08-17 | 2014-04-21 | Wistron Corp | 電子裝置及其面板化操作介面之建立方法 |
| KR20120071738A (ko) * | 2010-12-23 | 2012-07-03 | 한국전자통신연구원 | 비정형 환경 대응 이동체 운용을 위한 환경 센서 안정화 장치 및 방법 |
| US20130002715A1 (en) * | 2011-06-28 | 2013-01-03 | Tidman James M | Image Sequence Reconstruction based on Overlapping Measurement Subsets |
| CN103389879B (zh) | 2012-05-10 | 2016-08-17 | 慧荣科技股份有限公司 | 电子装置以及由电子装置传送数据至显示设备的方法 |
| US9769473B2 (en) * | 2012-06-08 | 2017-09-19 | Apple Inc. | Predictive video coder with low power reference picture transformation |
| JP5602818B2 (ja) * | 2012-11-07 | 2014-10-08 | オリンパスイメージング株式会社 | カメラ、画像再生装置、画像合成方法、およびプログラム |
| US9179071B2 (en) * | 2013-02-01 | 2015-11-03 | Htc Corporation | Electronic device and image selection method thereof |
| US9374532B2 (en) | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| US9767533B2 (en) * | 2015-02-16 | 2017-09-19 | Adobe Systems Incorporated | Image resolution enhancement based on data from related images |
| WO2016148322A1 (ko) * | 2015-03-19 | 2016-09-22 | 삼성전자 주식회사 | 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치 |
| JP6640460B2 (ja) * | 2015-03-30 | 2020-02-05 | 富士フイルム株式会社 | 画像撮影装置、画像撮影方法、プログラムおよび記録媒体 |
| KR102591581B1 (ko) * | 2016-01-07 | 2023-10-20 | 삼성전자주식회사 | 촬영 디바이스 및 그 제어 방법 |
| JP2018055589A (ja) * | 2016-09-30 | 2018-04-05 | セイコーエプソン株式会社 | プログラム、物体の追跡方法、表示装置 |
| JP2018148272A (ja) * | 2017-03-01 | 2018-09-20 | オリンパス株式会社 | 撮像装置、画像処理装置、撮像方法およびプログラム |
| CN108062760B (zh) * | 2017-12-08 | 2020-12-08 | 广州市百果园信息技术有限公司 | 视频编辑方法、装置及智能移动终端 |
| US11116587B2 (en) | 2018-08-13 | 2021-09-14 | Theator inc. | Timeline overlay on surgical video |
| US10729502B1 (en) | 2019-02-21 | 2020-08-04 | Theator inc. | Intraoperative surgical event summary |
| US11065079B2 (en) | 2019-02-21 | 2021-07-20 | Theator inc. | Image-based system for estimating surgical contact force |
| CN110428484B (zh) * | 2019-07-05 | 2023-01-10 | 广州多益网络股份有限公司 | 一种基于3d转2d的游戏换装方法 |
| US10990167B1 (en) * | 2019-10-22 | 2021-04-27 | Varjo Technologies Oy | Display apparatus and method using projection matrices to generate image frames |
| JP2021149671A (ja) * | 2020-03-19 | 2021-09-27 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム |
| US20220350620A1 (en) * | 2021-04-30 | 2022-11-03 | Zebra Technologies Corporation | Industrial ethernet configuration tool with preview capabilities |
| CN113793259B (zh) * | 2021-11-15 | 2022-02-15 | 深圳思谋信息科技有限公司 | 图像变焦方法、计算机设备和存储介质 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5489274A (en) * | 1992-10-09 | 1996-02-06 | Boston Scientific Corporation | Rotatable medical valve closure |
| US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
| JP2989364B2 (ja) | 1992-03-12 | 1999-12-13 | シャープ株式会社 | 画像処理装置及び画像処理方法 |
| US5649032A (en) | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| US5999652A (en) * | 1995-05-25 | 1999-12-07 | Lockheed Martin Corporation | Plume or combustion detection by time sequence differentiation of images over a selected time interval |
| JPH0962861A (ja) * | 1995-08-21 | 1997-03-07 | Matsushita Electric Ind Co Ltd | パノラマ映像装置 |
| US5706416A (en) * | 1995-11-13 | 1998-01-06 | Massachusetts Institute Of Technology | Method and apparatus for relating and combining multiple images of the same scene or object(s) |
| WO1998034195A1 (en) * | 1997-01-30 | 1998-08-06 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Generalized panoramic mosaic |
| JPH11120353A (ja) | 1997-10-16 | 1999-04-30 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
| JP4154012B2 (ja) * | 1997-10-30 | 2008-09-24 | 株式会社日立製作所 | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 |
| JPH11289517A (ja) | 1998-04-02 | 1999-10-19 | Sony Corp | 再生装置及び再生方法 |
| US6278466B1 (en) * | 1998-06-11 | 2001-08-21 | Presenter.Com, Inc. | Creating animation from a video |
| JP3603737B2 (ja) * | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | 移動体追尾方法及びその装置 |
| US6895126B2 (en) * | 2000-10-06 | 2005-05-17 | Enrico Di Bernardo | System and method for creating, storing, and utilizing composite images of a geographic location |
| JP4519364B2 (ja) * | 2001-05-31 | 2010-08-04 | 株式会社日立メディコ | パノラマ画像表示方法、ソフトウエア及び装置 |
| US7119837B2 (en) * | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
| US7027054B1 (en) * | 2002-08-14 | 2006-04-11 | Avaworks, Incorporated | Do-it-yourself photo realistic talking head creation system and method |
| US7085434B2 (en) * | 2002-10-01 | 2006-08-01 | International Business Machines Corporation | Sprite recognition in animated sequences |
| GB0227570D0 (en) * | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
| JP4419499B2 (ja) * | 2003-01-07 | 2010-02-24 | セイコーエプソン株式会社 | 画像生成装置、画像ずれ量検出装置、画像生成方法、画像ずれ量検出方法、画像生成プログラムおよび画像ずれ量検出プログラム |
| US20060109283A1 (en) * | 2003-02-04 | 2006-05-25 | Shipman Samuel E | Temporal-context-based video browsing interface for PVR-enabled television systems |
| US7139006B2 (en) * | 2003-02-04 | 2006-11-21 | Mitsubishi Electric Research Laboratories, Inc | System and method for presenting and browsing images serially |
| JP4583717B2 (ja) * | 2003-03-03 | 2010-11-17 | ソニー株式会社 | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 |
| US7686454B2 (en) * | 2003-09-08 | 2010-03-30 | Nec Corporation | Image combining system, image combining method, and program |
| JP4180083B2 (ja) | 2003-09-26 | 2008-11-12 | シャープ株式会社 | パノラマ画像作成装置及びパノラマ画像撮影装置 |
| JP2005217874A (ja) | 2004-01-30 | 2005-08-11 | Konica Minolta Photo Imaging Inc | ファイル管理方法 |
| JP4340968B2 (ja) * | 2004-05-07 | 2009-10-07 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US7440008B2 (en) * | 2004-06-15 | 2008-10-21 | Corel Tw Corp. | Video stabilization method |
| US20070103544A1 (en) * | 2004-08-26 | 2007-05-10 | Naofumi Nakazawa | Panorama image creation device and panorama image imaging device |
| US7447337B2 (en) * | 2004-10-25 | 2008-11-04 | Hewlett-Packard Development Company, L.P. | Video content understanding through real time video motion analysis |
| US7548659B2 (en) * | 2005-05-13 | 2009-06-16 | Microsoft Corporation | Video enhancement |
| US7460730B2 (en) * | 2005-08-04 | 2008-12-02 | Microsoft Corporation | Video registration and image sequence stitching |
| US20070058717A1 (en) * | 2005-09-09 | 2007-03-15 | Objectvideo, Inc. | Enhanced processing for scanning video |
| JP4620607B2 (ja) * | 2006-02-24 | 2011-01-26 | 株式会社モルフォ | 画像処理装置 |
-
2007
- 2007-12-07 JP JP2007317767A patent/JP2009077362A/ja not_active Abandoned
-
2008
- 2008-07-29 TW TW097128650A patent/TW200922324A/zh unknown
- 2008-08-22 BR BRPI0807370-8A patent/BRPI0807370A2/pt not_active IP Right Cessation
- 2008-08-22 KR KR1020097017463A patent/KR20100043139A/ko not_active Application Discontinuation
- 2008-08-22 US US12/524,757 patent/US8963951B2/en active Active
- 2008-08-22 RU RU2009131724/09A patent/RU2009131724A/ru not_active Application Discontinuation
- 2008-08-22 EP EP08792651A patent/EP2180701A4/en not_active Withdrawn
- 2008-08-22 WO PCT/JP2008/064992 patent/WO2009028413A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009028413A1 (ja) | 2009-03-05 |
| RU2009131724A (ru) | 2011-02-27 |
| KR20100043139A (ko) | 2010-04-28 |
| US20100097398A1 (en) | 2010-04-22 |
| TW200922324A (en) | 2009-05-16 |
| US8963951B2 (en) | 2015-02-24 |
| EP2180701A4 (en) | 2011-08-10 |
| EP2180701A1 (en) | 2010-04-28 |
| JP2009077362A (ja) | 2009-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BRPI0807370A2 (pt) | Aparelho e método de processamento de image, aparelho de reprodução de imagem móvel, e, programa. | |
| JP5223318B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| TWI388212B (zh) | An image processing apparatus, an image reproduction apparatus, an image processing method, and a memory medium | |
| JP4678404B2 (ja) | 撮像装置、その制御方法およびプログラム | |
| JP5092722B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US8754959B2 (en) | Image processing device, dynamic image reproduction device, and processing method and program in them | |
| JP4735693B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| JP4623199B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| BRPI0920385A2 (pt) | aparelho e mÉtodo de processamento de imagem, e, programa | |
| BRPI0904357A2 (pt) | aparelho e método de processamento de imagem, e, programa | |
| JP5133816B2 (ja) | カメラ、画像合成方法、およびプログラム | |
| JP4692550B2 (ja) | 画像処理装置、その処理方法およびプログラム | |
| JP4697221B2 (ja) | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム | |
| US7129961B1 (en) | System and method for dynamic autocropping of images | |
| JP2008042256A (ja) | 画像表示方法、画像表示装置及びプログラム | |
| JP5602818B2 (ja) | カメラ、画像再生装置、画像合成方法、およびプログラム | |
| CN101617531A (zh) | 图像处理装置、运动图像播放装置及其处理方法和程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B08L | Patent application lapsed because of non payment of annual fee [chapter 8.12 patent gazette] |
Free format text: REFERENTE AO NAO RECOLHIMENTO DAS 5A E 6A ANUIDADES. |
|
| B08I | Publication cancelled [chapter 8.9 patent gazette] |
Free format text: ANULADA A PUBLICACAO CODIGO 8.12 NA RPI NO 2277 DE 26/08/2014 POR TER SIDO INDEVIDA. |
|
| B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] |
Free format text: REFERENTE AS 5A, 6A, 7A, 8A, 9A, 10A, 11A E 12A ANUIDADES. |
|
| B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] |
Free format text: EM VIRTUDE DO ARQUIVAMENTO PUBLICADO NA RPI 2602 DE 17-11-2020 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDO O ARQUIVAMENTO DO PEDIDO DE PATENTE, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013. |