BR112013016887A2

BR112013016887A2 - method and apparatus for anti-introduction of morphological error, and, product of computer program

Info

Publication number: BR112013016887A2
Application number: BR112013016887-0A
Authority: BR
Inventors: Barry M. Genova; Tobias Berghoff
Original assignee: Sony Computer Entertaiment America Llc
Priority date: 2011-01-07
Filing date: 2011-12-02
Publication date: 2020-06-30
Also published as: CN105898273B; RU2013136687A; WO2012094077A1; KR20140004115A; RU2562759C2; KR101741468B1; CN105959664A; CN105959664B; BR112013016887B1; WO2012094074A2; CN103947198A; WO2012094076A9; CN105894567A; WO2012094076A1; WO2012094074A3; CN103348360A; CN105894567B; BR112013017321A2; KR101851180B1; CN103947198B

Abstract

MÉTODO E APARELHO PARA ANTI-INTRODUÇÃO DE ERRO MORFOLÓGICO, E, PRODUTO DE PROGRAMA DE COMPUTADOR Anti-introdução de erro morfológico (MLAA) de uma reprojeção de uma imagem bidimensional pode ser implementada de uma maneira que produz um resultado melhor, utilizando menos recursos de processador. Uma ou mais descontinuidades entre cada pixel vizinho da imagem bidimensional são determinadas. Um ou mais padrões predefinidos formados pela uma ou mais descontinuidades são identificados. Uma de mistura é calculada para cada pixel vizinho aos padrões predefinidos identificados. Uma reprojeção é aplicada à imagem bidimensional e à quantidade de mistura para cada pixel, desse modo gerando quantidades de mistura reprojetas. Os pixels vizinhos da reprojeção são, então, misturados de acordo com as quantidades reprojetadas. METHOD AND APPARATUS FOR ANTI-INTRODUCTION OF MORPHOLOGICAL ERROR, AND, PRODUCT OF COMPUTER PROGRAM Anti-introduction of morphological error (MLAA) of a reprojection of a two-dimensional image can be implemented in a way that produces a better result, using less processor resources. One or more discontinuities between each neighboring pixel of the two-dimensional image are determined. One or more predefined patterns formed by one or more discontinuities are identified. A mix is calculated for each pixel neighboring the identified predefined patterns. A reprojection is applied to the two-dimensional image and the amount of mix for each pixel, thereby generating redesigned mix amounts. The neighboring pixels of the reprojection are then mixed according to the reprojected quantities.

Description

“METHOD AND APPARATUS FOR ANTLINTRODUCTION OF MORPHOLOGICAL ERROR, AND, PRODUCT OF COMPUTER PROGRAM”

REFERÊNCIA REMISSIVA A PEDIDOS CORRELATOS : Este pedido está relacionado com o pedido copendente comumente cedido de número 12/986.814, (Protocolo do procurador nº. SCEA10052US00), — intitulado — “DYNAMIC. —ADJUSTMENT OF PREDETERMINED THREE-DIMENSIONAL RE-PROJECTION SETTINGS BASED ON SCENE CONTENT”, depositado em 7 de janeiro deREMISSIVE REFERENCE TO RELATED REQUESTS: This request is related to the commonly assigned copending request number 12 / 986.814, (Attorney's Protocol No. SCEA10052US00), - entitled - “DYNAMIC. —ADJUSTMENT OF PREDETERMINED THREE-DIMENSIONAL RE-PROJECTION SETTINGS BASED ON SCENE CONTENT ”, deposited on January 7,

2011.2011.

Este pedido está relacionado com o pedido copendente comumente cedido de número 12/986.827, (Protocolo do procurador nº. SCEA10053US00), intitulado “SCALING PIXEL DEPTH VALUES OF USER-CONTROLLED VIRTUAL OBJECT IN THREE-DIMENSIONAL SCENE”, depositado em 7 de janeiro de 2011.This request is related to the commonly assigned copending request number 12 / 986,827, (Attorney's Protocol No. SCEA10053US00), entitled “SCALING PIXEL DEPTH VALUES OF USER-CONTROLLED VIRTUAL OBJECT IN THREE-DIMENSIONAL SCENE”, filed on January 7, 2011.

Este pedido está relacionado com o pedido copendente comumente cedido de número de 12/986.872, (Protocolo do procurador nº. SCEA10055USO00), intitulado “MULTI-SAMPLE RESOLVING OF RE- PROJECTION OF TWO-DIMENSIONAL IMAGE”, depositado em 7 de Janeiro de 2011.This request is related to the commonly assigned copending request number 12 / 986,872, (Attorney's Protocol No. SCEA10055USO00), entitled “MULTI-SAMPLE RESOLVING OF RE-PROJECTION OF TWO-DIMENSIONAL IMAGE”, filed on January 7, 2011 .

ANTECEDENTES DA INVENÇÃO A capacidade para perceber imagens bidimensionais em três dimensões através de várias tecnologias diferentes se tornou bastante popular nos últimos anos. Ao fornecer um aspecto de profundidade para imagens bidimensionais potencialmente cria-se uma maior sensação de realismo a qualquer cena representada. Esta introdução de representação visual tridimensional aperfeiçoou substancialmente as experiências do espectador, especialmente no campo dos videogames.BACKGROUND OF THE INVENTION The ability to perceive two-dimensional images in three dimensions through several different technologies has become quite popular in recent years. By providing a depth aspect to two-dimensional images, potentially creating a greater sense of realism in any scene represented. This introduction of three-dimensional visual representation has substantially improved the viewer's experiences, especially in the field of video games.

Existe certo número de técnicas para o processamento uma técnica para projetar imagem(ns) bidimensional(is) para o espaço tridimensional conhecido como renderização baseada em profundidade de imagem (DIBR). Em contraste com as propostas anteriores, que muitas vezes : dependiam do conceito básico de vídeo “estereoscópico”, ou seja, a captura, transmissão, e apresentação de dois fluxos de vídeo separados - uma para o olho esquerdo e outra para o olho direito, esta nova ideia baseia-se em um conjunto mais flexível de transmissões de vídeo monoscópicos (isto é, único fluxo de vídeo), e a informação da profundidade associada por pixel. A partir desta representação de dados, um ou mais vistas “virtuais” da cena de 3-D — pode ser gerada em tempo real no lado do receptor por meio das chamadas técnicas de DIBR. Esta nova abordagem para renderização de imagem tridimensional apresenta várias vantagens em relação às abordagens anteriores.There are a number of techniques for processing a technique for projecting two-dimensional image (s) into the three-dimensional space known as image-based rendering (DIBR). In contrast to previous proposals, which often: depended on the basic concept of “stereoscopic” video, that is, the capture, transmission, and presentation of two separate video streams - one for the left eye and one for the right eye, this new idea is based on a more flexible set of monoscopic video streams (ie, single video stream), and the associated depth information per pixel. From this data representation, one or more “virtual” views of the 3-D scene - can be generated in real time on the receiver side through the so-called DIBR techniques. This new approach to three-dimensional image rendering has several advantages over previous approaches.

Em geral, há duas maneiras de apresentar duas imagens — separadas para um espectador criar a ilusão de profundidade. Em um sistema comumente utilizado para a projeção de imagens em 3D em uma tela, há dois projetores sincronizados separados para as imagens de olho esquerdo e de olho direito. As imagens para ambos os olhos são projetadas em uma tela ao mesmo tempo, mas com polarizações ortogonais, por exemplo, polarização vertical para a imagem do olho esquerdo e polarização horizontal para a imagem do olho direito. O espectador usa um par especial de óculos de visualização polarizados 3D com lentes polarizadas de forma adequada para os olhos esquerdo e direito (por exemplo, polarizado verticalmente para o olho esquerdo e polarizado horizontalmente para o olho direito). Devido à — polarização das imagens e as lentes, o espectador percebe somente a imagem do olho esquerdo com o olho esquerdo e somente a imagem do olho direito com o olho direito. O grau de ilusão de profundidade é em parte uma função do deslocamento entre as duas imagens na tela.In general, there are two ways to present two images - separate for a viewer to create the illusion of depth. In a system commonly used for projecting 3D images onto a screen, there are two separate synchronized projectors for left and right eye images. The images for both eyes are projected on a screen at the same time, but with orthogonal polarizations, for example, vertical polarization for the image of the left eye and horizontal polarization for the image of the right eye. The viewer wears a special pair of polarized 3D viewing glasses with polarized lenses suitably for the left and right eyes (for example, polarized vertically for the left eye and horizontally polarized for the right eye). Due to the polarization of the images and the lenses, the viewer perceives only the image of the left eye with the left eye and only the image of the right eye with the right eye. The degree of illusion of depth is partly a function of the displacement between the two images on the screen.

do olho direito são exibidas por uma tela de vídeo, mas não exatamente ao mesmo tempo. Em vez disso, as imagens de olho esquerdo e do olho direito são exibidas de modo alternado. O espectador usa um par de óculos de : obturador ativo que obtura o olho esquerdo quando a imagem do olho direito éexibidae vice-versa.of the right eye are displayed on a video screen, but not quite at the same time. Instead, left-eye and right-eye images are displayed alternately. The spectator wears a pair of glasses: active shutter that fills the left eye when the image of the right eye is displayed and vice versa.

A experiência de vídeo 3-D pode depender um pouco das peculiaridades da visão humana. Por exemplo, o olho humano possuí um número discreto de receptores de luz, já que os humanos não podem discernir os pixels, mesmo na visão periférica. O que é ainda mais surpreendente é que —onúmero de cones sensíveis à cor da retina humana pode variar drasticamente entre os indivíduos - por até um fator de 40. Apesar disso, as pessoas parecem perceber as cores da mesma forma - nós essencialmente vemos com os nossos cérebros. O sistema de visão humana também tem a capacidade de avaliar o alinhamento de objetos em uma fração de uma largura de cone 15º (hiperacuidade). Isto explica por que serrilhamentos espaciais (ou seja, irregularidades visuais) são mais visíveis do que os erros de cores.The 3-D video experience may depend a little on the peculiarities of human vision. For example, the human eye has a discrete number of light receptors, since humans cannot discern pixels, even in peripheral vision. What is even more surprising is that —the number of cones sensitive to the color of the human retina can vary dramatically between individuals — by up to a factor of 40. Despite this, people seem to perceive colors in the same way — we essentially see with the our brains. The human vision system also has the ability to assess the alignment of objects in a fraction of a 15º cone width (hyperacuity). This explains why spatial serrations (ie, visual irregularities) are more visible than color errors.

Percebendo este fato, os fabricantes de hardware gráfico colocam esforços significativos para compensar artefatos de introdução de erro pela troca de precisão de cor para a continuidade espacial. Múltiplas técnicas são suportadas no hardware, com base na mistura de amostras de cores ponderadas, semelhante à propriedade de integração de câmeras digitais.Realizing this fact, graphic hardware manufacturers put significant efforts to compensate for artifacts from introducing error by exchanging color accuracy for spatial continuity. Multiple techniques are supported on the hardware, based on a mixture of weighted color samples, similar to the integration property of digital cameras.

Claro que, qualquer artefato de introdução de erro desaparecerá eventualmente com um aumento na resolução de exibição e das —taxasde amostragem. Ele também pode ser tratado com resoluções inferiores, por computação e cálculo da média de várias amostras por pixel. Ainda assim, para a maioria dos algoritmos de renderização de imagem (por exemplo, o traçado de raios, a renderização baseada em rasterização) isto pode não ser amostras de cor que eventualmente são descartadas através de cálculo de média. A anti-introdução de erro morfológico (MLAA) é uma técnica : baseada no reconhecimento de certos padrões em uma imagem. Uma vez que — esses padrões são encontrados, as cores podem ser misturadas em torno desses padrões, com o objetivo de alcançar uma estimativa a posteriori mais provável de uma determinada imagem. MLAA tem um conjunto de características únicas que o distinguem de outros algoritmos de anti-introdução de erro. MLAA é completamente independente do pipeline de renderização. Ele representa um núcleo único de pós-processamento, o qual pode ser implementado sobre a GPU, mesmo que o algoritmo principal seja executado na CPU. MLAA, mesmo em uma implementação não otimizada, é razoavelmente rápido, processando cerca de 20M pixels por segundo em um único núcleo de 3 GHz.Of course, any error-introducing artifact will eventually disappear with an increase in display resolution and —sampling rates. It can also be treated with lower resolutions, by computing and averaging multiple samples per pixel. Still, for most image rendering algorithms (for example, ray tracing, raster-based rendering) this may not be color samples that are eventually discarded through averaging. Anti-introduction of morphological error (MLAA) is a technique: based on the recognition of certain patterns in an image. Once - these patterns are found, colors can be mixed around these patterns, with the aim of achieving a more likely a posteriori estimate of a given image. MLAA has a set of unique features that distinguish it from other anti-error introduction algorithms. MLAA is completely independent of the rendering pipeline. It represents a single post-processing core, which can be implemented on the GPU, even if the main algorithm is executed on the CPU. MLAA, even in a non-optimized implementation, is reasonably fast, processing about 20M pixels per second on a single 3 GHz core.

MLAA é uma técnica de anti-introdução de erro estabelecida para imagens bidimensionais. No entanto, a realização da mesma técnica de MLAA usada para imagens bidimensionais em uma reprojeção tridimensional apresenta problemas adicionais que devem ser abordados.MLAA is an established anti-error technique for two-dimensional images. However, performing the same MLAA technique used for two-dimensional images in a three-dimensional reprojection presents additional problems that must be addressed.

É neste contexto que as modalidades da presente invenção surgem.It is in this context that the modalities of the present invention emerge.

: BREVE DESCRIÇÃO DOS DESENHOS A FIG. 1 é um diagrama de fluxo que ilustra um método de anti-introdução de erro morfológico (MLAA) de uma reprojeção tridimensional de uma imagem bidimensional, de acordo com uma —modalidade da presente invenção.: BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a flow diagram illustrating a method of anti-introduction of morphological error (MLAA) of a three-dimensional reprojection of a two-dimensional image, according to a —modality of the present invention.

A FIG. 2 é um diagrama de blocos que ilustra um aparelho para anti-introdução de erro morfológico de uma reprojeção tridimensional de uma imasgem bidimensional. de acordo com uma modalidade da presenteFIG. 2 is a block diagram that illustrates an apparatus for anti-introducing morphological error of a three-dimensional reprojection of a two-dimensional image. according to one modality of this

A FIG. 3 é um diagrama de blocos que ilustra um exemplo de uma implementação de processador celular de um aparelho para a anti- introdução de erro morfológico de uma reprojeção tridimensional de uma imagem bidimensional, de acordo com uma modalidade da presente invenção. 5 A FIG. 4 ilustra um exemplo de um meio de armazenamento legível por computador não transitório com as instruções para a implementação da anti-introdução de erro morfológico de uma reprojeção tridimensional de uma imagem bidimensional, de acordo com uma modalidade da presente invenção.FIG. 3 is a block diagram illustrating an example of a cell processor implementation of an apparatus for anti-introducing morphological error of a three-dimensional reprojection of a two-dimensional image, according to an embodiment of the present invention. FIG. 4 illustrates an example of a non-transitory, computer-readable storage medium with instructions for implementing the anti-introduction of morphological error of a three-dimensional reprojection of a two-dimensional image, according to one embodiment of the present invention.

DESCRIPTION OF THE SPECIFIC MODALITIES

INTRODUÇÃO Introdução de erro refere-se à produção de artefatos de distorção visual (ou seja, bordas irregulares entre pixels vizinhos) causada por uma representação de uma imagem de alta resolução em uma resolução mais baixa A anti-introdução de erro morfológico é o processo de misturar as bordas irregulares que ocorrem entre as descontinuidades de pixel em uma determinada imagem para produzir uma imagem resultante de aparência mais suave para o espectador. Normalmente, o processo de anti-introdução de erro morfológico de imagens bidimensionais ocorre em três etapas: 1) encontrar as —descontinuidades entre os pixels de uma determinada imagem, 2) identificar os padrões predefinidos criados por essas descontinuidades, e 3) misturar cores na vizinhança desses padrões predefinidos para criar uma imagem mais suave. No entanto, a anti-introdução de erro morfológico para uma —reprojeção de uma imagem bidimensional cria um conjunto adicional de problemas que não estão presentes durante a anti-introdução de erro de uma imagem bidimensional. Para uma imagem bidimensional ser reprojetada em três dimensões, duas imagens de vídeo separadas (uma para cada olho) devem profundidade. Esta dimensão adicionada de profundidade torna a aplicação da técnica utilizada para a anti-introdução de erro morfológico bidimensional difícil.INTRODUCTION Error introduction refers to the production of visual distortion artifacts (ie, uneven edges between neighboring pixels) caused by a representation of a high resolution image at a lower resolution. The anti-introduction of morphological error is the process of blending the jagged edges that occur between pixel discontinuities in a given image to produce a smoother-looking result image for the viewer. Normally, the process of anti-introducing morphological error of two-dimensional images occurs in three stages: 1) finding the —discontinuities between the pixels of a given image, 2) identifying the predefined patterns created by those discontinuities, and 3) mixing colors in the these predefined patterns to create a smoother image. However, anti-introducing morphological error for a —projection of a two-dimensional image creates an additional set of problems that are not present during anti-introducing error of a two-dimensional image. For a two-dimensional image to be redesigned in three dimensions, two separate video images (one for each eye) must have depth. This added dimension of depth makes the application of the technique used for anti-introduction of two-dimensional morphological error difficult.

: Uma primeira solução possível para a implementação da anti- introdução de erro morfológico em três dimensões envolve a execução de anti-introdução de erro morfológico em cada imagem bidimensional após a mesma ser reprojetada em cada ponto de visualização. Assim, a determinação de descontinuidades de pixel e de mistura poderia ser feita duas vezes para cada imagem bidimensional a ser reprojetada em três dimensões, no caso de —reprojeção para o olho esquerdo e direito. Embora, em teoria, esta solução possa fornecer um procedimento preciso para a anti-introdução de erro morfológico de uma reprojeção de imagem tridimensional, na realidade, é muito caro de implementar. Além disso, a execução da anti-introdução de erro morfológico mais de uma vez para cada imagem bidimensional para ser reprojetada em três dimensões reduziria significativamente o desempenho de algumas aplicações de vídeo 3D (por exemplo, para um vídeo game ou processador de sistema de vídeo game). Além disso, as bordas diferentes podem ser detectadas através de imagens diferentes, de modo que um olho pode ver uma borda misturada enquanto o outro olho ainda vê uma borda de introdução de erro. Esta é uma forma de emulação da retina, reduzindo a credibilidade do efeito estereoscópico global e adicionando certo desconforto à imagem 3D percebida. Uma segunda solução para a implementação da anti- introdução de erro morfológico em três dimensões envolve a execução de —anti-introdução de erro morfológico uma vez em cada imagem bidimensional antes da reprojeção tridimensional. Embora isto não forneça uma solução de custo eficaz, isso também acrescenta artefatos de efeito de halo (haloing) para a reprojeção tridimensional. A mistura antes da reprojeção pode levar a pixels reprojeção um pixel de primeiro plano vai mudar uma quantidade diferente do que um pixel de fundo.: A first possible solution for the implementation of anti-introduction of morphological error in three dimensions involves the execution of anti-introduction of morphological error in each two-dimensional image after it has been redesigned in each point of view. Thus, the determination of pixel and mix discontinuities could be done twice for each two-dimensional image to be redesigned in three dimensions, in the case of - projection for the left and right eye. Although, in theory, this solution can provide a precise procedure for the anti-introduction of morphological error of a three-dimensional image reprojection, in reality, it is very expensive to implement. In addition, performing anti-morphological error introduction more than once for each two-dimensional image to be redesigned in three dimensions would significantly reduce the performance of some 3D video applications (for example, for a video game or video system processor game). In addition, different edges can be detected through different images, so that one eye can see a mixed edge while the other eye still sees an error-introducing edge. This is a form of emulation of the retina, reducing the credibility of the global stereoscopic effect and adding some discomfort to the perceived 3D image. A second solution for the implementation of the anti-introduction of morphological error in three dimensions involves the execution of —anti-introduction of morphological error once in each two-dimensional image before the three-dimensional reprojection. Although this does not provide a cost effective solution, it also adds halo artifacts for three-dimensional reprojection. Mixing before reprojection can lead to reprojection pixels; a foreground pixel will change a different amount than a background pixel.

Ocasionalmente, isso vai deixar um furo entre esses pixels.This will occasionally leave a hole between these pixels.

Os artefatos de efeito de halo referem-se à informação de cor ou a : geometria de um elemento na cena que aparece no outro lado do furo.Halo effect artifacts refer to color information or the: geometry of an element in the scene that appears on the other side of the hole.

À — atribuição de valores de profundidade para pixels de imagens bidimensionais misturadas durante a anti-introdução de erro morfológico é difícil, pois nenhum valor único pode representar ambos os lados do furo.À - assigning depth values for pixels of two-dimensional images mixed during anti-introduction of morphological error is difficult, since no single value can represent both sides of the hole.

Um valor único pode dividir o furo em dois furos, reduzindo o tamanho do furo, mas não resolve realmente o problema.A single value can divide the hole into two holes, reducing the size of the hole, but it does not really solve the problem.

Como um método suficiente para a determinação dos valores de profundidade de pixel de imagens bidimensionais misturados não existe, estes artefatos de efeito halo se tornam um problema recorrente quando a anti-introdução de erro morfológico é realizado antes da reprojeção tridimensional.As a sufficient method for determining the pixel depth values of mixed two-dimensional images does not exist, these halo artifacts become a recurring problem when anti-introducing morphological error is performed before three-dimensional reprojection.

As modalidades da presente invenção utilizam uma abordagem diferente.The embodiments of the present invention use a different approach.

Em vez de misturar antes da reprojeção, as quantidades misturadas são calculadas antes da reprojeção, mas a mistura não é aplicada aos pixels antes da reprojeção.Instead of mixing before reprojection, the mixed quantities are calculated before reprojection, but the mixture is not applied to the pixels before reprojection.

Em vez disso, a reprojeção é aplicada às quantidades de mistura calculadas para produzir quantidades de mistura reprojetadas.Instead, reprojection is applied to the calculated mixing quantities to produce redesigned mixing quantities.

Depois da reprojeção, esses valores de mistura reprojetados são aplicados aos pixels relevantes na imagem reprojetada.After redesign, these redesigned blend values are applied to the relevant pixels in the redesigned image.

Especificamente, as descontinuidades podem ser determinadas entre cada pixel vizinho de uma imagem bidimensional.Specifically, discontinuities can be determined between each neighboring pixel in a two-dimensional image.

Os padrões predefinidos formados por uma ou mais descontinuidades podem ser identificados e uma quantidade de mistura pode ser calculada para cada pixel vizinho dos padrões predefinidos.The predefined patterns formed by one or more discontinuities can be identified and an amount of mixing can be calculated for each neighboring pixel of the predefined patterns.

Uma —reprojeção tridimensional pode então ser aplicada à imagem bidimensional e as suas quantidades correspondentes de mistura.A three-dimensional projection can then be applied to the two-dimensional image and its corresponding amounts of mixing.

As quantidades de mistura reprojetadas resultantes podem, então, ser aplicadas aos pixels vizinhos da reprojeção tridimensional.The resulting redesigned mix amounts can then be applied to the neighboring pixels of the three-dimensional reprojection.

Esta técnica é vantajosa, na medida em que é anteriores e produz melhores resultados do que uma abordagem mais rigorosa. i MODALIDADES A FIG. 1 é um diagrama de fluxo que ilustra um método de anti-introdução de erro morfológico (MLAA) de uma reprojeção de uma imagem bidimensional. O método inventado 100 reduz os custos associados à execução de MLAA mais de uma vez para uma determinada imagem, além de reduzir a taxa de ocorrência de artefatos de efeito de halo/introdução de erro associados com o MLAA de pré-reprojeção. O método 100 divide o — processamento de MLAA em dois estágios distintos, um que é executado antes de reprojeção, e um que é executado após a ocorrência de reprojeção.This technique is advantageous, as it is earlier and produces better results than a more rigorous approach. i MODALITIES FIG. 1 is a flow diagram that illustrates a method of anti-introduction of morphological error (MLAA) of a reprojection of a two-dimensional image. The invented method 100 reduces the costs associated with running MLAA more than once for a given image, in addition to reducing the rate of occurrence of halo effect / introducing errors associated with pre-reprojection MLAA. Method 100 divides MLAA processing into two distinct stages, one that is performed before reprojection, and one that is performed after reprojection has occurred.

O processo 100 pode ser aplicado à reprojeção das imagens bidimensionais do olho esquerdo e do olho direito para uma exibição tridimensional. As imagens de olho esquerdo e olho direito podem sofrer MLAA e reprojeção sequencialmente ou simultaneamente, dependendo da natureza do sistema de processamento utilizado. As imagens 101 podem ser geradas por um programa de gráficos de computador com base em dados de um ambiente virtual. O ambiente virtual, por exemplo, um ambiente de vídeo game, pode ser gerado a partir de dados que representam as características físicas (por exemplo, tamanho, localização, textura, iluminação, etc.) para os objetos dentro do ambiente virtual. Visualizações do ambiente podem ser geradas a partir de um ponto de visualização definido, por vezes, referido como um local de câmara virtual. Se o ponto de visualização é conhecido, um campo de visão pode ser calculado. O campo de visão pode ser pensado como uma forma tridimensional, por exemplo, um cone, pirâmide, tronco de cone ou pirâmide. Softwares gráficos podem determinar se os objetos virtuais estão dentro da forma tridimensional. Se assim for, os objetos estão dentro do campo de visão e podem ser parte de uma imagem a partir do ponto de podem ser excluídos da imagem. Note-se que dois pontos de visualização separados e campos de visualização correspondentes que são ligeiramente deslocados entre si podem ser utilizados para gerar imagens de olho esquerdo : e de olho direito para visualização 3D do mundo virtual.Process 100 can be applied to the reprojection of two-dimensional images of the left eye and the right eye for a three-dimensional display. Left eye and right eye images can undergo MLAA and reprojection sequentially or simultaneously, depending on the nature of the processing system used. Images 101 can be generated by a computer graphics program based on data from a virtual environment. The virtual environment, for example, a video game environment, can be generated from data that represents the physical characteristics (for example, size, location, texture, lighting, etc.) for the objects within the virtual environment. Views of the environment can be generated from a defined viewing point, sometimes referred to as a virtual camera location. If the point of view is known, a field of view can be calculated. The field of view can be thought of as a three-dimensional shape, for example, a cone, pyramid, cone trunk or pyramid. Graphics software can determine whether virtual objects are within the three-dimensional shape. If so, the objects are within the field of view and can be part of an image from the point of being excluded from the image. Note that two separate viewing points and corresponding viewing fields that are slightly offset from each other can be used to generate images of the left eye: and the right eye for 3D visualization of the virtual world.

Inicialmente, uma dada imagem bidimensional 101 passa por uma série de etapas de processamento antes que possa ser apresentada a um espectador como uma reprojeção tridimensional suave. À imagem bidimensional 101 é atravessada primeiramente para determinar descontinuidades de pixel 103. Uma dada imagem pode ser atravessada verticalmente primeiramente e depois na horizontal, ou vice-versa. Descontinuidades de pixel ocorrem entre pixels vizinhos (por exemplo, os vizinhos verticais e horizontais), quando os pixels têm características inconsistentes. À título de exemplo, e não como forma de limitação, estas características podem incluir os perfis de cor ou geométricos associados com 15º um dado pixel. É importante notar que as descontinuidades podem ser definidas para incluir qualquer número de características diferentes entre os pixels.Initially, a given two-dimensional image 101 goes through a series of processing steps before it can be presented to a viewer as a smooth three-dimensional reprojection. The two-dimensional image 101 is traversed first to determine discontinuities of pixel 103. A given image can be traversed vertically first and then horizontally, or vice versa. Pixel discontinuities occur between neighboring pixels (for example, vertical and horizontal neighbors), when pixels have inconsistent characteristics. As an example, and not as a limitation, these characteristics may include the color or geometric profiles associated with a given pixel 15º. It is important to note that discontinuities can be defined to include any number of different characteristics between pixels.

Uma vez que descontinuidades de pixel para uma dada imagem bidimensional tiverem sido determinadas, os padrões predefinidos — formados por estas descontinuidades de pixel 105 podem ser identificados. À título de exemplo, e não por meio de limitação, uma descontinuidade entre dois pixels pode ser identificada por uma linha de separação entre os dois pixels. Cada pixel pode ser caracterizado por até quatro descontinuidades diferentes (ou seja, superior, inferior, esquerda e direita). As descontinuidades — de pixel, tanto adjacentes quanto ortogonais entre si, podem formar padrões predefinidos, que caracterizam as alterações entre os pixels na imagem bidimensional. A título de exemplo, e não como forma de limitação, estes padrões previamente identificados podem incluir uma forma de L, forma de uma ou mais descontinuidades de pixel intersecta uma cadeia ortogonal de uma ou mais descontinuidades de pixel. Um teste padrão em forma de U é i formado quando uma cadeia de uma ou mais descontinuidades de pixel : intersecta duas cadeias ortogonais de uma ou mais descontinuidades de pixel em lados opostos, cada cadeia ortogonal sendo do mesmo comprimento e voltada na mesma direção. Um padrão em forma de Z é formado quando uma cadeia de uma ou mais descontinuidades de pixel intersecta duas cadeias ortogonais de uma ou mais descontinuidades de pixel em lados opostos, cada cadeia ortogonal voltada em uma direção oposta. Estes padrões predefinidos fornecem um modelo para calcular as quantidades de mistura de pixel.Once pixel discontinuities for a given two-dimensional image have been determined, the predefined patterns - formed by these 105 discontinuities can be identified. As an example, and not by way of limitation, a discontinuity between two pixels can be identified by a line separating the two pixels. Each pixel can be characterized by up to four different discontinuities (ie, top, bottom, left and right). Pixel discontinuities, both adjacent and orthogonal to each other, can form predefined patterns, which characterize the changes between pixels in the two-dimensional image. By way of example, and not by way of limitation, these previously identified patterns may include an L shape, shape of one or more pixel discontinuities intersecting an orthogonal chain of one or more pixel discontinuities. A U-shaped pattern is formed when a chain of one or more pixel discontinuities: intersects two orthogonal chains of one or more pixel discontinuities on opposite sides, each orthogonal chain being the same length and facing in the same direction. A Z-shaped pattern is formed when a chain of one or more pixel discontinuities intersects two orthogonal chains of one or more pixel discontinuities on opposite sides, each orthogonal chain facing in an opposite direction. These predefined patterns provide a model for calculating pixel mix quantities.

Depois dos padrões predefinidos formados pelas descontinuídades de pixel serem definidos para uma dada imagem bidimensional, as quantidades de mistura podem ser calculadas para os pixels vizinhos dos padrões identificados como indicado em 107. Dependendo do arranjo dos pixels vizinhos em torno de um padrão predeterminado, uma quantidade de mistura diferente pode ser selecionada para cada pixel individualmente. A quantidade de mistura refere-se a um perfil geométrico/de cor ponderada para um dado pixel que é usado para uma transição suave entre os pixels descontínuos. A título de exemplo, e não como forma de limitação, um pixel em estreita proximidade com um padrão predefinido pode | experimentar uma maior quantidade de mistura do que um em maior distância. Várias fórmulas com base em padrões predefinidos identificados podem ser utilizadas para determinar uma quantidade de mistura para cada pixel em uma imagem. Esta etapa conclui a primeira fase de anti-introdução de erro morfológico de uma projeção tridimensional de uma imagem bidimensional.After the predefined patterns formed by the pixel discontinuities are defined for a given two-dimensional image, the amounts of mixing can be calculated for the neighboring pixels of the patterns identified as indicated in 107. Depending on the arrangement of neighboring pixels around a predetermined pattern, a Different blend amount can be selected for each pixel individually. The amount of mixing refers to a geometric / color weighted profile for a given pixel that is used for a smooth transition between discontinuous pixels. By way of example, and not by way of limitation, a pixel in close proximity to a predefined pattern can | experience a greater amount of mixing than one at a greater distance. Various formulas based on identified predefined patterns can be used to determine an amount of blending for each pixel in an image. This stage concludes the first phase of anti-introduction of morphological error of a three-dimensional projection of a two-dimensional image.

Após a determinação dos valores de mistura, mas antes da mistura de pixels, a reprojeção é realizada como indicado em 109. A em um espaço tridimensional.After determining the mixing values, but before mixing pixels, reprojection is performed as indicated in 109. A in a three-dimensional space.

Uma visão diferente da mesma imagem é apresentada para cada olho, criando a ilusão de profundidade.A different view of the same image is presented for each eye, creating the illusion of depth.

Geralmente, i cada pixel de uma imagem bidimensional é atribuído a um perfil de cor e um - valor de profundidade durante a reprojeção.Generally, each pixel of a two-dimensional image is assigned a color profile and a depth value during reprojection.

Estes valores são, então, — manipulados para cada visão (isto é, visão de olho esquerdo, visão de olho direito) para criar uma reprojeção tridimensional.These values are then - manipulated for each view (that is, left eye view, right eye view) to create a three-dimensional reprojection.

No processo inventado, a informação adicional correspondente às quantidades da mistura é atribuída a cada pixel, e a informação é convertida em valores adequados para cada um (isto é, uma reprojeção da quantidade de mistura para cada pixel). Assim, a aplicação da reprojeção para uma ou mais imagens bidimensionais e para a quantidade de mistura para cada pixel gera uma ou mais imagens reprojetadas e quantidades de mistura reprojetadas para cada pixel na imagem.In the invented process, the additional information corresponding to the quantities of the mixture is assigned to each pixel, and the information is converted into appropriate values for each one (that is, a reprojection of the amount of mixture for each pixel). Thus, the application of reprojection for one or more two-dimensional images and the amount of mix for each pixel generates one or more redesigned images and redesigned amounts of mix for each pixel in the image.

Depois de reprojeção das imagens e das quantidades de mistura, as quantidades da mistura reprojetadas podem ser aplicadas para a reprojeção (por exemplo, cada visualização bidimensional da reprojeção tridimensional), como indicado em 111 para produzir uma saída de imagens.After reprojecting images and mixing quantities, the redesigned mixture quantities can be applied for reprojection (for example, each two-dimensional view of three-dimensional reprojection), as indicated in 111 to produce an image output.

Os pixels vizinhos na(s) imagem(ns) reprojetada(s) são misturados de acordo com as quantidades da mistura reprojetadas, assim, produzindo uma ou mais imagens de saída.The neighboring pixels in the redesigned image (s) are mixed according to the redesigned mix quantities, thus producing one or more output images.

Note-se que, quando uma ou mais imagens bidimensionais 101 incluem a visão do olho esquerdo e do olho direito de uma cena, as imagens de saída correspondem às imagens da cena do olho esquerdo e olho direito reprojetadas.Note that when one or more two-dimensional images 101 include the left eye and right eye view of a scene, the output images correspond to the redesigned left and right eye scene images.

As imagens de saída podem ser apresentadas em uma exibição, como indicado em 113. É de se notar que, no caso de imagens estereoscópicas tridimensionais do olho esquerdo e do olho direito, as imagens podem ser apresentadas sequencialmente ou simultaneamente, dependendo da natureza da exibição.The output images can be presented in a display, as indicated in 113. It is noted that, in the case of three-dimensional stereoscopic images of the left eye and the right eye, the images can be presented sequentially or simultaneously, depending on the nature of the display .

Por exemplo, as imagens de olho esquerdo e de olho direito podem ser exibidas em sequência, no caso de uma tela de televisão 3D usadas com óculos de obturador ativo.For example, left eye and right eye images can be displayed in sequence, in the case of a 3D television screen used with active shutter glasses.

Alternativamente,Alternatively,

simultaneamente no caso de uma tela tipo dupla projeção usada com óculos de visualização 3D passivos com lentes do olho esquerdo e do olho direito polarizadas diferentemente ou coloridas diferentemente.simultaneously in the case of a double projection screen used with passive 3D viewing glasses with differently polarized or differently colored left and right eye lenses.

Embora as quantidades de mistura sejam determinadas antes da reprojeção, não se espera que as bordas da imagem mudem significativamente durante a reprojeção a partir bidimensionais para três dimensões. Como tal, uma imagem suave pode ser produzida sem que sofra qualquer uma das consequências associadas com as duas soluções descritas acima.Although the amounts of mixing are determined before reprojection, the edges of the image are not expected to change significantly during reprojection from two-dimensional to three-dimensional. As such, a smooth image can be produced without suffering any of the consequences associated with the two solutions described above.

A FIG. 2 ilustra um diagrama de blocos de um aparelho de computador que pode ser usado para implementar um método de anti- introdução de erro morfológico (MLAA) de uma reprojeção tridimensional de uma imagem bidimensional. O aparelho 200 pode geralmente incluir um módulo de processador 201 e uma memória 205. O módulo de processador 201 pode incluir um ou mais núcleos de processador. Um exemplo de um sistema de processamento que utiliza múltiplos módulos de processador é um processador celular, exemplos dos quais sendo descritos em detalhe, por exemplo, em Cell Broadband Engine Architecture, Versão 1.0, de 8 de Agosto de 2005, que é aqui incorporada por referência. Uma cópia desta referência está disponível on-line no seguinte URL: http://www.ief.u- psud.fr/-lacas/ComputerArchitecture/CBE Architecture v10.pdf.FIG. 2 illustrates a block diagram of a computer device that can be used to implement a method of anti-introduction of morphological error (MLAA) of a three-dimensional reprojection of a two-dimensional image. Apparatus 200 may generally include a processor module 201 and memory 205. Processor module 201 may include one or more processor cores. An example of a processing system that uses multiple processor modules is a cellular processor, examples of which are described in detail, for example, in Cell Broadband Engine Architecture, Version 1.0, of August 8, 2005, which is incorporated by reference. A copy of this reference is available online at the following URL: http: //www.ief.u- psud.fr/-lacas/ComputerArchitecture/CBE Architecture v10.pdf.

A memória 205 pode ser na forma de um circuito integrado, por exemplo, RAM, DRAM, ROM e semelhantes. A memória 205 pode ser também uma memória principal que é acessível por todos os módulos de — processador. Em algumas modalidades, o módulo de processador 201 pode ter memórias locais associadas a cada núcleo. Um programa 203 pode ser armazenado na memória principal 205, sob a forma de instruções legíveis por processador que podem ser executadas nos módulos de processador. O morfológico (MLAA) de uma projeção tridimensional de uma imagem bidimensional. O programa 203 pode ser escrito em qualquer linguagem i legível por processador adequada, por exemplo, C, C++, JAVA, Assembly, . MATLAB, FORTRAN, e uma série de outras linguagens. Os dados de entrada 207 podem também ser armazenados na memória. Tais dados de entrada 207 podem incluir informações sobre descontinuidades de pixels vizinhos, identificação de padrões predefinidos, e as quantidades de mistura de pixel. Durante a execução do programa 203, as porções de código de programa e/ou dados podem ser carregadas na memória ou armazenamentos locais de núcleos do processador para o processamento paralelo por múltiplos núcleos de processadores.Memory 205 may be in the form of an integrated circuit, for example, RAM, DRAM, ROM and the like. Memory 205 may also be a main memory that is accessible by all processor modules. In some embodiments, processor module 201 may have local memories associated with each core. A program 203 can be stored in main memory 205, in the form of processor-readable instructions that can be executed on processor modules. The morphological (MLAA) of a three-dimensional projection of a two-dimensional image. The 203 program can be written in any suitable processor-readable language, for example, C, C ++, JAVA, Assembly,. MATLAB, FORTRAN, and a number of other languages. Input data 207 can also be stored in memory. Such input data 207 may include information about discontinuities of neighboring pixels, identification of predefined patterns, and the amounts of pixel mix. During the execution of program 203, portions of program code and / or data can be loaded into memory or local storage of processor cores for parallel processing by multiple processor cores.

O aparelho 200 pode também incluir as funções de apoio 209 bem conhecidas, tais como elementos de entrada/saída (1/O) 211, fontes de alimentação (P/S) 213, um relógio (CLK) 215, e um cache 217. O aparelho 200 pode opcionalmente incluir um dispositivo de armazenamento de massa 219, como um disco rígido, unidade de CD-ROM, unidade de fita, ou semelhante para armazenar programas e/ou dados. O dispositivo 200 pode incluir, opcionalmente, uma unidade de visualização 221 e unidade de interface de usuário 225 para facilitar a interação entre o aparelho e um usuário. A título de exemplo, e não como forma de limitação, a unidade de visualização 221 pode ser na forma de um aparelho de televisão 3-D pronto que apresenta textos, números, símbolos gráficos ou outros objetos visuais como imagens estereoscópicas sendo percebidas com um par de óculos de visualização 3-D 227 os quais podem ser óculos de obturador acoplados aos —elementosdel1/O 211. Alternativamente, a unidade de visualização 221 pode incluir um projetor 3-D que projeta simultaneamente imagens de olho esquerdo e de olho direito em uma tela. Em tal caso, os óculos de visualização 3-D podem ser óculos passivos com lentes de olho esquerdo e de olho direito refere-se ao aperfeiçoamento da ilusão de profundidade em uma imagem bidimensional, apresentando uma imagem ligeiramente diferente para cada olho.Apparatus 200 may also include well-known support functions 209, such as input / output elements (1 / O) 211, power supplies (P / S) 213, a clock (CLK) 215, and a cache 217. Apparatus 200 may optionally include a mass storage device 219, such as a hard disk, CD-ROM drive, tape drive, or the like for storing programs and / or data. Device 200 may optionally include a display unit 221 and user interface unit 225 to facilitate interaction between the device and a user. As an example, and not by way of limitation, the display unit 221 can be in the form of a ready-made 3-D television set that displays text, numbers, graphic symbols or other visual objects such as stereoscopic images being perceived with a pair of 3-D viewing glasses 227 which can be shutter glasses coupled to —elements1 / O 211. Alternatively, the viewing unit 221 can include a 3-D projector that simultaneously projects left and right eye images onto a screen. In such a case, 3-D viewing glasses can be passive glasses with left-eye and right-eye lenses refer to the enhancement of the illusion of depth in a two-dimensional image, presenting a slightly different image for each eye.

A interface de usuário 225 pode incluir um teclado, um mouse, um - joystick, caneta óptica, ou outro dispositivo que pode ser usado em conjunto com uma interface gráfica de usuário (GUI). O aparelho 200 pode também incluir uma interface de rede 223, para permitir que o dispositivo se comunique com outros dispositivos através de uma rede tal como a Internet.User interface 225 may include a keyboard, mouse, joystick, optical pen, or other device that can be used in conjunction with a graphical user interface (GUI). Apparatus 200 may also include a network interface 223, to allow the device to communicate with other devices over a network such as the Internet.

Os componentes do sistema 200, incluindo o processador 201, a memória 205, as funções de apoio 209, dispositivo de armazenamento de —massa219, interface de usuário 225, interface de rede 223, e visor 221 podem ser operativamente ligados um ao outro por meio de um ou mais barramentos de dados 229. Estes componentes podem ser implementados em hardware, software ou firmware, ou uma combinação de dois ou mais destes.System components 200, including processor 201, memory 205, backing functions 209, storage device —mass219, user interface 225, network interface 223, and display 221 can be operably linked to each other via one or more data buses 229. These components can be implemented in hardware, software or firmware, or a combination of two or more of these.

Há certo número de outras maneiras para simplificar o processamento paralelo com múltiplos processadores no aparelho.There are a number of other ways to simplify parallel processing with multiple processors in the device.

Por exemplo, é possível “desenrolar” ciclos de processamento, por exemplo, pelo código de replicação em dois ou mais núcleos de processador e tendo cada núcleo do processador implementando o código para processar um pedaço de dados diferente.For example, it is possible to “roll out” processing cycles, for example, by replicating code across two or more processor cores and having each processor core implement the code to process a different piece of data.

Tal implementação pode evitar latência associada com a configuração do loop.Such an implementation can avoid latency associated with the loop configuration.

Quando aplicado à nossa invenção, os múltiplos processadores podem determinar descontinuidades entre os pixels de uma determinada imagem em paralelo (por exemplo, um processador realizando uma passagem horizontal e outro processador realizando uma passagem vertical). A capacidade de processamento de dados em paralelo poupa valioso — tempo de processamento, levando a um sistema mais eficiente e simplificado para a anti-introdução de erro morfológico de uma reprojeção tridimensional de uma imagem bidimensional.When applied to our invention, multiple processors can determine discontinuities between the pixels of a given image in parallel (for example, one processor making a horizontal pass and another processor making a vertical pass). The ability to process data in parallel saves valuable processing time, leading to a more efficient and simplified system for the anti-introduction of morphological error of a three-dimensional reprojection of a two-dimensional image.

Um exemplo, entre outros, de um sistema de processamento processadores é um processador celular.An example, among others, of a processor processing system is a cellular processor.

Há um número de diferentes arquiteturas de processador que podem ser categorizadas como processadores celulares.There are a number of different processor architectures that can be categorized as cellular processors.

A título de exemplo, e sem limitação, a FIG. 3 ilustra um tipo de . processador celular.By way of example, and without limitation, FIG. 3 illustrates a type of. cellular processor.

O processador celular 300 inclui uma memória principal 301, um elemento de processador de energia único (PPE) 307, e oito elementos de processadores sinérgicos (SPE) 311. Em alternativa, o processador celular pode ser configurado com qualquer número de SPE.The cellular processor 300 includes a main memory 301, a single power processor element (PPE) 307, and eight synergistic processor elements (SPE) 311. Alternatively, the cellular processor can be configured with any number of SPE.

Com respeito à FIG. 3, a memória 301, PPE 307 e SPE 311 podem se comunicar uns com os outros e com um dispositivo de 1/O 315 por um barramento de interconexão de elemento tipo anel 317. A memória 301 contém dados de entrada 303 que tem características em comum com o programa descrito acima.With respect to FIG. 3, memory 301, PPE 307 and SPE 311 can communicate with each other and with a 1 / O device 315 via a ring element interconnect bus 317. Memory 301 contains input data 303 which has characteristics in common with the program described above.

Pelo menos um dos SPEs 311 pode incluir em seu anti-introdução de erro morfológico de armazenamento local (LS) de uma reprojeção tridimensional de instruções de imagens bidimensionais 313 e/ou uma poção 15º dos dados de entrada que está sendo processada em paralelo, por exemplo, tal como descrito acima.At least one of the SPEs 311 may include in its anti-introduction of local storage morphological error (LS) a three-dimensional reprojection of two-dimensional image instructions 313 and / or a 15º potion of the input data that is being processed in parallel, for example example, as described above.

O PPE 307 pode incluir em seu cache L1, a anti- introdução de erro morfológico de reprojeção tridimensional de instruções de imagem bidimensional 309 tendo características em comum com o programa descrito acima.The PPE 307 can include in its L1 cache, the anti-introduction of three-dimensional reprojection morphological error of two-dimensional image instructions 309 having characteristics in common with the program described above.

As instruções 305 e 303 de dados podem também ser armazenadas na memória 301 para acesso por SPE 311 e PPE 307 quando necessário.Instructions 305 and 303 of data can also be stored in memory 301 for access by SPE 311 and PPE 307 when necessary.

Deve notar-se que qualquer número de processos envolvidos no método inventado de anti-introdução de erro morfológico de uma reprojeção tridimensional de uma imagem bidimensional pode ser colocado em paralelo com o processador celular.It should be noted that any number of processes involved in the invented method of anti-introducing morphological error of a three-dimensional reprojection of a two-dimensional image can be placed in parallel with the cell processor.

O MLAA tem um potencial de paralelização —enormeeem uma máquina de multinúcleos pode ser usado para obter um melhor balanceamento de carga através do processamento da imagem de saída final em segmentos ociosos (aqueles que terminam a renderização ou aqueles que terminam a construção de sua parte de uma estrutura de aceleração).MLAA has a potential for parallelization - it can be used in a multi-core machine to achieve better load balancing by processing the final output image in idle segments (those that finish rendering or those that finish building their part of acceleration structure).

processador PowerPC de 64 bits (PPU) com caches associadas. O PPE 307 pode incluir uma unidade de extensão de multimídia de vetor opcional. Cada i SPE 311 inclui uma unidade de processamento sinérgico (SPU) e um : armazenamento local (LS). Em algumas implementações, o armazenamento S — local pode ter uma capacidade de, por exemplo, cerca de 256 kilobytes de memória para programas e dados. As SPUs são unidades computacionais menos complexas do que PPU, na medida em que, normalmente, não executam funções de gerenciamento do sistema. As SPUs podem ter uma única instrução, capacidade para múltiplos dados (SIMD) e normalmente dados de processo e iniciam qualquer transferência de dados necessária (sujeito a acessar propriedades definidas por um PPE), a fim de realizar suas tarefas atribuídas. As SPUs permitem que o sistema implemente aplicações que requerem uma unidade de densidade computacional superior e podem usar eficazmente o conjunto de instruções fornecidas. Um número significativo de SPUs em um sistema, gerido pelo PPE permite o processamento de custo eficaz sobre uma ampla faixa de aplicações. A título de exemplo, o processador celular pode ser caracterizado por uma arquitetura conhecida como Cell Broadband Engine Architecture (CBEA). Na arquitetura de acordo com CBEA vários PPEs podem ser combinados em um grupo PPE e múltiplos SPEs podem ser combinados em um grupo SPE. Para fins de exemplo, o processador celular é descrito como tendo um único grupo de SPE e um único grupo de PPE com um único SPE e um único PPE.64-bit PowerPC processor (PPU) with associated caches. The PPE 307 can include an optional vector multimedia extension unit. Each i SPE 311 includes a synergistic processing unit (SPU) and one: local storage (LS). In some implementations, S - local storage can have a capacity, for example, of about 256 kilobytes of memory for programs and data. SPUs are less complex computational units than PPUs, as they do not normally perform system management functions. SPUs can have a single instruction, multiple data capability (SIMD) and usually process data and initiate any necessary data transfer (subject to accessing properties defined by a PPE) in order to perform their assigned tasks. SPUs allow the system to implement applications that require a higher computational density unit and can effectively use the set of instructions provided. A significant number of SPUs in a system, managed by PPE, allows cost-effective processing over a wide range of applications. For example, the cell processor can be characterized by an architecture known as Cell Broadband Engine Architecture (CBEA). In architecture according to CBEA several PPEs can be combined in one PPE group and multiple SPEs can be combined in one SPE group. For example, the cellular processor is described as having a single SPE group and a single PPE group with a single SPE and a single PPE.

Alternativamente, um processador celular pode incluir vários grupos de elementos processadores de energia (grupos PPE) e vários grupos de elementos processadores sinérgicos (grupos SPE). Os processadores compatíveis com CBEA são descritos em detalhes, por exemplo, em Cell Broadband Engine Architecture, que está disponível on-line em https://Www-Alternatively, a cellular processor may include several groups of energy processor elements (PPE groups) and several groups of synergistic processor elements (SPE groups). CBEA-compliant processors are described in detail, for example, in Cell Broadband Engine Architecture, which is available online at https: // Www-

306.ibm.com/chips/techlib/techlib.nsf/techdocs/1 AEEE1270EA27763872570306.ibm.com/chips/techlib/techlib.nsf/techdocs/1 AEEE1270EA27763872570

De acordo com outra modalidade, as instruções para a anti- introdução de erro morfológico de uma reprojeção tridimensional de uma i imagem bidimensional podem ser armazenadas em um suporte de . armazenamento legível por computador.According to another modality, the instructions for the anti-introduction of morphological error of a three-dimensional reprojection of a two-dimensional image can be stored on a support. computer-readable storage.

A título de exemplo, e não como forma de limitação, a FIG. 4 ilustra um exemplo de um meio de armazenamento legível por computador não transitório 400, em conformidade com uma modalidade da presente invenção.By way of example, and not by way of limitation, FIG. 4 illustrates an example of a non-transitory computer-readable storage medium 400, in accordance with an embodiment of the present invention.

O meio de armazenamento 400 contém instruções legíveis por computador armazenadas em um formato que pode ser reativado, interpretado e executado por um dispositivo de — processamento de computador.Storage medium 400 contains computer-readable instructions stored in a format that can be reactivated, interpreted and executed by a computer processing device.

A título de exemplo, e não como forma de limitação, o meio de armazenamento legível por computador pode ser uma memória legível por computador, tal como memória de acesso aleatório (RAM) e memória somente de leitura (ROM), um disco de armazenamento legível por computador para uma unidade fixa do disco (por exemplo, uma unidade de disco rígido), ou uma unidade de disco removível.As an example, and not as a limitation, the computer-readable storage medium can be computer-readable memory, such as random access memory (RAM) and read-only memory (ROM), a readable storage disk per computer to a fixed disk drive (for example, a hard disk drive), or a removable disk drive.

Além disso, o meio de armazenamento legível por computador 400 pode ser um dispositivo de memória flash, uma fita informática, um CD-ROM, DVD-ROM, um discoIn addition, the computer-readable storage medium 400 may be a flash memory device, a computer tape, a CD-ROM, DVD-ROM, a disk

Blu-Ray, HD-DVD, UMD, ou outro meio de armazenamento óptico.Blu-Ray, HD-DVD, UMD, or other optical storage media.

O meio de armazenamento 400 contém instruções para a anti- introdução de erro morfológico de uma reprojeção tridimensional de uma imagem bidimensional 401. As instruções para a anti-introdução de erro morfológico de uma reprojeção tridimensional de uma imagem bidimensional 401 podem ser configuradas para implementar a anti-introdução de erro morfológico em conformidade com os métodos descritos acima, com respeito àFIlG.1l.Em particular, as instruções de anti-introdução de erro morfológico 401 podem incluir a determinação de instruções de descontinuidade de pixel vizinho 403, que são usados para determinar descontinuidades entre os pixels vizinhos de uma determinada imagem.The storage medium 400 contains instructions for anti-introducing morphological error from a three-dimensional reprojection of a two-dimensional image 401. The instructions for anti-introducing morphological error from a three-dimensional reprojection of a two-dimensional image 401 can be configured to implement the anti-introduction of morphological error in accordance with the methods described above, with respect to FIlG.1l. In particular, instructions for anti-introduction of morphological error 401 may include the determination of 403 pixel neighbor discontinuity instructions, which are used to determine discontinuities between the neighboring pixels of a given image.

A determinação de descontinuidades pixels verticais vizinhos podem ser determinadas de um estágio e as descontinuidades horizontais entre os pixels horizontais vizinhos podem ser determinadas em outra. Alternativamente, as descontinuidades verticais e : horizontais podem ser determinadas ao mesmo tempo. Uma descontinuidade S — pode ocorrer quando há uma diferença de cor entre os perfis de dois pixels vizinhos, uma diferença nos perfis geométricos entre dois pixels vizinhos, ou qualquer número de outras diferenças entre pixels vizinhos na determinada imagem. As instruções de anti-introdução de erro morfológico 401 também podem incluir a identificação de instruções padrões predefinidas 405 que identificam um ou mais padrões predefinidos formados pelas descontinuidades entre os pixels. Estes padrões predefinidos podem incluir um padrão em forma de U, um padrão em forma de Z, e um padrão em forma de L, como discutido acima.The determination of discontinuities in neighboring vertical pixels can be determined from one stage and the horizontal discontinuities between neighboring horizontal pixels can be determined in another. Alternatively, vertical and horizontal discontinuities can be determined at the same time. An S - discontinuity can occur when there is a color difference between the profiles of two neighboring pixels, a difference in the geometric profiles between two neighboring pixels, or any number of other differences between neighboring pixels in the given image. Anti-morphological error 401 instructions may also include the identification of predefined pattern instructions 405 that identify one or more predefined patterns formed by discontinuities between pixels. These predefined patterns can include a U-shaped pattern, a Z-shaped pattern, and an L-shaped pattern, as discussed above.

As instruções de anti-introdução de erro morfológico 401 podem incluir ainda o cálculo de instruções de quantidades de mistura 407 que estão configuradas para calcular as quantidades de mistura de pixels vizinhos de padrões predefinidos formados pelas descontinuidades. A quantidade de mistura refere-se a um perfil geométrico/de cor ponderado para um dado pixel que é usado para transições suaves entre os pixels descontínuos. Por exemplo, um pixel preto vizinho de um pixel branco pode produzir uma quantidade de mistura que transforma o pixel preto (e talvez outros pixels vizinhos) em um pixel de cinzento de tal modo que a sensação de bordas irregulares causadas pela descontinuidade seja moderada quando — percebida por um espectador.The instructions for anti-morphological error introduction 401 may also include the calculation of instructions for mixing quantities 407 that are configured to calculate the mixing quantities of neighboring pixels of predefined patterns formed by the discontinuities. The amount of mixing refers to a weighted geometric / color profile for a given pixel that is used for smooth transitions between discontinuous pixels. For example, a black pixel neighboring a white pixel can produce an amount of blending that turns the black pixel (and perhaps other neighboring pixels) into a gray pixel such that the sensation of uneven edges caused by the discontinuity is moderated when - perceived by a viewer.

As instruções de anti-introdução de erro morfológico 401 podem incluir instruções de aplicação de reprojeção tridimensional 409, que se aplicam à reprojeção tanto para a imagem bidimensional quanto a suas mistura para a imagem bidimensional antes da reprojeção, estas instruções reprojetam tridimensionalmente as quantidades de mistura (ou seja, transformam as quantidades de mistura em seus valores reprojeção tridimensionais correspondentes) de tal forma que a mistura pode ocorrer em umaetapa posterior.The anti-morphological error 401 instructions can include application instructions for three-dimensional reprojection 409, which apply to reprojection for both the two-dimensional image and its mixtures for the two-dimensional image before reprojection, these instructions three-dimensionally redesign the mixing quantities (that is, they transform the mixture quantities into their corresponding three-dimensional reprojection values) in such a way that mixing can occur at a later stage.

As instruções de anti-introdução de erro morfológico 401 podem adicionalmente incluir instruções de reprojeção tridimensional de mistura 411 que misturam a reprojeção tridimensional da imagem bidimensional de acordo com as quantidades de mistura reprojetadas, assim, produzindo uma ou mais imagens de saída.The anti-morphological error 401 instructions can additionally include three-dimensional mix redesign instructions 411 that mix the three-dimensional reprojection of the two-dimensional image according to the redesigned mix quantities, thus producing one or more output images.

As instruções de anti-introdução de erro morfológico 401 podem adicionalmente incluir instruções de visualização 413 que formatam as imagens de saída para apresentação em uma exibição.Anti-morphological error 401 instructions can additionally include 413 display instructions that format the output images for presentation in a display.

As modalidades da presente invenção permitem a implementação de MLAA de uma forma que pode produzir um melhor resultado de MLAA do que as abordagens convencionais, reduzindo a quantidade de trabalho que precisa ser feita pelos processadores de implementação de MLAA.The modalities of the present invention allow the implementation of MLAA in a way that can produce a better MLAA result than conventional approaches, reducing the amount of work that needs to be done by the MLAA implementation processors.

Embora exemplos de implementações tenham sido descritos em que as imagens 3D estereoscópicas são vistas usando óculos de visualização 3D passivos ou ativos, as modalidades da invenção não estão limitadas a essas implementações. Especificamente, as modalidades da invenção podem ser aplicadas a tecnologias de vídeo em 3D estereoscópico que não contam com acompanhamento de cabeça ou óculos 3D de — visualização passiva ou ativa. Exemplos de tais tecnologias de vídeo em 3D estereoscópico de “óculos-livres” são muitas vezes referidos como tecnologias Autoestereoscópicas ou de Autoestereoscopia. Exemplos destas tecnologias incluem, mas não estão limitados a, tecnologias baseadas no uso aumento, designada de modo que, quando vista de ângulos ligeiramente diferentes, diferentes imagens são ampliadas. As diferentes imagens podem ser escolhidas para fornecer um efeito de visão em três dimensões já que uma : tela lenticular é vista em ângulos diferentes. O número de imagens geradas aumenta proporcionalmente com o número de pontos de visualização para a tela - quanto mais imagens usadas em tal sistema mais modalidades desta invenção se tornam úteis para aplicação de anti-introdução de erro morfológico em tais sistemas. Mais especificamente, no sistema de vídeo de uma lente lenticular, as imagens de reprojeção de uma cena a partir de ângulos de visualização ligeiramente diferentes, podem ser geradas a partir de uma imagem 2D original e informação de profundidade para cada pixel na imagem. Ao usar de técnicas de reprojeção, diferentes visões da cena progressiva a partir de diferentes ângulos de visualização podem ser gerados a partirda imagem 2D original e informações de profundidade. As imagens que representam as diferentes vistas podem ser divididas em tiras e apresentadas de uma maneira entrelaçada em uma exibição autoestereoscópico tendo uma tela de exibição, que se situa entre um conjunto de lentes lenticulares e o local de visualização. As lentes que formam a lente lenticular podem ser lentes de aumento cilíndricas que estão alinhadas com as tiras e, geralmente, por duas vezes tão grandes quanto às tiras. Um expectador percebe vistas diferentes da cena, dependendo do ângulo em que a tela é visualizada. Os pontos de visualização diferentes podem ser selecionados para fornecer a ilusão de profundidade na cena a ser exibida.Although examples of implementations have been described in which stereoscopic 3D images are viewed using passive or active 3D viewing glasses, the modalities of the invention are not limited to these implementations. Specifically, the modalities of the invention can be applied to stereoscopic 3D video technologies that do not have head tracking or 3D glasses - passive or active viewing. Examples of such stereoscopic 3D glasses-free video technologies are often referred to as Auto-stereoscopic or Auto-stereoscopic technologies. Examples of these technologies include, but are not limited to, technologies based on increased usage, designed so that, when viewed from slightly different angles, different images are magnified. The different images can be chosen to provide a vision effect in three dimensions since one: lenticular screen is seen at different angles. The number of images generated increases proportionally with the number of viewing points for the screen - the more images used in such a system the more modalities of this invention become useful for the application of anti-introduction of morphological error in such systems. More specifically, in the video system of a lenticular lens, the reprojection images of a scene from slightly different viewing angles can be generated from an original 2D image and depth information for each pixel in the image. By using reprojection techniques, different views of the progressive scene from different viewing angles can be generated from the original 2D image and depth information. The images representing the different views can be divided into strips and presented in an interlaced manner in a self-stereoscopic display having a display screen, which is located between a set of lenticular lenses and the viewing location. The lenses that form the lenticular lens can be cylindrical magnifying lenses that are aligned with the strips and generally twice as large as the strips. A viewer perceives different views of the scene, depending on the angle at which the screen is viewed. Different viewing points can be selected to provide the illusion of depth in the scene to be displayed.

— Além disso, embora certas modalidades da presente invenção possam resolver os problemas de introdução de erro no caso da reprojeção tridimensional de imagens bidimensionais e envolver a geração de mais de uma imagem para a reprojeção, as modalidades são mais geralmente implementações tridimensionais pode não ser necessário gerar duas ou mais imagens. Por exemplo, no caso de uma exibição estereoscópica, pode não ser i necessário gerar as imagens de olho esquerdo e de olho direito por meio de . reprojeção. Alternativamente, pode-se gerar apenas uma nova imagem via reprojeção. Por exemplo, é possível começar com informação de cor e profundidade para cada pixel para uma imagem de olho esquerdo e gerar a imagem no olho direito correspondente através de reprojeção (ou vice-versa), resultando em imagens suficientes para exibição com uma exibição estereoscópica. Isso implicaria gerar uma única imagem reprojetada.- In addition, although certain modalities of the present invention can solve the problems of introducing error in the case of three-dimensional reprojection of two-dimensional images and involve the generation of more than one image for reprojection, the modalities are more generally three-dimensional implementations may not be necessary generate two or more images. For example, in the case of a stereoscopic display, it may not be necessary to generate the left and right eye images using. reprojection. Alternatively, you can only generate a new image via reprojection. For example, it is possible to start with color and depth information for each pixel for an image of the left eye and generate the image in the corresponding right eye through reprojection (or vice versa), resulting in sufficient images for display with a stereoscopic display. This would imply generating a single redesigned image.

Embora a presente invenção tenha sido descrita em detalhes consideráveis com referência a certas versões preferidas da mesma, outras versões são possíveis. Por conseguinte, o espírito e o escopo das reivindicações anexas não devem ser limitados à descrição das versões preferidas aqui contidas. Em vez disso, o escopo da invenção deve ser determinado com referência às reivindicações anexas, juntamente com o escopo completo de equivalentes.Although the present invention has been described in considerable detail with reference to certain preferred versions of it, other versions are possible. Therefore, the spirit and scope of the appended claims should not be limited to the description of the preferred versions contained herein. Instead, the scope of the invention must be determined with reference to the appended claims, along with the full scope of equivalents.

Todas as características divulgadas neste relatório descritivo (incluindo quaisquer reivindicações anexas, resumo e desenhos) podem ser substituídas por características alternativas que sirvam ao mesmo propósito equivalente ou similar, a menos que expressamente indicado em contrário. Assim, a menos que expressamente indicado em contrário, cada característica divulgada é um exemplo somente de uma série genérica de características equivalentes ou semelhantes. Qualquer característica, seja preferida ou não, pode ser combinada com qualquer outra característica, seja preferencial ou — não. Nasreivindicações a seguir, o artigo indefinido “um” ou “uma” refere-se a uma quantidade de um ou mais do item seguindo o artigo, exceto quando expressamente indicado em contrário. Qualquer elemento em uma reivindicação que não explicitamente estabelece “meio para” realizar umaAll features disclosed in this specification (including any attached claims, summary and drawings) may be replaced by alternative features that serve the same equivalent or similar purpose, unless expressly stated otherwise. Thus, unless expressly stated to the contrary, each feature disclosed is an example only of a generic series of equivalent or similar features. Any feature, whether preferred or not, can be combined with any other feature, whether preferred or - no. In the following claims, the indefinite article "one" or "one" refers to an amount of one or more of the item following the article, unless expressly stated otherwise. Any element in a claim that does not explicitly establish a “means to” perform a

“etapa”, conforme especificado em 35 USC $ 112, 9 6. Em particular, o uso de “etapa de” nas reivindicações aqui não tem a intenção de invocar as disposições de 35 USC $ 112, J 6. : A atenção do leitor é dirigida a todos os artigos e documentos — queestão depositados simultaneamente com este relatório descritivo e que são acessíveis ao público com este relatório descritivo, e o conteúdo de quaisquer artigos e documentos aqui incorporados por referência.“Step”, as specified at 35 USC $ 112, 9 6. In particular, the use of “step by” in the claims here is not intended to invoke the provisions of 35 USC $ 112, J 6.: The reader's attention is addressed to all articles and documents - which are filed simultaneously with this specification and which are accessible to the public with this specification, and the content of any articles and documents incorporated herein by reference.

Claims

1. Method for anti-introduction of morphological error (MLAA) of a reprojection of one or more two-dimensional images, characterized by the fact that it comprises: a) determining one or more discontinuities between each neighboring pixel of one or more two-dimensional images; b) identify one or more predefined patterns formed by one or more discontinuities in a); c) calculate a mix amount for each neighboring pixel - of the predefined patterns identified in b); d) apply a reprojection to one or more two-dimensional images and the amount of mix for each pixel, thereby generating one or more redesigned images and quantities of redesigned mixes; e) mixing neighboring pixels of one or more redesigned images according to the quantities of redesigned mixtures, thereby producing one or more output images; and f) present to one or more output images.

2. Method according to claim 1, characterized in that one or more output images include left-eye and right-eye views of a scene, whereby the output images correspond to the images of the left-eye scene and redesigned right eye.

3. Method according to claim 1, characterized by the “fact-code” included presentation of the left and right eye images redesigned from a three-dimensional display.

4. Method, according to claim 1, characterized by the fact that a discontinuity occurs between neighboring pixels, in which

5. Method according to claim 1, characterized by the fact that there is a discontinuity between neighboring pixels when each pixel has a different geometric profile. .

6. Method according to claim 1, characterized by the fact that a) includes discovering horizontal discontinuities between neighboring horizontal pixels or discovering vertical discontinuities between neighboring vertical pixels.

7. Method according to claim 1, characterized by the fact that a) includes discovering vertical discontinuities between neighboring vertical pixels and discovering horizontal discontinuities between neighboring horizontal pixels.

8. Method according to claim 1, characterized by the fact that f) includes dividing one or more two-dimensional images into strips, interlacing the strips with strips of one or more different two-dimensional images from different points of view of a scene, from that mode producing a set of interlaced images, and display the interlaced images in a self-stereoscopic display having lenticular lenses that are located between a display screen and a viewing location.

9. Method according to claim 1, characterized by the fact that the patterns predefined in b) include an L-shaped pattern.

10. Method according to claim 1, characterized in that the patterns predefined in b) include a U-shaped pattern.

11. Method according to claim 1, characterized - in that the patterns predefined in b) include a Z-shaped pattern.

12. Apparatus for anti-introduction of morphological error, characterized by the fact that it comprises:

a memory; and computer-encoded instructions embedded in memory and executable by the processor, where instructions encoded by. computer are configured to implement a method of anti-introduction of morphological error of a reprojection of one or more two-dimensional images, the method comprising: a) determining one or more discontinuities between each neighboring pixel of one or more two-dimensional images; b) identify one or more predefined patterns formed by one or more discontinuities; c) calculate a mix amount for each neighboring pixel of the predefined patterns identified in b); d) apply a reprojection to one or more two-dimensional images and the amount of mix for each pixel, thereby generating one or more redesigned images and quantities of redesigned mixes; and e) mixing neighboring pixels of one or more redesigned images according to the quantities of redesigned mixtures producing, thereby producing one or more output images.

13. Apparatus according to claim 12, characterized by the fact that it also comprises a three-dimensional visual display configured to display one or more images of output.

Apparatus according to claim 13, characterized by the fact that the one or more two-dimensional images include left-eye and right-eye views of a scene, whereby the output images correspond to the left and right eye images redesigns of the scene.

Apparatus according to claim 13, characterized by lenticulars located between a display screen and a viewing location.

16. Apparatus according to claim 15, characterized. by the fact that one or more two-dimensional images are divided into strips, interlacing the strips with strips of one or more different two-dimensional images from different views of a scene, thereby producing a set of interlaced images.

17. Apparatus according to claim 12, characterized by the fact that a discontinuity occurs between neighboring pixels when —cadapixel has a different color profile.

18. Apparatus according to claim 12, characterized by the fact that there is a discontinuity between neighboring pixels when each pixel has a different geometric profile.

19. Apparatus according to claim 12, characterized by the fact that a) includes first discovering horizontal discontinuities between neighboring horizontal pixels and then discovering vertical discontinuities between neighboring vertical pixels.

20. Apparatus according to claim 12, characterized by the fact that a) includes first discovering vertical discontinuities between neighboring vertical pixels and then discovering horizontal discontinuities between neighboring horizontal pixels.

21. Apparatus according to claim 12, characterized in that the patterns predefined in b) include an L-shaped pattern.

22. Apparatus according to claim 12, characterized in that the patterns predefined in b) include a U-shaped pattern.

23. Apparatus according to claim 12, characterized by Z.

24. Computer program product, characterized by the fact that it comprises: a non-transitory computer-readable storage medium having computer-readable program code incorporated in the said medium for anti-introduction of morphological error (MLAA) of a reprojection of a two-dimensional image, said computer program product having: a) computer-readable program code means for - determining one or more discontinuities between each neighboring pixel of the two-dimensional image; b) computer-readable program code means for identifying one or more predefined patterns formed by one or more discontinuities; c) computer readable program code means for calculating an amount of mixing for each neighboring pixel of the predefined patterns identified in b); d) computer readable program code means for applying a reprojection to the two-dimensional image and the amount of mixture for each pixel, thereby generating a redesigned image and quantities of redesigned mixtures; and e) computer-readable program code means for mixing neighboring pixels of the redesigned image according to the redesigned mix quantities, thereby producing one or more output images; and D) computer-readable program code means for displaying one or more more output images.