BRPI0909883B1

BRPI0909883B1 - Determinação da posição tridimensional do controle empregando análise de imagens e comunicação ultrassónica

Info

Publication number: BRPI0909883B1
Application number: BRPI0909883-6A
Authority: BR
Inventors: Gary M. Zalewsky
Original assignee: Sony Computer Entertainment America Llc
Priority date: 2008-05-30
Filing date: 2009-04-30
Publication date: 2020-07-07
Also published as: EP2303422A1; TW201006529A; US8784203B2; BRPI0909883A2; CN102149436B; JP2011524048A; WO2009146234A1; CN102149436A; US8323106B2; MX2010012972A; CN104162274A; US20080261693A1; TWI388362B; EP2303422A4; CN104162274B; JP5547720B2; US20130002550A1; EP2303422B1; KR20110025674A; KR101308642B1

Abstract

DETERMINAÇÃO DA POSIÇÃO TRIDIMENSIONAL DO CONTROLE EMPREGANDO ANÁLISE DE IMAGENS E COMUNICAÇÃO ULTRASSÓNICA. A interface de jogos rastreia a posição de um ou mais controles de jogos em um espaço tridimensional empregando um sistema híbrido de captura de vídeo e de rastreamento ultrassónico. As informações de vídeo capturadas são usadas para identificar uma posição horizontal e vertical para cada controle na área de captura. O sistema de rastreamento ultrassónico analisa a comunicação sonora para determinar as distâncias entre o sistema de jogos e cada controle e para determinar as distâncias entre os controles. As distâncias são então analisadas pela interface de jogos para calcular as profundidades dentro da área de captura para cada controle.

Description

A presente invenção refere-se, em linhas gerais, às comunicações entre um dispositivo computacional e um controle na mão de um usuário e, mais especificamente, à utilização das comunicações entre o dispositivo computacional e o controle para determinar a posição do controle em um espaço tridimensional.

Descrição do estado da técnica

A indústria de vídeo games passou por muitas mudanças ao longo dos anos. À medida que o poder computacional cresceu os desenvolvedores de video games também criaram softwares de jogos que se beneficiam do aumento desse poder computacional. Para tanto, desenvolvedores de vídeo games produziram jogos que incorporam operações e aritmética sofisticadas para proporcionar uma experiência de jogos muito realista.

Plataformas de jogos para este exemplo podem ser o Sony Playstation®, Sony Playstation2® (PS2) e Sony Playstation3® (PS3), cada um vendido na forma de um console de jogos. Como é de conhecimento geral, o console de jogos foi concebido para ser conectado a um monitor (normalmente um televisor) e permitir a interação do usuário por meio de controles em suas mãos. O console de jogos foi projetado com um hardware especializado para processamento, incluindo uma CPU, um sintetizador gráfico para o processamento de operações gráficas intensivas, uma unidade vetorial para execução de transformações geométricas e outros elementos adicionais de hardware, firmware e software. O console de jogos também foi projetado com um leitor de discos óticos para receber CDs de jogos para uso local no console de jogos. Também é possível jogar on-line, quando um usuário pode jogar interativamente com ou contra outros usuários através da Internet.

À medida que a complexidade dos jogos continua a intrigar os jogadores, os fabricantes de jogos e hardware continuaram inovando para proporcionar interatividade e programas de computador adicionais.

Uma tendência crescente na indústria de jogos para computador é o desenvolvimento de jogos que aumentem a interação entre o usuário e o sistema de jogos. Uma forma de se obter uma maior experiência interativa é a utilização de controles de jogos sem-fio, cujo movimento é rastreado pelo sistema de jogos a fim de acompanhar os movimentos do jogador e usar esses movimentos como elementos de entrada para o jogo. De forma geral, a entrada gestual refere-se à existência de um dispositivo eletrônico como um sistema computacional, um console de vídeo games, um aplicativo inteligente, etc., que reaja a algum gesto capturado por uma câmara de vídeo que rastreia um objeto.

Entretanto, o rastreamento atual de objetos sofre em termos de precisão na captura. Este problema ocorre porque a análise convencional de imagens somente pode produzir algumas medidas confiáveis da posição do usuário em duas dimensões. A determinação da distância entre a câmara e o objeto que está sendo rastreado é difícil, uma vez que pequenas alterações na sua forma em função do movimento aproximando-se ou afastando-se da câmara não proporcionam informações suficientes para calcular, de forma confiável, as distâncias entre a câmara e o controle. Em condições de laboratório, alguns utilizaram um dispositivo de sensoriamento de profundidade. Esses dispositivos de sensoriamento de profundidade, contudo, utilizam um sistema de retorno bidirecional que tenta descrever os contornos de certas imagens a partir da luz que é refletida pelos objetos colocados na frente desses dispositivos. Embora esses dispositivos tenham algumas aplicações, a sua utilização em jogos é, de certa forma, limitada, devido ao custo, complexidade e processamento adicional necessário para combinar os dados de profundidade com os dados das imagens bidimensionais. Assim sendo, a integração de dados de profundidade com os controles interativos de jogos continua sendo limitada, produzindo resultados aquém dos esperados e não sendo amplamente aceita fora do ambiente de laboratório.

É, nesse contexto, que surgem as configurações da presente invenção.

Objetivos e breve descrição da invenção

Em linhas gerais, a presente invenção preenche a necessidade de se proporcionar métodos e sistemas para estabelecer a comunicação entre um programa de computador em um sistema computacional e um controle, utilizado por um usuário, para determinar a posição tridimensional desse controle. Deve-se considerar que a presente invenção pode ser implementada de inúmeras formas, tais como um processo, um aparelho, um sistema, um dispositivo ou um método em um meio de leitura para computador. Várias das configurações da presente invenção são descritas a seguir.

Em uma configuraçãos, é provido um método para estabelecer a comunicação entre um programa de computador em um sistema computacional e um controle, que está na mão de um usuário. O método exibe uma interface gráfica do usuário em uma tela e captura dados de imagem de uma área na frente da tela. A área na frente da tela também é conhecida como área de captura e abrange o espaço onde o usuário deverá interagir com o sistema computacional. Também é possível realizar ajustes na área de captura para aumentá-la ou reduzi-la. Os dados da imagem capturada, tais como os dados fornecidos por uma câmara digital de vídeo, são usados para identificar a posição bidimensional do controle em relação à área de captura. O método também captura a comunicação sonora unidirecional entre um ponto próximo à tela, como um microfone, e um ponto no controle. A informação obtida por meio da comunicação sonora é usada para calcular uma posição tridimensional do controle dentro da área de captura.

Outra configuração descreve um sistema para estabelecer a comunicação entre um programa de computador e um controle. O sistema inclui uma tela para exibir uma interface gráfica do usuário, um dispositivo de captura de imagens, um dispositivo de captura de sons e um sistema computacional para executar o programa. O dispositivo de captura de imagens captura dados de imagens em uma área na frente da tela, que será doravante denominada como área de captura. O dispositivo de captura de sons analogamente captura dados de sons na área de captura. O sistema computacional é conectado à tela, ao dispositivo de captura de imagens e ao dispositivo de captura de sons. O controle é configurado para ser usado pelo usuário com apenas uma mão e inclui um corpo com duas extremidades; uma área de empunhadura perto da primeira extremidade; um teclado de entrada entre as duas extremidades para inserir dados de entrada; uma seção esférica na segunda extremidade; e um dispositivo emissor de sons próximo da segunda extremidade. A seção esférica facilita o reconhecimento da imagem pelo dispositivo de captura de imagens, e o dispositivo emissor de sons, que está voltado para longe do usuário quando utilizado por este, proporciona a comunicação sonora unidirecional com o dispositivo de captura de sons. O programa de computador identifica a posição bidimensional do controle a partir dos dados de imagens capturadas e a posição tridimensional do controle é dada pelos dados de sons capturados.

Adicionalmente, em outra configuração é apresentado um sistema para estabelecer a comunicação entre um programa de computador e um controle. O sistema inclui uma tela, dois conjuntos de emissores de luz localizados junto à tela e voltados para a área de captura na frente da tela, um dispositivo de captura de sons como um microfone, e um sistema computacional para executar o programa O sistema computacional é conectado à tela e ao dispositivo de captura de sons. No sistema, o controle deverá ser utilizado pelo usuário, em uma das mãos; esse controle inclui um corpo com duas extremidades, uma área de empunhadura perto da primeira extremidade, um teclado de entrada entre as duas extremidades, um dispositivo de captura de imagens junto à segunda extremidade e um dispositivo emissor de sons próximo da segunda extremidade. O dispositivo emissor de sons, que está voltado para longe do usuário quando utilizado por este, está configurado para a comunicação sonora unidirecional com o dispositivo de captura de sons junto ao sistema computacional. Dentro desse sistema, o programa de computador identifica uma posição bidimensional do controle com base nos dados de imagens capturadas e a posição tridimensional do controle é dada pelos dados de sons capturados.

Outros aspectos da invenção ficarão aparentes a partir da descrição detalhada a seguir, juntamente com os desenhos que ilustram, de forma exemplificativa, os princípios da invenção.

Descrição resumida dos desenhos

A invenção pode ser mais bem compreendida mediante referência à seguinte descrição juntamente com os respectivos desenhos, nos quais:

Figura 1 mostra um ambiente interativo de jogo com jogadores múltiplos.

Figuras 2A-2D apresentam diagramas de um ambiente de jogadores múltiplos e a utilização de dados de sons e vídeos para determinar as posições dos diferentes controles dos jogadores, de acordo com uma configuração.

Figura 5 A-3B descrevem uma configuração de um controle para uma mão com uma seção esférica e recursos ultrassónicos.

Figura 6 ilustra uma representação esquemática de um controle com uma seção esférica iluminada por um ou mais emissores internos de luz, de acordo com uma configuração.

Figura 7 inclui um controle com emissores de luz no interior da seção esférica, onde os emissores de luz estão visíveis a partir da parte externa do controle, de acordo com uma configuração.

Figura 8 ilustra um controle com recursos ultrassónicos e uma seção esférica parcialmente coberta por um material retro reflexivo.

Figura 9 descreve uma configuração com um controle para uma mão com placas frontais intercambiáveis.

Figura 10 ilustra uma representação esquemática de dois controles unidos por uma placa encaixável para formar um controle para ser usado com ambas as mãos, de acordo com uma configuração.

Figura 11 -9B apresentam dois controles para uma mão unidos pela base para formar um único controle em uma configuração.

Figura 12 ilustra o rastreamento visual do controle e as características do usuário, de acordo com uma configuração.

Figura 13 exibe o rastreamento dos movimentos do controle em uma configuração.

Figuras 12A-12B mostram diferentes vistas de um controle para uma mão de um jogador.

Figura 13 apresenta uma representação esquemática de um jogador usando controles para uma mão para ilustrar o uso do ultrassom para determinar distâncias relativas, de acordo com uma configuração.

Figuras 14A-14B ilustram a determinação das posições tridimensionais de dois controles usando recursos de vídeo e ultrassom, de acordo com uma configuração.

Figura 15 descreve a determinação da posição de dois controles utilizando ultrassom para medir a distância entre os controles, de acordo com uma configuração da presente invenção.

Figura 16 ilustra a determinação da posição de um controle formado pela união de dois controles, como mostra a Figura 9a, utilizando informações relacionadas com cada controle, de acordo com uma configuração.

Figura 17 mostra a vista superior de uma configuração que inclui o controle 600 com câmara embutida 602 e comunicações ultrassónicas.

Figura 18 ilustra dois jogadores usando controles para uma mão com recursos de video e som, de acordo com uma configuração.

Figura 19 A-19D apresentam diferentes configurações dos controles para uma mão com recursos de vídeo e ultrassom.

Figura 20 é um diagrama de blocos dos diferentes elementos de um sistema de entretenimento.

Figura 21 apresenta uma configuração para jogos interativos com quatro controles, próximos às mãos e pés do jogador.

Figura 22 ilustra o hardware e as interfaces do usuário que podem ser usadas para determinar a posição do controle, de acordo com uma configuração da presente invenção.

Figura 23 mostra um hardware adicional que pode ser usado para processar instruções, de acordo com uma configuração da presente invenção.

Figura 24 apresenta um fluxograma que descreve um método de comunicação de um controle para uma mão com um sistema computacional para determinar a posição tridimensional do controle, de acordo com uma configuração.

Descrição detalhada das figuras

São apresentados métodos e sistemas para estabelecer a comunicação entre um programa de computador em um sistema computacional e um controle na mão de um usuário, de maneira a determinar a posição tridimensional de um controle usado por um usuário. O método exibe uma interface gráfica do usuário em uma tela, capturando dados de imagem de uma área de captura localizada na frente da tela, onde se espera que o usuário interagindo com o sistema computacional esteja. Os dados das imagens capturadas são usados para identificar uma posição bidimensional do controle na área de captura. A posição bidimensional descreve a posição horizontal e vertical do controle. Adicionalmente, o método utiliza uma comunicação sonora unidirecional entre uma posição próxima à tela e a posição no controle para capturar dados de som. Os dados de som são usados para calcular a distância do controle até a área da tela. A posição bidimensional e a distância combinada definem um ponto na área de captura onde o controle está localizado.

Conforme aqui adotado, a comunicação sonora unidirecional refere-se à transmissão de informações de um emissor para um receptor mediante ondas sonoras. Em algumas configurações, as ondas sonoras são ondas ultrassónicas e, portanto, não detectadas pelo ouvido humano. Em algumas configurações, o emissor corresponde à primeira extremidade da comunicação sonora, e o receptor corresponde à segunda extremidade. Em outras configurações, as posições estão invertidas, a primeira extremidade corresponde ao receptor e, a segunda, ao emissor. Ainda assim, algumas configurações incluem comunicações bidirecionais entre a primeira e a segunda extremidade, sendo que a qualquer momento a primeira ou a segunda extremidade atuam como emissor ou receptor.

A comunicação sonora é usada para avaliar a distância de uma extremidade à outra, examinando as informações associadas com a comunicação sonora. Por exemplo, o emissor envia um pulso sonoro ao receptor e o tempo necessário para que o sinal sonoro vá de uma extremidade à outra é medido para confirmar a distância com base na velocidade do som. Em uma configuração, deve-se notar que o emissor e o receptor correspondem a diferentes entidades e não à mesma entidade ou, em outras palavras, o tempo para que um sinal retorne ao emissor não será considerado para os métodos e para o aparelho aqui descritos. Outras operações, além do uso de um pulso sonoro, podem ser usadas em conjunto com a comunicação sonora, contanto que seja obtida a medição da distância do emissor ao receptor. Exemplos de outras operações são: análise da coerência de fase, mudança de fase do sinal de onda, mudança de frequência do sinal de onda, mudança da amplitude do sinal de onda, etc.

Será óbvio, entretanto, para aquele técnico no assunto, que a presente invenção pode ser realizada sem alguns ou todos estes detalhes específicos. Em outros casos, operações bem conhecidas de processos não foram descritas em detalhes a fim de não eclipsar desnecessariamente a presente invenção.

A Figura 1 mostra um ambiente interativo de jogo com jogadores múltiplos. O sistema de entretenimento 100 inclui o sistema computacional 102 que executa um programa de computador com instruções para comunicação com os controles C1-C5 que são usados pelos jogadores A, B e C. O sistema computacional 100 comunica-se com o dispositivo de captura de imagens 106, com 0 dispositivo de captura de sons 108, com a tela 104 e os controles C1-C5. O sistema computacional 100 comunica-se com outras entidades do sistema de entretenimento 100 por meio de conexões com ou sem-fio, que incluem Bluetooth®, Wi-Fi™, 802.11, etc. Uma configuração típica inclui conexões diretas com fio entre 0 sistema computacional 102 e os elementos fixos próximos do sistema computacional, tais como 0 dispositivo de captura de imagens 106, a tela 104 e 0 dispositivo de captura de sons 108, enquanto que a comunicação com os controles são sem-fio, usando WiFi™. Embora o WiFi™ seja especificamente mencionado, deve-se compreender que outros padrões de comunicação também podem ser usados, incluindo protocolos e algoritmos de comunicação não padronizados, sem-fio.

A área de captura 118 é um espaço tridimensional onde se espera que os usuários do sistema estejam enquanto interagem com 0 sistema de entretenimento 100. O dispositivo de captura de imagens 106 toma imagens da área de captura e as envia ao sistema computacional 102. Em uma configuração, o dispositivo de captura de imagens 106 é uma câmara digital de vídeo. Outras configurações utilizam outros tipos de dispositivos de captura de imagens, tais como uma câmara digital colorida, um câmara digital monocromática, uma câmara infravermelha ou dispositivos especializados que se concentram na detecção de características particulares dos objetos que estão sendo detectados, por exemplo, uma cor pré-determinada.

Os dados das imagens capturadas podem ser manipulados e analisados em um formato comprimido ou em formato bruto. O formato bruto das imagens contém dados minimamente processados a partir do dispositivo de captura de imagens. Os dados de imagens processados ou comprimidos são criados por um conversor bruto com uma ampla gama interna de cores para realizar ajustes precisos antes da conversão para um formato de arquivo vermelho-verde-azul (RGB), como os formatos de arquivo Tagged Image File Format (TIFF), Joint Photographic Experts Group (JPEG), Portable Network Graphics (PNG), Graphics Interchange Format (GIF), bitmap do Windows (BMP), etc. A profundidade da cor da imagem processada pode variar de preto-e-branco, para uma escala de cinza, uma paleta de cores, para 24 bits por pixel, etc. Em uma configuração, os dados brutos das imagens são analisados para localizar o formato do controle dentro dos dados das imagens, e a posição do controle é então designada de acordo com o formato localizado nos dados das imagens. Em outra configuração, os dados processados das imagens são usados ao invés de localizar o controle na imagem capturada.

Os dados das imagens capturadas são usados para determinar uma posição bidimensional do controle. Esta posição é identificada por duas coordenadas x e y (x, y) que definem um ponto em um plano, ou uma linha em um espaço tridimensional como a área de captura. Algumas vezes, as posições horizontais e verticais são usadas para referenciar os valores x e y. Adicionalmente, outros tipos de coordenadas são usados, como um ângulo da origem e um vetor. Analogamente, dentro do espaço tridimensional, diferentes sistemas de coordenadas podem ser usados para identificar um ponto no espaço, como as coordenadas ortogonais x, y e z, as coordenadas x e y e um vetor da origem, ou dois ângulos e um vetor, etc.

O dispositivo de captura de sons 108 coleta dados de sons na área de captura. Em uma configuração, a comunicação unidirecional é usada quando o som proveniente dos controles for recebido pelo dispositivo de captura de sons 108. As comunicações ultrassónicas não interferem com a experiência do jogador. Em uma configuração, os controles possuem um alto-falante a partir do qual o som é gerado, e o dispositivo de captura de sons inclui um microfone voltado para a área de captura. Em uma configuração, o foco da área de captura pode ser refinado utilizando-se técnicas de filtragem para evitar a captura de ruídos estranhos fora da área de captura. Adicionalmente, o dispositivo de captura de sons pode filtrar frequências não empregadas na comunicação ultrassónica para reduzir, ainda mais, as interferências geradas por fontes sonoras indesejadas. Ainda assim, as comunicações sonoras podem apresentar falsas leituras devido ao som refletido por superfícies próximas à área de jogo. Em uma configuração, o sistema computacional 102 inclui mecanismos para evitar falsas leituras provocadas por reflexões sonoras, tais como filtros direcionais, análise de ondas sonoras, etc.

Em outra configuração, a comunicação entre o controle e o dispositivo de captura de imagens 106 é bidirecional, ou seja, tanto o controle quanto o dispositivo sonoro transmitem ou recebem mensagens ultrassónicas. Ainda assim, em outra configuração, a comunicação unidirecional ocorre no sentido oposto, com um microfone ultrassónico em cada controle e um dispositivo emissor de sons localizado próximo à tela.

A comunicação ultrassónica é usada para medir a distância entre o controle e o dispositivo de captura de sons, denominada dz, mediante a análise do tempo necessário para que o sinal sonoro chegue ao seu destino. Adicionalmente, a coerência de fase do sinal recebido também pode ser analisada para melhor determinar a distância. Quando é usada a comunicação ultrassónica unidirecional, é necessária uma sincronização de “clock” precisa para realizar medições exatas do tempo necessário para que o som vá da fonte até o destino. Aqueles versados na arte facilmente identificarão formas de obter a sincronização de “clock”. Por exemplo, um canal WiFi™ entre o controle e o dispositivo computacional pode ser usado para sincronizar os “clocks”. A Patente Norte-Americana US 5,991,693 concedida a Zalewski (aqui incorporada para fins de referência) apresenta um modo de rastreamento utilizado pela presente invenção.

O ponto (x, y) obtido a partir dos dados das imagens capturadas, juntamente com a distância dz definem um único ponto dentro da área de captura tridimensional. Algumas vezes, dz é chamada de terceira dimensão, pois dz pode ser traduzido como um valor no eixo z que é ortogonal aos eixos x e y anteriormente descritos. A medida z é identificada como sendo a profundidade na área de captura. Por exemplo, dz5 corresponde ao valor da profundidade de z5. Esta conversão geométrica é descrita mais detalhadamente abaixo em relação à Figura 2D.

Em uma configuração, a área de captura 118 é definida pelos limites da área de captura 114a e 114b, definidos pelo dispositivo de captura de imagens 106 e por uma linha limite posterior localizada a uma profundidade pré- determinada do campo. Valores normais para a profundidade máxima variam entre 3 e 10 pés, mas outros valores também são possíveis. Em outras configurações, a área de captura não precisa ter a forma de uma pirâmide e pode ter a forma de um cubo, uma esfera, um cone, ou qualquer outro formato, desde que os princípios da invenção sejam mantidos.

As Figuras 2A-2D apresentam esquemas de um ambiente para múltiplos jogadores e da utilização de dados de vídeo e som para determinar as posições dos diferentes controles dos jogadores, de acordo com uma configuração. A Figura 2A apresenta uma vista tridimensional do ambiente de jogo com dois jogadores. O dispositivo de captura de imagens é usado para obter as coordenadas x e y dos controles Ci, C2, C4 e Cs- As distâncias dzi, dZ2, dz4 e dZ5 são calculadas através das comunicações ultrassónicas recebidas pelo dispositivo de captura de sons 108. O sistema computacional 102, como mostra a Figura 1, utiliza as coordenadas e distâncias obtidas para produzir representações dos jogadores na tela, os avatares 112a e 112b, respectivamente.

A Figura 2B apresenta uma vista superior do ambiente de jogo correspondente ao Jogador A da Figura 2A. A área de captura 118 define os limites para a detecção do controle. Em uma configuração, os controles Ci e C2 estão configurados para comunicação ultrassónica bidirecional, permitindo que os controles meçam a distância entre si, dRsií OS controles possuem interfaces sonoras nas suas laterais para permitir a comunicação entre os controles. Em uma configuração, a distância dRsi corresponde a um valor de Intervalo Físico X, que é traduzido em uma distância de Intervalo na Tela X, exibida na tela. Em uma configuração, o componente vertical não é considerado para a representação do avatar 112a na tela. Em outra configuração, ambos os componentes x e y são calculados a partir de dRsi para que a representação na tela inclua uma vista em perspectiva de um campo de jogo 3D (não ilustrado).

A Figura 2C mostra o mesmo jogador da Figura 2B em outro instante, quando os controles Ci e C2 estão separados por uma distância dRs2, onde dRs2 é maior do que dRsi na Figura 2B. A distância dRs2 corresponde a uma nova separação horizontal igual a (x + Δx) A nova distância (x + Δx) é convertida em uma nova posição relativa dos controles na tela, que é alterada por um valor proporcional (x + Δx intervalo na tela).

A Figura 2D mostra a conversão de uma medida de distância para uma medida de profundidade absoluta (z). dz é a distância do controle 124 até o dispositivo de captura de sons 108 com as coordenadas (xo, yo, Zo). Utilizando dados de captura de imagens, as coordenadas horizontal (xi) e vertical (y^ do controle 124 são calculadas (não ilustrado). O cálculo do valor Zi do controle 124 envolve a interseção da linha definida por qualquer ponto com as coordenadas (x1 y1) no espaço tridimensional com uma esfera centrada no dispositivo de captura de sons com um raio dzi. A linha é definida pela seguinte equação: {x = x1;y = y1}

Essa equação supõe um espaço sem distorção de perspectiva. Outras configurações compensam possíveis distorções devido à vista em perspectiva do dispositivo de captura de imagens. A esfera é definida pela equação: (x – xo)2 + (y - yo)2 + (z - zo)2 = dz12

Substituindo-se x por Xi e y por yi na equação da esfera, teremos um valor de z correspondente ao valor da profundidade Zi. Deve-se observar que a equação apresentará dois valores de z, mas somente um deles estará dentro da área de captura.

As Figuras 3A-3B descrevem uma configuração com um controle para uma mão 130 com uma seção esférica 132 e recursos ultrassónicos. O formato da seção esférica 132 permite a detecção da posição do controle mediante a análise da imagem capturada por um dispositivo de captura de imagens.

Deve-se entender que no escopo desta invenção, o termo “esférico” não está limitado a uma esfera perfeita. Pelo contrário, o termo “esférico" também deve incluir qualquer forma que tenha uma aparência semelhante, como um formato oval, uma lateral esférica parcial, um formato elíptico, de globo, de bola, de balão, uma forma abaulada, protuberante, ampliada, estendida, etc., ou qualquer tipo de forma que possa ser facilmente detectada e que faça parte ou que esteja conectada ou adjacente ao controle de mão ou, simplesmente, um objeto físico básico.

Em outras configurações, descritas a seguir, recursos adicionais foram agregados à seção esférica para permitir uma melhor detecção do controle através dos dados das imagens. O controle 130 é configurado para comunicação ultrassónica bidirecional. A interface sonora 136 permite a comunicação ultrassónica para frente do controle, enquanto que a interface sonora 134 permite a comunicação ultrassónica para as laterais do controle. Como foi anteriormente descrito, a comunicação frontal é usada para determinar a distância dz do controle até o receptor de som na outra extremidade.

A interface sonora 134 é usada para se comunicar com um segundo controle que estiver na outra mão do mesmo jogador que está segurando o controle 130. A comunicação sonora lateral também é usada para se comunicar com outros controles usados pelos diferentes jogadores aumentando, assim, a precisão na determinação das posições dos diferentes jogadores e controles. Em uma configuração, uma câmara acústica no interior do controle disponibiliza um conduto para o som conforme descrito a seguir para a Figura 3B. Em outra configuração, a interface sonora 134 inclui uma porta deslizante que fecha a interface lateral 136 quando a comunicação lateral não for necessária aumentando, assim, a potência da comunicação sonora para a parte frontal do controle. A área do teclado de entrada 138 possui botões para receber os comandos do usuário durante o jogo. O controle 130 possui uma área de empunhadura 140 para acomodar a mão do usuário.

A Figura 3B apresenta o controle 130, como foi visto na Figura 3A, com uma câmara acústica interna 150. A câmara acústica interna encaminha o ultrassom de e para o emissor sonoro 154 e receptor sonoro 152 para a parte externa do controle. Em uma configuração, a câmara acústica 150 possui interfaces sonoras na parte frontal e nas laterais. A utilização da câmara acústica permite a comunicação sonora multidirecional usando-se apenas um emissor e um receptor. Em outra configuração, uma câmara acústica não é usada e um par de emissor e receptor encontra-se em cada lado do controle, onde ocorrem as comunicações sonoras. Em outra configuração, a comunicação sonora pode passar pela seção esférica, onde o som é disperso em várias direções permitindo a comunicação sonora mesmo quando o controle não estiver voltado para o dispositivo de captura de sons, na outra extremidade. Há uma pluralidade de interfaces sonoras ao longo da seção esférica e cada interface sonora está conectada à câmara acústica. As interfaces sonoras também podem incluir sensores sonoros que ajudam a identificar o sentido ou a interface sonora de onde vem o som, resultando em uma maior precisão.

A Figura 4 apresenta uma representação esquemática do controle 170 com uma seção esférica iluminada por um ou mais emissores de luz internos 172, de acordo com uma configuração. A luz dos emissores 172 ilumina a seção esférica 174, facilitando a detecção do controle durante a análise dos dados de imagens, pois o brilho adicional da seção esférica é usado pelo dispositivo computacional para diferenciar com mais facilidade os detalhes e os contornos da seção esférica contra as imagens de fundo. Em uma configuração, os emissores de luz 172 são diodos emissores de luz (LED). Em outra configuração, os emissores de luz 172 encontram-se no espectro infravermelho, fazendo com que a seção esférica brilhe com luz infravermelha, possibilitando a sua detecção por meio de uma câmara infravermelha.

Embora seja preferível que a câmara de rastreamento do controle opere nas frequências de IV (ou tenha a capacidade de operar no modo IV), a seção esférica do controle também poderá ter uma cor fluorescente laranja ou verde, para que uma câmara que opere no espectro visível possa rastrear a posição x, y.

A Figura 5 traz um controle com emissores de luz infravermelha 184 no interior da seção esférica 182, onde os emissores de luz são visíveis pela parte externa do controle, de acordo com uma configuração. A seção esférica permite a passagem da luz infravermelha com uma distorção mínima, possibilitando que uma câmara infravermelha detecte a posição do controle 180 ao detectar a luz infravermelha. Em outra configuração, as fontes de luz são LEDs que operam no espectro visível e que são detectados através da análise dos dados de imagens tiradas com uma câmara digital. Ainda em outra configuração, as frequências das fontes de luz são misturadas para que possam ser identificadas saídas visíveis e em IV.

A Figura 6 apresenta o controle 190 com recursos ultrassónicos e a seção esférica 192 parcialmente coberta por um material retro reflexivo 194. Um retro- refletor é um dispositivo ou superfície que reflete uma frente de onda ao longo de um vetor que é paralelo, mas tem o sentido oposto ao ângulo de incidência. É diferente de um espelho, que somente funciona dessa forma se estiver exatamente perpendicular à frente de onda. Se a seção esférica 192 for retro reflexiva ou parcialmente retro reflexiva, a luz proveniente de uma fonte próxima ao dispositivo remoto de captura de luz, será refletida de volta para o dispositivo de captura de luz, como mostra a Figura 14B. Isso aumentará a quantidade de luz refletida, comparada com elementos que não são retro-refletores, possibilitando um maior contraste de imagens e um melhor reconhecimento do controle na imagem capturada. Em outra configuração, a seção esférica 192 está totalmente coberta por material retro reflexivo para máxima reflexão de luz.

Deve-se compreender que cada característica de uma configuração pode ser combinada com outra característica de outra configuração da presente invenção para criar configurações híbridas. Por exemplo: uma seção esférica revestida com material retro reflexivo também pode conter uma fonte IV que permita à luz IV do interior da seção esférica passar através de áreas de transmissão da esfera onde não haja material retro reflexivo.

A Figura 7 apresenta uma configuração do controle 210 para uma mão com placas frontais intercambiáveis. As diferentes placas frontais, tais como 220a e 220b, permitem diferentes configurações do teclado e proporcionam maior flexibilidade ao usuário na escolha dos métodos de entrada de comandos para os diferentes jogos. Na configuração apresentada na Figura 7, o usuário tem a opção de usar a placa frontal A, 220a, que inclui um teclado direcional, ou a placa frontal B, 220b, que possui 4 botões.

A Figura 8 traz uma representação esquemática de dois controles para uma mão, 300a e 300b, unidos por meio de uma placa encaixável 302 para formar um controle para ser usado com ambas as mãos, de acordo com uma configuração. A placa de inserção adiciona opções de entrada de comandos para o usuário. Ao usar a placa frontal entre os controles, a distância entre eles será fixa e conhecida. Um sistema computacional remoto rastreia os movimentos de ambos os controles para maior precisão. Adicionalmente, considerando-se a distância fixa entre os controles, o sistema computacional pode ainda refinar a detecção da posição e orientação do controle, utilizando técnicas de triangulação.

As Figuras 9A-9B apresentam dois controles para uma mão unidos pela base para formar um único controle em uma configuração. O mecanismo de travamento 322 possibilita que os controles 320a e 320b sejam unidos pela base. Em uma configuração, a forma dos controles 320a e 320b é configurada para permitir o intertravamento dos controles. Em outra configuração, um adaptador é usado para conectar os controles. O adaptador pode formar uma estrutura rígida com os controles ou pode ser flexível, permitindo formas diferentes e flexíveis de combinação. Por exemplo, o adaptador pode incluir um mecanismo semelhante a uma corda mediante o qual a combinação dos dois controles poderia ser usada em um jogo como um “nunchaku”. Adicionalmente, em outra configuração, o adaptador pode se projetar na direção longitudinal, mediante um mecanismo telescópico, resultando em uma combinação que seria semelhante a uma espada longa ou lança. Em outra configuração, uma conexão elétrica seria feita entre os controles para que o sistema computacional possa detectar que os controles estão unidos, ou para permitir a comunicação diretamente entre os controles. Esta combinação pode ser denominada como uma configuração do tipo “espada” ou “varinha mágica”. Analogamente à combinação do controle apresentada na Figura 8, a configuração de “espada” permite que o dispositivo computacional remoto rastreie ambos os controles para uma maior precisão.

A Figura 9B apresenta um ambiente tridimensional de jogos que inclui um controle do tipo “espada”. A câmara 322 e o dispositivo de captura de sons 324 rastreiam ambos os controles. Por exemplo: a comunicação ultrassónica é usada para determinar as distâncias dzi e dz2 dos controles até o dispositivo de captura de sons 321. O sistema computacional detecta a posição no espaço e calcula a posição das extremidades de ambos os controles. Em uma configuração, a linha que une os dois controles é transformada para uma posição similar de uma ferramenta ou arma na tela.

A Figura 10 ilustra o rastreamento visual do controle 360 e das características do usuário, de acordo com uma configuração. Os dados da imagem capturada pela câmara 362 são analisados para calcular não só a posição (x, y) do controle, mas também detectar características humanas, considerando as posições do jogador e do controle como informações de entrada para o jogo. Em uma configuração, a área da cabeça 350 e do tórax 352 é rastreada. Em outra configuração, os olhos do jogador são rastreados (não exibido). A linha 354 mostra a direção no sentido do rosto do usuário, a linha 356 mostra a direção no sentido do tórax e a linha 358, a direção e a distância até o controle. Alterações nos ângulos 0i e 02 entre as diferentes linhas indicam alterações relativas na posição do jogador em relação ao controle.

A Figura 11 mostra o rastreamento do movimento do controle em uma configuração. Além da seção esférica e da comunicação ultrassónica, o controle 380 possui um analisador inercial 388 que rastreia a atividade inercial do controle 380. Os dados do analisador inercial 388 são transmitidos via WiFi 382 ao sistema computacional. Vários tipos de dispositivos de sensoriamento inercial podem ser usados para proporcionar informações sobre os 6 graus de liberdade (p.ex.: translação nos eixos x, y e z, e rotação nos eixos x, y e z). Exemplos de sensores inerciais adequados para fornecer informações sobre os 6 graus de liberdade são: acelerômetros, um ou mais acelerômetros de eixo único, giroscópios mecânicos, giroscópios a laser, ou combinações de dois ou mais desses dispositivos. Os sinais do analisador inercial 388 são analisados para determinar o movimento e a orientação do controle durante a ação em um vídeo game. Em uma configuração, os dados da análise inercial são comunicados ao sistema computacional através de uma comunicação sem-fio WiFi™ 382. Alternativamente, uma comunicação com fio ou uma combinação de ambas também é possível. Embora a comunicação WiFi™ seja especificamente identificada, outros modos e padrões de comunicação sem-fio também poderão ser empregados.

As Figuras 12A-12B apresentam diferentes vistas de um controle na mão de um jogador. A Figura 12A traz uma vista da perspectiva da câmara voltada para o jogador. Nessa configuração, o controle 400 possui material retro reflexivo 402 para refletir a luz de uma fonte próxima ao redor da câmara, fazendo com que a luz seja refletida na direção oposta para maximizar a quantidade de luz que volta para a câmara. Do ponto de vista da câmara, a interface sonora 404 também está visível.

A Figura 12B apresenta uma vista lateral do controle, mostrando a seção esférica 400 com material retro reflexivo 402 e as interfaces sonoras 404 e 406.

A Figura 13 traz uma representação esquemática de um jogador com os controles 420a e 420b para uma mão para ilustrar o uso do ultrassom para determinar distâncias relativas, de acordo com uma configuração. Ambos os controles suportam comunicação ultrassónica bidirecional para o receptor sonoro 422 e entre si. Em uma configuração, os controles 420a e 420b enviam e recebem informações sonoras. As informações de sons capturados são enviadas para um programa de computador para processamento a fim de calcular a distância entre os controles, dRs- Em outra configuração, um processador no interior de um dos controles mede o tempo gasto pelo som para ir de um controle ao outro para calcular a dRs que é, então, enviada ao programa do computador remoto que usa essa informação para calcular as posições dos controles na área de captura tridimensional. Como foi anteriormente descrito em relação à Figura 1, sincronização é necessária para utilizar medições ultrassónicas para calcular distâncias.

As Figuras 14A-14B ilustram a determinação das posições tridimensionais dos dois controles utilizando vídeo e ultrassom, de acordo com uma configuração, A Figura 14A apresenta o mesmo usuário da Figura 13 após algum tempo ter passado: as mãos do usuário se moveram e afastaram os controles com uma distância maior do que a dRs mostrada na Figura 13. Neste exemplo, o maior afastamento das mãos é refletido em uma maior distância entre as mãos do avatar na tela. Na configuração ilustrada pela Figura 14B, o controle 420b possui material retro reflexivo para refletir luz infravermelha dos emissores de luz infravermelha 433. A luz refletida é capturada pela câmara infravermelha 326 para produzir dados de imagens que serão analisados para determinar a posição do controle. Em outra configuração, a câmara 436 é uma câmara que opera no espectro infravermelho e no espectro visível. A câmara 436 alterna a tomada de dados de imagens entre o espectro infravermelho e o espectro visível. Ambos os tipos de medições são usados pelo sistema computacional para calcular a posição x, y. Utilizando-se dois métodos de posicionamento do controle, obtém-se uma maior precisão.

A Figura 15 descreve a determinação da posição dos dois controles 450a e 450b utilizando ultrassom para medir a distância entre os controles, de acordo com uma configuração da presente invenção.

A Figura 16 ilustra a determinação da posição de um controle formado pela união de dois controles, como mostra a Figura 9A, utilizando informações relacionadas com cada controle, de acordo com uma configuração. Os controles 500a e 500b foram unidos, como foi anteriormente discutido em relação às Figuras 9A e 9B. A posição de cada controle é calculada separadamente e, na sequência, a distância entre os controles, dRS, é inserida nos cálculos de posição para aumentar a precisão. Como dRS é conhecida, a distância medida entre os controles é comparada com a distância conhecida para que possam ser feitos ajustes nas posições dos controles.

Em uma configuração, um conjunto de várias medições consecutivas é rastreado para atenuar desvios ou falhas nas medições. A frequência de amostragem para as diferentes medições varia de acordo com a precisão necessária e a disponibilidade de recursos computacionais. Por exemplo: um jogo interativo de luta exigirá uma maior frequência de medições do que um jogo interativo de xadrez.

A Figura 17 exibe a vista superior de uma configuração que inclui o controle 600 com uma câmara embutida 602 e comunicação ultrassónica. Nesta configuração, a câmara está no controle, e não próxima à área da tela. Os emissores de luz 606a e 606b estão localizados aproximadamente nas extremidades opostas da tela. Os dados de imagens são capturados pela câmara 602, e a luz dos emissores de luz 606a e 606b ajuda na identificação da posição do controle. As posições dos emissores de luz 610a e 610b representam as posições dos emissores de luz nos eixos x e y. A comunicação ultrassónica entre o microfone 604 e o controle 600 é usada para calcular a distância dz do controle até o microfone.

Em uma configuração, a imagem capturada pela câmara 602 é transmitida ao dispositivo computacional PS3 que processará a imagem capturada para calcular as posições x e y do controle. Em outra configuração, um processador no controle 600 processa os dados de imagens e calcula a posição do controle que é, então, transmitida ao dispositivo computacional PS3. Em outra configuração, o controle 600 faz o processamento parcial dos dados de imagens e um subconjunto de dados é encaminhado ao dispositivo computacional PS3 para o processamento final.

Outra configuração na qual a câmara está instalada no controle é apresentada na Figura 18, que mostra dois jogadores com os controles 600a e 600b para uma mão com recursos de som e vídeo, de acordo com uma configuração.

Como a câmara está instalada no controle, não é necessário ter uma seção esférica, ou qualquer formato que seja facilmente reconhecível, na frente do controle, proporcionando um design mais delgado. As Figuras 19A-19D mostram diferentes configurações dos controles com recursos de vídeo e ultrassom. O controle 650 possui uma configuração básica com a câmara 652 e interface ultrassónica na parte frontal. Os controles 660 também possuem uma interface sonora lateral 662 que pode ser usada para comunicação com outros controles, ou com a interface de captura de sons próxima à tela do sistema, quando o controle estiver voltado para longe da tela durante o jogo.

O controle 670 da Figura 19C possui a empunhadura 676 configurada para acomodar a mão do jogador durante o uso do controle, além do joystick 674 e do teclado 672 para entrada de comandos. O controle 680 possui uma interface lateral 622, semelhante àquela do controle 660, da Figura 19B.

A Figura 20 é um diagrama de blocos dos diferentes elementos do sistema de entretenimento. O sistema computacional e seus componentes estão localizados no lado esquerdo da Figura 20 e o ambiente do jogador encontra-se do lado direito. O sistema computacional 700 inclui um processador, uma área de memória, um “clock"e as interfaces de comunicação. As interfaces de comunicação incluem uma interface de radiofrequência (RF) para a comunicação sem-fio com os controles como, por exemplo, através do protocolo WiFi™. Outros métodos de comunicação incluem captura de imagens, transmissão e recepção de sons (ultrassom nesta configuração) e emissores de luz.

Os diferentes dispositivos de comunicação conectados ao sistema computacional 700 conectam-se aos respectivos controles no interior do sistema computacional. A área de memória inclui os programas em execução, uma área de processamento de imagens, uma área de processamento de sons e uma área de sincronização de “clocks". Os programas em execução incluem um programa de jogo, programa de processamento de imagens, programa de processamento de sons, programa de sincronização de “clocks", etc. Esses programas usam as respectivas áreas de memória, tais como a área de processamento de imagens que contém os dados de imagens, a área de processamento de sons que contém os dados de comunicação ultrassónica e a área de sincronização de “clocks”, usada para a sincronização com dispositivos remotos.

Várias configurações de controles encontram-se na área do ambiente do jogador. O controle A representa um modelo “totalmente equipado” com muitas das características anteriormente descritas. O controle A possui um módulo de Sincronização de “Clock"(CS) para a sincronização de “clock” com o sistema computacional 700; um Receptor de Som (SRx) para receber dados ultrassónicos; um Transmissor de Som (SRx) para enviar dados ultrassónicos; um módulo WiFi (WF) para a comunicação WiFi com o sistema computacional 700; uma Câmara Acústica (AC) para conduzir o som de e para a frente e/ou as laterais do controle; um dispositivo de Captura de Imagens (IC), como uma câmara digital de vídeo para captura de dados de imagens; e um Emissor de Luz (LE) no espectro infravermelho ou visível para um reconhecimento mais fácil das imagens pelo módulo de processamento de imagens no sistema computacional 700.

Adicionalmente, o controle A possui uma seção esférica (não exibida), para melhorar o reconhecimento de imagem por um dispositivo de captura remoto. A seção esférica possui material retro reflexivo que aumenta a quantidade de luz, enviada por um emissor de luz junto ao dispositivo de captura de imagens, que é refletida de volta ao dispositivo de captura de imagens. A luz criada pelo emissor pode ser no espectro infravermelho ou visível, assim o dispositivo de captura de imagens trabalhará no mesmo espectro luminoso. Os diferentes componentes do controle A podem ser implementados como módulos ou dispositivos separados dentro do controle A. Em outra configuração, os diferentes componentes do controle A estão agrupados em uma quantidade menor de componentes integrados, possibilitando uma implementação mais compacta. Os vários controles também possuem uma ou mais portas USB para permitir a carga da bateria dos controles quando ligados ao console de jogo ou a um computador.

De acordo com a utilização prevista de um determinado controle, configurações mais simples podem ser usadas com menos recursos do que aqueles descritos para o controle A. Algumas configurações de dispositivos mais simples são apresentadas fazendo referência aos controles B-E, que utilizam um subconjunto dos recursos descritos para o controle A. Aquele versado na arte prontamente notará que configurações semelhantes são possíveis dentro do espírito da invenção, incorporando ou retirando componentes, desde que os princípios da invenção sejam mantidos.

O conceito de dois controles com recursos de localização tridimensional pode ser ampliado para vários controles colocados no ou próximo ao corpo do jogador ou para múltiplos sensores para triangulação e melhor visão do controle em todos os momentos. Em uma configuração, uma gama de microfones é colocada ao redor da área de captura para obter as diferentes leituras geométricas da posição do controle, possibilitando cálculos de triangulação para uma maior precisão. A Figura 21 apresenta uma configuração para jogo interativo usando quatro controles colocados junto às mãos e aos pés do jogador. Nesta configuração, dois controles estão presos nos braços ou nas mãos do jogador e dois controles adicionais estão presos às suas pernas ou pés. O exemplo mostra o jogador dando uma “bicicleta" que é traduzido no respectivo movimento do seu avatar no jogo do computador. Em uma configuração, as imagens da câmara que observa o jogador são mostradas na tela, mesclando com outros objetos virtuais adicionados ao jogo, fazendo com que o jogador se torne parte da cena do jogo. Nessa configuração, a bola, as traves, o campo, outros jogadores, o público, etc. são adicionados à imagem do jogador, e os seus movimentos para chutar uma bola imaginária são traduzidos no mundo do jogo em movimentos na tela para chutar a bola imaginária. Em um ambiente com múltiplos jogadores, outros jogadores são introduzidos no mundo virtual a partir dos dados de imagens capturadas mesclados com objetos virtuais. Os outros jogadores podem estar na mesma área de captura do jogador que está chutando a bola, ou podem estar remotamente conectados ao jogo, possibilitando uma atividade distribuída para múltiplos jogadores. Outras aplicações semelhantes incluem luta, corrida de automóveis, dança e jogos de exercícios, bem como vários outros esportes, tais como futebol americano, tênis, boxe, basebol, basquetebol, hockey, etc

A Figura 22 ilustra o hardware e as interfaces de usuário que podem ser usadas para determinar a posição do controle, de acordo com uma configuração da presente invenção. A Figura 22 mostra, esquematicamente, a arquitetura geral do dispositivo de entretenimento Sony® Playstation 3®, um console que pode ser compatível para implementar um sistema de localização tridimensional de controles de acordo com uma configuração da presente invenção Há uma unidade de sistema 1400 com vários periféricos que podem ser conectados à unidade de sistema 1400. A unidade de sistema 1400 é formada por: um processador celular 1428; uma unidade de memória de acesso aleatório dinâmico Rambus (XDRAM) 1426; uma unidade gráfica Sintetizadora de Realidade 1430 com uma unidade de memória de acesso aleatório de vídeo dedicada (VRAM) 1432; e uma ponte de I/O 1434. A unidade de sistema 1400 também compreende um leitor de disco ótico Blu Ray® Disk BD-ROM® 1440 para leitura de um disco 1440a e uma unidade de disco rígido removível (HDD) 1436, que podem ser acessados através da ponte de I/O 1434. Opcionalmente, a unidade de sistema 1400 também compreende um leitor de cartão de memória 1438 para leitura de cartões de memória "compact flash", cartões de memória Memory Stick® e outros, que também são acessados através da ponte de I/O 1434.

A ponte de I/O 1434 também está conectada a seis portas Universal Serial Bus (USB) 2.0 1424; a uma porta de Ethernet de gigabit 1422; a uma porta de rede sem-fio IEEE 802.11 b/g (Wi-Fi) 1420; e a uma porta de conexão sem-fio Bluetooth® 1418, capaz de suportar até sete conexões Bluetooth.

Quando em operação, a ponte de I/O 1434 processa todo o tráfego de dados sem-fio, via USB e Ethernet, incluindo dados de um ou mais controles de jogos 1402-1403. Por exemplo: quando um usuário estiver jogando, a ponte de I/O 1434 recebe dados do controle de jogos 1402-1403 através da conexão Bluetooth e os direciona para o processador celular 1428, que atualiza o estado atual do jogo.

As portas de comunicação sem-fio, USB e Ethernet também efetuam a conectividade para outros periféricos além dos controles de jogos 1402-1403, tais como: controle remoto 1404; teclado 1406; mouse 1408; dispositivo de entretenimento portátil 1410, como o dispositivo de entretenimento Sony Playstation Portable®; uma câmara de vídeo como uma câmara de vídeo EyeToy® 1412; um conjunto microfone-fone de ouvido 1414 e um microfone 1415. Tais periféricos podem, em princípio, ser conectados à unidade de sistema 1400 sem fio; por exemplo, o dispositivo de entretenimento portátil 1410 pode se comunicar por meio de uma conexão Wi-Fi ad-hoc, enquanto que o conjunto microfone-fone de ouvido 1414 pode se comunicar por meio de uma conexão Bluetooth.

A provisão dessas interfaces significa que o dispositivo Playstation 3 também é potencialmente compatível com outros periféricos, tais como gravadores digitais de vídeo (DVRs), caixas de conexão, câmaras digitais, tocadores portáteis de mídia, telefones VoIP, telefones celulares, impressoras e scanners.

Adicionalmente, um leitor de cartão de memória legado 1416 pode ser conectado à unidade do sistema através de uma porta USB 1424, permitindo a leitura de cartões de memória 1448 do tipo usado pelos dispositivos Playstation® CR) ou Playstation 2

Na presente configuração, os controles de jogos 1402-1403 podem se comunicar sem-fio com a unidade de sistema 1400 por meio de uma conexão Bluetooth. Entretanto, os controles de jogos 1402-1403 podem ser conectados através de uma porta USB que também pode recarregar a bateria dos controles de jogos 1402-1403. Os controles de jogos 1402-1403 também podem incluir memória, um processador, um leitor de cartão de memória, memória permanente tais como memória “flash", emissores de luz tais como LEDs ou luzes infravermelhas, microfone e alto-falante para comunicação ultrassónica, uma câmara acústica, uma câmara digital, um “clock” interno, um forma reconhecível como a seção esférica voltada para o console de jogos e comunicação sem-fio utilizando protocolos tais como Bluetooth®, WiFi™, etc.

O controle de jogos 1402 é um controle projetado para ser usado com as duas mãos e o controle de jogos 1403 é um controle para uma mão, como foi anteriormente descrito nas Figuras 1-21. Além de um ou mais joysticks analógicos e botões convencionais de controle, o controle de jogos é suscetível à determinação da posição tridimensional. Consequentemente, gestos e movimentos do usuário do controle de jogos podem ser traduzidos como comandos para um jogo, além ou no lugar de comandos por meio de botões ou joysticks convencionais. Opcionalmente, outros periféricos habilitados sem-fio, como o dispositivo Playstation™ Portable, podem ser usados como um controle. No caso do dispositivo Playstation™ Portable, informações adicionais do jogo ou do controle (por exemplo: instruções de controle ou quantidade de vidas) podem ser exibidas na tela do dispositivo. Outros dispositivos de controle alternativos ou complementares também podem ser usados, tais como um tapete de dança (não ilustrado), arma de luz (não exibida), volante com pedais (não exibido) ou controles de reserva, tais como um ou vários botões grandes para jogos de perguntas com respostas rápidas (também não ilustrado).

O controle remoto 1404 também pode se comunicar sem-fio com a unidade de sistema 1400 através de uma conexão Bluetooth. O controle remoto 1404 compreende controles adequados para a operação do leitor de discos Blu Ray™ BD-ROM 1440 e para a navegação do conteúdo do disco.

O leitor de discos Blu Ray™ BD-ROM 1440 pode ler CD-ROMs compatíveis com os dispositivos Playstation e Playstation 2, além de CDs pré- gravados e graváveis convencionais, e os chamados CDs Super Audio. O leitor 1440 também pode ler DVD-ROMs compatíveis com os dispositivos Playstation 2 e Playstation 3, além de DVDs pré-gravados e graváveis convencionais. O leitor 1440 também pode ler BD-ROMs compatíveis com o dispositivo Playstation 3, bem como Discos de Blu-Ray convencionais, pré-gravados e graváveis.

A unidade de sistema 1400 pode fornecer áudio e vídeo, sejam eles gerados ou decodificados pelo dispositivo Playstation 3 através da unidade gráfica Sintetizadora de Realidade 1430, através de conectores de áudio e vídeo para uma tela e do dispositivo de saída sonora 1442, tais como um monitor ou televisor com uma tela 1444 e um ou mais alto-falantes 1446. Os conectores de áudio 1450 podem incluir saídas convencionais analógicas e digitais, enquanto que os conectores de vídeo 1452 podem incluir saídas de vídeo componente, S- vídeo, vídeo composto e uma ou mais saídas HDMI (High Definition Multimedia Interface). Consequentemente, a saída de vídeo pode ser nos formatos PAL ou NTSC ou em 720p, 1080i ou 1080p em alta definição.

O processamento de áudio (geração, decodificação e outras) é realizado pelo processador celular 1428. O sistema operacional do dispositivo Playstation 3 suporta som “surround” Dolby® 5.1, Dolby® Theatre Surround (DTS) e a decodificação de som “surround” 7.1 dos discos de Blu-Ray®.

Na presente configuração, a câmara de vídeo 1412 compreende um dispositivo acoplado carregado (CCD) individual, um indicador de LED e um aparelho de compressão e codificação de dados em tempo real baseada em hardware para que os dados de vídeo comprimidos possam ser transmitidos em um formato adequado, tal como um padrão MPEG (motion picture expert group) baseado em intra-imagens para decodificação pela unidade de sistema 1400. O indicador de LED da câmara está configurado para acender reagindo a dados adequados de controle da unidade de sistema 1400; por exemplo, para indicar condições adversas de iluminação. As configurações da câmara de vídeo 1412 podem se conectar à unidade de sistema 1400 por meio de uma porta de comunicação USB, Bluetooth ou Wi-Fi. As configurações da câmara de vídeo podem incluir um ou mais microfones associados, além de ser capaz de transmitir dados de áudio. Nas configurações de câmara de vídeo, o CCD pode ter uma resolução adequada para a captura de vídeos em alta definição. Em uso, as imagens capturadas pela câmara de vídeo podem, por exemplo, ser incorporadas em um jogo ou interpretadas como comandos de controle de jogos. Em outra configuração, a câmara é uma câmara infravermelha adequada para detecção de luz infravermelha.

Em geral, para que ocorra uma comunicação bem-sucedida de dados com um periférico, como uma câmara de vídeo ou controle remoto através de uma das portas de comunicação da unidade de sistema 1400, deverá haver um software adequado, como um “driver” do dispositivo. A tecnologia de “driver” do dispositivo é bem-conhecida e não será detalhada aqui, exceto para dizer que o especialista estará ciente que um “driver” de dispositivo ou interface de software similar poderá ser necessário na configuração aqui descrita.

A Figura 23 ilustra o hardware adicional que pode ser usado para processar instruções, de acordo com uma configuração da presente invenção. O processador celular 1428 possui uma arquitetura formada por quatro componentes básicos: estruturas externas de entrada e saída que compreendem um controle de memória 1560 e um controle duplo da interface de barramento 1570A, B; um processador principal denominado Elemento de Processamento de Potência 1550; oito coprocessadores chamados de Elementos de Processamento Sinergéticos (SPEs) 1510 A-H; e um barramento circular de dados que conectam os componentes acima mencionados chamado de Barramento de Interconexão de Elementos 1580. O desempenho total de ponto flutuante do processador celular é de 218 GFLOPS, comparado com 6,2 GFLOPs do Emotion Engine do dispositivo Playstation 2.

O Elemento de Processamento de Potência (PPE) 1550 está baseado em um núcleo PowerPC bidirecional simultâneo múltiplo Power 1470 (PPU) 1555 com um “clock” interno de 3,2 GHz. Ele compreende um cachê nível 2 (L2) de 512 kB e um cachê nível 1 (L1) de 32 kB. O PPE 1550 é capaz de realizar oito operações de posição simples por ciclo de “clock”, traduzindo em 25,6 GFLOPs a 3,2 GHz. O papel primário do PPE 1550 é agir como um controle para os Elementos de Processamento Sinergéticos 1510 A-H que realizam a maior parte do trabalho computacional. Em operação, o PPE 1550 mantém uma fila de trabalhos, organizando-os para os Elementos de Processamento Sinergéticos 1510 A-H e monitorando o seu progresso. Consequentemente, cada Elemento de Processamento Sinergético 1510 A-H executa um núcleo cujo papel é tomar um trabalho, executá-lo e ficar sincronizado com o PPE 1550.

Cada Elemento de Processamento Sinergético (SPE) 1510 A-H compreende a sua respectiva Unidade de Processamento Sinergética (SPU) 1520 A-H e o seu respectivo Controle de Fluxo de Memória (MFC) 1540 A-H formado, por sua vez, pelo seu respectivo Controle de Acesso de Memória Dinâmico (DMAC) 1542 A-H, a sua respectiva Unidade de Gerenciamento de Memória (MMU) 1544 A-H e uma interface de barramento (não exibida). Cada SPU 1520 A-H é um processador RISC de 3,2 GHz com uma memória RAM local de 256 kB 1530 A-H, em princípio ampliável até 4 GB. Cada SPE proporciona um desempenho de precisão simples teórico de 25,6 GFLOPS. Uma SPU pode operar com 4 membros de ponto flutuante de precisão individual, 4 números de 32 bits, 8 números inteiros de 16 bits ou 16 números inteiros de 8 bits em um único ciclo de “clock". No mesmo ciclo de “clock”, também pode ser realizada uma operação de memória. A SPU 1520 A-H não acessa diretamente a memória XDRAM 1426 do sistema; os endereços de 64 bits formados pela SPU 1520 A-H são passados ao MFC 1540 A-H que instrui o seu controle DMA 1542 A-H para acessar a memória através do Barramento de Interconexão de Elementos 1580 e do controle de memória 1560.

O Barramento de Interconexão de Elementos (EIB) 1580 é um barramento de comunicação logicamente circular interno ao processador celular 1428 que conecta os elementos do processador acima, a saber: o PPE 1550, o controle de memória 1560, a interface de barramento duplo 1570 A, B e os 8 SPEs 1510 A-H, totalizando 12 participantes. Os participantes podem, simultaneamente, ler e gravar no barramento com uma velocidade de 8 bytes por ciclo de “clock”. Como foi indicado anteriormente, cada SPE 1510 A-H possui um DMAC 1542 A-H para agendar sequências longas de leitura e gravação. O EIB compreende quatro canais, dois no sentido horário e dois no anti-horário. Consequentemente, para doze participantes, o maior fluxo de dados entre dois participantes quaisquer é de seis passos no sentido adequado. A largura de banda instantânea de EIB de pico teórica para 12 soquetes é de 96B por "clock”, no caso de utilização total mediante a arbitragem entre os participantes. Isso corresponde a uma largura de banda de pico teórica de 307,2 GB/s (gigabytes por segundo) com uma velocidade de “clock” de 3,2 GHz.

O controle de memória 1560 compreende uma interface XDRAM 1562, desenvolvida pela Rambus Incorporated. O controle de memória faz interface com a XDRAM Rambus 1426 com uma largura de banda de pico teórica de 25,6 GB/s.

A interface de barramento duplo 1570 A, B compreende uma interface de sistema Rambus FlexIO® 1572 A, B. A interface está organizada em 12 canais, cada um com 8 bits de largura, sendo cinco de entrada e sete de saída. Isso proporciona uma largura de banda de pico teórica de 62,4 GB/s (36,4 GB/s de saída, 26 GB/s de entrada) entre o processador celular e a Ponte de I/O 700 através do controle 170A e a unidade gráfica Simuladora de Realidade 200 através do controle 170B.

Os dados enviados pelo processador celular 1428 à unidade gráfica Simuladora de Realidade 1430 normalmente compreendem listas de visualização, sendo uma sequência de comandos para desenhar vértices, aplicar texturas a polígonos, especificar condições de iluminação, etc.

A Figura 24 mostra um fluxograma para comunicação de um controle para uma mão com um sistema computacional para determinar a posição tridimensional do controle, de acordo com uma configuração. Na operação 902, uma interface gráfica do usuário é exibida na tela, por exemplo, de LCD. Na operação 904, os dados das imagens são capturados na área de captura na frente da tela. Por exemplo, o dispositivo de captura de imagens 106 da Figura 1 é usado para capturar dados de imagens na área de captura 118. Em uma configuração, o dispositivo de captura de imagens 106 é uma câmara digital de vídeo.

Na operação 906, a posição bidimensional do controle é identificada com base na imagem capturada. Por exemplo, os dados de imagens são mantidos no módulo de processamento de imagens do sistema computacional 700 da Figura 20, e um dos programas em execução determina a posição horizontal e vertical do controle como foi anteriormente descrito em relação à Figura 1.

Uma operação de sincronização de “clock"908 é realizada para sincronizar os “clocks” em cada extremidade da comunicação ultrassónica entre o sistema computacional e o controle. Na operação 910, a comunicação sonora unidirecional é capturada entre uma posição próxima da tela e uma posição do controle. Em uma configuração, o som originado no controle é recebido pelo receptor de sons no sistema computacional. Em outra configuração, o som é originado no sistema computacional e é recebido pelo controle.

Na operação 912, a comunicação sonora capturada é usada, juntamente com as informações de sincronização de “clock", para calcular a posição tridimensional do controle na área de captura. A posição tridimensional pode ser a distância do dispositivo de captura de sons até o controle, ou a profundidade do controle na área de captura, como foi anteriormente descrito em relação à Figura 2D.

As configurações podem incluir a captura de dados de profundidade para melhor identificar o usuário no mundo real e para controlar a atividade de um avatar ou cena. O objeto pode ser algo que a pessoa esteja segurando, ou a mão da pessoa. Adicionalmente, as configurações da presente invenção proporcionam experiências de jogos interativos em tempo real para os usuários. Por exemplo, os usuários podem interagir com vários objetos gerados por computador em tempo real. Adicionalmente, as cenas de vídeo podem ser alteradas em tempo real para aumentar a experiência de jogo do usuário. Por exemplo, as roupas geradas por computador podem ser inseridas sobre as roupas do usuário e as fontes de luz geradas por computador podem ser usadas para projetar sombras virtuais na cena de video. Assim, ao usar as configurações da presente invenção, os usuários poderão experimentar um ambiente interativo de jogos na sua própria sala de estar.

As configurações da presente invenção também contemplam configurações de processamento de imagens distribuídas. Por exemplo, a invenção não está limitada à imagem capturada e o processamento de imagens na tela ocorre em um, ou em até duas posições, como na CPU ou na CPU e em outro elemento. Por exemplo, o processamento da imagem de entrada pode rapidamente ocorrer em uma CPU, processador ou dispositivo associado que possa realizar o processamento; essencialmente todo o processamento de imagem pode ser distribuído através do sistema interconectado. Assim, a presente invenção não está limitada a qualquer software e/ou circuito de hardware específico para processamento de imagens. As configurações aqui descritas também não estão limitadas a qualquer combinação específica de software e/ou circuito geral de hardware ou a qualquer fonte particular para as instruções executadas pelos componentes de processamento.

Com as configurações anteriores em mente, deve-se compreender que a invenção pode empregar várias operações implementadas em computador envolvendo dados armazenados em sistemas computacionais. Essas operações incluem operações que requerem a manipulação física de quantidades físicas. Normalmente, mas não necessariamente, essas quantidades assumem a forma de sinais elétricos ou magnéticos que podem ser armazenados, transferidos, combinados, comparados ou manipulados. Adicionalmente, as manipulações executadas são normalmente designadas em termos como produção, identificação, determinação ou comparação.

A invenção acima descrita pode ser executada com outras configurações de sistemas computacionais, incluindo dispositivos portáteis, sistemas microprocessados, baseados em microprocessador ou equipamentos eletrônicos programáveis, minicomputadores, computadores de grande porte, etc. A invenção também pode ser executada em ambientes de computação distribuída no qual as tarefas são realizadas por dispositivos de processamento remotos conectados por meio de uma rede de comunicações.

A invenção também pode ser apresentada na forma de um código em um meio de leitura para computador. O meio de leitura para computador é qualquer dispositivo de armazenagem de dados capaz de armazenar dados que podem ser posteriormente lidos por um sistema computacional, incluindo uma onda portadora eletromagnética. Exemplos de meios de leitura para computador incluem discos rígidos, armazenagem em rede (NAS), memória apenas para leitura, memória de acesso aleatório, CD-ROMs, CD-Rs, CD-RWs, fitas magnéticas e outros dispositivos de armazenagem de dados óticos e não óticos. O meio de leitura para computador também pode ser distribuído em um sistema computacional conectado a uma rede, para que o código de leitura para computador seja armazenado e executado de forma distribuída.

Embora esta invenção tenha sido descrita com algum nível de detalhes para fins de clareza de entendimento, é aparente que certas alterações e modificações poderão ser realizadas no escopo das reivindicações anexas. Dessa forma, as presentes configurações devem ser consideradas como ilustrativas e não restritivas, e a invenção não deverá estar limitada aos detalhes aqui apresentados, mas poderá ser modificada dentro do escopo e equivalentes das reivindicações anexas.

Embora as operações dos métodos sejam descritas em uma ordem específica, deve-se compreender que outras operações de manutenção possam ser realizadas entre as operações, ou as operações podem ser ajustadas para que elas ocorram em momentos ligeiramente diferentes, ou podem ser distribuídas em um sistema que permita a ocorrência das operações de processamento em vários intervalos associados com o processamento, contanto que o processamento das operações de “overlay” seja executado da forma desejada

Embora esta invenção tenha sido descrita com algum nível de detalhes para fins de clareza de entendimento, é aparente que certas alterações e modificações podem ser realizadas no escopo das reivindicações anexas. Dessa forma, as presentes configurações devem ser consideradas como ilustrativas e não restritivas, e a invenção não deverá estar limitada aos detalhes aqui apresentados, mas poderá ser modificada dentro do escopo e equivalentes das reivindicações anexas.

Claims

1. Método para estabelecer comunicação entre um programa de computador em um sistema computacional e um par de controles nas mãos de um usuário, o método caracterizado pelo fato de quecompreende: captura (904, 906) de dados de imagens em uma área de captura (118) na frente de uma tela (104), a captura configurada para identificar a posição bidimensional de cada controle (450a, 450b) na área de captura; captura (910) de comunicação sonora unidirecional entre uma posição próxima da tela e a posição de cada controle; receber informações de um ou de ambos os controles, as informações sendo indicativas da separação dos dois controles; e computar (912), utilizando a comunicação sonora e as informações recebidas, uma distância de cada controle a partir da posição próxima da tela na área de captura.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de quea identificação da posição bidimensional do controle compreende adicionalmente a detecção de uma forma esférica (132) nos dados de imagens, a forma esférica estando associada ao controle.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de queos dados das imagens capturadas correspondem a dados de imagens de pixels vermelho-verde-azul (RGB), dados de imagens de pixels preto-e-branco ou dados infravermelhos.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de quea comunicação sonora unidirecional inclui tanto um emissor da comunicação sonora no controle, quanto um emissor da comunicação sonora na posição próxima à tela.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de quecomputar uma distância compreende adicionalmente, calcular a distância entre a posição próxima da tela e a posição do controle, com base no tempo do deslocamento do som na comunicação sonora unidirecional, e calcular a profundidade na área de captura baseada na distância, no qual a profundidade é uma medida ortogonal para ambas as dimensões da posição bidimensional.

6. Memória legível por computador, caracterizada pelo fato de que compreende gravado na mesma, o método de acordo com qualquer uma das reivindicações de 1 a 5.

7. Sistema para estabelecer a comunicação entre um programa de computador e um par de controles, caracterizado pelo fato de quecompreende: um dispositivo de captura de imagens (106) para capturar dados de imagens em uma área de captura (118) na frente da tela (104); um dispositivo de captura de sons (108) para capturar os dados de sons na área de captura; e um sistema computacional (102) para execução do programa de computador, o sistema computacional sendo conectado à tela, ao dispositivo de captura de imagens e ao dispositivo de captura de sons; cada controle (130) a ser segurado por um usuário em uma mão, cada controle incluindo, um corpo com uma primeira e uma segunda extremidade; uma área de empunhadura (140) próxima à primeira extremidade; um teclado de entrada (138) definido entre a primeira e a segunda extremidade para inserir dados a serem transmitidos para o sistema computacional; uma seção esférica (132) definida na segunda extremidade para facilitar o reconhecimento de imagens pelo dispositivo de captura de imagens; um dispositivo emissor de sons (136) próximo à segunda extremidade, o dispositivo emissor de sons voltado para longe do usuário quando em uso e configurado para comunicação sonora unidirecional com o dispositivo de captura de sons; e uma pluralidade de interfaces de sons (404, 406) configuradas para comunicação bidirecional entre o par de controles, a comunicação sendo utilizada para identificar a separação dos dois controles, em que o programa de computador identifica uma posição bidimensional do controle baseada nos dados de imagens capturadas e uma distância de cada controle a partir do dispositivo de captura de sons baseada nos dados de sons capturados e informações indicativas da separação dos dois controles.

8. Sistema, de acordo com a reivindicação 7, caracterizado pelo fato de quea seção esférica compreende adicionalmente uma área retro reflexiva, ou a seção esférica possui uma cor pré-determinada para auxiliar na identificação da posição da seção esférica nos dados de imagens capturadas.

9. Sistema, de acordo com a reivindicação 7, caracterizado pelo fato de queo controle compreende adicionalmente uma fonte de luz (172) no interior da seção esférica, em que a seção esférica é translúcida, em que a fonte de luz ilumina a seção esférica para auxiliar na identificação da posição da seção esférica nos dados de imagens capturadas, em que a fonte de luz inclui uma fonte de luz infravermelha, em que o dispositivo de captura de imagens compreende adicionalmente uma câmera infravermelha, em que o dispositivo de captura de imagens compreende adicionalmente uma câmera para o espectro visível, em que os dados de imagens de ambas câmeras infravermelha e de espectro visível são utilizados na identificação da posição bidimensional.

10. Sistema, de acordo com a reivindicação 7, caracterizado pelo fato de quea identificação da posição tridimensional compreende adicionalmente, calcular o valor da profundidade da posição tridimensional, medindo-se o tempo e a coerência de fase da comunicação sonora unidirecional.

11. Sistema, de acordo com a reivindicação 7, caracterizado pelo fato de queo dispositivo emissor de sons compreende adicionalmente uma câmara acústica (150) dentro do controle, a câmara acústica definida para direcionar e receber o som em uma ou mais direções.