BRPI1107087A2 - aparelho de processamento de informaÇço, mÉtodo implementado por computador para exibir imagens e mÍdia legÍvel por computador - Google Patents

aparelho de processamento de informaÇço, mÉtodo implementado por computador para exibir imagens e mÍdia legÍvel por computador Download PDF

Info

Publication number
BRPI1107087A2
BRPI1107087A2 BRPI1107087-0A BRPI1107087A BRPI1107087A2 BR PI1107087 A2 BRPI1107087 A2 BR PI1107087A2 BR PI1107087 A BRPI1107087 A BR PI1107087A BR PI1107087 A2 BRPI1107087 A2 BR PI1107087A2
Authority
BR
Brazil
Prior art keywords
display
stereoscopic
unit
stereoscopic image
depth
Prior art date
Application number
BRPI1107087-0A
Other languages
English (en)
Inventor
Takuro Noda
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of BRPI1107087A2 publication Critical patent/BRPI1107087A2/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/048023D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

APARELHO DE PROCESSAMENTO DE INFORMAÇçO, MÉTODO IMPLEMENTADO POR COMPUTADOR PARA EXIBIR IMAGENS E MÍDIA LEGÍVEL POR COMPUTADOR. São descritos um aparelho e método que proveem lógica para processamento de informação. Em uma implementação, um aparellho pode incluir uma unidade de determinação configurada para determinar uma posição em uma superfície de unidade de determinação correspondente a um contato entre uma parte de uma ferramenta operacional e a superfície da unidade de determinação. O aparelho também pode incluir uma unidade de definição configurada para definir uma primeira posição de exibição de uma primeira imagem estereoscópica e uma unidade de geração configurada para gerar uma segunda imagem estereoscópica em resposta ao contato. Uma unidade de controle pode ser configurada para gerar um sinal para exibir a primeira imagem estereoscópica na primeira posição de exibição e exibir a segunda imagem estereoscópica em uma segunda posição de exibição, as primeira e segunda posições de exibição ficando em uma distância pré-determinada da posição de contato.

Description

"APARELHO DE PROCESSAMENTO DE INFORMAÇÃO, MÉTODO IMPLEMENTADO POR COMPUTADOR PARA EXIBIR IMAGENS E MÍDIA LEGÍVEL POR COMPUTADOR"
Esse pedido é baseado no, e reivindica o benefício de
prioridade do, Pedido de Patente Japonês JP 2010-253152, depositado em 11
de novembro de 2010, cuja íntegra dos conteúdos é, pelo presente, incorporada pela referência.
FUNDAMENTOS DA INVENÇÃO
CAMPO DA INVENÇÃO
As modalidades exemplares divulgadas dizem respeito a um aparelho de processamento de informação, a um método de exibição estereoscópica e a uma mídia legível por computador. DESCRIÇÃO DA TECNOLOGIA RFT ACIONADA
L5 Nos últimos anos, dispositivos de exibição estereoscópica
capazes de exibir estereoscopicamente objetos de exibição, tais como conteúdo de imagem, tal como uma fotografia estereoscópica, e um objeto de operação estão sendo colocados em uso prático e estão ficando difundidos. Por exemplo, alguns dispositivos de exibição para televisões, máquinas de 0 jogos portáteis e computadores pessoais (a seguir, um PC) capazes de exibição estereoscópica já estão colocados no mercado. Em relação a tais dispositivos de exibição estereoscópica, o Pedido de Patente Japonês JP 2010- 045584A, por exemplo, divulga um método para corrigir uma imagem estereoscópica capaz de expressar precisamente a quantidade de salto, a quantidade de recuo (a seguir, a quantidade de profundidade) ou congêneres pretendidos pelo criador de um objeto de exibição. SUMÁRIO DA TNVFXrç Ã η
Entretanto, durante a exibição estereoscópica de uma imagem em um espaço tridimensional virtual, surge um problema que não surgiria se a imagem fosse exibida bidimensíonalmente. Especificamente, quando um
objeto em um espaço real sobrepuser com um objeto que é
estereoscopicamente exibido em um espaço tridimensional virtual, uma
divergência, em relação ao senso de distância, ocorre entre o objeto que tem
realmente uma forma tridimensional e o objeto de exibição que é
estereoscopicamente mostrado pela realização virtual de uma disparidade,
desse modo, proporcionando a um usuário espectador uma sensação bizarra.
Por exemplo, uma divergência visual que não ocorre no espaço real, tal como
uma divergência em que uma parte que deve estar no primeiro plano é oculta
por algo no plano de fundo, é algumas vezes ocasionada, proporcionando ao usuário uma sensação desagradável.
A luz do exposto, é desejável prover um aparelho de processamento de informação, um método de exibição estereoscópica e um programa que são inéditos e melhores e que são capazes de reduzir uma sensação bizarra ou uma sensação desagradável experimentadas por um usuário quando um objeto no espaço real se aproximar de uma superfície de exibição na qual um objeto de exibição é estereoscopicamente exibido.
Consistente com uma modalidade exemplar, um aparelho de processamento de informação inclui uma unidade de determinação configurada para determinar uma posição em uma superfície da unidade de determinação correspondente a um contato entre uma parte de uma ferramenta operacional e a superfície da unidade de determinação. O aparelho também inclui uma unidade de definição configurada para definir uma primeira posição de exibição de uma primeira imagem estereoscópica e uma unidade de geração configurada para gerar uma segunda imagem estereoscópica em resposta ao contato. Uma unidade de controle pode ser configurada para gerar um sinal para exibir a primeira imagem estereoscópica na primeira posição de exibição e exibir a segunda imagem estereoscópica em uma segunda posição de exibição, as primeira e segunda posições de exibição ficando em uma distância pré-determinada da posição de contato. Consistente com uma modalidade exemplar adicional, um método implementado por computador inclui determinar uma posição em uma superfície da unidade de determinação correspondente a um contato entre uma parte de uma ferramenta operacional e a superfície da unidade de determinação. O método também inclui definir uma primeira posição de exibição de uma primeira imagem estereoscópica e gerar uma segunda imagem estereoscópica em resposta ao contato. O método inclui adicionalmente gerar um sinal para exibir a primeira imagem estereoscópica na primeira posição de exibição e exibir a segunda imagem estereoscópica em uma segunda posição de exibição, as primeira e segunda posições de exibição ficando em uma distância pré-determinada da posição de contato.
Consistente com uma outra modalidade exemplar, uma mídia legível por computador não temporária tangível armazena instruções que, quando executadas por um processador, fazem com que o processador realize um método que inclui determinar uma posição em uma superfície da unidade de determinação correspondente a um contato entre uma parte de uma ferramenta operacional e a superfície da unidade de determinação. O método também inclui definir uma primeira posição de exibição de uma primeira imagem estereoscópica e gerar uma segunda imagem estereoscópica em resposta ao contato. O método inclui adicionalmente gerar um sinal para exibir a primeira imagem estereoscópica na primeira posição de exibição e exibir a segunda imagem estereoscópica em uma segunda posição de exibição, as primeira e segunda posições de exibição ficando em uma distância pré-determinada da posição de contato.
De acordo com as modalidades exemplares divulgadas, uma sensação bizarra ou uma sensação desagradável experimentadas por um usuário quando um objeto no espaço real se aproximar de uma superfície de exibição na qual um objeto de exibição é estereoscopicamente exibido podem ser reduzidas. DESCRIÇÃO RESlΙΜΤΠA DOS DRSFNHOS
A figura 1 é um diagrama de configuração de hardware de um aparelho de processamento de informação de acordo com uma modalidade exemplar divulgada;
a figura 2 é um diagrama de configuração funcional do aparelho de processamento de informação de acordo com uma primeira modalidade exemplar;
a figura 3 é um diagrama para explicar o princípio de exibição
estereoscópica;
a figura 4 é um diagrama para explicar o controle de profundidade por um dispositivo de exibição estereoscópica de acordo com a primeira modalidade exemplar;
a figura 5 é um diagrama para explicar o controle de profundidade pelo dispositivo de exibição estereoscópica de acordo com a primeira modalidade exemplar;
a figura 6 é um fluxograma que mostra um processo de controle de profundidade pelo dispositivo de exibição estereoscópica de acordo com a primeira modalidade exemplar;
a figura 7 é um diagrama para explicar o controle das coordenadas XY pelo dispositivo de exibição estereoscópica de acordo com a primeira modalidade exemplar;
a figura 8 é um diagrama de configuração funcional dos aparelhos de processamento de informação de acordo com as segunda e terceira modalidades exemplares;
a figura 9 é um diagrama para explicar um controle de profundidade / edição por um dispositivo de exibição estereoscópica de acordo com a segunda modalidade exemplar;
a figura 10 é um diagrama para explicar o controle de profundidade / edição pelo dispositivo de exibição estereoscópica de acordo com a segunda modalidade exemplar;
a figura 11 é um fluxograma que mostra um processo de controle de profündidade / edição pelo dispositivo de exibição estereoscópica de acordo com a segunda modalidade exemplar;
a figura 12 é um diagrama para explicar o processo de controle de profundidade / edição da figura 11;
a figura 13 é um diagrama que mostra telas de exibição que são resultados do controle de profundidade / edição pelo dispositivo de exibição estereoscópica de acordo com a segunda modalidade exemplar;
a figura 14 é um fluxograma que mostra um processo de controle de profundidade / edição por um dispositivo de exibição estereoscópica de acordo com um exemplo modificado 1 da segunda modalidade exemplar;
a figura 15 é um diagrama para explicar o processo de controle de profundidade / edição da figura 14;
a figura 16 é um fluxograma que mostra um processo de controle de profundidade / edição por um dispositivo de exibição estereoscópica de acordo com um exemplo modificado 2 da segunda modalidade exemplar;
afigura 17 é um diagrama para explicar o processo de controle de profundidade / edição da figura 16;
a figura 18 é um fluxograma que mostra um processo de controle de profundidade por um dispositivo de exibição estereoscópica de acordo com a terceira modalidade exemplar;
a figura 19 é um diagrama para explicar um processo de controle de profundidade / edição pelo dispositivo de exibição estereoscópica de acordo com a terceira modalidade exemplar;
a figura 20 é um diagrama que mostra uma tela de exibição que é um resultado do controle de profundidade / edição pelo dispositivo de exibição estereoscópica de acordo com a terceira modalidade exemplar;
a figura 21 é um diagrama para explicar um exemplo de um processo de controle de profundidade / edição de acordo com modalidades exemplares adicionais;
a figura 22 é um diagrama para explicar um exemplo de um processo de controle de profundidade / edição de acordo com modalidades exemplares adicionais;
a figura 23 é um diagrama para explicar transição de tela; e a figura 24 é um diagrama para explicar ajuste de
profundidade.
DESCRIÇÃO DETALHADA A seguir, modalidades exemplares serão descritas com detalhes em relação aos desenhos anexos. Note que, nessa especificação e nos desenhos anexos, elementos estruturais que têm, substancialmente, as mesmas função e configuração são denotados com os mesmos números de referência, e explicação repetida desses elementos estruturais é omitida.
Adicionalmente, será dada uma explicação na seguinte ordem.
1. Configuração de Hardware do Dispositivo de Exibição
Estereoscópica
2. Configuração Funcional do Dispositivo de Exibição Estereoscópica (Primeira Modalidade Exemplar)
3. Controle de Profundidade pelo Dispositivo de Exibição Estereoscópica (Primeira Modalidade Exemplar)
4. Processo de Controle de Profundidade (Primeira Modalidade Exemplar)
5. Controle das Coordenadas XY (Primeira Modalidade
Exemplar)
6. Configuração Funcional do Dispositivo de Exibição Estereoscópica (Segunda Modalidade Exemplar)
7. Controle de Profundidade / Edição pelo Dispositivo de Exibição Estereoscópica (Segunda Modalidade Exemplar)
8. Controle de Profundidade / Edição pelo Dispositivo de Exibição Estereoscópica (Segunda Modalidade Exemplar)
9. Um Processo de Controle de Profundidade / Edição Exemplar (Segunda Modalidade Exemplar)
10. Um Processo de Controle de Profundidade / Edição Exemplar Adicional (Segunda Modalidade Exemplar)
11. Controle de Redução / Ampliação pelo Dispositivo de Exibição Estereoscópica (Terceira Modalidade Exemplar)
12. Combinações de Modalidades Exemplares Adicionais
Tipicamente, aparelhos de processamento de informação
incluem uma tela sensível ao toque. Aparelhos de processamento de informação podem ser computadores pessoais (PCs), telefones inteligentes, assistentes pessoais digitais, leitores de música, terminais de jogos, utensílios domésticos digitais ou congêneres. Aparelhos de processamento de informação também podem ser dispositivos periféricos a serem conectados nos dispositivos expostos. Além do mais, aparelhos de processamento de informação de acordo com respectivas modalidades exemplares são dispositivos de exibição estereoscópica capazes de exibir um objeto que é estereoscopicamente exibido (tridimensionalmente exibido) em uma exibição que pode ser estereoscopicamente visualizada. A seguir, será dada uma explicação tomando uma fotografia estereoscópica como um exemplo de um ou mais objetos de exibição incluídos no conteúdo de imagem estereoscopicamente exibido.
A seguir, aparelhos de processamento de informação de acordo com as primeira até terceira modalidades exemplares serão descritos tomando um dispositivo de exibição estereoscópica 10 como um exemplo. As presentes 8
modalidades propõem um método de exibição estereoscópica capaz de reduzir uma sensação bizarra ou uma sensação desagradável experimentadas por um usuário quando um objeto no espaço real se aproximar de um objeto de exibição que é estereoscopicamente exibido no dispositivo de exibição estereoscópica 10.
1. Configuração de Hardware do Dispositivo de Exibição
Estereoscópica
A figura 1 é um diagrama de blocos que mostra um exemplo de uma configuração de hardware do dispositivo de exibição estereoscópica 10 de acordo com modalidades exemplares divulgadas. Em relação à figura 1, o dispositivo de exibição estereoscópica 10 inclui um paine de toque 20, um barramento 30, uma CPU (Unidade Central de Processamento) 32, uma ROM (Memória Exclusiva de Leitura) 34 e uma RAM (Memória de Acesso Aleatório) 36.
O paine de toque 20 inclui uma superfície de determinação,
cujo exemplo é a superfície de detecção 22, e uma superfície de exibição (superfície de toque) 24. A superfície de detecção 22 detecta a proximidade ou o contato de uma ferramenta operacional (dedo de um usuário ou uma caneta) com o paine de toque 20 e gera um sinal elétrico que indica a posição de proximidade ou a posição de contato. O paine de toque 20 é um exemplo de um dispositivo de entrada para inserir informação. A superfície de detecção 22 pode ser formada de acordo com um método de detecção de toque arbitrário, tais como um método sensível à pressão, um método capacitivo ou um método infravermelho, por exemplo. O paine de toque 20 pode ser um paine de toque capaz de detectar apenas contato com a superfície de exibição 24, mas, preferivelmente, ele é capaz de detectar proximidade e contato.
A superfície de exibição 24 exibe uma imagem de saída do dispositivo de exibição estereoscópica 10. A superfície de exibição 24 pode ser realizada pelo uso de um cristal líquido, um diodo orgânico emissor de luz (por exemplo, uma EL orgânica: OLED) ou um tubo de raios catódicos (CRT), por exemplo. Um método que usa lentes, um método autoestereoscópico que usa uma barreira de paralaxe ou uma lente lenticular ou congêneres podem ser usados para a exibição que permite visualização estereoscópica.
O barramento 30 interconecta a superfície de detecção 22, a superfície de exibição 24, a CPU 32, a ROM 34 e a RAM 36. A CPU 32 controla toda a operação do dispositivo de exibição estereoscópica 10. A ROM 34 armazena programas e dados que constituem software a ser executado pela CPU 32. A RAM 36 armazena temporariamente programas e dados no momento da execução de processos pela CPU 32. Adicionalmente, o dispositivo de exibição estereoscópica 10 também pode incluir elementos estruturais diferentes dos elementos estruturais mostrados na figura 1.
2. Configuração Funcional do Dispositivo de Exibição Estereoscópica (Primeira Modalidade Exemplar)
A seguir, uma configuração funcional do dispositivo de exibição estereoscópica 10 de acordo com a primeira modalidade exemplar será descrita em relação à figura 2. O dispositivo de exibição estereoscópica de acordo com a presente modalidade exemplar inclui uma unidade de exibição estereoscópica 40, uma unidade de determinação, cujo exemplo é uma unidade de detecção de proximidade 42, uma unidade de controle de exibição 44 e uma unidade de armazenamento 60.
O paine de toque 20 é provido na superfície de exibição da unidade de exibição estereoscópica 40. A unidade de exibição estereoscópica 40 exibe estereoscopicamente conteúdo de imagem. O conteúdo de imagem é um vídeo ou uma imagem estática com informação de disparidade, tais como um vídeo estereoscópico ou congêneres. Aqui, será dada uma explicação tomando, como um exemplo, conteúdo de imagem que inclui fotografia(s) estereoscópica(s) como um ou mais objetos de exibição, cada qual com informação de disparidade individual.
A unidade de detecção de proximidade 42 detecta proximidade de uma ferramenta operacional em relação à superfície de toque da unidade de exibição estereoscópica 40. Aqui, será dada uma explicação tomando o dedo de um usuário como um exemplo da ferramenta operacional. No caso em que proximidade da ferramenta operacional for detectada, a unidade de controle de exibição 44 toma uma fotografia estereoscópica, dentre as uma ou mais fotografias estereoscópicas incluídas no conteúdo de imagem, que é exibida na direção da profundidade da posição de proximidade da ferramenta operacional como um alvo de controle e controla a posição dessa fotografia estereoscópica para ficar mais próxima da posição de proximidade da ferramenta operacional. A unidade de armazenamento 60 armazena o conteúdo de imagem, a quantidade de profundidade de uma fotografia estereoscópica incluída no conteúdo de imagem e congêneres.
A unidade de controle de exibição 44 lê dados de imagem armazenados na unidade de armazenamento 60 e faz com que a unidade de exibição estereoscópica 40 exiba os dados de imagem que foram lidos. A unidade de controle de exibição 44 também faz com que a unidade de exibição estereoscópica 40 exiba conteúdo de vídeo, uma interface gráfica de usuário (GUI) e congêneres. Nesse momento, a unidade de controle de exibição 44 realiza computação para exibir estereoscopicamente o objeto de exibição, tais como os dados de imagem, o conteúdo de vídeo, a GUI ou congêneres. Por exemplo, a unidade de controle de exibição 44 realiza computação da quantidade de profundidade para fazer com que o objeto de exibição salte da superfície de exibição da unidade de exibição estereoscópica 40 ou recue para trás da superfície de exibição.
No caso de exibição de uma fotografia estereoscópica em um espaço tridimensional virtual, além da informação de profundidade mantida pelo próprio espaço tridimensional virtual, a própria fotografia estereoscópica também mantém informação de disparidade. Um diagrama esquemático do caso em que há uma fotografia estereoscópica em um espaço tridimensional é mostrado na figura 3. Nesse caso, já que uma fotografia para o olho direito e uma fotografia para o olho esquerdo ficam na superfície de exibição 24, elas são vistas na superfície de exibição 24, mas A mostrado na fotografia é visto saltando da superfície de exibição 24. O princípio dessa exibição estereoscópica será descrito em resumo. Para mostrar estereoscopicamente um objeto de exibição, um objeto de exibição para o olho direito e um objeto de exibição para o olho esquerdo são exibidos separados um do outro na superfície de exibição, da forma mostrada na figura 3, e o objeto de exibição para o olho direito é feito para ser visto apenas pelo olho direito e o objeto de exibição para o olho esquerdo é feito para ser visto apenas pelo olho esquerdo. Para ter o objeto de exibição para o olho direito visto apenas pelo olho direito e o objeto de exibição para o olho esquerdo visto apenas pelo olho esquerdo, polarização é usada em muitos casos. Por exemplo, o objeto de exibição para o olho direito é exibido por luz linearmente polarizada em uma primeira direção e o objeto de exibição para o olho esquerdo é exibido por luz linearmente polarizada em uma segunda direção que é ortogonal à primeira direção. Além do mais, pelo uso de uma lente que permite que a luz linearmente polarizada na primeira direção passe através do olho direito e uma lente que permite que a luz linearmente polarizada na segunda direção passe através do olho esquerdo, uma situação em que apenas o objeto de exibição para o olho direito pode ser visto pelo olho direito e apenas o objeto de exibição para o olho esquerdo pode ser visto pelo olho esquerdo pode ser criada.
Quando uma situação como essa for criada, o objeto de exibição é percebido por um usuário como estereoscopicamente exibido em uma posição onde a linha de visão que conecta o olho direito e o objeto de exibição para o olho direito e a linha de visão que conecta o olho esquerdo e o objeto de exibição para o olho esquerdo se cruzam. Também, pelo controle da distância entre o objeto de exibição para o olho direito e o objeto de exibição para o olho esquerdo, o ângulo de convergência pode ser ajustado. O grau de salto de um objeto de exibição que é estereoscopicamente exibido muda com a mudança no ângulo de convergência.
Isto é, pelo controle das posições de exibição pela mudança da quantidade de profundidade dos objetos de exibição para o olho direito e o olho esquerdo na superfície de exibição, o grau de salto ou o grau de recuo do objeto de exibição que é estereoscopicamente exibido podem ser controlados. Adicionalmente, um método para realizar a exibição estereoscópica pelo uso de polarização foi aqui descrito, mas a presente modalidade exemplar não é limitada a esse, e a aplicação de qualquer método de exibição estereoscópica que é capaz de exibir estereoscopicamente um objeto de exibição é possível.
Novamente, em relação à figura 1, a unidade de controle de exibição 44 faz com que um objeto de exibição seja estereoscopicamente exibido pelo controle da exibição dos objetos de exibição para o olho direito e o olho esquerdo. Informação que indica o grau de salto ou o grau de recuo (a seguir, a quantidade de profundidade ou a informação de profundidade) do objeto de exibição determinado pela unidade de controle de exibição 44 é inserida na unidade de exibição estereoscópica 40. Os dados do objeto de exibição lidos a partir da unidade de armazenamento 60 pela unidade de controle de exibição 44 também são inseridos na unidade de exibição estereoscópica 40. Quando a quantidade de profundidade for inserida, a unidade de exibição estereoscópica 40 exibe o objeto de exibição com base na quantidade de profundidade que é inserida.
Adicionalmente, a função da unidade de controle de exibição 44 é realizada usando a CPU 32 ou congêneres. Também, a função da unidade de armazenamento 60 é realizada pela ROM 34 ou pela RAM 36 (ou uma mídia de gravação removível não temporária tangível ou congêneres que não são mostrados).
3. Controle de Profundidade pelo Dispositivo de Exibição Estereoscópica (Primeira Modalidade Exemplar)
No caso de realização da operação usando o paine de toque 20, algumas vezes, a parte da fotografia estereoscópica que salta da superfície e a ferramenta operacional se sobrepõem uma com a outra. Por exemplo, na figura 3, uma situação como essa surge quando a ferramenta operacional ficar próxima da superfície de exibição 24. Surge uma inconsistência na informação de profundidade, ocasionando uma sensação bizarra em relação à aparência. Por exemplo, em relação a uma fotografia estereoscópica que é exibida saltada da superfície de exibição, a ferramenta operacional é exibida como se estivesse afundada na fotografia estereoscópica, desse modo, proporcionando uma sensação bizarra ou uma sensação desagradável ao usuário. Dessa maneira, a presente modalidade exemplar realiza o seguinte controle automático de profundidade como uma solução para resolver esse fenômeno. De acordo com esse controle automático de profundidade, o paine de toque 20 detecta que a ferramenta operacional está prestes a se sobrepor com a fotografia estereoscópica, e a posição da fotografia estereoscópica na direção da profundidade muda automaticamente com base na informação de profundidade obtida a partir da informação de disparidade mantida pela fotografia estereoscópica, de forma que a fotografia estereoscópica não se sobreponha com a ferramenta operacional.
Adicionalmente, a própria fotografia estereoscópica inclui uma pluralidade de texturas (fotografias estereoscópicas, nesse caso) com disparidades, mas será dada uma explicação, para as modalidades exemplares divulgadas, tomando como um exemplo um caso em que há duas disparidades. Nesse momento, a fotografia estereoscópica inclui texturas a serem projetadas nos olhos tanto esquerdo quanto direito (uma fotografia para 14
o olho direito e uma fotografia para o olho esquerdo, nesse caso) e, assim, qual ponto em uma das texturas corresponde a qual ponto na outra textura pode ser estimado. Tais métodos incluem um método chamado de correspondência de gabarito.
O controle de profundidade pelo dispositivo de exibição estereoscópica 10 de acordo com a presente modalidade exemplar será adicionalmente descrito em relação às figuras 3 e 4. Da forma mostrada na figura 4, no caso em que o contato da ferramenta operacional na superfície de exibição 24 for detectado (detecção de toque), a unidade de controle de exibição 44 toma a fotografia estereoscópica, que é o objeto de exibição exibido na direção da profundidade da posição tocada, como o alvo de controle e calcula a posição da fotografia estereoscópica na direção da profundidade (a quantidade de profundidade).
Durante o uso da correspondência de gabarito, é conduzida busca ao longo da direção horizontal em relação a onde, em uma imagem para o olho esquerdo A, um ponto arbitrário Pa em uma imagem para o olho direito A na figura 3 está próximo, por exemplo. O deslocamento relativo (diferença de pixel) entre o ponto Pa na imagem para o olho direito A e um ponto alvo Pa' na imagem para o olho esquerdo A é uma disparidade, e a quantidade de profundidade a partir da superfície de toque (superfície de exibição 24) é expressada por um ponto obtido pela aplicação do deslocamento relativo no espaço estereoscópico.
Especificamente, quando se toma o deslocamento relativo entre as imagens da fotografia estereoscópica esquerda e direita do diagrama da esquerda da figura 4 como D, a distância entre os olhos e a superfície de exibição 24 como Lc, o espaço entre os olhos esquerdo e direito como Dc e a posição (a quantidade de profundidade), na direção da profundidade, da fotografia estereoscópica a ser obtida como Z, e quando a profundidade da superfície de exibição 24 se tornar 0, a quantidade de profundidade Z da 15
fotografia estereoscópica é expressada pela fórmula (1), como segue:
Z = D/Dc χLc. (1)
Dessa maneira, a quantidade de profundidade Z na posição de proximidade ou na posição de contato da ferramenta operacional é calculada, a fotografia estereoscópica é deslocada mais profunda na quantidade de profundidade Z, de maneira tal que uma transição seja feita do diagrama da direita para o diagrama da esquerda da figura 4, e a profundidade da fotografia estereoscópica da superfície de exibição torna-se Z. Isso desloca o estado de um estado em que o dedo fica afundado em uma parte que se projeta da fotografia estereoscópica (o diagrama da direita da figura 4) para o estado em que a parte que se projeta da fotografia estereoscópica coincide com a ferramenta operacional (dedo) ou com a superfície de exibição 24 (o diagrama da esquerda da figura 4), e uma sensação bizarra ou uma sensação desagradável experimentadas pelo usuário podem ser reduzidas.
Adicionalmente, a técnica de rápida correspondência estéreo, que é para medir a distância até o objeto alvo com base na disparidade entre duas imagens adquiridas por câmeras estéreo, também pode ser usada para computação da quantidade de profundidade Z em vez da correspondência de gabarito. Durante o uso dessa técnica, a precisão do cálculo da quantidade de profundidade pode aumentar. Da forma supradescrita, quando o contato da ferramenta
operacional na superfície de exibição 24 for detectado pela unidade de detecção de proximidade 42, a unidade de controle de exibição 44 realiza controle de maneira tal que a posição, na direção da profundidade, do objeto de exibição, que é o alvo de controle, coincida com a superfície de exibição 24.
A seguir, controle de profundidade pelo dispositivo de exibição estereoscópica 10 para um caso que considera não apenas o estado de contato, mas, também, um estado de proximidade, será descrito em relação à figura 5. Da forma mostrada no diagrama da esquerda da figura 5, no caso em que a proximidade da ferramenta operacional em relação à superfície de exibição 24 for detectada pela unidade de detecção de proximidade 42 (isto é, unidade de detecção de proximidade 42 determina uma primeira posição espacial de uma parte da ferramenta operacional que cai em uma distância limite da superfície de exibição), a unidade de controle de exibição 44 toma a fotografia estereoscópica exibida na direção da profundidade da posição de proximidade (isto é, a primeira posição espacial) como o alvo de controle e calcula uma primeira posição de exibição da fotografia estereoscópica na direção da profundidade (a quantidade de profundidade Ζ). A unidade de controle de exibição 44 realiza controle de maneira tal que a posição, na direção da profundidade, da fotografia estereoscópica, que é o alvo de controle, fique próxima ou coincida com a posição de proximidade da ferramenta operacional, com base na quantidade de profundidade Z calculada e na distância entre a posição de proximidade e a superfície de exibição.
Além do mais, da forma mostrada nos diagramas do meio e da direita da figura 5, movimento da ferramenta operacional é detectado, e a computação da quantidade de profundidade é repetida pela unidade de controle de exibição 44 juntamente com a detecção. À medida que a distância entre a superfície de exibição 24 e a posição de proximidade da ferramenta operacional (isto é, uma segunda posição espacial) diminui, a unidade de controle de exibição 44 controla automaticamente a profundidade, de forma que a posição da fotografia estereoscópica na direção da profundidade (isto é, uma segunda posição de exibição) fique próxima ou coincida com a superfície de exibição 24. A unidade de detecção de proximidade 42 repete o controle de profundidade supradescrito até que a ferramenta operacional se separe da superfície de exibição 24 pelo menos em uma distância pré-determinada.
4. Processo de Controle de Profundidade (Primeira Modalidade Exemplar) A seguir, uma operação do dispositivo de exibição estereoscópica 10 de acordo com a presente modalidade exemplar será descrita. A figura 6 é um fluxograma que mostra um processo de controle de profundidade para uma operação do dispositivo de exibição estereoscópica 10. Quando o processo de controle de profundidade for iniciado, a unidade de controle de exibição 44 determina se a proximidade ou o contato da ferramenta operacional são detectados pela unidade de detecção de proximidade 42 (etapa S605). No caso em que nem proximidade nem contato forem detectados, a unidade de controle de exibição 44 termina imediatamente o processo. Por outro lado, no caso em que proximidade ou contato forem detectados, a unidade de controle de exibição 44 determina se a fotografia estereoscópica é exibida na direção da profundidade da posição de proximidade ou da posição de contato detectadas (etapa S610). Adicionalmente, a unidade de controle de exibição 44 pode determinar que a fotografia estereoscópica é exibida na direção da profundidade da posição de proximidade ou da posição de contato detectadas mesmo se a fotografia estereoscópica for exibida em uma posição um tanto quanto desviada da direção da profundidade da posição de proximidade ou da posição de contato detectadas.
No caso em que a fotografia estereoscópica não for exibida de uma maneira como essa, a unidade de controle de exibição 44 determina que não há alvo de controle e termina imediatamente o processo. Por outro lado, no caso em que a fotografia estereoscópica for exibida de uma maneira como essa, a unidade de controle de exibição 44 calcula a quantidade de profundidade (isto é, um primeiro deslocamento em uma direção da profundidade) da fotografia estereoscópica, que é o alvo de controle, pelo método computacional supradescrito (etapa S615).
A seguir, a unidade de controle de exibição 44 calcula a distância da fotografia estereoscópica até a posição de proximidade ou a posição de contato (isto é, um segundo deslocamento na direção da profundidade) com base na quantidade de profundidade calculada (etapa S620). A posição da fotografia estereoscópica na direção da profundidade muda com base no resultado de cálculo, de forma que a fotografia estereoscópica fique próxima ou coincida com a ferramenta operacional (etapa S625). Em uma modalidade como essa, da forma supradescrita em relação à figura 4, um deslocamento entre a primeira posição espacial e a primeira posição de exibição na direção da profundidade excede um deslocamento correspondente entre a segunda posição espacial e a segunda posição de exibição, isto é, a imagem estereoscópica fica disposta mais próxima da parte da ferramenta operacional do que da segunda posição espacial.
Da forma supradescrita, de acordo com o dispositivo de exibição estereoscópica 10 da primeira modalidade exemplar, quando a ferramenta operacional ficar próxima ou tocar a superfície de exibição 24, a posição de proximidade ou a posição de contato são detectadas. Então, quando a fotografia estereoscópica que é exibida na direção da profundidade da posição de proximidade ou da posição de contato estiver saltando da superfície de exibição 24, a posição da fotografia estereoscópica é deslocada para ficar mais profunda, de maneira tal que a ferramenta operacional e a fotografia estereoscópica sejam exibidas sem sobreporem uma com a outra. Por outro lado, quando a fotografia estereoscópica for exibida, sendo mais pressionada para baixo do que a superfície de exibição 24, a fotografia estereoscópica é exibida com sua posição deslocada para frente, de forma que a fotografia estereoscópica seja arrastada até a ferramenta operacional e toque a ferramenta operacional. Isso habilita que a fotografia estereoscópica seja exibida movida para ficar próxima ou coincidir com a ferramenta operacional, ainda impedindo que as projeções ou os recessos da fotografia estereoscópica se sobreponham com a ferramenta operacional no espaço estereoscópico, e operações que são realizadas com aplicações bidimensionais, tais como operação de pancadinha, arraste e de empurrão, podem ser realizadas com a aplicação tridimensional que inclui a fotografia estereoscópica sem uma sensação bizarra.
5. Controle das Coordenadas XY (Primeira Modalidade
Exemplar)
A direção na qual a posição de exibição da fotografia estereoscópica se move pode ser a direção da profundidade, da forma supradescrita, ou qualquer uma das direções vertical e horizontal paralelas à superfície de exibição 24. Por exemplo, no diagrama do topo da figura 7, fotografias estereoscópicas Ps e Pt são exibidas saltando da superfície de exibição 24. A figura 7 mostra um caso em que fotografias estereoscópicas são exibidas sendo sobrepostas umas com as outras. Aqui, um objeto Pt' (objeto de exibição) é incluído na fotografia estereoscópica Pt e um objeto Ps' (objeto de exibição) é incluído na fotografia estereoscópica Ps. O objeto Ps' da fotografia estereoscópica Ps fica posicionado na frente da fotografia estereoscópica Pt, enquanto que o objeto Pt' da fotografia estereoscópica Pt fica posicionado no fundo da fotografia estereoscópica Ps, e, quando visto como um todo, o objeto Pt' da fotografia estereoscópica Pt no fundo é visto bloqueando parcialmente o objeto Ps' (parte que se projeta) da fotografia estereoscópica Ps na frente. Tal exibição estereoscópica não ocorre no espaço real e, assim, faz com que o usuário experimente uma sensação bizarra.
Da forma mostrada no diagrama do topo da figura 7, a ferramenta operacional é aproximada das fotografias estereoscópicas Ps e Pt nesse estado de exibição. Então, de acordo com o movimento da ferramenta operacional, a unidade de controle de exibição 44 recua a fotografia estereoscópica Ps e a fotografia estereoscópica Pt na direção da superfície de exibição 24. A seguir, da forma mostrada no diagrama do meio da figura 7, quando a ferramenta operacional mover a fotografia estereoscópica Ps, que é 20
o alvo de controle, em uma direção paralela à superfície de exibição 24 (esquerda, nesse caso), a unidade de controle de exibição 44 move a posição da fotografia estereoscópica Ps na direção paralela à superfície de exibição 24 e realiza controle de maneira tal que a posição da fotografia estereoscópica Ps fique próxima ou coincida com a posição de proximidade da ferramenta operacional. Isso faz com que a fotografia estereoscópica Ps seja exibida à esquerda da fotografia estereoscópica Pt. Em decorrência disso, da forma mostrada no diagrama de base da figura 7, um estado em que o objeto Ps' da fotografia estereoscópica Ps na frente é bloqueado pelo objeto Pt' da fotografia estereoscópica Pt no fundo pode ser resolvido. Adicionalmente, a fotografia estereoscópica Ps pode ser deslocada nas direções XY (direções paralelas à superfície de exibição 24) depois que a direção da profundidade da fotografia estereoscópica Ps mudar, da forma mostrada na figura 7, ou a fotografia estereoscópica Ps pode ser deslocada nas direções XY sem que a direção da profundidade da fotografia estereoscópica Ps mude.
6. Configuração Funcional do Dispositivo de Exibição Estereoscópica (Segunda Modalidade Exemplar)
A seguir, uma configuração funcional do dispositivo de exibição estereoscópica 10 de acordo com a segunda modalidade será descrita em relação à figura 8. De acordo com o dispositivo de exibição estereoscópica da segunda modalidade exemplar, um controle de edição, tal como escrita, é realizado juntamente com o controle automático de profundidade descrito na primeira modalidade exemplar.
O dispositivo de exibição estereoscópica 10 de acordo com a segunda modalidade exemplar inclui uma unidade de exibição estereoscópica 40, uma unidade de determinação, cujo exemplo é uma unidade de detecção de proximidade 42, uma unidade de controle de exibição 44, uma unidade de definição, cujo exemplo é uma unidade de ajuste de profundidade 46, uma unidade de geração, cujo exemplo é uma unidade de edição de imagem 48, e uma unidade de armazenamento 60. Dentre os expostos, a unidade de ajuste de profundidade 46 e a unidade de edição de imagem 48, que não foram incluídas na configuração funcional da primeira modalidade exemplar, serão descritas principalmente. Em uma modalidade, a funcionalidade de uma ou mais da unidade de controle de exibição 44, da unidade de determinação, da unidade de definição e da unidade de geração pode ser provida por um módulo executado por um computador, por exemplo, pela CPU 32 da figura 1, por hardware de uso geral ou de uso especial, ou por qualquer combinação desses. A unidade de ajuste de profundidade 46 ajusta, de acordo com uma operação de um usuário, a posição do objeto de exibição, que é o alvo de controle, na direção da profundidade. A unidade de edição de imagem 48 realiza edição da obtenção de uma imagem desejada em um espaço estereoscópico onde o conteúdo de imagem é estereoscopicamente exibido, pelo desenho de uma imagem em uma fotografia estereoscópica ou uma superfície da folha que é virtualmente sobreposta em uma fotografia estereoscópica. A folha (textura) na qual desenho é realizado nesse momento pode ser a própria textura (superfície de exibição 24) da fotografia, ou a fotografia estereoscópica original e o conteúdo de edição podem ser separadamente gerenciados pela provisão de uma textura (superfície da folha) para escrever na mesma posição da própria textura da fotografia. Aqui, será descrito um caso de desenho de uma imagem na superfície da folha.
7. Controle de Profundidade / Edição pelo Dispositivo de Exibição Estereoscópica (Segunda Modalidade Exemplar)
A figura 9 mostra um exemplo de um controle de profundidade / edição pelo dispositivo de exibição estereoscópica 10 de acordo com a presente modalidade exemplar. A unidade de controle de exibição 44 realiza primeiro o controle automático de profundidade. Especificamente, quando o contato ou a proximidade de uma ferramenta operacional em relação à superfície de exibição 24 forem detectados, a 22
unidade de controle de exibição 44 toma a fotografia estereoscópica que é exibida na direção da profundidade da posição de contato ou da posição de proximidade como o alvo de controle e calcula a posição da fotografia estereoscópica na direção da profundidade (a quantidade de profundidade).
No diagrama da esquerda da figura 9, a fotografia estereoscópica é deslocada para frente pela unidade de controle de exibição 44 com base na quantidade de profundidade, de forma que uma parte que se projeta WA da fotografia estereoscópica chegue na superfície de exibição 24. Em decorrência da realização do controle automático de profundidade dessa maneira, a posição ^IQ de exibição da parte que se projeta WA da fotografia estereoscópica chega em uma posição que fica em contato ou em proximidade com a ferramenta operacional.
A seguir, como no diagrama do meio da figura 9, a unidade de ajuste de profundidade 46 ajusta a profundidade na qual a fotografia estereoscópica deve ser exibida. Aqui, a fotografia estereoscópica é ajustada para ser exibida em uma posição mais profunda que a posição depois do controle automático na quantidade de Z'. Pelo ajuste da posição na direção da profundidade no espaço estereoscópico dessa maneira, uma posição arbitrária no espaço estereoscópico pode ser apontada. No diagrama da direita da figura 9, escrita é realizada com uma caneta em uma posição de escrita, que foi apontada, na superfície da folha (a mesma posição da fotografia estereoscópica) da fotografia estereoscópica no espaço estereoscópico. Isso significa que edição é realizada pela escrita de uma figura ou letra arbitrárias no espaço estereoscópico na frente da fotografia estereoscópica. Como um método para que um usuário insira a quantidade de
ajuste Z' de profundidade, há um método para inserir a quantidade de ajuste Z' pela operação de um controle deslizante 24a provido na superfície de exibição 24, da forma mostrada no diagrama de base da direita da figura 24. A quantidade de ajuste Z' também pode ser inserida pela operação de um dial ou um botão, que não são mostrados, em vez do controle deslizante 24a. Também é possível, da forma mostrada no diagrama de base da esquerda da figura 24, inserir a quantidade de ajuste Z' por um usuário que opera uma pinça 24b. Também é possível inserir a quantidade de ajuste Z' fazendo com que o dial seja pinçado no ar e sua posição de proximidade seja detectada pela combinação com o paine de toque 20. A quantidade de ajuste Z' também pode ser inserida por um usuário que opera um rotacionador 24c, da forma mostrada no diagrama do topo da esquerda da figura 24. A profundidade de uma fotografia estereoscópica 24d pode ser ajustada em 0 por um pancadinha ou pancadinha duplo, de forma que a posição de exibição da fotografia estereoscópica 24d que é exibida na posição em ocorreu o pancadinha ou o pancadinha duplo coincida com a superfície de exibição 24, da forma mostrada no diagrama do topo da direita da figura 24. Pela inserção da quantidade de ajuste Z' por uma operação do usuário dessa maneira, uma figura pode ser desenhada em uma posição arbitrária no espaço estereoscópico.
Por exemplo, uma figura arbitrária pode ser escrita em uma fotografia estereoscópica no espaço estereoscópico. A posição de escrita é calculada da seguinte maneira. Como exposto, um caso em que a própria fotografia estereoscópica inclui duas disparidades é tomado como um exemplo. Da forma mostrada no diagrama da esquerda da figura 10, quando toma-se o vetor de posição dos olhos, que são tomados como os alvos, como Vc, o vetor de posição da ponta de uma caneta como Vp, a distância entre os olhos e a superfície de exibição como Lc e a distância entre a superfície de exibição e a fotografia estereoscópica como Li, o vetor de posição Vw da posição de escrita é mostrado pela fórmula (2), como segue:
Vw = (Lc + Li) / Lc χ (Vp - Vc) + Vc. (2) No caso de desenho em uma fotografia estereoscópica que está no fundo da superfície de exibição 24, um ponto é escrito em uma superfície da folha para o olho esquerdo (mostrado como a superfície da folha) em um ponto em que uma linha reta que conecta a posição virtual do olho esquerdo e a posição de escrita faz interseção com a fotografia estereoscópica. Igualmente, um ponto é escrito em uma superfície da folha para o olho direito (mostrado como a superfície da folha) em um ponto em que uma linha reta que conecta a posição virtual do olho direito e a posição de escrita faz interseção com a fotografia estereoscópica. Pela realização simultânea do exposto, parece que o desenho é realizado na fotografia estereoscópica.
No caso em que a fotografia estereoscópica é exibida no fundo - 10 da superfície de exibição, da forma mostrada no diagrama do meio da figura 10, se escrita for realizada com uma caneta em uma superfície da folha que é virtualmente sobreposta na fotografia estereoscópica, considera-se que uma imagem foi escrita em um espaço na frente da fotografia estereoscópica. Por outro lado, da forma mostrada no diagrama da direita da figura 10, no caso em que a fotografia estereoscópica for exibida na frente da superfície de exibição, se escrita for realizada na superfície da folha com uma caneta, considera-se que uma imagem foi escrita em um espaço no fundo da fotografia estereoscópica.
8. Controle de Profundidade / Edição pelo Dispositivo de Exibição Estereoscópica (Segunda Modalidade Exemplar)
A seguir, uma operação do dispositivo de exibição estereoscópica 10 de acordo com a presente modalidade exemplar será descrita. A figura 11 é um fluxograma que mostra um processo de controle de profundidade / edição para uma operação do dispositivo de exibição estereoscópica 10. Quando o processo de controle de profundidade / edição for iniciado, a unidade de controle de exibição 44 realiza o processo de controle de profundidade mostrado pelas etapas S605 até S625 da figura 6 (etapa Sl 105). O processo de controle de profundidade da figura 6 foi descrito na primeira modalidade exemplar e sua explicação será aqui omitida. Por exemplo, as partes "a" e "b" da figura 12 mostram a detecção de proximidade e o controle automático de profundidade realizados no processo de controle de profundidade. Aqui, a fotografia estereoscópica inclui objetos m, η e o com diferentes profundidades.
A seguir, a unidade de ajuste de profundidade 46 determina se uma instrução para ajuste de profundidade é recebida a partir de um usuário (etapa Sl 110). No caso em que não houver operação de entrada do usuário em relação à quantidade de ajuste de profundidade Z', a unidade de ajuste de profundidade 46 ignora a etapa Sl 115. Por outro lado, no caso em que houver uma operação de entrada do usuário em relação à quantidade de ajuste de profundidade Z', a unidade de ajuste de profundidade 46 ajusta a profundidade da fotografia estereoscópica que é o alvo de controle (etapa Sll 15). Em "c" da figura 12, a profundidade é ajustada de maneira tal que a fotografia estereoscópica seja adicionalmente reexibida.
A seguir, a unidade de detecção de proximidade 42 detecta se uma ferramenta operacional (por exemplo, um dedo humano, um outro membro humano e uma caneta) contatou a superfície de exibição em um tempo pré-determinado (etapa Sl 120). No caso em que contato não for detectado, o processo termina. Por outro lado, no caso em que contato for detectado, a unidade de edição de imagem 48 realiza escrita / edição desejadas na posição de escrita na superfície da folha (isto é, uma posição em uma superfície de uma unidade de determinação correspondente ao contato) na etapa Sl 125. Esse processo de escrita / edição é realizado até que a ferramenta operacional que está em contato com a superfície de exibição 24 seja removida da superfície de exibição 24 (repetição das etapas Sl 130 e Sl 125). Em decorrência disso, em "d" da figura 12, uma imagem é escrita na frente do objeto m, e, em "e," uma imagem é escrita no fundo do objeto n. Os objetos m e η correspondem aos objetos de exibição, que são os alvos de controle, exibidos na direção da profundidade da posição de proximidade da
26
ferramenta operacional.
Quando a ferramenta operacional que está em contato com a superfície de exibição 24 for removida da superfície de exibição 24, o processo retorna para a etapa S1110, e a unidade de ajuste de profundidade 46 determina novamente se uma instrução para ajuste de profundidade é recebida a partir do usuário. No caso em que houver a instrução, a unidade de ajuste de profundidade 46 ajusta novamente a profundidade da fotografia estereoscópica (etapa Sl 115: veja a figura 12, "f"). Então, no caso em que contato da ferramenta operacional for novamente detectado, a unidade de edição de imagem 48 realiza novamente escrita / edição desejadas na posição de escrita na superfície da folha (etapa Sl 125). Em "g" da figura 12, uma imagem é escrita na posição de escrita na superfície da folha no lado direito do objeto η na fotografia estereoscópica.
No caso em que a ferramenta operacional foi removida da superfície de exibição 24 (etapa Sl 130), não houve instrução para ajuste de profundidade (etapas SlllO e Slll5) e um tempo pré-determinado decorreu sem que a ferramenta operacional contatasse a superfície de exibição 24 (etapa Sl 120), o processo de escrita / edição termina.
Da forma supradescrita, de acordo com o dispositivo de exibição estereoscópica 10 da segunda modalidade exemplar, pode-se fazer com que o objeto para o qual a ferramenta operacional emitiu uma instrução flutue até a superfície de exibição (isto é, pelo menos uma parte do objeto pode ficar coincidente com a superfície da unidade de determinação em uma direção da profundidade) pelo controle automático de profundidade, e quaisquer figura ou letra podem ser escritas na fotografia estereoscópica. Por exemplo, no diagrama da direita da figura 13, a ferramenta operacional é colocada em proximidade em relação à montanha no plano de fundo, que é um exemplo do objeto, e, em decorrência disso, a montanha é automaticamente controlada para ficar em um estado de coincidência com a superfície de exibição. Isso pode ser visto a partir de que a figura da montanha não inclui nenhum deslocamento relativo (disparidade). Quando "Mt." for escrito na montanha com uma caneta nesse estado, edição é realizada para escrever um "Mt." escrito a mão na imagem da montanha. Adicionalmente, no diagrama da direita da figura 13, a magnitude do deslocamento relativo para a imagem do objeto na frente ou no fundo da superfície de exibição é expressada em duas dimensões como uma disparidade. As imagens do prédio à direita e do cão de guarda imperial no meio incluem deslocamento relativo. Dessa maneira, pode-se entender que o prédio e o cão de guarda imperial são estereoscopicamente exibidos saltando para a frente ou recuando para o fundo.
Por exemplo, no caso em que for desejado escrever no espaço na frente da fotografia estereoscópica, a profundidade é ajustada de acordo com a instrução para ajuste de profundidade do usuário, de maneira tal que a fotografia estereoscópica e a superfície da folha sejam exibidas no fundo da superfície de exibição. Quando escrita for realizada na superfície da folha nesse estado, escrita pode ser realizada tridimensionalmente no espaço na frente da imagem da fotografia estereoscópica.
Por outro lado, no caso em que for desejado escrever no espaço no fundo da fotografia estereoscópica, por exemplo, a profundidade é ajustada de acordo com a instrução para ajuste de profundidade do usuário, de maneira tal que a fotografia estereoscópica seja exibida na frente da superfície de exibição. Quando escrita for realizada na superfície da folha nesse estado, escrita pode ser realizada tridimensionalmente no espaço no fundo da imagem da fotografia estereoscópica. No diagrama da esquerda da figura 13, a magnitude de deslocamento relativo de um par de linhas curvas escritas na frente ou no fundo da superfície de exibição é expressada em duas dimensões como uma disparidade. Embora não seja entendido a partir do desenho, o par de linhas curvas mais próximas da mulher é escrito na frente e tem um pequeno deslocamento relativo. Dessa maneira, o par de linhas curvas é exibido saltando um pouco para a frente da mulher. Por outro lado, embora não seja entendido a partir do desenho, os dois pares de linhas curvas distantes da mulher são escritos no fundo e têm grande deslocamento relativo. Dessa maneira, pode-se entender que, quanto mais para o lado um par de linhas curvas estiver, o mais profundo ele é exibido no fundo. Dessa maneira, de acordo com o dispositivo de exibição estereoscópica 10 da segunda modalidade exemplar, uma imagem pode ser escrita na fotografia estereoscópica, ou na frente ou no fundo da fotografia estereoscópica, e edição pode ser realizada.
9. Um Processo de Controle de Profundidade / Edição Exemplar (Segunda Modalidade Exemplar)
Da forma supradescrita, quando se tornar possível desenhar livremente no espaço estereoscópico na fotografia estereoscópica, pode surgir um caso em que uma sensação bizarra é ocasionada considerando a exibição em relação à disparidade da fotografia estereoscópica original e da imagem escrita. Por exemplo, se escrita puder ser realizada no fundo de uma fotografia estereoscópica que é trazida para a frente, uma sensação bizarra ou uma sensação desagradável podem surgir em relação à exibição estereoscópica. Para impedir um caso como esse, de acordo com um exemplo modificado 1, o relacionamento posicionai entre a posição da fotografia estereoscópica na direção da profundidade e a posição de escrita da imagem é determinado pelo cálculo de cada deslocamento relativo entre pixels de imagens esquerda e direita da fotografia estereoscópica original antecipadamente e pela comparação dos mesmos com o deslocamento relativo entre a esquerda e a direita calculadas a partir da posição de escrita, desse modo, impedindo que uma imagem seja escrita no fundo da fotografia estereoscópica. A seguir, uma operação do dispositivo de exibição estereoscópica 10 de acordo com o exemplo modificado 1 da presente modalidade será descrita em relação ao fluxograma da figura 14 que mostra um processo de controle de profundidade / edição.
Quando o processo de controle de profundidade for iniciado, a unidade de controle de exibição 44 realiza o processo de controle de profundidade mostrado na figura 6 (etapa Sl 105). O processo de controle de profundidade é igual àquele da segunda modalidade, e sua explicação será aqui omitida.
A seguir, no caso em que uma instrução para ajuste de profundidade for recebida a partir do usuário, a unidade de ajuste de profundidade 46 ajusta a profundidade da fotografia estereoscópica (etapas SlllOeSlll 5). O processo de ajuste de profundidade também é igual àquele da segunda modalidade, e sua explicação será aqui omitida.
A seguir, um controle de escrita do exemplo modificado 1 será descrito. A unidade de detecção de proximidade 42 detecta se a ferramenta operacional contatou a superfície de exibição 24 em um tempo pre- determinado (etapa Sl 120) e, no caso em que contato não for detectado, termina o processo. Por outro lado, no caso em que contato for detectado, a unidade de edição de imagem 48 determina se a posição de escrita na superfície da folha está posicionada no fundo da fotografia estereoscópica (etapa S1405). Como exposto, se a posição de escrita na superfície da folha está posicionada no fundo da fotografia estereoscópica é determinado pelo cálculo de cada deslocamento relativo entre pixels de imagens esquerda e direita da fotografia estereoscópica original antecipadamente e pela comparação dos mesmos com o deslocamento relativo entre a esquerda e a direita calculadas a partir da posição de escrita. No caso em que a posição de escrita não estiver posicionada no fundo da fotografia estereoscópica, a unidade de edição de imagem 48 realiza escrita / edição desejadas na posição de escrita da forma usual (etapa Sl 125). Esse processo de escrita / edição é realizado até que a ferramenta operacional que está em contato com a superfície de exibição 24 seja removida da superfície de exibição 24 (repetição das etapas Sl 130 e Sl 125).
Por outro lado, no caso em que a posição de escrita estiver posicionada no fundo da fotografia estereoscópica, já que a escrita precisará ser realizada no fundo da fotografia estereoscópica que é trazida para a frente, a unidade de edição de imagem 48 proíbe escrita em tal posição de escrita (etapa S1410). Em "h" da figura 15, escrita no fundo do objeto η que é exibido na frente da superfície de exibição é proibida.
Quando a ferramenta operacional que está em contato com a superfície de exibição 24 for removida da superfície de exibição 24 (etapa Sl 130) ou quando escrita for proibida (etapa S1410), o processo retorna para a etapa S1110, e a unidade de ajuste de profundidade 46 determina novamente se uma instrução para ajuste de profundidade é recebida a partir do usuário. No caso em que houver a instrução, a unidade de ajuste de profundidade 46 reajusta a profundidade da fotografia estereoscópica (veja "j" na figura 15) e realiza novamente escrita / edição desejadas na posição de escrita na superfície da folha. Em "k" da figura 15, é mostrado um estado em que uma imagem é escrita, depois do reajuste, na frente do objeto η que é exibido no fundo da superfície de exibição 24.
No caso em que a ferramenta operacional foi removida da superfície de exibição 24 (etapa Sl 130), não houve instrução para ajuste de profundidade (etapas SlllO e Sl 115) e um tempo pré-determinado decorreu sem que a ferramenta operacional contatasse a superfície de exibição 24 (etapa Sl 120), o processo de escrita / edição termina.
Como foi descrito, de acordo com o exemplo modificado 1 da segunda modalidade, pela proibição de escrita de uma imagem no fundo da fotografia estereoscópica, torna-se possível impedir que uma sensação bizarra seja ocasionada considerando a exibição em relação à disparidade da fotografia estereoscópica original e da imagem escrita. 31
10. Um Processo de Controle de Profundidade / Edição Exemplar Adicional (Segunda Modalidade Exemplar)
No exemplo modificado 1, escrita no fundo da fotografia estereoscópica foi proibida para impedir uma sensação bizarra considerando a exibição em relação à disparidade da fotografia estereoscópica original e da escrita. Por outro lado, em um exemplo modificado 2, o controle automático de profundidade é realizado juntamente com a escrita / edição de uma imagem, de forma que uma imagem seja escrita na fotografia estereoscópica. A seguir, uma operação do dispositivo de exibição estereoscópica 10 de - 10 acordo com o exemplo modificado 2 da presente modalidade exemplar será descrita em relação ao fluxograma da figura 16 que mostra um processo de controle de profundidade / edição.
Quando o processo de controle de profundidade for iniciado, a unidade de controle de exibição 44 realiza o processo de controle de profundidade mostrado na figura 6 (veja, por exemplo, etapa Sl 105 e "p" da figura 17). O processo de controle de profundidade (automático) é igual àquele da segunda modalidade exemplar, e sua explicação será aqui omitida.
A seguir, um controle de escrita do exemplo modificado 2 será descrito. A unidade de detecção de proximidade 42 detecta se a ferramenta operacional contatou a superfície de exibição 24 em um tempo pre- determinado (etapa Sl 120) e, no caso em que contato não for detectado, termina o processo. Por outro lado, no caso em que contato for detectado, a unidade de edição de imagem 48 realiza escrita / edição desejadas na posição de escrita na superfície da folha, ainda realizando o processo de controle automático de profundidade da figura 6 (etapa S1605). Esse processo de escrita / edição é realizado até que a ferramenta operacional que está em contato com a superfície de exibição 24 seja removida da superfície de exibição 24 (repetição das etapas Sl 130 e S1605). Em "q" da figura 17, escrita em um objeto m é realizada enquanto a profundidade é automaticamente controlada, de maneira tal que o objeto m coincida com a superfície de exibição. Em "r" da figura 17, escrita é realizada em um objeto η enquanto a profundidade é automaticamente controlada, de maneira tal que o objeto η coincida com a superfície de exibição. Em "s" da figura 17, escrita é realizada em um objeto o enquanto a profundidade é automaticamente controlada, de maneira tal que o objeto o coincida com a superfície de exibição.
Quando a ferramenta operacional que está em contato com a superfície de exibição 24 for removida da superfície de exibição 24 (etapa Sl 130), o processo retorna para a etapa Sl 120 e, no caso em que um tempo pré-determinado decorrer sem que a ferramenta operacional contate a superfície de exibição 24 (etapa Sl 120), o processo de escrita / edição termina.
Como foi descrito, de acordo com o exemplo modificado 2 da segunda modalidade exemplar, o controle automático de profundidade é realizado juntamente com a escrita / edição de uma imagem, de forma que uma imagem seja escrita na fotografia estereoscópica. Isso pode impedir que uma sensação bizarra seja ocasionada considerando a exibição em relação à fotografia estereoscópica original e à imagem escrita. Adicionalmente, na segunda modalidade e seu exemplo modificado, a ferramenta operacional detectada pela unidade de detecção de proximidade 42 corresponde a uma primeira ferramenta operacional durante o controle de profundidade, e a ferramenta operacional detectada pela unidade de detecção de proximidade 42 corresponde a uma segunda ferramenta operacional durante o processo de edição.
11. Controle de Redução / Ampliação pelo Dispositivo de Exibição Estereoscópica (Terceira Modalidade Exemplar)
A seguir, uma função e uma operação do dispositivo de exibição estereoscópica 10 de acordo com uma terceira modalidade exemplar da presente divulgação serão descritas. Uma função do dispositivo de exibição estereoscópica 10 de acordo com a terceira modalidade exemplar é executada por cada unidade do bloco funcional mostrado na figura 8. Entretanto, na unidade de controle de exibição 44 da terceira modalidade exemplar, no caso em que proximidade ou contato da ferramenta operacional forem detectados, conteúdo de imagem que inclui a fotografia estereoscópica é exibido depois de ser reduzido até um tamanho desejado. A seguir, um processo de controle de profundidade pelo dispositivo de exibição estereoscópica 10 de acordo com a terceira modalidade exemplar será descrito, focalizando nessa diferença.
A figura 18 é um fluxograma que mostra um processo de controle de redução / ampliação pelo dispositivo de exibição estereoscópica de acordo com a terceira modalidade exemplar. Quando o processo de controle de redução / ampliação for iniciado, a unidade de controle de exibição 44 determina se proximidade ou contato são detectados pela unidade de detecção de proximidade 42 (etapa S605). No caso em que nem proximidade nem contato forem detectados, o processo termina. Por outro lado, no caso em que proximidade ou contato forem detectados (isto é, uma primeira posição espacial de uma parte de uma ferramenta operacional é detectada em uma distância limite de uma superfície de exibição), a unidade de controle de exibição 44 reduz o conteúdo de imagem (incluindo a fotografia estereoscópica) exibido na superfície de exibição 24 até um primeiro tamanho, cujo exemplo é um tamanho pré-determinado associado com a primeira posição espacial (etapa S1805). A figura 19 mostra um estado em que a fotografia estereoscópica é automaticamente reduzida no momento em que a proximidade da ferramenta operacional for detectada.
A seguir, a unidade de controle de exibição 44 determina, na etapa S1810, se a ferramenta operacional é removida até uma segunda posição espacial na qual proximidade não será detectada pela unidade de detecção de proximidade 42 (isto é, a segunda posição espacial não cai na distância limite). No caso em que a ferramenta operacional não for removida, o processo termina com o conteúdo de imagem reduzido até o tamanho pre- determinado. No caso em que a ferramenta operacional for removida para uma posição na qual proximidade não será detectada, a unidade de controle de exibição 44 retorna o conteúdo de imagem exibido na superfície de exibição 24 para seu tamanho original (etapa Sl815) e termina o processo.
Como foi descrito, de acordo com o dispositivo de exibição estereoscópica 10 da terceira modalidade exemplar, no caso em que a parte da fotografia estereoscópica que está saltando da superfície de exibição sobrepuser, ou for provável que sobreponha, com a ferramenta operacional, o tamanho visual da fotografia estereoscópica muda para remover a sensação bizarra que é baseada em uma divergência, como se a ferramenta operacional estivesse afundada na fotografia estereoscópica. Por exemplo, quando a íntegra da imagem mostrada no diagrama da esquerda da figura 20 for reduzida como o diagrama da direita da figura 20, o deslocamento relativo das linhas curvas escritas em ambos os lados da mulher se torna pequeno. Pela mudança da diferença relativa entre as imagens esquerda e direita em relação à disparidade dessa maneira pela mudança do tamanho visual da fotografia estereoscópica, o senso de profundidade da fotografia estereoscópica pode ser reduzido. Isso pode reduzir a sobreposição entre a ferramenta operacional e a fotografia estereoscópica e reduzir a sensação bizarra em relação à aparência.
Por exemplo, se a imagem de uma fotografia estereoscópica cuja quantidade de salto é de 1 cm for reduzida pela metade, a quantidade de salto da fotografia será de 0,5 cm. A sensação bizarra considerando a exibição ocasionada pela sobreposição entre a ferramenta operacional no espaço real e um objeto no espaço virtual pode ser reduzida dessa maneira. Particularmente, de acordo com a presente modalidade exemplar, controle da profundidade da fotografia estereoscópica pelo cálculo da quantidade de profundidade, como na primeira modalidade exemplar, é desnecessário para reduzir / ampliar a íntegra da imagem. Assim, de acordo com a presente modalidade exemplar, cálculo para o controle de profundidade torna-se desnecessário, e o processo pode ser simplificado.
Além do mais, a unidade de controle de exibição 44 também
pode determinar a taxa de redução do conteúdo de imagem de acordo com a quantidade de profundidade de uma fotografia estereoscópica com a maior profundidade, dentre uma ou mais fotografias estereoscópicas incluídas no conteúdo de imagem. Uma sensação bizarra ocasionada no momento em que a ferramenta operacional e a fotografia estereoscópica sobrepuserem uma com a outra fica maior à medida que a quantidade de projeção máxima fica maior. Dessa maneira, pelo aumento da taxa de redução nesse caso, uma sensação bizarra experimentada pelo usuário pode ser reduzida.
Adicionalmente, também é possível combinar o processo de redução / ampliação da imagem da presente modalidade exemplar e o controle de profundidade de uma ou mais das modalidades exemplares divulgadas. Além do processo de controle de redução / ampliação da figura 18, ajuste da posição na direção da profundidade da fotografia estereoscópica, que é o alvo de controle, pela unidade de ajuste de profundidade 46 também pode ser realizado de acordo com uma operação do usuário.
12. Combinações de Modalidades Exemplares Adicionais Os métodos de exibição estereoscópica das modalidades exemplares divulgadas supradescritas podem ser combinados conforme apropriado para aplicação. Por exemplo, a unidade de controle de exibição 44 pode realizar controle para ampliar e exibir conteúdo de imagem depois do controle da posição na direção da profundidade do objeto de exibição, que é o alvo de controle, para coincidir com a superfície de exibição (superfície de toque) ou para ficar no fundo da superfície de toque, antes de a imagem ser editada pela unidade de edição de imagem 48. Além do mais, por exemplo, no caso em que proximidade da ferramenta operacional for detectada, a unidade de controle de exibição 44 pode, juntamente com a redução e a exibição do conteúdo de imagem, tomar um objeto de exibição exibido na direção da profundidade da posição de proximidade da ferramenta operacional como o alvo de controle e controlar a posição na direção da profundidade do objeto de exibição para ficar próxima ou coincidir com a posição de proximidade da ferramenta operacional.
Exemplos de combinações das modalidades exemplares divulgadas serão especificamente descritos em relação às figuras 21 e 22. No caso em que miniaturas Ps de uma pluralidade de fotografias estereoscópicas ficarem alinhadas no fundo da superfície de exibição 24 do dispositivo de exibição estereoscópica 10, como no diagrama do topo da esquerda da figura 21, uma fotografia estereoscópica desejada é selecionada fazendo com que a ferramenta operacional toque uma posição arbitrária na superfície de exibição 24. No diagrama do topo da direita da figura 21, duas fotografias estereoscópicas Psl e Ps2 são selecionadas por toque, e faz-se com que as posições de exibição das fotografias estereoscópicas Psl e Ps2 coincidam com a superfície de exibição 24 fazendo com que a quantidade de profundidade das fotografias estereoscópicas seja 0 pelo controle de profundidade da primeira modalidade exemplar. Na figura 22, quando uma mão se aproximar da superfície de exibição 24, a profundidade da fotografia estereoscópica é controlada de maneira tal que ela fique próxima da posição da mão e a fotografia estereoscópica Psl flutua (diagrama de topo da direita da figura 22), e, pelo toque da mão na superfície de exibição 24, a fotografia estereoscópica Psl é exibida em uma posição que coincide com a superfície de exibição 24 (diagrama de base da esquerda da figura 22). Quando a mão for removida, comutação para a exibição em tela cheia da fotografia estereoscópica Psl é realizada (diagrama de base da direita da figura 22). A fotografia estereoscópica desejada Psl também pode ser ampliada para tela cheia e ser exibida por outros gestos (diagrama de base da esquerda da figura 21). Nesse estado, da forma indicada na segunda modalidade exemplar, escrita é iniciada com a mão em contato com a fotografia estereoscópica Psl (diagrama de base da direita da figura 21).
Quando se tenta tocar a superfície de exibição 24 com a mão enquanto a fotografia estereoscópica Psl é exibida de uma maneira ampliada, é provável que interferência entre a mão e a fotografia estereoscópica Psl ocorra, mas a interferência pode ser reduzida pela realização do ajuste de profundidade para recuar a imagem da fotografia estereoscópica Psl na direção da profundidade. Além do mais, a interferência pode ser reduzida pela redução da imagem da fotografia estereoscópica Psl juntamente com a realização do ajuste de profundidade (diagrama de base da direita da figura 21).
Adicionalmente, como o gesto para mudar a exibição da tela, é concebível mover para a fotografia prévia ou seguinte pelo aceno da mão em proximidade, da forma mostrada no diagrama do topo da esquerda da figura 23, ou mover para a fotografia prévia ou seguinte por arraste, da forma mostrada no diagrama do topo da direita da figura 23, e, durante o movimento para a fotografia prévia ou seguinte, uma sensação bizarra ocasionada devido à divergência entre o senso de distância até o objeto de exibição estereoscopicamente exibido e o senso de distância até a ferramenta operacional pode ser reduzida pela redução do senso de profundidade pela redução do tamanho da fotografia.
Também é possível mover de um estado em que uma fotografia estereoscópica é exibida de uma maneira ampliada, da forma mostrada no diagrama de base da esquerda da figura 23, para uma exibição de uma lista de miniaturas por pancadinha duplo. Da forma mostrada no diagrama de base da direita da figura 23, também é possível aproximar pinçando e mover para a exibição de uma lista de miniaturas quando a fotografia estereoscópica for suficientemente pequena. Também nesses casos, durante a exibição ampliada de uma fotografia estereoscópica, ajuste de profundidade é realizado para recuar a fotografia, e uma sensação bizarra ocasionada devido à divergência entre o senso de distância até o objeto de exibição estereoscopicamente exibido e o senso de distância até a ferramenta operacional é reduzida. Então, quando se mover para a exibição de uma lista de miniaturas, ajuste de profundidade é realizado para trazer a fotografia para perto da superfície de exibição 24, desse modo, melhorando a operabilidade do usuário.
Dessa maneira, no caso em que proximidade da ferramenta operacional for detectada, a unidade de controle de exibição 44 pode tomar um objeto de exibição exibido na direção da profundidade da posição de proximidade da ferramenta operacional como o alvo de controle e mover a posição do objeto de exibição na direção da profundidade para ficar adicionalmente atrás, juntamente com a realização de redução da exibição do conteúdo de imagem. Além do mais, a unidade de controle de exibição 44 pode exibir o conteúdo de imagem para ficar mais reduzido à medida que a distância entre a superfície de exibição 24 e a posição de proximidade da ferramenta operacional fica menor, e pode exibir o conteúdo de imagem mais ampliado à medida que a distância entre a superfície de exibição 24 e a ferramenta operacional fica maior.
Da forma descrita, de acordo com as modalidades exemplares divulgadas, uma sensação bizarra ocasionada devido à divergência, em relação ao senso de distância, entre o objeto de exibição estereoscopicamente exibido e a ferramenta operacional pode ser reduzida pelo controle apropriado do método de exibição do objeto de exibição de acordo com a proximidade ou o contato da ferramenta operacional.
Por exemplo, na primeira modalidade exemplar, a quantidade de profundidade da fotografia estereoscópica da superfície de exibição 24 é estimada, pelo uso do paine de toque 20 capaz de detecção de proximidade, a partir do deslocamento relativo (disparidade) entre as imagens esquerda e direita no ponto em que a ferramenta operacional se aproximou, e a posição da fotografia estereoscópica é controlada de maneira tal que a posição de proximidade da ferramenta operacional e a quantidade de profundidade coincidam uma com a outra. Isso pode eliminar a sensação bizarra ocasionada devido à divergência, em relação ao senso de distância, entre o objeto de exibição e a ferramenta operacional, e, também, a operabilidade do usuário pode melhorar.
Além do mais, por exemplo, na segunda modalidade exemplar, uma posição nas três dimensões pode ser especificada da mesma maneira que a especificação de uma posição em duas dimensões pela manipulação das coordenadas XY nas quais escrita é desejada e fazendo com que a coordenada Z corresponda à superfície de exibição (superfície de toque), pelo uso do paine de toque 20 capaz de detecção de proximidade, e uma letra ou uma figura podem ser escritas em uma posição arbitrária no espaço estereoscópico onde a fotografia estereoscópica é exibida.
Além do mais, por exemplo, na terceira modalidade exemplar, quando a proximidade da ferramenta operacional for detectada enquanto a fotografia estereoscópica é formada em uma posição que salta da superfície de exibição 24 do paine de toque 20, o tamanho da fotografia estereoscópica é reduzido. Isso pode reduzir facilmente uma sensação bizarra considerando a exibição na direção da profundidade, ainda mantendo boa operabilidade para o usuário.
Além do mais, pela combinação apropriada do método de exibição estereoscópica das modalidades exemplares expostas, uma sensação bizarra ocasionada devido à divergência, em relação ao senso de distância, entre o objeto de exibição e a ferramenta operacional pode ser efetivamente ............ 40
reduzida.
Nas primeira até terceira modalidades exemplares e nos exemplos modificados supradescritos, as operações das respectivas unidades são relacionadas umas com as outras, e substituição por uma série de operações ou uma série de processos, em consideração a seus relacionamentos, é possível. Isso pode fazer com que a modalidade exemplar de um aparelho de processamento de informação execute um método de exibição estereoscópica, e um processador do aparelho de processamento de informação pode executar instruções armazenadas em uma mídia legível por computador não temporária tangível para fazer com que o processador realize a função do aparelho de processamento de informação.
Versados na técnica entendem que várias modificações, combinações, subcombinações e alterações podem ocorrer, dependendo de exigências de desenho e de outro fatores, no limite em que eles caem no escopo das reivindicações anexas ou dos equivalentes dessas.
Por exemplo, em cada uma das modalidades exemplares supradescritas, um método de acordo com o qual um painel sensível ao toque detecta três estados, a saber, não proximidade, proximidade e contato, e um método de exibição de um objeto de exibição que é controlado de acordo com o resultado de detecção foram descritos, mas o método de exibição estereoscópica de acordo com a presente divulgação não é limitado a tais. Por exemplo, no caso em que a distância entre a superfície de exibição e o objeto de exibição puder ser detectada em etapas ou seqüencialmente pelo paine de toque, o objeto de exibição pode ser recuado na direção da profundidade em etapas ou continuamente de acordo com a distância. Uma modificação como essa também cai no escopo técnico da presente divulgação.
A presente divulgação contém assunto em questão relacionado àquele divulgado no Pedido de Patente de Prioridade Japonês JP 2010- 253152, depositado no Japan Patent Office em 11 de novembro de 2010, cuja íntegra do conteúdo é, pela presente, incorporada pela referência.

Claims (20)

1. Aparelho de processamento de informação, caracterizado pelo fato de que compreende: uma unidade de determinação configurada para determinar uma posição em uma superfície da unidade de determinação correspondente a um contato entre uma parte de uma ferramenta operacional e a superfície da unidade de determinação; uma unidade de definição configurada para definir uma primeira posição de exibição de uma primeira imagem estereoscópica; uma unidade de geração configurada para gerar uma segunda imagem estereoscópica em resposta ao contato; e uma unidade de controle configurada para gerar um sinal para exibir a primeira imagem estereoscópica na primeira posição de exibição e exibir a segunda imagem estereoscópica em uma segunda posição de exibição, as primeira e segunda posições de exibição ficando em uma distância pré-determinada da posição de contato.
2. Aparelho de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que a distância pré-determinada é definida em relação pelo menos a uma direção perpendicular a uma direção da profundidade.
3. Aparelho de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de geração é adicionalmente configurada para gerar conteúdo eletrônico com base no contato entre a parte da ferramenta operacional e a superfície da unidade de determinação.
4. Aparelho de processamento de informação, de acordo com a reivindicação 2, caracterizado pelo fato de que o conteúdo eletrônico compreende pelo menos um de um escrito ou de um desenho recebidos a partir de um usuário da ferramenta operacional.
5. Aparelho de processamento de informação, de acordo com a reivindicação 2, caracterizado pelo fato de que a segunda imagem estereoscópica compreende o conteúdo eletrônico.
6. Aparelho de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que, em resposta ao contato, a unidade de definição é adicionalmente configurada para definir a primeira posição de exibição como coincidente com a superfície da unidade de determinação em uma direção da profundidade.
7. Aparelho de processamento de informação, de acordo com a reivindicação 6, caracterizado pelo fato de que a unidade de controle é adicionalmente configurada para gerar uma percepção do usuário de que pelo menos uma parte da segunda imagem estereoscópica é sobreposta em uma parte correspondente da primeira imagem estereoscópica.
8. Aparelho de processamento de informação, de acordo com a reivindicação 6, caracterizado pelo fato de que a unidade de controle é adicionalmente configurada para gerar uma percepção do usuário da parte da ferramenta operacional como se estivesse em contato pelo menos com uma parte da primeira imagem estereoscópica exibida na primeira posição de exibição.
9. Aparelho de processamento de informação, de acordo com a reivindicação 8, caracterizado pelo fato de que a unidade de controle é adicionalmente configurada para gerar uma percepção do usuário da parte da ferramenta operacional como se estivesse escrevendo sobre a parte da primeira imagem estereoscópica exibida na primeira posição de exibição.
10. Aparelho de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de definição é adicionalmente configurada para: receber, a partir de um usuário, informação indicativa de uma primeira posição de exibição da primeira imagem estereoscópica; e definir a primeira posição de exibição da primeira imagem estereoscópica com base pelo menos na informação recebida.
11. Aparelho de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de determinação é adicionalmente configurada para detectar um gesto de um usuário.
12. Aparelho de processamento de informação, de acordo com a reivindicação 11, caracterizado pelo fato de que a unidade de definição é adicionalmente configurada para definir a primeira posição de exibição com base pelo menos no gesto detectado.
13. Aparelho de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de determinação é adicionalmente configurada para determinar uma primeira posição espacial da parte da ferramenta operacional disposta em uma distância limite da superfície da unidade de determinação.
14. Aparelho de processamento de informação, de acordo com a reivindicação 13, caracterizado pelo fato de que a unidade de definição é adicionalmente configurada para definir a primeira posição de exibição com base na primeira posição espacial, a primeira posição de exibição sendo definida em relação à superfície da unidade de detecção em uma direção da profundidade.
15. Aparelho de processamento de informação, de acordo com a reivindicação 13, caracterizado pelo fato de que a unidade de determinação é adicionalmente configurada para determinar uma posição espacial sucessiva da parte da ferramenta operacional disposta na distância limite, a determinação da posição espacial sucessiva sendo em resposta a um movimento da ferramenta operacional na direção da profundidade.
16. Aparelho de processamento de informação, de acordo com a reivindicação 15, caracterizada pelo fato de que: a unidade de definição é adicionalmente configurada para determinar uma posição de exibição sucessiva da primeira imagem estereoscópica com base pelo menos na primeira posição de exibição da primeira imagem estereoscópica e na posição espacial sucessiva da parte da ferramenta operacional; e a unidade de controle é adicionalmente configurada para gerar um sinal para exibir a primeira imagem estereoscópica na primeira posição de exibição sucessiva.
17. Aparelho de processamento de informação, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente uma unidade de exibição configurada para exibir a primeira imagem estereoscópica na primeira posição de exibição e a segunda imagem estereoscópica na segunda posição de exibição em resposta ao sinal.
18. Aparelho de processamento de informação, de acordo com a reivindicação 17, caracterizado pelo fato de que: a unidade de exibição compreende uma superfície de exibição; e pelo menos uma parte da superfície da unidade de exibição coincide com a superfície da unidade de determinação.
19. Método implementado por computador para exibir imagens, caracterizado pelo fato de que compreende: determinar, usando um processador, uma posição em uma superfície da unidade de determinação correspondente a um contato entre uma parte de uma ferramenta operacional e a superfície da unidade de determinação; definir, usando o processador, uma primeira posição de exibição de uma primeira imagem estereoscópica; gerar, usando o processador, uma segunda imagem estereoscópica em resposta ao contato; e gerar, usando o processador, um sinal para exibir a primeira imagem estereoscópica na primeira posição de exibição e exibir a segunda imagem estereoscópica em uma segunda posição de exibição, as primeira e segunda posições de exibição ficando em uma distância pré-determinada da posição de contato.
20. Mídia legível por computador não temporária tangível, caracterizada pelo fato de que armazena instruções que, quando executadas por um processador, fazem com que o processador realize um método que compreende: determinar uma posição em uma superfície da unidade de determinação correspondente a um contato entre uma parte de uma ferramenta operacional e a superfície da unidade de determinação; definir uma primeira posição de exibição de uma primeira imagem estereoscópica; gerar uma segunda imagem estereoscópica em resposta ao contato; e gerar um sinal para exibir a primeira imagem estereoscópica na primeira posição de exibição e exibir a segunda imagem estereoscópica em uma segunda posição de exibição, as primeira e segunda posições de exibição ficando em uma distância pré-determinada da posição de contato.
BRPI1107087-0A 2010-11-11 2011-11-04 aparelho de processamento de informaÇço, mÉtodo implementado por computador para exibir imagens e mÍdia legÍvel por computador BRPI1107087A2 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010253152A JP5640681B2 (ja) 2010-11-11 2010-11-11 情報処理装置、立体視表示方法及びプログラム

Publications (1)

Publication Number Publication Date
BRPI1107087A2 true BRPI1107087A2 (pt) 2013-04-09

Family

ID=45350625

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1107087-0A BRPI1107087A2 (pt) 2010-11-11 2011-11-04 aparelho de processamento de informaÇço, mÉtodo implementado por computador para exibir imagens e mÍdia legÍvel por computador

Country Status (7)

Country Link
US (2) US9176624B2 (pt)
EP (1) EP2453340B1 (pt)
JP (1) JP5640681B2 (pt)
KR (1) KR20120050901A (pt)
CN (2) CN202738033U (pt)
BR (1) BRPI1107087A2 (pt)
RU (1) RU2011144884A (pt)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5640681B2 (ja) * 2010-11-11 2014-12-17 ソニー株式会社 情報処理装置、立体視表示方法及びプログラム
WO2012162686A1 (en) 2011-05-25 2012-11-29 Centric Software, Inc. Mobile app for design management framework
JP5989315B2 (ja) * 2011-09-22 2016-09-07 任天堂株式会社 表示制御プログラム、表示制御システム、表示制御装置、および、表示制御方法
CN104519331B (zh) * 2013-09-27 2019-02-05 联想(北京)有限公司 一种数据处理方法及电子设备
CN106572389A (zh) * 2015-10-08 2017-04-19 小米科技有限责任公司 调节显示图像方法及装置
JP6092446B1 (ja) * 2015-10-23 2017-03-08 デクセリアルズ株式会社 部分駆動型光源装置及びそれを用いた画像表示装置
TWI796022B (zh) * 2021-11-30 2023-03-11 幻景啟動股份有限公司 在立體影像上執行互動的方法與立體影像顯示系統

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816137A (ja) * 1994-06-29 1996-01-19 Nec Corp 3次元座標入力装置及びカーソル表示制御方式
JP3741764B2 (ja) * 1996-02-09 2006-02-01 シャープ株式会社 三次元画像作成装置
EP2357835A3 (en) * 2002-03-27 2012-02-22 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP3971694B2 (ja) * 2002-12-11 2007-09-05 日本電信電話株式会社 オブジェクト表示方法及びその実施装置
CA2466952A1 (en) 2003-08-21 2005-02-21 Microsoft Corporation Ink collection and rendering
JP4076090B2 (ja) * 2005-04-14 2008-04-16 日本電信電話株式会社 画像表示システム
JP4933164B2 (ja) * 2005-07-01 2012-05-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび記憶媒体
GB2462579A (en) * 2008-06-10 2010-02-17 Sony Service Ct Touch screen display including proximity sensor
JP2010045584A (ja) 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
JP2010253152A (ja) 2009-04-28 2010-11-11 Asahi Kasei Kuraray Medical Co Ltd 成分献血装置、及び成分献血装置の作動方法
EP2482561A4 (en) 2010-05-27 2013-09-11 Nintendo Co Ltd PORTABLE ELECTRONIC DEVICE
JP5640681B2 (ja) * 2010-11-11 2014-12-17 ソニー株式会社 情報処理装置、立体視表示方法及びプログラム

Also Published As

Publication number Publication date
EP2453340A1 (en) 2012-05-16
RU2011144884A (ru) 2013-05-10
CN102547333B (zh) 2016-03-16
US20120120061A1 (en) 2012-05-17
CN102547333A (zh) 2012-07-04
JP2012103983A (ja) 2012-05-31
CN202738033U (zh) 2013-02-13
US20160007004A1 (en) 2016-01-07
JP5640681B2 (ja) 2014-12-17
US9176624B2 (en) 2015-11-03
EP2453340B1 (en) 2016-04-27
US9432652B2 (en) 2016-08-30
KR20120050901A (ko) 2012-05-21

Similar Documents

Publication Publication Date Title
US10652515B2 (en) Information processing apparatus, stereoscopic display method, and program
US10789760B2 (en) Focus guidance within a three-dimensional interface
US9432652B2 (en) Information processing apparatus, stereoscopic display method, and program
US8988500B2 (en) Information processing apparatus, stereoscopic display method, and program
TW201421071A (zh) 穿透型頭部穿戴式顯示系統與互動操作方法
JP5868044B2 (ja) 情報処理装置及びその制御方法、プログラム、コンピュータが読み取り可能なプログラム記憶媒体
BRPI1104449A2 (pt) aparelho e mÉtodo de processamento de informaÇço, mÉtodo implementado por computador, e, meio de armazenamento legÍvel por computador
US11057612B1 (en) Generating composite stereoscopic images usually visually-demarked regions of surfaces
CN105867597B (zh) 3d交互方法及3d显示设备
KR20120095139A (ko) 양안 카메라가 적용된 사용자 인터페이스 장치 및 매뉴얼 컨버전스 제어방법
BR102013008631A2 (pt) sistema e método para controlar magneticamente interfaces digitais tridimensionais esteroscópicas

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B08F Application fees: application dismissed [chapter 8.6 patent gazette]

Free format text: REFERENTE A 5A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: EM VIRTUDE DO ARQUIVAMENTO PUBLICADO NA RPI 2386 DE 27-09-2016 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDO O ARQUIVAMENTO DO PEDIDO DE PATENTE, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.

B15K Others concerning applications: alteration of classification

Ipc: H04N 13/00 (2018.01), G06F 3/041 (2006.0