BR102016018731A2 - dispositivo de realidade aumentada, e, método para exibir informação recebida - Google Patents

dispositivo de realidade aumentada, e, método para exibir informação recebida Download PDF

Info

Publication number
BR102016018731A2
BR102016018731A2 BR102016018731A BR102016018731A BR102016018731A2 BR 102016018731 A2 BR102016018731 A2 BR 102016018731A2 BR 102016018731 A BR102016018731 A BR 102016018731A BR 102016018731 A BR102016018731 A BR 102016018731A BR 102016018731 A2 BR102016018731 A2 BR 102016018731A2
Authority
BR
Brazil
Prior art keywords
indication
augmented reality
information
reality device
operator
Prior art date
Application number
BR102016018731A
Other languages
English (en)
Inventor
S Hendron Scott
Original Assignee
Deere & Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere & Co filed Critical Deere & Co
Publication of BR102016018731A2 publication Critical patent/BR102016018731A2/pt

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

é apresentado um dispositivo de realidade aumentada montado na cabeça para um operador de uma máquina de trabalho. o dispositivo de realidade aumentada compreende um componente de exibição configurado para gerar e exibir um recobrimento em realidade aumentada enquanto provê ao operador uma visão substancialmente desobstruída. o dispositivo de realidade aumentada também compreende um componente de campo de visão configurado para detectar um objeto dentro de um campo de visão do operador. o dispositivo de realidade aumentada também compreende um componente de comunicação sem fio configurado para se comunicar com pelo menos uma fonte de informação. o dispositivo de realidade aumentada também compreende um componente de processamento configurado para receber uma indicação a partir da pelo menos uma fonte de informação e exibir a indicação em associação com o objeto detectado.

Description

“DISPOSITIVO DE REALIDADE AUMENTADA, E, MÉTODO PARA EXIBIR INFORMAÇÃO RECEBIDA” CAMPO DA DESCRIÇÃO
[001] A presente invenção se refere a dispositivos de realidade aumentada. Mais especificamente, a presente invenção se refere a um exibidor montado na cabeça que provê uma visão com um recobrimento em realidade aumentada.
FUNDAMENTOS
[002] Em muitas indústrias, uma variedade de veículos e máquinas de trabalho pode estar disponível para uso por um operador, por exemplo colheitadeiras, tratores ou outros veículos exemplificativos. Como estas máquinas de trabalho se tomaram mais complexas, monitores e exibidores vem sendo incorporados na cabine do veículo a fim de exibir informação a respeito dos vários componentes do veículo. Por exemplo, informação pertinente ao motor, informação pertinente ao implemento do veículo tal como a altura de uma pá ou um grau de corte, assim como outras informações podem todas ser importantes para um operador tê-las prontamente visualizáveis. Porém, a fim de visualizar a informação sobre a pluralidade de exibidores um operador tipicamente precisa tirar seus olhos da trilha que ele está trabalhando para visualizar o exibidor. Isto pode resultar em distração, que pode afetar o trabalho e causar potencialmente um risco para o operador e /ou o veículo.
[003] No passado, foram feitas algumas tentativas de exibir informação de em uma maneira a não distrair. Por exemplo, exibidores de cabeça montados na máquina podem permitir que um operador enxergue a informação pertinente enquanto ele está cuidando de uma tarefa de trabalho, por exibir essa informação sobre uma superfície interveniente. Por exemplo, em automóveis, este sistema funciona bem para exibir informação do odômetro porque o operador está quase sempre olhando em uma direção constante: para frente pela rodovia adiante.
[004] A discussão acima é meramente proporcionada para informação histórica geral e não se destina a ser usada como um auxílio na determinação do escopo da matéria reivindicada.
SUMÁRIO
[005] Um dispositivo de realidade aumentada montado na cabeça para um operador de uma máquina de trabalho é apresentado. O dispositivo de realidade aumentada compreende um componente de exibição configurado para gerar e exibir um recobrimento em realidade aumentada enquanto provê ao operador uma visão substancialmente desobstruída. O dispositivo de realidade aumentada também compreende um componente de campo de visão configurado para detectar um objeto dentro de um campo de visão do operador. O dispositivo de realidade aumentada também compreende um componente de comunicação configurado para se comunicar com pelo menos uma fonte de informação. O dispositivo de realidade aumentada também compreende um componente de processamento configurado para receber uma indicação a partir da pelo menos uma fonte de informação e exibir a indicação em associação com o objeto detectado.
[006] Este sumário é fornecido para introduzir de uma forma simplificada uma seleção de conceitos que são ainda descritos abaixo na descrição detalhada. Este sumário não se destina a identificar características ou características essenciais da matéria reivindicada, nem ele se destina a ser usado como um auxílio na determinação do escopo da matéria reivindicada. A matéria reivindicada não é limitada a implementações que resolvem quaisquer ou todas as desvantagens assinaladas nos fundamentos.
BREVE DESCRIÇÃO DOS DESENHOS
[007] A FIG. IA ilustra um dispositivo de realidade aumentada portável exemplificativo que pode ser útil em uma modalidade da presente invenção.
[008] A FIG. 1B ilustra um veículo exemplificativo em que modalidades da presente invenção são particularmente úteis.
[009] A FIG. 2 ilustra um dispositivo de computação exemplificativo de acordo com uma modalidade da presente invenção.
[0010] As FIGS. 3A-3D ilustram vistas exemplificativas de realidade aumentada de acordo com uma modalidade da presente invenção.
[0011] A FIG. 4 ilustra um método exemplificativo de exibir informação de objeto armazenada sobre um objeto associado de acordo com uma modalidade da presente invenção.
[0012] A FIG. 5 ilustra um método exemplificativo de exibir uma indicação sobre um objeto visualizado de acordo com uma modalidade da presente invenção.
[0013] A FIG. 6 ilustra um método exemplificativo de fornecer um alerta dentro de um campo de visão de um operador de acordo com uma modalidade da presente invenção.
[0014] A FIG. 7 ilustra um método exemplificativo de fixar informação de objeto sobre um objeto associado de acordo com uma modalidade da presente invenção.
DESCRIÇÃO DETALHADA
[0015] Dispositivos de realidade aumentada representam uma tecnologia emergente capaz de fornecer mais informação a um usuário a respeito do mundo em volta dele. Diferentes dispositivos de realidade aumentada existem na técnica, por exemplo um conjunto de cabeça Oculus Rift, que vai ser logo disponibilizado por Facebook, Inc. de Delaware EUA, que fornece um conjunto de cabeça totalmente de realidade virtual portável por um usuário. Outros fabricantes incorporaram uma realidade aumentada sobre o topo de uma vista percebida por um usuário, por exemplo Google Glass, disponível de Google, Inc. de Delaware EUA.
[0016] Para operadores de máquinas de trabalho complexas, uma multiplicidade de informações é disponível para um operador, a partir de uma variedade de fontes. Veículos agrícolas representam uma categoria de máquinas de trabalho com que as modalidades discutidas aqui podem ser úteis. Porém, as modalidades e métodos descritos aqui podem também ser utilizados em outras máquinas de trabalho, por exemplo em máquinas de trabalho residenciais, máquinas de trabalho de construção, máquinas de trabalho conservação de paisagismo e relva, máquinas de trabalho de silvicultura ou outras máquinas de trabalho. Por exemplo, para uma máquina de trabalho agrícola, informação de clima pode ser importante durante o plantio e a colheita. Adicionalmente, sensores sobre o veículo podem reportar informações importantes para um operador, por exemplo velocidade atual e nível de combustível para uma máquina de trabalho específica, assim como condições de diferentes implementos.
[0017] Alguns benefícios de modalidades descritas aqui é que um exibidor montado na cabeça, descrito aqui, pode permitir tanto que um operador tenha um campo de visão não obscurecido, quanto tenha também informação relativa à máquina de trabalho e implementos relacionados apresentadas de uma maneira útil, porém não distraidora. Algumas modalidades descritas aqui também apresentam seletivamente informação para um operador de uma máquina de trabalho em relação a objetos detectados dentro de um campo de visão detectado. Em uma modalidade, a informação virtual pode ser fornecida em um formato travado de maneira tal que a informação aparecer para um operador como se ela fosse gerada por uma porção do dispositivo em seu campo de visão. Por exemplo, pode ser desejado que a informação apareça similar a logotipos ou outra informação apresentada sobre dispositivos reais ou componentes do dispositivo de maneira tal que o operador pode perceber e processar a informação e de maneira tal que qualquer náusea ou desconforto associados com dispositivos de realidade aumentada tradicionais são reduzidos.
[0018] A FIG. IA ilustra um dispositivo de realidade aumentada montado na cabeça exemplificativo que pode ser útil em uma modalidade. Como mostrado na FIG. IA, pode ser importante que o operador 100 tenha um campo de visão 104 substancialmente desobstmído ao portar um dispositivo de realidade aumentada 102. Isto é particularmente importante de modo que o dispositivo de realidade aumentada 102 auxilia e não distrai um operador 100 operando uma máquina de trabalho. Em uma modalidade, o dispositivo de realidade aumentada 102 pode também ser configurado para prever alguma proteção contra raios ultravioletas, por exemplo com lentes pelo menos parcialmente tingidas. Porém, em uma outra modalidade, o dispositivo de realidade aumentada 102 compreende um material transparente, por exemplo vidro ou um plástico transparente.
[0019] A FIG. 1B ilustra um veículo exemplificativo em que modalidades da presente invenção são particularmente úteis. Em uma modalidade, o veículo é uma máquina agrícola 120, mas outros veículos e máquinas de trabalho exemplificativos são também considerados. A máquina de trabalho exemplificativa 120 pode compreender uma pluralidade de implementos com sensores associados, cada um dos quais pode estar coletando e fornecendo informação a um operador 100 sentado dentro de uma cabine 122 da máquina de trabalho 120. O motor da máquina 120 tipicamente tem uma pluralidade de sensores do motor 124, por exemplo fornecendo informação a respeito da temperatura atual do motor, pressão de óleo, combustível remanescente, velocidade ou outra informação. Adicionalmente, a máquina de trabalho 120 pode ter um implemento, por exemplo uma colheitadeira, um cortador, e/ou um implemento espalhador de fertilizante com um ou mais sensores de implemento 126. Os sensores de implemento 126 podem coletar informação compreendendo, por exemplo, uma altura de pá para um cortador, uma indicação de um emperramento potencial em uma unidade de fileira semeadora, velocidade atual de uma máquina de trabalho, combustível remanescente, clima - informação correlata, ou qualquer outra informação relevante para o operador 100. Adicionalmente, em uma modalidade, a máquina de trabalho 120 pode ter uma pluralidade de rodas cada uma das quais pode também ter uma pluralidade de sensores de roda 128 configurados para coletar e fornecer informação a respeito de condições do solo ou pressão de ar na mesma [0020] A máquina de trabalho 120 pode também ser equipada com uma pluralidade de câmeras, ou outros sensores, que podem ser configuradas para coletar e fornecer informação para o operador 100 a respeito de condições em volta da máquina de trabalho. Por exemplo, o operador 100 pode, enquanto opera a máquina de trabalho 120 em um sentido inverso, desejar poder visualizar a área diretamente atrás dele. Uma câmera de reserva pode fornecer esta informação. A câmera de reserva, em conjunto com sensores de roda 128 e/ou uma orientação de volante, pode fornecer uma indicação de qual direção a máquina de trabalho 120 pode se deslocar. Todas as fontes de informação podem ser desejadas por um operador 100 em um tempo dado. Porém, pondo toda esta informação sobre um único ou mesmo múltiplos exibidores pode fornecer ao operador informação demasiada para processar razoavelmente sem distração.
[0021] A FIG. 2 ilustra um diagrama em bloco simplificado de um dispositivo de computação exemplificativo de um exibidor montado na cabeça de acordo com uma modalidade. O dispositivo de computação 200 pode compreender um processador 202, configurado para processar informação recebida. O dispositivo de computação 200 pode também compreender um analisador 204, configurado para analisar informação bruta do sensor, em uma modalidade, em contexto com um campo de visão detectado 104. O dispositivo de computação 200 pode também compreender, em uma modalidade, um componente de comunicações 206 configurado para receber informação a partir de e se comunicar com uma variedade de fontes.
Adicionalmente, o dispositivo de computação 200 pode também compreender um componente de memória 210 configurado para armazenar informação recebida bruta e processada.
[0022] O dispositivo de computação 200 pode, em uma modalidade, receber informação a respeito de um dispositivo exemplificativo, por exemplo através do componente de comunicações 206. A informação pode ser pertinente, por exemplo, a componentes funcionais de máquina de trabalho 120, ou a respeito de um ambiente exemplificativo, por exemplo clima e/ou condições atuais do solo. O componente de comunicação 206 pode estar em comunicação constante, ou intermitente, com uma pluralidade de fontes diferentes. Em uma modalidade, o componente de comunicações 206 pode obter informação a respeito de uma máquina 120 ou suas circunvizinhanças através de uma pluralidade de dispositivos de câmera 220. Em uma outra modalidade, o componente de comunicações 206 pode receber informação a respeito da máquina 120 ou suas circunvizinhanças através de uma pluralidade de dispositivos sensores 222, por exemplo sensores de motor 124 como mostrado na FIG. 1B.
[0023] O componente de comunicações 206 pode também, em uma modalidade, ser comunicavelmente conectado a e receber informação sobre uma rede 224. Em uma modalidade, quando um operador 100 que porta um dispositivo de realidade aumentada 102 encontra um objeto dentro de seu campo de visão, o dispositivo de realidade aumentada 102 pode não ser capaz de identificar prontamente o objeto e o componente de comunicações 206 pode, através da conexão à rede 224, obter uma identificação do objeto.
[0024] Em uma modalidade, o componente de comunicações 206 pode fornecer pelo menos alguma informação obtida a partir de qualquer uma das fontes 220, 222 e/ou 224, para o analisador 204. O analisador 204 pode ser responsável por analisar a informação recebida do componente de comunicações 206. O componente de exibição 208 pode compreender uma conexão com o dispositivo de realidade aumentada 102. Por exemplo, em uma modalidade, o componente de exibição 208 pode ser capaz de determinar um campo de visão 104 para um operador 100 com base em informação sensorial ou câmeras dentro do dispositivo de realidade aumentada 102. O analisador 204 pode, em uma modalidade, identificar um ou mais objetos dentro do campo de visão 104. O analisador 204 pode também, em uma modalidade, determinar que informação recebida através de componente de comunicações 206 se refere a objetos identificados dentro do campo de visão 104.
[0025] Informação proveniente de uma ou mais fontes pode ser armazenada dentro da memória 210, que pode compreender tanto memória volátil, RAM 212 quanto memória não volátil assim como uma base de dados de informação armazenada. Em uma modalidade, a memória 210 pode conter dados históricos de 216, dados atuais de sensor 218 e um ou mais limiares de alerta 214. Por exemplo, quando o analisador 204 determina que um operador 100 tem um componente de motor de uma máquina de trabalho 120 dentro de campo de visão 104, o analisador 204 pode ter acesso a dados históricos de sensor armazenados 216 associados com o componente de motor detectado. O analisador 204 pode, em uma modalidade, fornecer os dados históricos de sensor 216, além dos dados atuais de sensor 216, por exemplo recebidos de dispositivos sensores 222 e exibir estes através do dispositivo de realidade aumentada 102. Isto pode ser útil para um operador 100 a fim de determinar se o motor está se aproximando de uma condição de superaquecimento. Uma temperatura indicando uma condição de superaquecimento pode ser armazenada, por exemplo dentro das porções limiares de alerta armazenados 214 da memória 210.
[0026] Em uma modalidade, o dispositivo de computação 200 é um componente do dispositivo de realidade aumentada 102. Em uma outra modalidade, o dispositivo de computação 200 pode ser um componente da máquina de trabalho 120. Em uma outra modalidade, pelo menos uma parte do dispositivo de computação 200 pode ser um componente de um componente de processamento de máquina de trabalho 120. Por exemplo, em uma modalidade, o componente de memória 210 de um dispositivo de realidade aumentada 102 pode não armazenar tal informação como, por exemplo condições de alerta definidas pelo fabricante tais como temperatura de superaquecimento e pressão para um motor, que são ao invés recuperadas pelo componente de comunicação 206 comunicando-se com um dispositivo de computação associado com a máquina de trabalho 120.
[0027] As FIGS. 3A-3D ilustram vistas de realidade aumentada exemplificativas de acordo com uma modalidade. Pode ser importante, em uma modalidade, para um operador 100 ter um campo de visão substancialmente desobstruído 104 enquanto opera uma máquina de trabalho 120. A tecnologia anterior de realidade aumentada frequentemente apresentava informação de maneira tal que ela parecia ser flutuante no espaço em frente do observador. Esta informação flutuante dentro do centro de um campo de visão pode proporcionar mais distração do que utilidade para um operador, particularmente se ela obstrui riscos potências. Portanto, é desejado que pelo menos uma parte da informação apresentada através do dispositivo de realidade aumentada 102 é apresentada de maneira tal que ela parece ser gerada a partir de, ou travada sobre, uma porção do componente associada com essa informação.
[0028] A FIG. 3A ilustra um uma vista de realidade recoberta 300, que pode ser apresentada a um operador 100 quando porta um dispositivo de realidade aumentada 102. O operador 100 pode ver diferentes porções de informação apresentadas dentro de seu campo de visão 104. Esta informação pode ser apresentada em uma variedade de formatos, por exemplo como indicador flutuante 302, um indicador travado 304, ou um indicador semi-travado 306. A fim de assegurar que o operador 100 tenha uma experiência realística ao portar o dispositivo de realidade aumentada 102, A informação exibida deve, como o melhor possível, parecer ser gerada pelo componente associado e não dispositivo de realidade aumentada 102. Portanto, o indicador travado 304 pode parecer ser gerado pelo motor.
[0029] Como mostrado na FIG. 3A, indicador travado 304 mostra uma pressão atual e temperatura atual relacionadas ao motor. Este indicador 304 pode ser apresentada a um operador 100 de maneira tal que ele parece real, como um logotipo ou tingimento realmente sobre uma superfície do motor. Em uma modalidade, indicadores travados 304 parecem ser uma parte de suas circunvizinhanças, de maneira tal que, se o operador 100 vira para a esquerda ou para a direita. A informação parece permanecer substancialmente no lugar.
[0030] Em uma modalidade, o indicador 304 é apresentado a um operador como se ele fosse parte da superfície do objeto, por exemplo, como tinta sobre um exterior do motor. Em uma outra modalidade, o indicador 304 é apresentado a um operador como se ele estivesse fixado a um ponto sobre o objeto, por exemplo além de marcas de banda de rodagem previstas travadas sobre e estendendo-se a parti deum pneu. Em uma outra modalidade, o indicador 304 é apresentado a um operador como se ele estivesse superposto sobre o objeto, por exemplo como um logotipo ou um rótulo. Em uma outra modalidade, o indicador 304 é apresentado a um operador como se ele estivesse flutuado a uma distância especificada em relação ao objeto, por exemplo, como se ele estivesse 1,5 metro em frente do veículo.
[0031] O operador 100 pode ver outros tipos de indicadores em seu campo de visão 104, por exemplo um indicador flutuante 302 que pode aparecer sobre uma periferia do campo de visão 104. O indicador flutuante 302 pode, portanto, não obstruir substancialmente um campo de visão 104, mas pode indicar que há informação de sensor importante que poderia ser visível, por exemplo pelo operador 100 virar para a direita, como indicado pela FIG. 3A. Em um cenário onde um limiar de alerta foi alcançado para um componente fora um campo de visão atual 104, um indicador flutuante 302 pode ser importante a fim de chamar a atenção do operador 100 para onde ele é necessário.
[0032] Adicionalmente, o dispositivo de realidade aumentada 102 pode também fornecer um ou mais semi-indicadores travados 306. Os semi-indicadores travados 306 podem aparecer como sedo travados sobre uma superfície de um dispositivo, muito embora a informação fornecida pelo semi-indicador travado 306 não seja necessariamente associada com a superfície do dispositivo. Por exemplo, como mostrado na FIG. 3A, informação climática fornecida no semi-indicador travado 306 aparece como estando travava sobre uma porção da janela da cabina. Assim, se o operador 100 tiver de inclinar sua cabeça de modo ele está olhando mais cima, ele pode ver a informação climática vir para o centro do campo de visão 104, de maneira tal que, se o operador 100 inclina sua cabeça para baixo, a informação climática pode desaparecer do campo de visão 104.
[0033] A FIG. 3B ilustra uma outra vista de realidade recoberta exemplifícativa que pode ser apresentada a um operador em uma modalidade. Na FIG. 3B, o operador pode visualizar não apenas informação pertinente à máquina de trabalho 120, mas também informação pertinente a um outro objeto dentro do campo de visão 104. Por exemplo, na FIG. 3B, o operador 100 pode ver, dentro do campo de visão 104, uma semeadora adiante. Informação pertinente à semeadora, uma vez que ela está mais afastada do que informação pertinente ao dispositivo do operador, pode aparecer de modo diferente. Em uma modalidade, indicadores apresentados pelo dispositivo de realidade aumentada podem parecer ser menores se se eles se referem a objetos mais afastados. Em uma modalidade, isto pode ser mostrado pelos indicadores de distância 340 associados com a semeadora. Estes indicadores podem ser apresentados com uma fonte menor do que o indicador de alerta 320 e o indicador de tendência 330 que se referem a componentes fisicamente mais próximos do operador 100. O uso de diferenças de tamanho na apresentação de informação ao operador 100, pode permitir que a experiência seja realística, resultando em menos distração.
[0034] Em uma modalidade, o operador 100 pode interagir com o veículo 120 através do dispositivo de realidade aumentada 102 e ver indicadores apresentando diferentes formas de informação. Em uma modalidade, o operador pode ver um indicador de alerta 320 indicando que um sensor recebeu informação pertinente a um potencial problema com a máquina 120. Por exemplo, como mostrado na FIG. 3B, um indicador de alerta 320 pode ser apresentado sobre o motor de máquina 120 indicando um potencial superaquecimento. O indicador de alerta 320 pode, em uma modalidade, ser acoplado com um indicador de tendência 330. O indicador de tendência 330 pode indicar uma tendência histórica de informação proveniente um sensor. Assim, como mostrado na FIG. 3B, embora o motor possa estar atualmente em um cenário de superaquecimento, a temperatura atual está em um padrão de resfriamento, indicando que intervenção do operador pode não ser necessária.
[0035] Adicionalmente, como mostrado na FIG. 3B, o dispositivo de realidade aumentada 102 pode apresentar um ou mais indicadores traseiros 350. Embora os sensores 222 possam obter informação relativa a objetos em 360° completos em relação à máquina de trabalho 120, nem toda informação pode ser exibível de uma só vez. Em uma modalidade, detectando que o operador 100 está olhando em um espelho retrovisor, o dispositivo de realidade aumentada 102 pode exibir informação a respeito de objetos localizados substancialmente atrás do operador 100. Exibir esta informação de uma maneira esperada pelo cérebro humano, por exemplo, no espelho retrovisor, pode resultar em uma experiência mais realística com menos distrações para o operador 100.
[0036] Em uma modalidade, a informação fornecida pelos sensores 222 pode ser entregue ao dispositivo de realidade aumentada 102 de maneira sem fio. Z A capacidade de reportar informação sobre parâmetros ou componentes da máquina ao conjunto de cabeça de maneira sem fio pode permitir que o operador 100 continue a obter atualizações a respeito do veículo 120 depois de deixar a cabine. Por exemplo, na FIG. 3C, um operador deixou a cabine do veículo e está agora uma certa distância afastado. Em uma modalidade, o operador 100 pode ainda ser capaz de ver uma pluralidade de indicadores travados 304. Em uma modalidade, o operador pode ser capaz de ver que um implemento de corte está a uma certa altura acima do solo e que um motor apresenta uma certa temperatura e pressão.
[0037] A FIG. 3D ilustra um recobrimento em realidade aumentada exemplificativo para um operador 100 visualizando uma colheitadeira de corte no comprimento. Em uma modalidade, uma colheitadeira de corte no comprimento pode tomar posse uma árvore para colheita. Para um operador na cabine de uma colheitadeira de corte no comprimento, há muita informação relevante que é, atualmente, frequentemente exibida sobre monitores para o lado de um campo de visão operacional. Por exemplo, parâmetros relacionados com a árvore sendo colhida, tais como diâmetro da árvore e comprimento colhido assim como informação relativa à pá da colheitadeira, tal como comprimento e grau cortado pode ser mais útil se apresentada dentro do campo de visão 104 do operador 100.
[0038] Em uma modalidade, utilizando um dispositivo de realidade aumentada portável durante operação da colheitadeira de corte no comprimento, informação pode ser exibida por indicadores travados 306 diretamente dentro do campo de visão 104. Em uma modalidade, informação pertinente à árvore pode ser exibida com um indicador de distância 340 que aparece como sendo travado sobre a própria árvore, mas usa um texto menor para indicar que a árvore está a uma distância do operador 100.
Adicionalmente, pode haver um ou mais indicadores travados 306 correspondendo à informação a respeito da colheitadeira de corte no comprimento, por exemplo aqueles mostrados na FIG. 3D indicando um grau e comprimento cortado atuais de uma colheitadeira de corte no comprimento.
[0039] A FIG. 4 ilustra um método exemplificativo de exibir informação armazenada do objeto sobre um objeto associado de acordo com uma modalidade. O dispositivo de realidade aumentada pode ser capaz de, mediante o método 400, recuperar e exibir informação armazenada do sensor para um operador por detecção de um objeto relevante dentro do campo de visão 104. Em uma modalidade, a informação armazenada pode ser dados históricos de tendência, dados históricos de alerta ou informação de sensor previamente recuperada pertinente ao objeto.
[0040] No bloco 410, um dispositivo de computação exemplificativo, por exemplo, o dispositivo 200, recebe uma indicação de sensor. A indicação de sensor pode provir de qualquer um dentre uma pluralidade de sensores relacionados ao dispositivo e pode ser pertinente a informação do motor, informação do implemento, informação do operador, e/ou qualquer outra informação relevante, por exemplo informação climática. Em uma modalidade, informação é passivamente recebida pelo dispositivo de computação 200 independentemente da relevância imediata de um campo de visão detectado atual 104. Em uma outra modalidade, informação é ativamente coletada com base em objetos identificados dentro do campo de visão atual 104.
[0041] No bloco 420, informação de sensor recebida é armazenada. Tal armazenamento pode incluir indexar a informação de sensor por objeto relevante. Em uma modalidade, o armazenamento compreende indexar a informação de sensor com base em um campo de visão em que a informação pode ser apresentada, por exemplo visualizando o objeto diretamente, ou visualizando o objeto em um espelho retrovisor. Esta informação pode ser armazenada, por exemplo dentro da memória 210. Ela pode ser armazenada, em uma modalidade, em uma memória associada com um dispositivo de computação a bordo da máquina de trabalho 120. Porém, em uma outra modalidade, ela pode ser armazenada dentro de uma memória associado com o dispositivo de realidade aumentada 102. A informação de sensor pode ser armazenada dentro de um dispositivo de computação sobre uma máquina agrícola exemplificativa e então ser retransmitida, de maneira tal que o dispositivo de realidade aumentada 102 está apenas em comunicação direta com um computador a bordo da máquina de trabalho 120 e não em sensores de comunicação de direta. Em uma outra modalidade, a informação de sensor é recebida diretamente pelo dispositivo de realidade aumentada 102, que então indexa e armazena a informação em um armazenamento interno para posterior recuperação.
[0042] No bloco 430, uma indicação do usuário é recebida. A The indicação do usuário pode incluir detecção de uma mudança no campo de visão 104. Por exemplo, o dispositivo de realidade aumentada 102 pode receber uma indicação que operador 100 virou sua cabeça um número de grais para a esquerda ou para direita, mudando pelo menos uma parte do campo de visão 104. A detecção pode ser facilitada, em uma modalidade, por um ou mais acelerômetros dentro do dispositivo de realidade aumentada 102. A detecção pode, em uma modalidade, ser facilitada por uma pluralidade de câmeras associadas com o dispositivo de realidade aumentada 102. Adicionalmente, a indicação pode compreender detecção de uma mudança na posição da máquina de trabalho 120. A medida que a máquina de trabalho 120 se move, um campo de visão 104 de operador 100 vai mudar, à medida que objetos se movem para dentro e para fora do campo de visão 104.
[0043] Além de receber informação a respeito um campo de visão atual 104, no bloco 430, o dispositivo de realidade aumentada pode também receber uma requisição audível a partir do usuário. Por exemplo, em uma modalidade, o dispositivo de realidade aumentada 102 pode ser capaz de detectar e processar um comando audível, tal como uma pergunta, “qual é a temperatura atual do motor?” ou um comando “mostre previsão do tempo de hora em hora”.
[0044] No bloco 440, o dispositivo de realidade aumentada 102 pode identificar um objeto associado a indicação recebida do usuário. Por exemplo, em uma modalidade onde a indicação do usuário é uma requisição audível para uma temperatura atualizada do motor, o dispositivo de realidade aumentada 102 pode identificar que o motor é o objeto associado com a indicação do usuário. Em uma outra modalidade, onde a indicação do usuário é uma detecção que um campo de visão mudou, de maneira tal que um novo dispositivo ou componente do dispositivo está agora dentro do campo de visão 104, o dispositivo de realidade aumentada pode detectar que o objeto recém visualizável corresponde a um implemento de corte. O método 400 pode determinar, inicialmente, se uma superfície do objeto relevante está dentro de um campo de visão atual 104. Se não houver nenhum objeto relevante dentro de um campo de visão atual 104, uma outra superfície apropriada, por exemplo um painel de instrumentos, ou uma janela da cabine pode ser selecionada ao invés. Adicionalmente, se o objeto relevante está substancialmente atrás do operador 100, a superfície do espelho retrovisor pode ser selecionada. Se nenhuma superfície apropriada é disponível, um indicador flutuante 302 pode ser usado a fim de guiar um operador 100 para a informação recém disponível. Em uma outra modalidade, o operador 100 pode ser capaz de selecionar uma superfície, ou por uma indicação tal como “exibir informação climática sobre a janela da cabine” ou através de um processo de pré-seleção.
[0045] Em uma modalidade, informações identificando o objeto e sinais de sensor referentes ao objeto, são extraídas de diferentes fontes. Por exemplo, os sinais de sensor podem ser periodicamente recebidos de dispositivos sensores, ou da memória como requerido. A identificação do objeto, porém, pode ser recuperada a partir de uma fonte externa, por exemplo a Internet. O objeto pode ser identificado, por exemplo, pelo dispositivo de realidade aumentada 102 capturando indicações de potenciais objetos dentro de um campo de visão 104 e enviando as indicações capturadas ao analisador 204. Se o analisador 204 não pode identificar prontamente a indicação capturada como um objeto, por exemplo acessando a memória 210, a indicação capturada pode ser enviada a um componente de processamento externo (não mostrado), pelo componente de comunicações 206, sobre uma rede 224. O componente de processamento externo pode identificar a indicação como um objeto de interesse e enviar uma identificação do objeto de volta ao dispositivo de realidade aumentada 102. Em uma modalidade, o componente de processamento externo pode também identificar sinais de sensor potencialmente relevantes, por exemplo depois de identificar um objeto como um tanque de armazenamento, volume e/ou peso podem ser indicados como sinais de sensor relevantes.
[0046] Em um outro exemplo, o objeto indicado pode ser identificado como uma ferramenta de trabalho associada com um veículo agrícola e um sinal de sensor relevante indicado pode ser uma distância acima do nível do solo. O dispositivo de realidade aumentada 102 pode, então, sobrepor uma distância recuperada a partir do solo sobre uma articulação identificada entre a ferramenta de trabalho e a máquina de trabalho 120. Em uma modalidade, a distância recuperada a partir do solo é uma medição dinâmica como, por exemplo, a ferramenta de trabalho pode estar em movimento com respeito ao solo em um dado tempo.
[0047] Em um outro exemplo a posição do recobrimento de imagem é selecionado com base em sinais de sensor associados com o veículo 120, ao invés de um componente de processamento de imagem. Por exemplo, o campo de visão 104 pode ter o veículo 120 em uma posição de referência de 0o e um sensor associado com um implemento em uma posição a 45° 'para a direita do de operador 102. Detectando uma mudança de campo de visão 104 correspondendo ao operador 102 virar 45° para a direita, informação de sensor pertinente ao implemento pode ser exibida em um recobrimento de imagem sobre o implemento.
[0048] No bloco 450, o dispositivo de realidade aumentada pode exibir informação de sensor apropriada sobre o objeto associado. Em uma modalidade onde o objeto recém detectado é um implemento de corte, informação de sensor relevante, tal como velocidade e altura da pá pode ser exibida de maneira tal que ela aparece como sendo fixada sobre o implemento de corte. A informação exibida no bloco 450 pode ser atualizada como a nova informação de sensor é recebida. Por exemplo, se o implemento de corte está movendo em lugar, a altura exibida pode ser atualizada à medida que o implemento se move. Em uma modalidade, a informação exibida é apenas atualizada periodicamente, por exemplo uma vez por segundo. Em uma outra modalidade, a informação é atualizada em tempo real como nova informação de sensor é recebida. Porém, em uma modalidade, onde múltiplos sensores estão reportando informação em tempo real, diferentes indicações podem ser atualizadas a diferentes taxas. Por exemplo, o método 400 pode determinar que, uma vez que o implemento de corte está se movendo com base em ações pelo operador, sua informação exibida associada pode ser atualizada em tempo real enquanto que outras informações, por exemplo, pertinentes à temperatura atual do motor, podem ser atualizadas menos frequentemente. Uma atualização constante de todas as informações de sensor pode ser pressionante para um operador 100 e causar distração. Ter diferentes taxas de atualização para informação importante para uma tarefa detectada e outras informações pode proporcionar uma experiência menos distraidora.
[0049] Em uma modalidade, no bloco 445, uma distância entre o operador 100 e o objeto relevante é determinada. Detectando que o objeto recém identificado está a uma certa distância afastado do operador 100, a etapa de exibição no bloco 450 pode exibir a informação de sensor em um texto menor ou maior, conforme apropriado. Por exemplo, informação relativa ao objeto mais do que 3 metros em relação ao operador 100, pode ser em um texto menor do que informação exibida para o operador 100 como fixada sobre a janela de uma cabine, por exemplo.
[0050] A FIG. 5 ilustra um método exemplificativo de exibir uma indicação sobre um objeto visualizado de acordo com uma modalidade. Em uma modalidade onde informação de sensor é armazenada em uma memória remota em relação ao dispositivo de realidade aumentada 102, ela pode não ser recuperada até um objeto associado ter sido detectado dentro do campo de visão 104.
[0051] No bloco 510, um dispositivo de realidade aumentada identificas um campo de visão para o operador 100. O campo de visão 104 pode ser identificável com base em câmeras associadas com o dispositivo de realidade aumentada 102. Adicionalmente ou altemativamente, o campo de visão 104 pode ser determinado com base em acelerômetros internos. Em um outro exemplo, o dispositivo de realidade aumentada 102 pode sofrer um período de calibração para cada operador antecipado, de maneira tal que o dispositivo de realidade aumentada 102 pode perceber com precisão um campo de visão 104 e detectar quais objetos um operador percebe.
[0052] No bloco 520, o dispositivo de realidade aumentada 102 identifica um objeto como dentro do campo de visão 104. A identificação de um objeto pode incluir, por exemplo, determinar que um objeto conhecido está dentro do campo de visão 104. Por exemplo, o dispositivo de realidade aumentada 102, em comunicação com uma máquina de trabalho exemplificativa, pode ser capaz de identificar diferentes objetos associados com a máquina de trabalho, por exemplo um implemento, um motor, e/ou um painel de instrumentos. Em uma outra modalidade, porém, o dispositivo de realidade aumentada pode ser capaz de identificar um objeto com base em um catálogo de objetos conhecidos, ou acessando uma rede, por exemplo a Internet, para determinar uma potencial identificação de um objeto detectado. Por exemplo, como ilustrado na FIG. 3D, o dispositivo de realidade aumentada 102 pode ser capaz de identificar um objeto retido pelo implemento de corte como uma árvore.
[0053] No bloco 530, o dispositivo de realidade aumentada 102 recupera informação de sensor relacionada a um objeto identificado. Em uma modalidade, receber informação de sensor compreende recuperar uma última leitura capturada do sensor. Por exemplo, se um sensor é configurado para reportar a temperatura do motor uma vez a cada cinco segundos, recuperar informação de sensor pode compreender recuperar e exibir uma temperatura do motor a partir de, por exemplo três segundos antes, pois esta é a informação a mais recente de sensor disponível. Em uma outra modalidade, recuperar informação de sensor compreende enviar um comando ao sensor para tomar e reportar de volta uma leitura atual do sensor.
[0054] No bloco 540, a informação de sensor recuperada, em uma modalidade, é exibida pelo dispositivo de realidade aumentada 102 de maneira tal que ela aparece como sendo ser associada com o objeto identificado. Em uma modalidade, isto compreende exibir a informação de sensor de maneira tal que ela aparece como sendo ser travada sobre o objeto associado. Em uma outra modalidade, isto pode compreender exibir informação de sensor de modo que ela aparece como sendo semi-travada, por exemplo através de um indicador traseiro 350 sobre um espelho retrovisor dentro do campo de visão 104. O método 500 pode ser cíclico através das etapas descritas acima com respeito aos blocos 520, 530 e 540 para tantos objetos quanto são detectados dentro do campo de visão 104.
[0055] A FIG. 6 ilustra um método exemplificativo de emitir um alerta dentro de um campo de visão de um operador com uma modalidade.
Pode ser importante, abastecer o operador 100 com informação de alerta, mesmo se o objeto que dispara o alerta não está no campo de visão 104. Porém, é extremamente importante assegurar que o alerta seja conduzido de maneira tal que ele chama a atenção do operador 100, sem distraí-lo de uma tarefa atual. Portanto, pode ser desejado para o alerta aparecer dentro do campo de visão 104, mas não no centro do campo de visão 104. Por exemplo, pode ser útil para o método 600 exibir o alerta em uma periferia do campo de visão 104.
[0056] No bloco 610, em uma modalidade, o dispositivo de realidade aumentada 102 recebe uma indicação de alerta relativa a um objeto. Por exemplo, pode ser recebida informação de sensor indicando que um motor está superaquecendo, ou que uma unidade de fileira de uma semeadora está experimentando um emperramento. Esta indicação de alerta pode ser recebida, por exemplo, em uma modalidade, muito embora o motor ou a unidade de fileira exemplificativos não estejam dentro do campo de visão 104. Porém, o alerta pode ser importante, uma tal indicação deve ser fornecida antes do operador 100 encontrar em seguida o objeto relevante dentro do campo de visão 104.
[0057] No bloco 620, em uma modalidade, é exibida uma indicação dentro do campo de visão 104. A indicação pode ser exibida, em uma modalidade, nas bordas periféricas do campo de visão 104 de modo a chamar a atenção, mas minimizando a distração do operador 100. Por exemplo, como mostrado na FIG. 3A pelo indicador flutuante 302, uma indicação de alerta pode ser exibida de maneira tal que ela aparece como sendo gerada por um objeto dentro da visão periférica do operador 100. O cérebro humano é acostumado a perceber informação sobre a periferia de seu campo de visão, por exemplo alguém acenando para chamar a atenção de uma pessoa. Ao se ver uma indicação sobre as bordas periféricas de sua visão, o operador 100 pode então virar sua cabeça a fim de perceber mais precisamente a fonte da indicação periférica. Isto pode permitir que um operador perceba facilmente que um alerta foi disparado tem, sem provocar uma distração ou um ambiente não realístico.
[0058] No bloco 630, em uma modalidade, o dispositivo de realidade aumentada 102 detecta um objeto relevante dentro de campo de visão 104. Isto pode ocorrer, por exemplo, quando o dispositivo de realidade aumentada 102 detecta movimento do operador 100 virando na direção do alerta perifericamente localizado. Isto pode também ocorrer, por exemplo, quando o dispositivo de realidade aumentada detecta movimento do objeto para o campo de visão 104.
[0059] No bloco 640, em uma modalidade, a informação de alerta é exibida em associação com o objeto dentro do campo de visão 104. A informação de alerta é exibida de maneira tal que ela aparece como sendo travada sobre o objeto associado com o alerta. Em uma modalidade, o objeto está a uma alerta significativa do operador e a informação de alerta é exibida em uma fonte menor para refletir a distância, mas em um formato significativo a fim de chamar a atenção do operador.
[0060] Em uma modalidade a informação de alerta é exibida em fonte em negrito ou uma fonte brilhantemente colorida, por exemplo em vermelho ou verde. O alerta pode também ser distinguido de outro modo, por exemplo como texto realçado, ou como um indicador não baseado em texto. Em uma modalidade, o dispositivo de realidade aumentada 102 detecta uma cor do objeto relevante e exibe a informação de alerta em uma cor complementar. Por exemplo, contra um fundo verde, a informação de alerta pode aparecer vermelha. Por exemplo, contra um fundo alaranjado, a informação de alerta pode aparecer azul. Isto pode auxiliar o operador 100 em rapidamente identificar e responder ao alerta gerado.
[0061] Em uma modalidade, o método 600 pode também fornecer informação de alerta que não é gerada por um objeto. Por exemplo, a informação de alerta pode vir de uma fonte externa, tal como as um aplicativo acessando a Internet. Em uma modalidade, o operador 100 pode precisar estar ciente de tendências climáticas que estão por vir, de maneira tal que o equipamento pode ser armazenado antes da chegada de uma tempestade. Em uma outra modalidade, o operador 100 pode precisar estar ciente de obstáculos subterrâneos detectados, tais como linhas de serviços públicos. A indicação de alerta pode ser recebida sobre uma rede e exibida ao operador 100, por exemplo usando qualquer um dos métodos 400, 500 ou 600.
[0062] Adicionalmente, embora o bloco 620 contemple uma modalidade onde a indicação é exibida dentro do campo de visão 104, é também contemplado que a indicação pode ser uma indicação audível. Por exemplo, o dispositivo de realidade aumentada 104 pode ter um ou mais alto-falantes configurados para serem posicionados em volta da cabeça do operador 100. Se uma indicação de alerta se refere a um objeto atrás e à esquerda do operador 100, um alto-falante localizado sobre o conjunto de cabeça de realidade aumentada substancialmente atrás e à esquerda do operador 100 pode indicar um alerta. Este pode ser um meio que provoca menos distração para indicar ao operador que a informação de alerta está disponível fora de seu campo de visão enquanto também fornece uma indicação direcional do alerta. Esta pode também ser uma característica selecionável, por exemplo, para operadores com visão periférica prejudicada.
[0063] A FIG. 7 ilustra um método exemplificativo de fixar r informação do objeto sobre um objeto associado em uma modalidade. E importante que a informação seja exibida a um operador de uma maneira tal a não distrair o operador de uma tarefa atual. Um dos meios mais eficientes e efetivos de conseguir isto é apresentar a informação de maneira tal que ela aparece como sendo gerada pelo, ou travada sobre o, objeto associado com a informação. O método 700 ilustra um método exemplificativo para exibir tal informação fixa ao operador 100.
[0064] No bloco 710, uma indicação de um objeto é recebida pelo dispositivo de realidade aumentada 102. A indicação do objeto pode ser uma indicação de um objeto inesperado dentro do campo de visão, em uma modalidade. Em uma outra modalidade, a indicação do objeto é uma indicação de um objeto esperado, por exemplo um implemento conhecido de uma máquina de trabalho 120.
[0065] No bloco 720, o objeto indicado é identificado. O objeto pode ser identificado com base em uma pluralidade de fontes, por exemplo, o dispositivo de realidade aumentada 102 pode reconhecer uma pluralidade de objetos associados com um implemento agrícola típico usando técnicas de processamento de imagem. Em uma outra modalidade, o dispositivo de realidade aumentada 102 pode ser conectado a uma rede de maneira tal que ele pode estabelecer uma referência cruzada de um objeto visualizado com um índice armazenado de objetos identificados, a fim de identificar o objeto indicado.
[0066] No bloco 730, é identificada uma superfície do objeto. O dispositivo de realidade aumentada pode realçar um objeto inteiro e determinar a melhor superfície para apresentação. Em uma modalidade, a melhor superfície de um objeto é uma que aparece como sendo plana para um operador. Porém, uma superfície curva pode também ser aceitável e o dispositivo de realidade aumentada 102 pode ajustar a informação exibida para se conjugar com a curvatura detectada. Por exemplo, olhando para uma caçamba ou um tanque de armazenamento, a superfície pode aparecer curva para o operador, mas pode ser substancialmente plana o bastante para exibir informação associada com um peso ou volume, em uma modalidade.
[0067] No bloco 740, é recuperada a informação de sensor associada com o objeto identificado. Em uma modalidade, a informação de sensor é recuperada acessando o último grupo de informações de sensor, por exemplo a partir dos dados históricos do sensor 216. Em uma outra modalidade, a informação de sensor é recuperada enviando um comando ao(s) sensor(es) associado(s) com o objeto identificado para retomar uma ou mais leituras recentes do sensor.
[0068] No bloco 750, informação de sensor é exibida pelo dispositivo de realidade aumentada 102 de maneira tal que ela aparece fixada sobre a superfície identificada. Quando o dispositivo de realidade aumentada 102 detecta movimento do operador 100, por exemplo virando para a esquerda ou para a direita, a informação de sensor é atualizada sobre o exibidor de maneira tal que ela parece não se mover sobre a superfície do objeto independentemente de movimento do operador 100.
[0069] A presente discussão mencionou processadores e servidores associados com cada ou ambos dispositivos de realidade aumentadas e/ou máquinas de trabalho, incluindo, em algumas modalidades, dispositivos agrícolas. Em uma modalidade, os processadores e servidores incluem processadores de computador com memória associada e circuitos de temporização, não separadamente mostrados. Estes são partes funcionais dos sistemas ou dispositivos a que eles pertencem e são ativados por e facilitam a funcionalidade dos outros componentes ou itens nesses sistemas.
[0070] Uma série de armazenadores de dados foi também discutida. Vai ser notado que cada um deles pode ser quebrado em múltiplos armazenadores de dados. Todos podem ser locais para os sistemas que os acessam, todos podem ser remotos, ou alguns podem ser locais enquanto outros são remotos. Todas estas configurações são contempladas aqui.
[0071] Também, as figuras mostram uma série de blocos com funcionalidade atribuída a bloco. Vai ser notado que menos blocos podem ser usados de modo que a funcionalidade é executada por menos componentes. Também, mais blocos podem ser usados com a funcionalidade distribuída entre mais componentes.
[0072] Vai também ser notado que qualquer uma ou todas as informações discutidas como informação exibida ou armazenada podem também, em uma modalidade, ser emitidas para, ou recuperadas a partir de um armazenamento baseado em nuvem.
[0073] Vai também ser notado que os elementos da FIG. 2, ou porções deles, podem ser dispostos sobre uma ampla variedade de diferentes dispositivos. Alguns desses dispositivos incluem servidores, computadores desktop, computadores laptop, computadores tipo tablet, ou outros dispositivos móveis, tais como computadores palm top, telefones celulares, telefones inteligentes, tocadores multimídia, assistentes digitais pessoais, etc. Estes dispositivos podem também incluem veículos agrícolas ou outros implementos utilizados por um operador exemplificativo.
[0074] Vai também ser notado que as diferentes modalidades descritas aqui podem ser combinadas de diferentes modos. Ou seja, partes de uma ou mais modalidades podem ser combinadas com partes de uma ou mais outras modalidades. Tudo isto é contemplado aqui.
[0075] Embora a matéria tenha sido descrita em linguagem específica para as características estruturais e/ou atos metodológicos, deve ser entendido que a matéria definida nas reivindicações anexas não é necessariamente limitada às características ou atos específicos descritos acima. Ao contrário, os atos e características específicos descritos acima são revelados como exemplos de formas de implementar s reivindicações.
REIVINDICAÇÕES

Claims (20)

1. Dispositivo de realidade aumentada montado na cabeça para um operador de uma máquina de trabalho, caracterizado pelo fato de que compreende: um componente de exibição configurado para gerar e exibir um recobrimento em realidade aumentada enquanto provê ao operador uma visão substancialmente desobstruída; um componente de campo de visão configurado para detectar um objeto dentro de um campo de visão do operador; um componente de comunicação configurado para se comunicar com pelo menos uma fonte de informação; e um componente de processamento configurado para receber uma indicação a partir da pelo menos uma fonte de informação e exibir a indicação em associação com o objeto detectado.
2. Dispositivo de realidade aumentada de acordo com a reivindicação 1, caracterizado pelo fato de que o componente de comunicação é um componente de comunicação sem fio.
3. Dispositivo de realidade aumentada de acordo com a reivindicação 1, caracterizado pelo fato de que o componente de processamento é configurado para determinar que a indicação é associada com o objeto detectado.
4. Dispositivo de realidade aumentada de acordo com a reivindicação 1, caracterizado pelo fato de que exibir a indicação em associação com o objeto detectado compreende adicionalmente exibir a indicação como se ela fosse uma parte de uma superfície do objeto detectado.
5. Dispositivo de realidade aumentada de acordo com a reivindicação 4, caracterizado pelo fato de que exibir a indicação como se ela fosse parte da superfície do objeto detectado compreende adicionalmente exibir a indicação como se ela fosse ligada a um ponto sobre o objeto.
6. Dispositivo de realidade aumentada de acordo com a reivindicação 4, caracterizado pelo fato de que exibir a indicação como se ela fosse parte da superfície do objeto detectado compreende adicionalmente sobrepor a indicação sobre o objeto.
7. Dispositivo de realidade aumentada de acordo com a reivindicação 4, caracterizado pelo fato de que exibir a indicação como se ela fosse parte da superfície do objeto detectado compreende adicionalmente exibir a indicação como se ela estivesse flutuando a uma distância especificada em relação ao objeto.
8. Dispositivo de realidade aumentada de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente uma memória configurada para armazenar indicações recebidas de maneira tal que as indicações sejam alinhadas com pelo um menos de: um objeto associado; e um ângulo de campo de visão.
9. Método para exibir informação recebida com um dispositivo de realidade aumentada, o método caracterizado pelo fato de que compreende: receber de uma fonte de informação, uma indicação de informação relativa a uma operação relacionada com uma máquina de trabalho; receber, através de um receptor, uma indicação do usuário; identificar, utilizando um componente de processamento, um objeto associado com a indicação do usuário; e exibir, utilizando um componente de exibição, a indicação recebida de maneira tal que ela aparece travada sobre o objeto identificado.
10. Método de acordo com a reivindicação 9, caracterizado pelo fato de que a fonte de informação é uma primeira fonte de informação e em que o componente de exibição é configurado para ter acesso a uma segunda fonte de informação configurada para receber informação a respeito de um local, dentro de um campo de visão do dispositivo de realidade aumentada, para a indicação recebida.
11. Método de acordo com a reivindicação 9, caracterizado pelo fato de que o componente de processamento é externo a partir do dispositivo de realidade aumentada e em que identificar o objeto associado com a indicação do usuário compreende: enviar uma indicação de um objeto potencial ao componente de processamento externo; e receber, a partir do componente de processamento remoto, uma identificação do objeto.
12. Método de acordo com a reivindicação 9, caracterizado pelo fato de que o componente de processamento é parte do dispositivo de realidade aumentada.
13. Método de acordo com a reivindicação 9, caracterizado pelo fato de que a indicação do usuário recebida compreende detectar, utilizando um componente de posicionamento do dispositivo de realidade aumentada, que um campo de visão se alterou.
14. Método de acordo com a reivindicação 9, caracterizado pelo fato de que a indicação de informação compreende uma medição dinâmica com respeito a um componente da operação.
15. Método de acordo com a reivindicação 9, caracterizado pelo fato de que compreende adicionalmente: detectar uma distância entre o objeto e o dispositivo de realidade aumentada e em que exibir a indicação recebida compreende adicionalmente dimensionar a indicação recebida com base na distância detectada.
16. Método de acordo com a reivindicação 14, caracterizado pelo fato de que o componente compreende uma ferramenta de trabalho, a medição dinâmica compreende uma distância da ferramenta de trabalho a partir de um nível do solo e em que o componente de exibição identifica uma articulação da ferramenta de trabalho com a máquina de trabalho e exibe a distância da ferramenta de trabalho em relação a um nível do solo de maneira tal que ela aparece sobreposta na articulação.
17. Método de acordo com a reivindicação 9, caracterizado pelo fato de que exibir a indicação recebida compreende adicionalmente: identificar uma superfície do objeto; e exibir a indicação recebida de maneira tal que ela aparece como sendo uma parte da superfície identificada.
18. Método para exibir informação sobre um objeto com um dispositivo de realidade aumentada montado na cabeça, o método caracterizado pelo fato de que compreende: identificar, utilizando o dispositivo de realidade aumentada, um campo de visão associado com o dispositivo de realidade aumentada; identificar, utilizando um componente de processamento, um objeto de interesse dentro do campo de visão de um operador de uma máquina de trabalho; recuperar uma indicação de informação associada com o objeto identificado, em que a indicação de informação compreende uma medição dinâmica com respeito ao objeto identificado; exibir a indicação de informação, utilizando um componente de exibição do dispositivo de realidade aumentada, em que exibir compreende retratar a indicação de informação como se estivesse travada sobre uma superfície do objeto.
19. Método de acordo com a reivindicação 18, caracterizado pelo fato de que identificar um campo de visão compreende detectar um campo de visão de um operador que usa o dispositivo de realidade aumentada utilizando um componente de posicionamento do dispositivo de realidade aumentada.
20. Método de acordo com a reivindicação 18, caracterizado pelo fato de que a indicação de informação é informação recebida a partir de um sensor associado com um veículo, em que a indicação de informação compreende uma condição de um componente do veículo.
BR102016018731A 2015-09-28 2016-08-15 dispositivo de realidade aumentada, e, método para exibir informação recebida BR102016018731A2 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/868,079 US20170090196A1 (en) 2015-09-28 2015-09-28 Virtual heads-up display application for a work machine

Publications (1)

Publication Number Publication Date
BR102016018731A2 true BR102016018731A2 (pt) 2017-04-04

Family

ID=58282154

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102016018731A BR102016018731A2 (pt) 2015-09-28 2016-08-15 dispositivo de realidade aumentada, e, método para exibir informação recebida

Country Status (4)

Country Link
US (2) US20170090196A1 (pt)
CN (1) CN106557159A (pt)
BR (1) BR102016018731A2 (pt)
DE (1) DE102016215199A1 (pt)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388391A (zh) * 2018-02-24 2018-08-10 广联达科技股份有限公司 部件显示方法、系统、增强现实显示装置和计算机介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
WO2018085422A1 (en) * 2016-11-01 2018-05-11 Kinze Manufacturing, Inc. Control units, nodes, system, and method for transmitting and communicating data
US10311593B2 (en) * 2016-11-16 2019-06-04 International Business Machines Corporation Object instance identification using three-dimensional spatial configuration
US11164351B2 (en) * 2017-03-02 2021-11-02 Lp-Research Inc. Augmented reality for sensor applications
WO2018179972A1 (ja) * 2017-03-28 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
DE102017221317A1 (de) * 2017-11-28 2019-05-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Datenbrille in einem Kraftfahrzeug
JP7064066B2 (ja) * 2018-08-28 2022-05-10 ヤンマーパワーテクノロジー株式会社 作業車両用の自動走行システム
US11011055B2 (en) 2019-03-21 2021-05-18 Verizon Patent And Licensing Inc. Collecting movement analytics using augmented reality
US10871377B1 (en) 2019-08-08 2020-12-22 Phiar Technologies, Inc. Computer-vision based positioning for augmented reality navigation
DE102019125348A1 (de) 2019-09-20 2021-03-25 365FarmNet Group GmbH & Co. KG Verfahren zur Unterstützung eines Benutzers bei einer landwirtschaftlichen Tätigkeit
US20230196761A1 (en) * 2021-12-21 2023-06-22 Cnh Industrial America Llc Systems and methods for agricultural operations
US20230196631A1 (en) * 2021-12-21 2023-06-22 Cnh Industrial America Llc Systems and methods for agricultural operations
US20230339734A1 (en) * 2022-04-26 2023-10-26 Deere & Company Object detection system and method on a work machine

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JP5887026B2 (ja) * 2012-09-03 2016-03-16 ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
CN103793473A (zh) * 2013-12-17 2014-05-14 微软公司 保存增强现实
US9928659B2 (en) * 2014-01-08 2018-03-27 Precisionhawk Inc. Method and system for generating augmented reality agricultural presentations
US9335545B2 (en) * 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
GB201414609D0 (en) * 2014-08-18 2014-10-01 Tosas Bautista Martin Systems and methods for dealing with augmented reality overlay issues
US20160196769A1 (en) * 2015-01-07 2016-07-07 Caterpillar Inc. Systems and methods for coaching a machine operator
US20170005250A1 (en) * 2015-06-30 2017-01-05 The Boeing Company Powering aircraft sensors using thermal capacitors

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388391A (zh) * 2018-02-24 2018-08-10 广联达科技股份有限公司 部件显示方法、系统、增强现实显示装置和计算机介质
CN108388391B (zh) * 2018-02-24 2020-06-30 广联达科技股份有限公司 部件显示方法、系统、增强现实显示装置和计算机介质

Also Published As

Publication number Publication date
US20170090196A1 (en) 2017-03-30
US20200026086A1 (en) 2020-01-23
CN106557159A (zh) 2017-04-05
DE102016215199A1 (de) 2017-03-30

Similar Documents

Publication Publication Date Title
BR102016018731A2 (pt) dispositivo de realidade aumentada, e, método para exibir informação recebida
BR102020009586A2 (pt) Monitor de alertas para uma colheitadeira agrícola
EP2933707B1 (en) Head mounted display presentation adjustment
US10829911B2 (en) Visual assistance and control system for a work machine
US10558043B2 (en) Worn display using a peripheral view
KR102118438B1 (ko) 차량용 헤드업 디스플레이 장치 및 그 방법
IL292427B1 (en) Change, display and visualization of imaging using augmented and virtual reality glasses
US9771083B2 (en) Cognitive displays
CN105074493B (zh) 驾驶支持技术
BR102019024302A2 (pt) Veículo, e, método para visualizar um veículo
CN110795819A (zh) 自动驾驶仿真场景的生成方法和装置、存储介质
US9630569B2 (en) Field of vision display device for a sun visor of a vehicle
US10789744B2 (en) Method and apparatus for augmented reality display on vehicle windscreen
KR20200042166A (ko) 컨텐츠를 시각화하는 장치 및 방법
BR102015017871A2 (pt) método e sistema de engate no solo
JP2018032402A (ja) 車載拡張現実システム向けの遮蔽調整システム
US7986249B2 (en) System and method for displaying graphical departure procedures
CN108571975A (zh) 车辆及其控制方法以及使用该车辆和方法的自主驾驶系统
US20140002629A1 (en) Enhanced peripheral vision eyewear and methods using the same
JPWO2017022047A1 (ja) 表示制御装置、表示装置及び表示制御方法
US20140257623A1 (en) Removable dashboard instrument system
CN106643781A (zh) 车辆导航显示系统及其方法
CA2821128A1 (en) Display of information related to a detected radar signal
US10733921B2 (en) Display apparatus, vehicle having the same, and control method thereof
CN112987002B (zh) 一种障碍物危险性识别方法、系统及装置

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: G06T 19/00 , G06F 17/30 , H04N 7/18 , G06F 3/01

Ipc: G06T 19/00 (2011.01), G06F 16/432 (2019.01), H04N

B09B Patent application refused [chapter 9.2 patent gazette]