BR112017027742B1 - Método, meio legível e sistema de realidade aumentada para prevenção de ponto cego de veículos - Google Patents

Abstract

São descritos sistemas e métodos para prover vários tipos de informação a um condutor de veículo. Essa informação pode ser usada pelo condutor do veículo de modo singular ou em conjugação com outras informações disponíveis ao condutor do veículo a fim de permitir que o condutor opere o veículo de modo cada vez mais seguro e/ou reduza a possibilidade de danos à propriedade e/ou possíveis ferimentos corporais ao condutor, etc. Em alguns casos, essas informações são apresentadas ao condutor sob forma de um ambiente de realidade aumentada de modo que o condutor possa ?ver através? de objetos que possam estar obstruindo a visão do condutor.

Description

FUNDAMENTOS DA INVENÇÃO

[001] A população está mais móvel do que nunca. O número de carros, caminhões, ônibus, veículos de passeio e veículos esportivos utilitários (coletivamente “automóveis”) nas estradas parece crescer a cada dia. Além disso, a explosão atual de transporte não está circunscrita a automóveis. Uma grande variedade de veículos como motocicletas, trens, caminhões de serviço leves, médios e pesados, equipamentos de construção e outros dispositivos de transporte (coletivamente “veículos”) são usados para deslocar pessoas e caras de um lugar para outro. Embora haja muitas vantagens para nossa sociedade crescentemente móvel, há igualmente custos, associados à explosão no número e variedade de veículos. Os acidentes são um exemplo deste tipo de custo. A indústria de veículos e automóveis está continuamente buscando maneiras de reduzir acidentes e/ou a severidade desses acidentes.

SUMÁRIO DA INVENÇÃO

[002] As modalidades da presente invenção são dirigidas para as necessidades mencionadas acima no presente relatório e outras ainda, pela provisão de vários tipos de informações ao condutor do veículo. Essas informações podem ser usadas pelo condutor do veículo de modo isolado ou em combinação com outras informações disponíveis ao condutor do veículo a fim de permitir que o condutor opere o veículo de modo crescentemente seguro e/ou que reduza a possibilidade de dano à propriedade e/ou possíveis lesões ao condutor, etc. Em algumas modalidades, como será descrito com mais detalhes a seguir no presente relatório, essas informações são apresentadas ao condutor sob forma de um ambiente de realidade aumentada de modo que o condutor possa “ver através” de objetos que possam estar ocluindo a visão do condutor.

[003] De acordo com um aspecto da presente invenção, é provido um método implantado em instruções executáveis por computador para apresentar informações sobre as proximidades do veículo para o condutor do veículo. O método inclui obter dados do ambiente em torno do veículo a partir de uma ou mais fontes de informação. Os dados do ambiente em torno do veículo em uma modalidade indicam pelo menos uma parte de uma cena ocluída da visão de um condutor que opera o veículo. O método inclui igualmente apresentar ao condutor do veículo, com a ajuda de uma ou mais telas, um ambiente de realidade aumentada baseado nos dados das proximidades e que são representativos de uma área nas proximidades do veículo, mas obstruída da visão do operador.

[004] De acordo com outro aspecto do presente pedido, é provido um meio legível por computador dotado de módulos para transmitir informações a um condutor de veículo, relativas às proximidades do veículo. O um ou mais módulos inclui um módulo de coleta de informações, configurado para coletar dados de uma ou mais fontes de informação associadas a uma ou mais zonas de percepção, uma imagem de realidade aumentada levando a um módulo configurado para gerar, a partir dos dados coletados, um ou mais elementos virtuais de projeto representativos de objetos ocluídos da visão do condutor, e um módulo de visualização configurado para fazer com que os elementos virtuais de projeto sejam apresentados em uma tela.

[005] De acordo com outro aspecto do presente pedido, é descrito um sistema para prover informações a um condutor de veículo. O sistema inclui uma ou mais telas, uma ou mais fontes de informação configuradas para gerar dados associados a uma ou mais zonas de percepção localizadas em uma ou mais áreas nas proximidades do veículo, e um gerador de tela acoplado à uma ou mais fontes de informação. Em uma modalidade o gerador de tela é configurado para coletar dados de uma ou mais fontes de informação associadas a uma ou mais zonas de percepção, gerar, a partir dos dados coletados, um ou mais elementos virtuais de projeto representativos dos objetos ocluídos da visão do condutor do veículo, e fazer com que os elementos virtuais de projeto sejam apresentados em uma tela.

[006] Este Sumário é apresentado a fim de introduzir uma seleção de conceitos de forma simplificada que estarão descritos com mais detalhes no subitem Descrição Detalhada. Este Sumário não pretende identificar características chave da matéria pleiteada, nem pretende ser usado com auxiliar para determinar o escopo da matéria pleiteada.

BREVE DESCRIÇÃO DOS DESENHOS

[007] Os aspectos acima e muitas vantagens decorrentes da matéria pleiteada se tornarão mais facilmente apreciados à medida que os mesmos forem mais bem entendidos por referência à seguinte descrição detalhada, quando tomada em combinação com as Figuras anexas, onde:

[008] A FIGURA 1 é um diagrama de blocos de uma modalidade representativa de um sistema de segurança de veículos conforme um ou mais aspectos do presente pedido. A FIGURA 2 é um diagrama esquemático ilustrando um número de pontos cegos vivenciado por condutores de um veículo representativo. A FIGURA 3 é um diagrama esquemático que ilustra um número de zonas de percepção monitoradas pelo sistema da FIGURA 1. A FIGURA 4 é um diagrama de blocos de uma modalidade representativa de um gerador de tela de realidade aumentada da FIGURA 1. A FIGURA 5 é um diagrama de blocos de outra modalidade representativa de um gerador de tela de realidade aumentada de acordo com um aspecto do presente pedido. A FIGURA 6 é um diagrama de fluxo que ilustra uma modalidade representativa de um método de visualização de realidade aumentada de acordo com um aspecto do presente pedido. As FIGURAS 7-10 ilustram modalidades de um ou mais componentes do sistema de segurança incorporado em várias locações em torno do veículo.

DESCRIÇÃO DETALHADA

[009] A descrição detalhada apresentada a seguir em conexão com as Figuras anexas, onde numerais de referência se referem a elementos similares, objetiva descrever as várias modalidades da matéria descrita e não pretende representar as únicas modalidades possíveis. Cada modalidade descrita no presente pedido é apresentada meramente como exemplo ou ilustração e não deve ser considerada como preferida ou vantajosa em relação a outras modalidades. Os Exemplos ilustrativos apresentados no presente relatório não objetivam ser exaustivos ou limitar a matéria pleiteada às formas precisas descritas.

[010] O presente pedido diz respeito a um sistema de dispositivos coletores de informações, telas e hardware de programação associado, e a seus métodos de uso, que proporcionam, por exemplo, visibilidade aumentada do condutor e prevenção de ponto cego em veículos, tais como caminhões da Classe 8. Os sistemas e/ou métodos podem ser empregados isoladamente ou podem ser empregados para aperfeiçoar outros auxiliares de prevenção de ponto cego, tais como espelhos de visão lateral, etc. Em algumas modalidades, o sistema é configurado para empregar técnicas e metodologias de realidade aumentada a fim de “ver através” de uma obstrução à visão do condutor. Por exemplo, é conhecido que a visão de um condutor em uma combinação trator-reboque é muito limitada quando troca de pista ou faz marcha a ré em uma doca de carregamento estreita, devido à presença de objetos que tapam o veículo, como o semirreboque, a cabine de dormir, se equipada, outras estruturas de cabine, combinações das mesmas, etc. A remoção “virtual” dos objetos ocludentes pelos sistemas e métodos do presente pedido tem como resultado a provisão de visibilidade aperfeiçoada ao condutor, com segurança aumentada e dano à propriedade reduzido sendo conseguido. Tal como será descrito com maiores detalhes a seguir, câmeras digitais, radares, lidares, dispositivos de imageamento térmico e/ou dispositivos de coleta de informações similares podem ser colocados em várias locações em torno do veículo e/ou reboque associado, se equipado. Adicionalmente, uma ou mais telas são colocadas em torno do veículo em locações que podem corresponder a pontos de vista reais do condutor do veículo. Alguns exemplos da colocação de telas que serão descritos com mais detalhes a seguir incluem os seguintes: (1) uma tela colocada na parte posterior da cabine de dormir ou cabine diurna a fim de apresentar o cenário posterior olhando atrás de um reboque associado, como representado na FIGURA 7; (2) uma tela provida com o espelho retrovisor, como representado na FIGURA 8; (3) uma tela provida com espelhos laterais para aumentar a capacidade de visão dos espelhos, como representado na FIGURA 9; (4) uma ou mais telas providas de cada lado do assento do condutor, como representado na FIGURA 10.

[011] O termo “realidade aumentada” tal como usado ao longo da presente Descrição Detalhada e nas reivindicações refere-se a qualquer imagem, artigo ou objeto emitido usando uma combinação de vistas do mundo real fusionadas com imagens geradas por computador. Por questões de clareza, os termos “real” e “virtual” são usados ao longo da presente Descrição Detalhada e nas reivindicações para distinguir entre vários tipos de imagens e/ou objetos. Por exemplo, uma vista real ou imagem real refere-se a qualquer vista ou imagem de um ambiente ocupado por um usuário. Estas vistas são tipicamente produzidas com câmeras estáticas ou de vídeo. Em contraste, uma imagem virtual ou objeto virtual é qualquer imagem ou objeto que é gerado por um dispositivo de computação e que é associado a um ambiente virtual. Além disso, por questões de clareza, o termo “elemento virtual de projeto” é usado ao longo da presente Descrição Detalhada, e nas reivindicações para referir coletivamente a qualquer tipo de objeto virtual, imagem virtual ou gráfico virtual que pode ser criado por, ou usado com, o sistema.

[012] Um ambiente de realidade aumentada pode ser criado pela combinação de imagens virtuais ou objetos com vistas ou imagens reais. Em algumas modalidades que serão descritas com mais detalhes a seguir no presente relatório, os objetos ou imagens reais são providos naturalmente por um espelho ou superfície refletora similar ou uma superfície transparente, como uma janela. Em outras modalidades, os objetos ou imagens reais são gerados, por exemplo, por uma ou mais câmeras e/ou similares. Será apreciado que a geração de um ambiente ou cena de realidade aumentada pode usar uma única fonte de informações, ou uma combinação de quaisquer duas ou mais fontes de informação descritas no presente relatório.

[013] Na descrição a seguir, numerosos detalhes específicos são apresentados a fim de prover uma compreensão aprofundada de uma ou mais modalidades do presente pedido. Será óbvio, no entanto, para um especialista na técnica, que muitas modalidades da presente invenção podem ser praticadas sem alguns dos ou todos os detalhes específicos. Em alguns casos, etapas conhecidas de processo não foram descritas com detalhes a fim de não dificultar, de modo desnecessário, vários aspectos do presente pedido. Adicionalmente, deve ser considerado que modalidades da presente invenção podem empregar qualquer combinação de características descritas no presente relatório.

[014] Embora modalidades representativas do presente pedido sejam descritas por referência a caminhões da Classe 8, deve ser considerado que aspectos da presente invenção têm aplicação ampla, e, portanto, podem ser adequados para uso com muitos tipos de veículos, tais como veículos de passageiros, ônibus, veículos trailers de recreação (RVs), veículos comerciais, veículos de serviço leves e médios, e similares. Por conseguinte, as descrições e ilustrações a seguir no presente relatório devem ser consideradas como de natureza ilustrativa, e, portanto, não limitativas do escopo da matéria reivindicada.

[015] Considerando a FIGURA 1, está representado um diagrama esquemático de um exemplo de um sistema de segurança de um veículo, geralmente designado por (20), conforme aspectos da presente invenção. O sistema (20) pode ser instalado em um veículo adequado (algumas vezes referido no presente relatório como “veículo sede”) para prover um ou mais benefícios ao condutor, tais como visibilidade aperfeiçoada ao condutor, redução de pontos cegos, etc. Isto pode incluir a detecção ou percepção de um ambiente composto de um ou mais objetos estranhos (por exemplo, objetos alvo em relação ao veículo sede, que, por exemplo, poderiam apresentar uma preocupação potencial de segurança ao condutor do veículo sede, a um pedestre na vizinhança do veículo sede, a um condutor de um veículo adjacente, etc. O sistema (20) é capaz de detectar ou perceber uma ampla variedade de diferentes objetos alvo, incluindo tanto objetos em movimento como objetos em não movimento. Por exemplo, o objeto alvo pode ser um veículo em uma pista adjacente (por exemplo, um “veículo lateral”) ou um veículo que se aproxima do veículo pela retaguarda (por exemplo, um “veículo na pista de retaguarda”). O objeto alvo pode igualmente ser um pedestre ou animal seja parado ou cruzando atrás do veículo sede, etc. ou podem ser objetos parados, inanimados, como árvores, barreiras, construções, sinais de trânsito, etc. na periferia de ou atrás do veículo.

[016] Como mencionado acima, o(s) objeto(s) alvo pode(m) estar posicionados no ponto cedo ou área ocluída do veículo sede. A este respeito, a FIGURA 2 ilustra vários pontos cegos comuns a veículos convencionais, tais como a combinação trator-reboque. Como mostrado na FIGURA 2, pontos cegos típicos incluem uma área (40) localizada no lado do condutor do veículo provocada pelo pilar A, pelo pilar B, a seção de descanso ou outra estrutura da cabine. Tipicamente a área (40) não é acessível pelos espelhos laterais do condutor. Os pontos cegos também incluem uma área (42) localizada atrás do reboque. Os pontos cegos também incluem uma área (44) localizada no lado do passageiro do veículo e em um ângulo em relação ao veículo provocada pelo pilar A, pelo pilar B, a seção de descanso ou outra estrutura da cabine. Tipicamente a área (44) não é acessível pelos espelhos laterais do condutor. Em alguns casos, partes da área (44) podem ser levemente acessíveis aos espelhos laterais. Os pontos cegos podem igualmente incluir uma área (46) em frente ao veículo e no lado do passageiro do veículo provocada pela seção frontal/capô do veículo. A área (46) se estende na direção traseira para incluir a área no lado do passageiro adjacente à seção frontal/capô do veículo.

[017] Para perceber um ou mais objetos alvo na vizinhança do veículo, o sistema (20) de segurança do veículo coleta informações de várias fontes (24) de informação associadas ao veículo sede. Em algumas modalidades, as informações coletadas representam dados associados às proximidades do veículo, algumas vezes referidas como o ambiente em torno do veículo. Em uma modalidade, as informações coletadas representam os dados associados pelo menos em parte com um ou mais pontos cegos do condutor do veículo, incluindo áreas (40), (42), (44) e (46). As fontes de informação (24) podem incluir, por exemplo, dispositivos como câmeras digitais, radar, lidar, câmeras de imageamento térmico, etc. que são montados em ou associados de alguma forma ao veículo sede em locações adequadas para obter informações relativas aos vários pontos cegos ou outras áreas ocluídas do condutor. Em outra modalidade, as fontes de informação (24) podem incluir dispositivos discretos do veículo, tais como câmeras de tráfego, faróis do acostamento, componentes do sistema (20) ou de sistema similar instalado em veículos de terceiros, que comunicam com o veículo sede via celular, RF de faixa curta ou longa, ou protocolos similares, e fornecem informações relativas aos vários pontos cegos ou outras áreas ocluídas do condutor. Nestas ou em outras modalidades, as fontes de informação (24) podem igualmente incluir, de modo opcional, dispositivos que coletam ou geram dados indicativos de parâmetros operacionais do veículo, tais como velocidade do veículo, aceleração do veículo, etc.

[018] Em resposta às informações coletadas por uma ou mais destas fontes de informação (24), ou qualquer combinação das mesmas, o sistema (20) apresenta ao condutor com a ajuda de uma ou mais telas um ambiente de realidade aumentada compreendendo uma imagem real representando uma cena do ponto de vista do condutor e elementos virtuais de projeto (por exemplo, pessoa, animal, barreira, estrada, terreno, etc.) que estão localizados em um dos pontos cegos ou áreas ocluídas do condutor. Em algumas modalidades, os elementos virtuais de projeto incluem igualmente o objeto (por exemplo, reboque, estrutura do veículo (por exemplo, capô, cabine, etc) etc.) que está ocluindo a visão do condutor. Como resultado, a presença dos elementos virtuais de projeto permite que o condutor “veja através” das estruturas ocludentes, como o reboque, a fim de aumentar a visibilidade do condutor, etc.

[019] Ainda com relação à FIGURA 1, os componentes do sistema (20) serão descritos com maiores detalhes a seguir. Como representado na modalidade da FIGURA 1, o sistema (20) inclui uma ou mais fontes de informação (24), um gerador (28) de tela de realidade aumentada, e uma ou mais telas (32). O gerador (28) de tela é diretamente conectado seja em comunicação com uma ou mais fontes de informação (24), ou pode ser conectado à uma ou mais fontes de informação (24) via uma rede (36) abrangente para o veículo, tal como uma rede de área de controlador (CAN). Os especialistas na técnica e outros devem admitir que a rede (36) abrangente para o veículo pode ser implantada usando qualquer número de diferentes protocolos de comunicação tais como, mas não estando limitados a, Society of Automotive Engineers' ("SAE") J1587, SAE J1922, SAE J1939, SAE J1708, e combinações dos mesmos. Conexão direta pode ser efetuada seja por meio de fios ou sem fios, ou ambos.

[020] Em algumas modalidades as fontes de informação (24) podem incluir, mas não estão limitadas a, câmeras digitais ou outros dispositivos de coleta de imagens, sensores ópticos, radar, lidar, sensores ultrassônicos ou outros sensores de RF, câmeras de imageamento térmico, sensores térmicos, sensores de proximidade, etc. Em uso, por exemplo, um único dispositivo ou sensor ou uma combinação de dois ou mais destes dispositivos e/ou sensores é capaz de gerar dados de ambiente em torno do veículo, que podem, por exemplo, conter imagens de câmera, uma imagem infravermelho, etc. do ambiente em torno do veículo sede. Como será descrito com maiores detalhes a seguir, as informações contidas nestes dados de ambiente em torno do veículo podem ser usadas pelo sistema (20) para gerar seja imagens reais, imagens virtuais, ou ambas.

[021] Em algumas modalidades, as fontes (24) de geração de informações são montadas no ou associadas de alguma forma ao veículo sede em uma ou mais locações de informação desejada(s). Como pode ser apreciado, a locação e número de dispositivos usados dependerão da aplicação particular e podem ser facilmente modificados de acordo com as condições. Na modalidade representada na FIGURA 3, as fontes (24) de informação são colocadas em torno do veículo sede (representado como uma combinação trator-reboque) de modo a formar zonas de percepção laterais (50) e (52) e uma zona de percepção posterior (54). Em uma modalidade, uma ou mais fontes (24) de informação podem igualmente ser localizadas em torno do veículo sede de forma a formar uma zona de percepção frontal (56). Em outra modalidade, uma ou mais fontes (24) de informação podem igualmente ser localizadas na retaguarda do veículo líder (por exemplo, o trator) de modo a formar uma zona (58) de percepção de intervalo. Em algumas modalidades, fontes (24) de informações adicionais podem ser opcionalmente empregadas a fim de efetuar uma ou mais funções do sistema (20). A este respeito, algumas modalidades do sistema (20) empregam igualmente vários sensores de sistema ou similares para o veículo, incluindo sensores de freio, sensores da velocidade da roda, um sensor de velocidade do veículo, sensor de transmissão da embreagem, acelerômetros, um sensor de ângulo de direção, etc. Informações destas fontes de informação adicionais podem ser usadas em combinação com as fontes de informação associadas às zonas de percepção (50), (52), (54), (56) e (58) em algumas modalidades a fim de executar várias funcionalidades do sistema (20).

[022] Em algumas modalidades, pelo menos uma das fontes (24) de informação do sistema (20) de segurança do veículo pode incluir opcionalmente uma unidade de aquisição de dados que compreende um ou mais receptores. Nestas modalidades, a unidade de aquisição de dados é configurada para receber, por exemplo, informações de fontes de informação discretas do veículo sede, tais como dispositivos de comunicação de curto alcance (transmissores ou similares de outros veículos na vizinhança do veículo sede que são equipados com o sistema (20) ou funcionalidade similar, faróis no acostamento ou de interseção de tráfego, câmeras de tráfego, etc.). As informações que podem ser transmitidas ao veículo incluem mas não estão limitadas a uma ou mais dentre as seguintes: dados de operação do veículo, dados de ponto cego relativos ao veículo sede ou ao veículo transmissor, e dados incidentais. Em algumas modalidades, a unidade de aquisição de dados pode igualmente incluir transmissores ou pode ser equipada com transceptores a fim de transmitir informações geradas pelo sistema (20) para outros veículos na vizinhança do veículo sede.

[023] Em uma modalidade, o sistema (20) pode ser usado em combinação com outros sistemas de segurança de veículos, tais como controle de velocidade de cruzeiro adaptativo, condução autônoma, evasão de colisão, alerta de colisão, alerta de desvio da pista, detecção de mudança/fusão de pista, detecção de objeto, predição do trajeto do veículo, alerta/evasão de colisão de impacto posterior, detecção das condições da estrada, somente para citar alguns. A este respeito, o sistema (20) em uma modalidade é configurado para receber e/ou partilhar dados com estes sistemas opcionais para veículos a fim de realizar a funcionalidade do sistema (20).

[024] As informações de pelo menos uma destas fontes (24) de informações, ou qualquer combinação destas fontes (24) de informação podem ser processadas pelo gerador (28) de tela ou outros componentes de modo que um ambiente de realidade aumentada pode ser apresentado ao condutor do veículo com auxílio de uma ou mais telas (32). Como foi descrito brevemente acima e será descrito com mais detalhes abaixo, o ambiente de realidade aumentada em algumas modalidades é criado pela combinação de uma imagem real e um ou mais elementos virtuais de projeto, que são apresentados juntos ao condutor do veículo.

[025] Em várias modalidades do sistema (20), a uma ou mais telas (32) pode incluir uma tela geralmente opaca, por exemplo, uma tela de cristal líquido (LCD), uma tela de polímero emissor de luz (LPD), uma tela de plasma ou uma tela de diodo emissor de luz (LED). Nestas modalidades, o ambiente de realidade aumentada pode ser apresentado inteiramente ao condutor através da tela opaca. Em outras modalidades do sistema (20), a uma ou mais telas pode incluir telas transparentes ou telas de “ver através”, tais como telas transparentes de LCD, OLED ou tela de visualização por reflexo no campo de visão do condutor (Head-up displays ou HUD).

[026] Em uma modalidade, a tela transparente pode ser fabricada como uma camada de OLED colocada como sanduíche entre duas peças de filme transparente (por exemplo, filme de silicone ou de plástico, etc). Nestas modalidades, como será descrito com maiores detalhes abaixo, as telas transparentes podem ser montadas diretamente sobre um espelho do veículo, como um espelho retrovisor, um espelho lateral, etc. ou podem revestir uma janela de veículo ou seções da mesma, tal como uma janela posterior ou para- brisa frontal do veículo. Como tal, o ambiente de realidade aumentada é apresentado ao condutor do veículo pela combinação de uma camada refletora ou transparente (por exemplo, um espelho, janela, etc.) do veículo, o que permite naturalmente a apresentação de imagens reais ao condutor via transmissão de luz, e uma tela transparente (32), que provê os elementos virtuais de projeto ao condutor.

[027] Conforme um aspecto do presente pedido, o gerador (28) de tela é configurado para: (1) coletar informações de uma ou mais fontes (24) de informação; (2) gerar elementos virtuais de projeto com base nas informações coletadas; e (3) apresentar o ambiente de realidade aumentada ou partes do mesmo ao condutor do veículo via pelo menos uma dentre a uma ou mais telas (32). Como será descrito com mais detalhes a seguir, os elementos virtuais de projeto podem incluir objetos alvo, como pessoas, animais, estacas, estrutura de edifício, etc. bem como partes do ambiente ocluído pelo veículo sede. Tal como apresentado ao condutor do veículo, o ambiente de realidade aumentada provê um efeito de “ver através” a fim de representar informações ao condutor que seriam normalmente escondidas ou obscurecidas da visão.

[028] Com relação à FIGURA 4, é mostrada, sob forma de um bloco diagramático, uma modalidade representativa do gerador (28) de tela formado de acordo com um aspecto do presente pedido e capaz de realizar a funcionalidade descrita acima. Tal como representado na FIGURA 4, o gerador (28) de tela inclui um módulo (62) de coleta de informações, um módulo (66) de produção de realidade aumentada e um módulo (72) de tela. Embora os módulos sejam ilustrados separadamente na modalidade representada, será apreciado que a funcionalidade desempenhada por cada módulo pode ser combinada em menos módulos ou adicionalmente separada em módulos adicionais. Em algumas modalidades, os módulos do gerador (28) de tela contêm regras de lógica para realizar a funcionalidade do sistema. As regras de lógica nestas e outras modalidades podem ser implantadas em hardware, em software ou combinações de hardware e software.

[029] Ainda por referência à FIGURA 4, o módulo (62) de coleta de informações implanta lógica para obter dados em tempo real ou próximo ao tempo real a partir das fontes de informação (24). Os dados podem incluir imagens, vídeo, etc. associados com uma ou mais zonas de percepção laterais (50) e (52), a zona posterior (54) de percepção, a zona frontal (56) de percepção e a zona de percepção de intervalo (58). Em algumas modalidades, somente uma zona é necessária para gerar o ambiente de realidade aumentada. Em outras modalidades, uma combinação de duas ou mais zonas é usada para gerar o ambiente ou cena de realidade aumentada. Os dados podem igualmente opcionalmente incluir dados de operação de veículos, ou dados de fontes externas (veículos de terceiros, faróis, câmeras de tráfego, etc.) representando imagens ou vídeo associados com uma ou mais das várias zonas de percepção. Durante o processo de aquisição, dados recebidos das fontes de informação (24) podem ser processados e armazenados temporariamente, tal como na memória e/ou memória associada (buffer).

[030] O módulo (66) de produção de realidade aumentada implanta lógica para gerar elementos virtuais de projeto para o ambiente de realidade aumentada com base em informações obtidas a partir do módulo (62) de coleta de informações. Ao fazer isto, o módulo (66) de produção de realidade aumentada pode interpretar vários tipos de informações e empregar vários motores de produção de realidade aumentada para gerar o ambiente de realidade aumentada. Em uma modalidade, o módulo (66) pode converter radar, lidar, e/ou imageamento térmico em elementos virtuais de projeto que representam graficamente uma cena, uma imagem, ou objetos na mesma que são escondidos ou ocluídos da visão do condutor. Em outra modalidade, o módulo (66) igualmente implanta lógica para apresentar imagens reais para o ambiente de realidade aumentada com base em informações obtidas a partir do módulo (62) de coleta de informações. Em algumas destas modalidades, o módulo (66) combina as imagens reais e as imagens virtuais de modo adequado para formar o ambiente de realidade aumentada.

[031] Tal como adicionalmente ilustrado na FIGURA 4, o gerador (28) de tela adicionalmente inclui um módulo de visualização (72). O módulo de visualização (72) implanta lógica de modo a fazer com que os elementos virtuais de projeto gerados pelo módulo (66) de produção de realidade aumentada sejam apresentados à tela (32) para visualização. Em algumas modalidades, o módulo de visualização (72) é adicionalmente configurado para apresentar os elementos virtuais de projeto junto com as imagens reais para visualização. Deve ser considerado que não ocorre processamento de imagem, memória associada (buffering) e/ou similar em um ou mais dentre os módulos (62), (66) e (72).

[032] A FIGURA 5 ilustra outra modalidade adequada do gerador (28) de tela sob forma de bloco diagramático. Como representado na FIGURA 5, o gerador (28) de tela inclui um processador (76) e memória (78). A memória (78) pode incluir mídia de armazenamento legível por computador em memória de leitura somente (ROM), memória de acesso estatístico (RAM) e memória mantida ativa (KAM), por exemplo. A KAM pode ser usada para armazenar várias variáveis operacionais ou instruções de programa enquanto o processador (76) é desligado. A mídia de armazenamento legível por computador pode ser implementada usando qualquer dentre um número de dispositivos de memória conhecidos tais como PROMs (memória somente leitura programável), EPROMs (PROM elétrica), EEPROMs (PROM que pode ser apagada através de eletricidade), memória flash, ou quaisquer outros dispositivos de memória em combinação capazes de armazenar dados, instruções, programas, módulos, etc. Na modalidade representada, o módulo (62) de aquisição de dados, o módulo (66) de produção de realidade aumentada e um módulo de visualização (72) são armazenados na memória (78). Em algumas modalidades, o gerador (28) de tela pode incluir componentes adicionais incluindo, mas não estando limitado a, circuitos analógico para digital (A/D) e digital para analógico (D/A), circuitos e dispositivos de entrada/saída (I/O) e condicionamento de sinal adequado e circuitos de memória associada (buffer).

[033] Tal como usado no presente relatório, o termo “processador” não está limitado a circuitos integrados referidos na técnica como computador, mas de modo amplo refere-se a micro controlador, microcomputador, microprocessador, controlador de lógica programável, circuito integrado de aplicação específica, outros circuitos programáveis, combinações dos circuitos acima, dentre outros. Portanto, como usado no presente relatório, o termo “processador” pode ser usado para descrever de modo geral estes componentes mencionados acima, e podem ser ou hardware ou software, ou combinações dos mesmos, que implantam lógica para realizar vários aspectos do presente pedido. De modo análogo, o termo “módulo” pode incluir lógica que pode ser implantada seja em hardware ou software, ou combinações dos mesmos.

[034] A FIGURA 6 é um diagrama de fluxo que ilustra uma modalidade exemplar de um método (600) de visualização de realidade aumentada formado de acordo com a matéria descrita. Em uma modalidade, o método (600) pode ser executado pelos módulos (62), (66) e (72) do gerador (28) de tela da FIGURA 4 ou 5. Por conseguinte, informações podem ser coletadas ou de algum modo recebidas de uma ou mais fontes (24) de informação, convertidas em um ambiente de realidade aumentada ou elementos virtuais de projeto das mesmas, e apresentadas ao condutor do veículo com a ajuda de uma ou mais telas (32). Como matéria preliminar, os especialistas na técnica admitirão que essa funcionalidade é tipicamente concebida para ser realizada de modo continuado, isto é, uma vez inicializada e em operação, o gerador (28) de tela monitora continuamente e visualiza as informações. Por conseguinte, o método (600) opera continuadamente até que o gerador de tela seja desligado ou que sua operação seja de algum modo interrompida.

[035] Como ilustrado na FIGURA 6, a rotina (600) inicia no bloco (602) onde um evento inicial ocorre que irá provocar a apresentação de um ambiente de realidade aumentada ao condutor do veículo com ajuda de uma ou mais telas (32). Descrito de modo geral, um evento inicial é um tipo de evento que provoca a transição da tela (32) de um estado inativo para um estado ativo. À guisa de exemplo, o evento inicial que ocorre no bloco (602) pode ser a ignição do motor do veículo, que resulta em energia sendo fornecida a um barramento de ignição. Igualmente, a tela (32) pode ser colocada para “dormir” em estado de energia reduzida quando o veículo está inativo durante um período de tempo pré-determinado. Deste modo, o evento inicial pode ser outro tipo de evento, tal como o retorno da tela (32) de um estado de energia reduzida.

[036] Se um evento inicial ocorre no bloco (602), o método (600) prossegue até o bloco (604), onde o gerador (28) de tela começa a coletar informações a partir da uma ou mais fontes de informação (24) indicativas de um ou mais eventos que ocorrem em uma ou mais zonas de percepção (50), (52), (54), (56) e (58). Em seguida, no bloco (606), o gerador (28) de tela produz um ou mais elementos (80) virtuais de projeto representativos de objetos ocluídos localizados em uma ou mais das zonas de percepção para visualização subsequente. Em uma modalidade, os elementos virtuais de projeto (80) podem incluir, por exemplo, um contorno geral da estrutura ocludente, tal como o reboque, e quaisquer objetos alvo que possam estar ocluídos pelo mesmo. Por exemplo, os elementos virtuais de projeto (80) podem incluir um animal (80B), a estrada (80C), e o terreno (80D), que estão normalmente ocluídos pelo reboque, tal como representado na FIGURA 7. Os elementos virtuais de projeto (80) podem igualmente incluir a estrutura (80A) do veículo, tal como o contorno do reboque, que é responsável pela visão ocluída. Em algumas modalidades, os elementos (80) virtuais de projeto produzidos podem ser temporariamente armazenados na memória (78) ou uma memória associada (buffer). Estas informações podem ser continuadamente coletadas e processadas de modo que os eventos em curso podem ser direcionados para uma ou mais telas (32).

[037] A partir do bloco (606), o método segue para o bloco (608), onde os elementos virtuais de projeto são então apresentados a uma tela (32) para visualização. Uma vez recebidos pela tela (32), os elementos virtuais de projeto são apresentados pela tela (32), tal como representado nos exemplos das FIGURAS 7-10. Em algumas modalidades que empregam uma tela opaca, os elementos (80) virtuais de projeto são apresentados à tela (32) em combinação com imagens reais (82). Por exemplo, imagens reais (82) podem ser obtidas ou convertidas a partir das informações fornecidas pelas fontes (24) de informação. Nesta modalidade, o gerador (28) de tela cobre, sobrepõe ou combina de alguma forma os elementos (80) de projeto virtuais com as imagens reais (82) para formar um ambiente de realidade aumentada no bloco (610) para visualização. Em outras modalidades, o gerador (28) de tela toma a imagem real do ambiente do veículo e converte somente aquela parte da imagem real que está ocluída da visão do condutor em elementos (80) de projeto virtuais a fim de formar um ambiente de realidade aumentada. Em algumas modalidades, as imagens reais (82) podem ser temporariamente armazenadas na memória (78) ou memória associada (buffer). Estas informações podem ser continuadamente coletadas e processadas de modo que os eventos em curso podem ser encaminhados para uma ou mais telas (32).

[038] O método (600) continua então para o bloco (612), onde uma determinação é realizada relativa à ocorrência de um evento de terminação de processo. O evento de terminação pode ser virar a chave de ignição para a posição “off” desligando o sistema (20) ou uma ou mais telas (32), ou colocando uma ou mais telas (32) para repouso ou modo de espera, etc. Se um evento de terminação ocorre no bloco (612), o método (600) termina. Se não, o método retorna ao bloco (604) de modo que uma alimentação contínua é apresentada à tela (32).

[039] Deve ficar bem claro que a rotina (600) descrita acima por referência à FIGURA 6 não mostra todas as funções desempenhadas ao apresentar o ambiente de realidade aumentada ao condutor. Em vez disso, a rotina (600) descreve modalidades exemplares da matéria descrita. Os especialistas na técnica e outros deverão reconhecer que algumas funções podem ser efetuadas em uma ordem diferente, omitidas/adicionadas, ou variadas de outra forma sem que haja desvios do escopo da matéria reivindicada.

[040] A realização de uma ou mais modalidades do método (600) resulta em ambientes de realidade aumentada representados esquematicamente nos exemplos das FIGURAS 7-10. Para facilidade de ilustração, as imagens reais (82) são representadas com linhas mais grossas, que aparecem mais escuras nas FIGURAS, enquanto os elementos virtuais de projeto são representados com linhas mais finas, que aparecem mais claras nas FIGURAS.

[041] A FIGURA 7 é uma representação esquemática de uma tela (32) empregada em vez da janela posterior do veículo sede. Como representado na FIGURA 7, o ambiente de realidade aumentada é criado pelos elementos (80A- 80D) virtuais de projeto e a imagem real (82) apresentada na tela (32). Na modalidade representada, os elementos virtuais de projeto incluem o contorno da estrutura ocludente (80A), o animal (80B), a estrada (80C), e o terreno (80D), que são normalmente ocluídos pelo reboque. Ao gerar os elementos (80) de projeto virtuais, informações à base das zonas de percepção (50), (52), (54), e/ou (58) podem ser usadas. Nesta modalidade, a imagem real (82) inclui a cena atrás do trator que não está ocluída pelo reboque. Em modalidades, em vez de uma tela opaca, uma tela transparente pode ser usada em combinação com a janela posterior a fim de apresentar ao condutor o ambiente de realidade aumentada.

[042] A FIGURA 8 é uma representação esquemática de uma tela (32) montada sobre uma seção do espelho retrovisor (90). Tal como representado na FIGURA 8, o ambiente de realidade aumentada é criado pelos elementos virtuais (80) de projeto apresentados pela tela (32) e a imagem real (82) apresentada pela superfície refletora do espelho (90). Na modalidade representada, os elementos virtuais de projeto incluem o contorno (80A) do reboque, e o terreno (80D) normalmente ocluídas pelo reboque.

[043] A FIGURA 9 é uma representação esquemática de uma tela (32) montada sobre uma seção do espelho lateral (96). Como representado na FIGURA 9, o ambiente de realidade aumentada é criado pelos elementos (80) virtuais de projeto apresentados pela tela (32) e a imagem real (82) apresentada pela superfície refletora (98) do espelho (96). Por certo, algumas modalidades podem empregar igualmente uma tela opaca em vez do espelho lateral. Na modalidade representada, os elementos (80) virtuais de projeto incluem a construção (80E), partes da bandeira (80F), e o contorno (80A) do reboque.

[044] A FIGURA 10 é uma representação esquemática de duas telas (32A) e (32B) montadas nos lados do assento (100) do condutor. Como representado na FIGURA 10, o ambiente de realidade aumentada é criado tanto pelos elementos (80) virtuais de projeto como pelas imagens reais (82) apresentadas pelas telas (32A) e (32B). Nesta modalidade, o ambiente de realidade aumentada inclui as áreas ocluídas no lado do passageiro e do condutor do reboque, que podem estar baseadas em informações das zonas de percepção (50), (52) e/ou (54). O ambiente de realidade aumentada apresentado pelas ditas telas (32A) e (32B) pode ser usado em combinação com outros espelhos laterais tradicionais, ou espelhos laterais configurados como descrito em relação à FIGURA 9. Por certo, parte das informações relativas às zonas de percepção laterais pode ser obtida de outros veículos na vizinhança do veículo sede.

[045] Outras aplicações de uma ou mais modalidades do sistema (20) são contempladas de acordo com um ou mais aspectos do presente pedido. Por exemplo, o sistema (20) em uma modalidade pode ser alternativamente ou adicionalmente configurado para empregar uma tela HUD (tela de visualização por reflexo no campo de visão do condutor) (heads-up display) como uma das telas (32) para apresentar diferentes configurações do capô para o condutor. Em uma modalidade, o gerador (28) de tela do sistema (20) é configurado para gerar elementos virtuais de projeto sob forma do capô do veículo e objetos que estão presentes na área (46) (vide FIGURA 2), mas ocluídos pela seção frontal/capô do veículo. Em outra modalidade, o gerador (28) de tela do sistema (20) é configurado para gerar seja elementos virtuais de projeto ou uma representação real de um capô de veículo a partir de um modelo de veículo diferente. Por exemplo, o veículo sede pode ser um caminhão comercial, como o semi-reboque Peterbilt® 389 equipado com um capô “longo”, mas o sistema (20) pode apresentar através da HUD uma representação virtual de um capô de uma versão mais curta do capô, às vezes referida como o capô “aero”, ou vice-versa.

[046] Em ainda outras modalidades, o sistema (20) pode utilizar informações de outros sistemas (20) instalados seja em veículos de reboque ou veículos principais. Por exemplo, se o veículo sede é parte de um pelotão de veículos (isto é, dois ou mais veículos um em frente ao outro), o sistema (20) do veículo sede pode comunicar com o(s) outro(s) veículo(s) a fim de prover o condutor do veículo sede com um ambiente de realidade aumentada daquilo que está em frente do veículo principal, ou do que está atrás do veículo final. Como tal, o ambiente de realidade aumentada apresentado pelo sistema (20) do veículo sede permite que o condutor “veja através” do veículo principal (o veículo principal transmite informações a partir da parte frontal do veículo sede, incluindo a área (46)), reduzindo deste modo a fadiga do olho do condutor, ou permite que o condutor “veja através” do veículo final, incluindo desde a área (42), provendo deste modo o condutor com informações adicionais em relação ao ambiente.

[047] Os princípios, modalidades representativas, e modos de operação do presente pedido foram descritos na descrição acima. No entanto, aspectos do presente pedido que pretendem ser protegidos não devem ser considerados como limitados pelas modalidades específicas que foram descritas. Além disso, as modalidades descritas no presente pedido devem ser consideradas como ilustrativas em vez de restritivas. Deverá ser apreciado que variações e modificações podem ser feitas por terceiros, e utilizados equivalentes, sem que haja desvio do espírito do presente pedido. Por conseguinte, é expressamente pretendido que todas essas variações, modificações e equivalentes estejam incluídos no espírito e escopo do presente pedido tal como reivindicado.

Claims (17)

1. Método (600) implementado por computador para fornecer informações a um motorista de um veículo hospedeiro em um pelotão de veículos, o método caracterizado por compreender: receber, por um gerador de exibição (28) do veículo hospedeiro, dados de vídeo de um veículo de arrasto, em que o veículo de arrasto está separado e atrás do veículo de acolhimento, e em que os dados de vídeo representam uma área atrás do veículo de arrasto que é ocluída da vista do condutor do veículo hospedeiro pelo veículo de arrasto; e apresentar, pelo gerador de exibição (28), os dados de vídeo do veículo de arrasto em uma exibição no veículo hospedeiro, em que a exibição compreende uma exibição transparente sobre uma janela traseira do veículo.

2. Método (600), de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: fazer com que a exibição transparente do veículo hospedeiro torne um ou mais elementos de design virtual (80) representativos de um ou mais objetos localizados na cena ocluídos da visão de um motorista do veículo hospedeiro.

3. Método (600), de acordo com a reivindicação 1, caracterizado pelo fato de que a apresentação dos dados de vídeo do veículo de arrasto ao motorista do veículo hospedeiro inclui: gerar um ou mais elementos de design virtual (80)representativos de um ou mais objetos localizados na área ocluída da visão do motorista do veículo hospedeiro; obter uma imagem real da área, a imagem real baseada no ponto de vista do motorista do veículo hospedeiro; e fazendo com que um ou mais elementos de design virtual (80) e a imagem real sejam exibidos juntos pela exibição transparente.

4. Método (600), de acordo com a reivindicação 3, caracterizado pelo fato de que fazer com que os elementos de design virtual (80) e a imagem real sejam exibidos juntos pela exibição transparente inclui: organizar um ou mais elementos de design virtual (80) sobre uma área pré-selecionada da imagem real.

5. Método (600), de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda: obter, pelo gerador de exibição (28) do veículo hospedeiro, dados adicionais de uma fonte discreta do veículo hospedeiro, a fonte discreta do veículo hospedeiro incluindo um de um farol e uma câmera de tráfego.

6. Método (600), de acordo com a reivindicação 1, caracterizado pelo fato de que apresentar os dados de vídeo do veículo de arrasto para o motorista do veículo hospedeiro inclui ainda apresentar os dados de vídeo em pelo menos um monitor montado na lateral de um assento do motorista do veículo hospedeiro.

7. Meio legível por computador não transitório com módulos armazenados nele que, em resposta à execução, fazem com que um veículo hospedeiro em um pelotão de veículos transmita informações a um motorista do veículo hospedeiro, caracterizado pelos módulos compreenderem: um módulo de coleta de informações (62) configurado para receber dados de vídeo de um veículo de arrasto, em que o veículo de arrasto está separado e atrás do veículo hospedeiro e em que os dados de vídeo representam uma área atrás do veículo de arrasto que está obstruída da visão do motorista do hospedeiro veículo pelo veículo de arrasto; e um módulo de exibição configurado para fazer com que os dados de vídeo do veículo de arrasto sejam apresentados ao motorista do veículo hospedeiro por meio de um monitor, em que o monitor compreende um monitor montado no lugar de uma janela traseira do veículo hospedeiro.

8. Meio legível por computador, de acordo com a reivindicação 7, caracterizado pelo fato de que os módulos compreendem ainda um módulo de renderização de imagem de realidade aumentada (66) configurado para gerar um ou mais elementos de design virtual (80) representativos de objetos ocluídos da vista do motorista do veículo hospedeiro com base nas informações recebidas de um ou mais fontes de informação; e em que o módulo de exibição é ainda configurado para fazer com que os dados de vídeo sejam apresentados com os elementos de design virtual (80), em que os dados de vídeo e os elementos de design virtual (80) juntos formam um ambiente de realidade aumentada (66).

9. Meio legível por computador, de acordo com a reivindicação 8, caracterizado pelo fato de que o módulo de renderização de imagem de realidade aumentada (66) é ainda configurado para organizar e alinhar um ou mais elementos de design virtual (80) gerados sobre uma área pré-selecionada dos dados de vídeo.

10. Meio legível por computador, de acordo com a reivindicação 8, caracterizado pelo fato de que uma ou mais fontes de informação incluem fontes de informação selecionadas de um grupo que consiste em uma câmera digital, um dispositivo de imagem térmica, radar e lidar.

11. Meio legível por computador, de acordo com a reivindicação 7, caracterizado pelo fato de que fazer com que os dados de vídeo do veículo de arrasto sejam apresentados ao motorista do veículo hospedeiro por meio de uma tela inclui fazer com que os dados de vídeo do veículo de arrasto sejam apresentados ao motorista de o veículo hospedeiro por meio de uma tela montada na lateral (3) de um assento do motorista do veículo hospedeiro.

12. Sistema (20) para fornecer informações a um motorista de um veículo hospedeiro em um pelotão de veículos, caracterizado pelo fato de que compreende: um ou mais monitores, incluindo pelo menos um monitor montado no lugar de uma janela traseira do veículo hospedeiro; e um gerador de exibição (28) acoplado comunicativamente a um veículo de arrasto, em que o veículo de arrasto está separado e atrás do veículo hospedeiro; em que o gerador de exibição (28) está configurado para: receber dados de vídeo do veículo de arrasto, em que os dados de vídeo representam uma área atrás do veículo de arrasto (42) que é ocluída da visão do motorista do veículo hospedeiro pelo veículo de arrasto; e apresentar os dados de vídeo do veículo de arrasto para o motorista do veículo hospedeiro usando um ou mais monitores, incluindo pelo menos um monitor montado no lugar de uma janela traseira do veículo hospedeiro.

13. Sistema (20), de acordo com a reivindicação 12, caracterizado pelo fato de que uma ou mais telas (32) incluem uma tela transparente configurada para sobrepor uma camada transparente e uma camada reflexiva.

14. Sistema (20), de acordo com a reivindicação 12, caracterizado pelo fato de que a camada transparente inclui uma janela e a camada refletiva inclui um espelho.

15. Sistema (20), de acordo com a reivindicação 14, caracterizado pelo fato de que o espelho inclui um de um espelho lateral (44) e um espelho retrovisor (46).

16. Sistema (20), de acordo com a reivindicação 12, caracterizado pelo fato de que o gerador de exibição (28) inclui uma memória (78) que armazena um ou mais módulos com instruções de programa para transmitir informações em um ou mais monitores; e um processador (76) configurado para executar as instruções de programa de um ou mais módulos.

17. Sistema (20), de acordo com a reivindicação 12, caracterizado pelo fato de que o gerador de exibição (28) é ainda acoplado comunicativamente a uma ou mais fontes de informação (24) que incluem fontes de informação selecionadas de um grupo que consiste em uma câmera digital, um dispositivo de imagem térmica, radar, lidar, um farol e um câmera de trânsito.