BR112016006666B1 - Sistema de apresentação de informações - Google Patents

Sistema de apresentação de informações Download PDF

Info

Publication number
BR112016006666B1
BR112016006666B1 BR112016006666-9A BR112016006666A BR112016006666B1 BR 112016006666 B1 BR112016006666 B1 BR 112016006666B1 BR 112016006666 A BR112016006666 A BR 112016006666A BR 112016006666 B1 BR112016006666 B1 BR 112016006666B1
Authority
BR
Brazil
Prior art keywords
vehicle
delay
image
information
captured
Prior art date
Application number
BR112016006666-9A
Other languages
English (en)
Other versions
BR112016006666A2 (pt
Inventor
Shinji Yasuhara
Teruhisa Takano
Akihiko Kouzai
Original Assignee
Nissan Motor Co., Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co., Ltd filed Critical Nissan Motor Co., Ltd
Publication of BR112016006666A2 publication Critical patent/BR112016006666A2/pt
Publication of BR112016006666B1 publication Critical patent/BR112016006666B1/pt

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

SISTEMA DE APRESENTAÇÃO DE INFORMAÇÕES. Trata-se de um sistema de apresentação de informações (1000) que compreende um dispositivo de controle (10). O dispositivo de controle (10) executa uma função de aquisição de imagem para adquirir uma imagem capturada ao redor de um veículo capturada por uma câmera a bordo (1), uma função de determinação de estado de retardo para determinar um estado de retardo usando um tempo de retardo de comunicação sem fio entre um aparelho a bordo (200) e um aparelho de terminal (100), uma função de geração de imagem prevista para calcular uma posição do veículo após o tempo de retardo em uma base de informações de estado do veículo e gerar uma imagem prevista usando a imagem capturada que foi adquirida de modo a prever que a imagem prevista seja capturada pela câmera (1) na posição calculada do veículo, e uma função de apresentação para apresentar a imagem prevista.

Description

[001]A presente invenção refere-se a um sistema de apresentação de in-formações que apresenta informações sobre uma imagem ao redor de um veículo. Este pedido reivindica prioridade com base no Pedido de Patente Japonês no 2013-200958, depositado em 27 de setembro de 2013. Os conteúdos do pedido supraci-tado se encontram aqui incorporados a título de referência nos países designados nos quais se aceita a incorporação a título de referência.
FUNDAMENTOS DA INVENÇÃO
[002]Em relação a esse tipo de aparelho, conhece-se um aparelho de auxílio de direção que exibe uma imagem de vista traseira de um veículo quando a alavanca de câmbio do veículo for operada à posição reversa (Documento de Patente 1).
DOCUMENTO DA TÉCNICA ANTERIOR Documento de Patente [Documento de Patente 1] JP 2012-0162130 A SUMÁRIO DA INVENÇÃO Problemas a serem solucionados pela invenção
[003]No entanto, quando um aparelho de terminal portátil que não esteja incorporado em um aparelho a bordo adquirir uma imagem capturada por uma câ-mera a bordo através de comunicação sem fio e apresentar a imagem capturada adquirida, ocorre um retardo na comunicação sem fio, de modo que a temporização da apresentação da imagem capturada também retarde, o que pode ser problemático.
[004]Um problema a ser solucionado pela presente invenção consiste em apresentar informações de imagem que representem um estado em tempo real ao redor de um veículo mesmo quando ocorrer um retardo na comunicação sem fio entre o aparelho a bordo e o aparelho de terminal.
Meios para solucionar os problemas
[005]Na presente invenção, uma imagem prevista a ser capturada em uma posição existente do veículo em uma temporização após o decorrer de um tempo de retardo é gerada e apresentada usando uma imagem capturada que foi capturada por uma câmera a bordo, de acordo com um estado de retardo, que inclui o tempo de retardo de comunicação sem fio entre um aparelho a bordo e um aparelho de terminal, e informações de estado do veículo. Logo, soluciona-se o problema anterior.
Efeito da invenção
[006]De acordo com a presente invenção, o aparelho de terminal apresenta a imagem prevista que se supõe ser capturada pela câmera a bordo em uma tem-porização após o decorrer do tempo de retardo da comunicação sem fio, e, portanto, pode-se evitar que se apresente uma imagem capturada em um tempo passado, quando ocorre um retardo na comunicação sem fio. O motorista pode reconhecer um estado em tempo real ao redor do veículo mesmo quando ocorrer um retardo na comunicação entre o aparelho a bordo e o aparelho de terminal.
BREVE DESCRIÇÃO DOS DESENHOS
[007]A Figura 1 é um diagrama de blocos de um sistema de apresentação de informações de acordo com uma modalidade da presente invenção.
[008]A Figura 2 é uma vista que mostra um exemplo de informações de imagem apresentadas em um aparelho de terminal.
[009]A Figura 3 é um gráfico para explicar um retardo com comunicação sem fio.
[010]A Figura 4 é uma vista para explicar um método para gerar uma imagem prevista de acordo com um retardo da comunicação sem fio.
[011]A Figura 5 é um fluxograma que mostra um procedimento de controle de um processo de apresentação de informações.
Modos para realizar a invenção
[012] Doravante, as modalidades da presente invenção serão descritas com referência aos desenhos. As presentes modalidades serão descritas para um caso no qual a presente invenção é aplicada a um sistema de apresentação de informações 1000 que compreende: um aparelho a bordo 200 dotado de uma ou mais câmeras proporcionadas em um veículo; e um aparelho de terminal portátil 100 em comunicação sem fio com o aparelho a bordo 200.
[013]A Figura 1 é um diagrama de blocos do sistema de apresentação de in-formações 1000 de acordo com uma modalidade da presente invenção. O sistema de apresentação de informações 1000 compreende o aparelho a bordo 200 e o aparelho de terminal 100.
[014] Primeiramente, o aparelho a bordo 200 da presente modalidade será descrito com referência à Figura 1. O aparelho a bordo 200 compreende uma ou mais câmeras 1a a 1d, um dispositivo de comunicação 2, um controlador de veículo 3 e vários tipos de dispositivos a bordo 4 (também referidos como “módulos 4” em um termo coletivo).
[015]A uma ou mais câmeras 1a a 1d (também referidas como uma “câmera 1” ou “câmeras 1” em um termo coletivo, no presente documento e doravante) são configuradas usando elementos imageamento, como CCD (Dispositivos de Carga Acoplada). Na presente modalidade, as câmeras 1 são dispostas em posições predeterminadas de uma posição posterior (traseira) do veículo, tal como uma porção de acabamento traseira e uma porção de spoiler de teto. Essas câmeras 1 capturam imagens de um objeto ou superfície rodoviária que esteja presente em um espaço atrás do veículo (imagens de vista traseira ou posterior). O termo “atrás” do veículo conforme usado na presente modalidade abrange não somente o significado de “logo atrás do veículo,” mas também o significado de “direita diagonalmente traseira” ou “esquerda diagonalmente traseira.” Em particular, o aparelho a bordo 200 da presente modalidade inclui uma pluralidade de câmeras 1a a 1d que são dispostas em diferentes posições fora do veículo V. De modo mais específico, o aparelho a bordo 200 da presente modalidade inclui as câmeras 1a a 1d que são montadas (proporcionadas) em uma posição predeterminada dianteira do veículo, tal como uma porção de grade dianteira, em uma posição predeterminada à esquerda do veículo, tal como uma porção de espelho esquerda, ou em uma posição predeterminada à direita do veículo, tal como uma porção de espelho direita. Cada câmera 1 captura uma imagem em uma direção diferente ao redor do veículo. Na presente modalidade, câmeras de ângulo amplo capazes de imagear uma imagem de ângulo amplo são usadas como as câmeras 1.
[016]O dispositivo de comunicação 2 do aparelho a bordo 200 transmite as imagens capturadas pelas câmeras 1 ao aparelho de terminal 100, que será descrito mais adiante. Em uma modalidade alternativa, pelo menos uma das câmeras 1 pode ter uma função de comunicação sem fio para transmitir a imagens capturadas à parte externa. O aparelho de terminal 100 adquire as imagens capturadas pelas câmeras 1, através de uma rede de comunicação sem fio. Uma imagem capturada por cada câmera 1 é atribuída a um identificador correspondente ao local (endereço) da câmera 1, e o aparelho de terminal 100 pode identificar cada uma das imagens capturadas por cada câmera 1, com base no identificador.
[017]O controlador de veículo 3 adquire informações a partir de cada módulo do veículo e gerencia coletivamente a operação do veículo. O controlador de veículo 3 da presente modalidade adquire informações de estado que representem um estado do veículo. O controlador de veículo 3 adquire informações de direção a partir de um dispositivo de controle de direção 41 do veículo como as informações de estado, adquire informações de aceleração ou informações de velocidade a partir de um sensor de aceleração 42 como as informações de estado, e adquire informações de posição de câmbio de uma transmissão 44 do veículo como as in- formações de estado. O controlador de veículo 3 transmite as informações de direção e/ou informações de aceleração (informações de velocidade) adquiridas ao aparelho de terminal 100. O aparelho de terminal 100 inclui um dispositivo de controle 10 que adquire uma direção de deslocamento (ângulo de deslocamento) do veículo a partir das informações de direção. O dispositivo de controle 10 adquire uma direção de deslocamento também a partir das informações de posição de câmbio. A última direção de deslocamento consiste em informações que representam se o veículo está se deslocando para frente ou para trás. O dispositivo de controle 10 adquire, ainda um grau de deslocamento do veículo a partir das informações de aceleração (informações de velocidade) e de um tempo de deslocamento. Logo, o dispositivo de controle 10 pode calcular uma posição existente do veículo após o decorrer de um período de tempo predeterminado, a partir da direção de deslocamento e do grau de deslocamento do veículo.
[018]As câmeras 1, o dispositivo de comunicação 2, o controlador de veículo 3 e os módulos 4 do aparelho a bordo 200 são conectados entre si através de uma CAN (Rede de Área de Controlador) ou de outra LAN a bordo e informações mutuamente de troca.
[019]A seguir, descreve-se o aparelho de terminal 100 com referência à Fi-gura 1. O aparelho de terminal 100 da presente modalidade é um dispositivo de terminal portátil, tal como um smartphone e um computador tipo tablet, que tenha uma função de comunicação. O aparelho de terminal 100 da presente modalidade compreende um dispositivo de controle 10, um dispositivo de comunicação 20 e uma tela 30.
[020]O dispositivo de comunicação 20 da presente modalidade troca infor-mações mutuamente com o dispositivo de comunicação 2 do aparelho a bordo 200 separado do aparelho de terminal 100. O dispositivo de comunicação 20 adquire as imagens capturadas, informações sobre o estado do veículo, e outras informações do aparelho a bordo 200.
[021]A tela 30 da presente modalidade apresenta informações sobre as imagens capturadas pelas câmeras 1 do veículo, uma imagem prevista que será descrita mais adiante, e um estado de retardo da comunicação sem fio. A Figura 2 é uma vista que mostra um exemplo no qual a tela 30 do aparelho de terminal 100 apresenta uma imagem suspensa do veículo e uma imagem capturada atrás do veículo. Conforme mostrado na Figura 2, a imagem suspensa visualizada a partir de um ponto de vista acima do veículo é apresentada em uma área de monitor à esquerda 30L da tela 30 do aparelho a bordo 200, enquanto a imagem de vista posterior capturada do veículo é apresenta em uma área de monitor à direita 30R da tela 30. Linhas de guia também são sobrepostas na imagem de vista posterior capturada do veículo mostrado na área de monitor à direita 30R. As linhas de guia se encontram ao longo de uma trajetória na qual se prevê que o veículo se desloca, e incluem linhas de rota prevista P, linhas de guia de largura do veículo Q1 e linhas de guia de distância Q2. O aparelho de terminal 100 pode ser colocado em um suporte fixado a um painel de instrumentos ou nas adjacências de um volante do veículo de modo que o motorista do veículo possa facilmente reconhecer o aparelho de terminal 100.
[022]O dispositivo de controle 10 do aparelho de terminal 100 da presente modalidade compreende: uma ROM (Memória Somente para Leitura) 12 que ar-mazena um programa para apresentar uma imagem prevista de acordo com um tempo de retardo da comunicação sem fio; uma CPU (Unidade de Processamento Central) 11 como um circuito de operação que executa o programa armazenado na ROM 12 para, desse modo, funcionar como um aparelho de terminal 100 da presente modalidade; e uma RAM (Memória de Acesso Aleatório) 13 que funciona como um armazenamento acessível.
[023]O dispositivo de controle 10 do aparelho de terminal 100 da presente modalidade é um computador que coordena o hardware descrito anteriormente com software para alcançar uma função de aquisição de imagem, ma função de determinação de estado de retardo, uma função de aquisição de informações de detecção de objetos em movimento, uma função de geração de imagem prevista, uma função de geração de linha de guia e uma função de apresentação, executando, assim, essas funções.
[024]As descrições abaixo serão direcionadas a cada função alcançada pelo dispositivo de controle 10 do aparelho de terminal 100 de acordo com a modalidade da presente invenção.
[025]Primeiramente, descrever-se-á a função de aquisição de imagem do dispositivo de controle 10. O dispositivo de controle 10 da presente modalidade adquire imagem(s) capturada(s) ao redor do veículo capturada(s) pela(s) câmera(s) a bordo 1 a partir do aparelho a bordo 200 através do dispositivo de comunicação 20. Embora não particularmente limitado, na presente modalidade, o dispositivo de controle 10 adquire imagem(s) de vista posterior capturada do veículo. Adicional ou alternativamente, o dispositivo de controle 10 pode adquirir imagem(s) de vista an-terior capturada ou imagem(s) de vista lateral capturada. Em uma modalidade, o dispositivo de controle 10 pode adquirir uma imagem de monitoramento ao redor do veículo, que é gerada pelo aparelho a bordo 200, e no qual o veículo é visualizado a partir de um ponto de vista virtual acima do veículo. A imagem de monitoramento é gerada usando uma pluralidade de imagens capturadas pelas câmeras 1 que são dispostas em diferentes posições no veículo. A imagem de monitoramento é uma imagem suspensa gerada projetando-se essas imagens capturadas em um plano de projeção no qual o veículo é visualizado a partir de um ponto de vista virtual acima do veículo. O dispositivo de controle 10 usa as imagens capturadas e/ou imagens de monitoramento adquiridas como informações a serem apresentadas na tela 30 em uma situação específica, tal como ao estacionar o veículo e movimentar o veículo em marcha à ré.
[026]Descrever-se-á a função de determinação de estado de retardo do dispositivo de controle 10. O dispositivo de controle 10 da presente modalidade determina um estado de retardo incluindo um tempo de retardo da comunicação sem fio entre o aparelho a bordo 200 e o aparelho de terminal 100. O tempo de retardo é obtido a partir de uma diferença entre um tempo de comunicação de referência sob um bom ambiente de comunicação predeterminado e um tempo de comunicação realmente medido sob um ambiente de comunicação no qual a transmissão e a recepção são realmente realizadas. Embora não particularmente limitado, o dispositivo de controle 10 se refere a um relógio 45 do aparelho a bordo 200 e um relógio 112 do aparelho de terminal 100 para sincronizá-los entre si e, então, medir o tempo de comunicação real requerido para que as informações sejam trocadas entre o aparelho a bordo 200 e o aparelho de terminal 100 através da comunicação sem fio e, desse modo, o dispositivo de controle 10 calcule o tempo de retardo. De modo específico, o aparelho a bordo 200 transmite informações às quais a temporização de transmissão é anexada ao aparelho de terminal 100. Ao adquirir as informações, o aparelho de terminal 100 retorna informações de reconhecimento ao aparelho a bordo 200. O aparelho a bordo 200 calcula metade do tempo a partir da temporização de transmissão ao transmitir as informações ao aparelho de terminal 100 até a temporização de recepção ao receber as informações de reconhecimento transmitidas a partir do aparelho de terminal 100, como o tempo de comunicação requerido para a comunicação sem fio. De modo similar, o tempo de comunicação de referência pode ser calculado como um tempo de comunicação para a comunicação sem fio sob um ambiente de comunicação predeterminado sem uma carga de comunicação. O tempo de comunicação realmente medido varia de momento para momento de acordo com vários fatores, tal como o número de aparelhos de terminal que acessam a rede de linha de comunicação sem fio e o volume de informações a serem trocadas. Portanto, o dispositivo de controle 10 adquire o tempo de comunicação em um período predeterminado e calcula continuamente o tempo de retardo que é a diferença a partir do tempo de comunicação de referência. De acordo com a presente modalidade, pode-se calcular um tempo de retardo preciso porque o tempo de retardo é calculado após uma sincronização preliminar do aparelho a bordo 200 e do aparelho de terminal 100 entre si.
[027]O tempo de retardo inclui um tempo regular que é preliminarmente de-terminado de acordo com a capacidade das instalações de comunicação e um tempo variável que é induzido por vários fatores, tal como o volume de comunicação. O tempo regular pode ser preliminarmente armazenado no aparelho a bordo 200 ou no aparelho de terminal 100. Tendo em vista reduzir a carga de processamento, o tempo de retardo regular armazenado pode ser lido para determinar o estado de retardo.
[028]As causas da ocorrência do estado de retardo em apresentar as ima-gens capturadas pelas câmeras 1 não consistem somente no tempo de retardo previamente descrito da comunicação sem fio. As causas do estado de retardo in-cluem, conforme mostrado na Figura 3, o primeiro ao terceiro períodos de tempo conforme descrito abaixo que são requeridos para completar alguns processos a partir de um processo de captura de imagem a um processo de apresentação de imagem. O primeiro período de tempo conforme referido no presente documento consiste em um tempo de t0 a t1 durante o qual o aparelho a bordo 200 realiza um processo para capturar imagens ao redor do veículo e um processo para compactar (codificar) as imagens capturadas. O segundo período de tempo é um tempo de t1 a t2 que é requerido para a comunicação sem fio. O terceiro período de tempo é um tempo de t2 a t3 que é requerido para um processo para descompactar (decodificar) as imagens capturadas compactadas e um processo para apresentar as ima- gens capturadas descompactadas na tela 30. Logo, o estado de retardo com a co-municação sem fio ocorre quando um período de tempo longo for adotado para os processos realizados no aparelho a bordo 200 a partir do tempo de captura de imagens ao tempo de transmissão das imagens capturadas, ou para a comunicação entre o aparelho a bordo 200 e o aparelho de terminal 100, ou para os processos realizados no aparelho de terminal 100 a partir do tempo de recepção das imagens capturadas até o tempo de apresentação das imagens capturadas.
[029]De acordo com a técnica de comunicação no momento do depósito do presente pedido, quando não ocorrem retardos na comunicação sem fio, um tempo de cerca de 100 a 500 milissegundos é requerido a partir da temporização de captura de imagens até a temporização de completar o processo de apresentação para as imagens. Mesmo durante um período curto de tempo de retardo, não é preferível que as informações de imagem capturadas em um tempo passado sejam apresentadas como se fossem as informações de imagem capturadas em tempo real. Particularmente, é indesejável se ocorrer um retardo de comunicação para prolongar o tempo a partir da captura de imagem até a apresentação de imagem. Quando as imagens capturadas forem trocadas através de uma rede de comunicação interna (como CAN) no aparelho a bordo 200, o tempo a partir da captura de imagem até a apresentação de imagem é substancialmente constante e, portanto, pode ser controlado uniformemente. Em contrapartida, quando as imagens capturadas obtidas pelo aparelho a bordo 200 forem transmitidas ao aparelho de terminal 100 através de uma comunicação sem fio pública e apresentadas usando a tela 30 do aparelho de terminal 100, o retardo de comunicação pode precisar ser levado em consideração. Além disso, o terceiro período de tempo descrito anteriormente é altamente dependente da capacidade de processamento do aparelho de terminal 100. Portanto, é difícil definir uniformemente o tempo de retardo porque o aparelho de terminal 100, que pode ser de propriedade individual e pessoal, tem um desempenho ou estado diferentes.
[030]Em relação ao segundo período de tempo, o dispositivo de controle 10 da presente modalidade mede o tempo de retardo da comunicação sem fio entre o aparelho de terminal 100 e o aparelho a bordo 200 usando o esquema acima.
[031]Em relação ao terceiro período de tempo descrito anteriormente, o dispositivo de controle 10 da presente modalidade adquire um tempo de proces-samento do lado do aparelho de terminal requerido para o aparelho de terminal 100 para apresentar uma imagem prevista após adquirir as imagens capturadas, e adi-ciona o tempo de processamento do lado do aparelho de terminal ao tempo de re-tardo da comunicação sem fio e, então, calcula um tempo de retardo do processa-mento de apresentação de informações. Esse tempo de retardo pode ser usado para determinar o estado de retardo. Embora não limitado particularmente, é preferível que o tempo de processamento do lado do aparelho de terminal seja experimentalmente calculado antecipadamente e armazenado no aparelho de terminal 100 de maneira legível. O estado de retardo pode ser corretamente determinado não somente calculando-se o retardo da comunicação sem fio, mas também calculando-se um tempo de retardo através da adição do tempo requerido para os processos no aparelho de terminal 100.
[032]Em relação ao primeiro período de tempo descrito anteriormente, o dispositivo de controle 10 da presente modalidade pode calcular um tempo de retardo através da adição do tempo requerido para os processos realizados no aparelho a bordo 200 a partir do tempo de aquisição das imagens capturadas (captura de imagem) até o tempo de transmissão das imagens capturadas. O estado de retardo pode ser, ainda, ser corretamente determinado não somente calculando-se o tempo de retardo de comunicação da comunicação sem fio, mas também calculando-se um tempo de retardo através da adição do tempo requerido para os processos no aparelho a bordo 200.
[033]Além disso, o dispositivo de controle 10 da presente modalidade de-termina se a comunicação sem fio com o dispositivo de comunicação 2 é interrom-pida. Quando a comunicação sem fio for interrompida, o dispositivo de controle 10 induz a tela 30 a apresentar que a comunicação sem fio está interrompida. Em uma situação em que a comunicação sem fio com o dispositivo de comunicação 2 é in-terrompida, fica difícil adquirir em tempo real as imagens capturadas no presente momento. Em outras palavras, em uma situação em que a comunicação sem fio com o dispositivo de comunicação 2 é interrompida, é altamente possível que as imagens capturadas apresentadas na tela 30 sejam imagens capturadas em um tempo passado. De acordo com a presente modalidade, apresentando-se que a comunicação sem fio com o dispositivo de comunicação 2 está interrompida, é possível informar ao motorista que as imagens capturadas apresentadas não são imagens em tempo real.
[034]O dispositivo de controle 10 da presente modalidade determina um grau de confiabilidade da comunicação sem fio de acordo com o estado de retardo. Quando o tempo de retardo for longo e o estado de retardo da comunicação sem fio for ruim, o dispositivo de controle 10 determina que o grau de confiabilidade da comunicação sem fio é baixo. Por outro lado, quando o tempo de retardo for curto e o estado de retardo da comunicação sem fio não for ruim (estado de comunicação for bom), o dispositivo de controle 10 determina que o grau de confiabilidade da comunicação sem fio é alto. O grau de confiabilidade da comunicação sem fio pode ser definido de acordo com o tempo de comunicação na comunicação sem fio. À medida que o tempo de comunicação se torna mais longo, o grau de confiabilidade da comunicação sem fio pode ser ajustado como sendo inferior. O dispositivo de controle 10 apresenta o grau de confiabilidade determinado da comunicação sem fio na tela 30. Em uma situação em que o tempo de comunicação (tempo de retardo) na comunicação sem fio é longo e o grau de confiabilidade da comunica- ção sem fio é baixo, fica difícil adquirir em tempo real as imagens capturadas no presente momento. Em outras palavras, é altamente possível que as imagens cap-turadas apresentadas na tela 30 sejam imagens capturadas em um tempo passado. Nesse caso, de acordo com a presente modalidade, o grau de confiabilidade da comunicação sem fio é apresentado como sendo baixo. Isso pode informar ao mo-torista que as imagens capturadas apresentadas não são imagens em tempo real.
[035]Em seguida, descrever-se-á a função de aquisição de informações de detecção de objetos em movimento. O dispositivo de controle 10 da presente mo-dalidade adquire informações de detecção se um objeto em movimento estiver pre-sente ao redor do veículo. O dispositivo de controle 10 adquire as informações se um objeto em movimento estiver presente, a parir do aparelho a bordo 200. O aparelho a bordo 200 inclui um dispositivo de detecção de objeto em movimento 43. O dispositivo de detecção de objeto em movimento 43 determina se um objeto em movimento está presente ao redor do veículo, com base em uma alteração no tempo de recursos que são extraídos a partir das imagens capturadas pelas câmeras a bordo 1. O esquema de detecção de um objeto em movimento utilizando-se as imagens capturadas não é particularmente limitado, e é possível utilizar apropria-damente um esquema que fosse conhecido no momento do depósito do presente pedido. Ao adquirir as informações de detecção que um objeto em movimento está presente, o dispositivo de controle 10 determina o estado de retardo. Pode existir um caso no qual um objeto em movimento não aparece nas imagens capturadas embora o objeto em movimento esteja presente ao redor do veículo, porque a temporização de apresentação das imagens capturadas é retardada se ocorre um retardo na comunicação sem fio. Quando um objeto em movimento estiver presente ao redor do veículo, o retardo da comunicação sem fio pode precisar ser particularmente levado em consideração. O dispositivo de controle 10 da presente modalidade determina o estado de retardo da comunicação sem fio quando um objeto em movimento estiver presente ao redor do veículo, e uma imagem prevista pode, portanto, ser apresentada de acordo com o estado de retardo da comunicação sem fio.
[036]Em seguida, descrever-se-á a função de geração de imagem prevista do dispositivo de controle 10. O dispositivo de controle 10 adquire informações de estado do veículo e calcula uma posição existente do veículo após o tempo de re-tardo com base nas informações de estado do veículo. O dispositivo de controle 10 da presente modalidade adquire um ângulo de direção e uma velocidade (ou acele-ração) do veículo como as informações de estado do veículo. O dispositivo de con-trole 10 calcula uma posição existente do veículo após um tempo predeterminado (após o tempo de retardo) quando o veículo se deslocar com as informações de estado adquiridas (em valores de estado como o ângulo de direção e a velocidade). O esquema de cálculo de uma posição existente do veículo quando o veículo se deslocar em um determinado estado por um tempo predeterminado não é parti-cularmente limitado, e é possível empregar apropriadamente um esquema que fosse conhecido no momento de depósito do presente pedido.
[037]O dispositivo de controle 10 gera uma imagem prevista usando a(s) imagem(s) capturada(s) que foi(foram) adquirida(s) de modo a obter a imagem pre-vista a ser capturada pela câmera em uma posição calculada (ou estimada) do veí-culo, uma imagem prevista que consiste em uma imagem a ser capturada na posição calculada (ou estimada) do veículo. Em outras palavras, o dispositivo de controle 10 considera a direção de deslocamento e o grau de deslocamento do veículo e prevê e gera uma imagem prevista que consiste em uma imagem a ser capturada por uma câmera 1 em uma posição existente do veículo após o deslocamento quando o tempo de retardo decorrer. A Figura 4 é uma vista que mostra uma imagem de vista posterior capturada do veículo conforme exibido na área de monitor 30R da Figura 2. Conforme mostrado na Figura 4, um primeiro ponto de referência predeterminado P0 é ajustado na temporização tx0. À medida que o veículo se desloca com o ângulo de direção e a velocidade nas informações de estado, o pri-meiro ponto de referência P0 na imagem capturada se move para um segundo ponto de referência P1 na temporização tx1 após um tempo de retardo ty. Nesse exemplo, o dispositivo de controle 10 calcula um grau de deslocamento reverso (grau de deslocamento) com base nas informações de estado do veículo e no tempo de retardo ty. Em uma imagem capturada que a câmera a bordo 1 captura em uma posição existente após o veículo se deslocar, o segundo ponto de referência P1 corresponde ao segundo ponto de referência P0. O dispositivo de controle 10 calcula informações de imagem no segundo ponto de referência P1. Ou seja, o dispositivo de controle 10 antevê (prevê) uma imagem que será capturada pela câmera a bordo 1 na temporização tx1 após o tempo de retardo ty.
[038]O dispositivo de controle 10 obtém uma direção de deslocamento do veículo a partir do ângulo de direção e obtém uma velocidade de deslocamento do veículo a partir das informações de velocidade. O dispositivo de controle 10 prevê uma imagem sendo considerada como capturada pela câmera a bordo 1 em uma posição existente do veículo após o tempo de retardo decorrer, sob a hipótese que o veículo se desloca com a presente direção de deslocamento e a velocidade de deslocamento. Em outras palavras, o dispositivo de controle 10 calcula onde o pri-meiro ponto de referência P0 da imagem capturada pela câmera a bordo 1 na tem-porização tx0 está posicionado em uma imagem capturada na temporização tx1 após o tempo de retardo ty decorrer a partir da temporização tx0. O dispositivo de controle 10 ajusta as coordenadas da imagem capturada pela câmera 1 na temporização tx1 após o tempo de retardo ty decorrer a partir da temporização tx0, usando a direção de deslocamento e o grau de deslocamento do veículo. O dispositivo de controle 10 realiza uma conversão de coordenadas de modo que as imagens capturadas pela(s) câmera(s) 1 na temporização tx0 (coordenadas de câmera na temporização tx0) sejam dispostas nas coordenadas recentemente ajustadas (co-ordenadas de câmera na temporização tx1). A mesma conversão de coordenadas é executada para cada ponto nas coordenadas. Através desse processo, o dispositivo de controle 10 gera, a partir das imagens capturadas, uma imagem prevista que consiste em uma imagem capturada na posição existente calculada do veículo após o tempo de retardo ty decorrer. Logo, o dispositivo de controle 10 gera uma imagem prevista sendo uma imagem que se considera ser capturada pela câmera a bordo 1 em uma posição na qual o veículo está presente após o deslocamento com a direção e a velocidade das informações de estado durante o tempo de retardo ty, isto é, durante o período de tempo a partir da temporização tx0 até a temporização tx1.
[039]Na Figura 4, supõe-se que o primeiro ponto de referência P0 na imagem capturada pela câmera a bordo 1 na temporização tx0 corresponde ao segundo ponto de referência P1 na temporização tx1 após o tempo de retardo ty decorrer. A imagem prevista é uma imagem quando o primeiro ponto de referência P0 na imagem capturada mostrada na Figura 4 foi convertido no segundo ponto de referência P1. Nesse exemplo, o veículo se desloca na direção esquerda-direita (em relação à direção para frente do veículo em deslocamento). A imagem prevista, que reflete a vista posterior do veículo, é deslocada para direita (na imagem da figura) em relação à imagem capturada. Em uma cena prática, a câmera 1 captura uma área de imagem mais ampla que uma área de imagem mostrada na Figura 4. Em particular, se uma câmera de ângulo amplo for empregada como a câmera 1, uma imagem capturada incluindo uma imagem de ângulo amplo será adquirida. O dispositivo de controle 10 realiza a conversão de coordenadas para uma região necessária da imagem capturada para gerar uma imagem prevista, e recorta (copia e cola) a imagem prevista a partir da imagem capturada de acordo com a região de exibição da tela 30. Através desse processo, o dispositivo de controle 10 pode ge- rar uma imagem prevista sem deficiência.
[040]Descreve-se a função de apresentação do dispositivo de controle 10. O dispositivo de controle 10 apresenta a imagem prevista gerada na tela 30. Conforme mostrado na Figura 2, o dispositivo de controle 10 apresenta uma imagem suspensa, que é uma imagem visualizada a partir de um ponto de vista acima do veículo, na área de monitor à esquerda 30L da tela 30, e apresenta uma imagem capturada ou imagem prevista na área de monitor à direita 30R da tela 30.
[041]O sistema de apresentação de informações 1000 da presente modali-dade tem um recurso de gerar uma imagem prevista sendo uma imagem que se supõe ser capturada pela câmera a bordo após o tempo de retardo da comunicação sem fio. De acordo com esse recurso, mesmo quando ocorrer um retardo na comunicação sem fio entre o aparelho a bordo 200 e o aparelho de terminal 100, é possível apresentar uma imagem prevista que mostra o estado em tempo real ao redor do veículo. Se ocorrer um retardo de comunicação ao apresentar a imagem capturada pela câmera a bordo 1 no aparelho de terminal 100, o aparelho de terminal 100 apresentará uma imagem capturada em um tempo passado.
[042]Supõe-se uma situação na qual um objeto está se aproximando do ve-ículo, mas não aparece em uma imagem que é recortada a partir de uma imagem capturada de um tempo passado para corresponder ao quadro de exibição da tela 30. Nessa situação, se ocorrer um retardo na comunicação sem fio, a imagem capturada do tempo passado será exibida, a partir da qual o motorista não pode reconhecer o objeto se aproximando. Em relação a esse problema, o dispositivo de controle 10 da presente modalidade gera a imagem prevista recortando-se uma imagem a partir de uma imagem capturada com referência à posição na câmera 1 do veículo após o tempo de retardo quando o veículo se desloca de acordo com as informações de estado do veículo. Mesmo um objeto em movimento, que não foi (exibido) no quadro de exibição na temporização passada, mas se encontra no quadro de exibição na presente temporização em consideração ao tempo de retardo, é exibido na imagem prevista. O motorista pode reconhecer a presença do objeto em movimento a partir da imagem prevista. Na presente modalidade, quando ocorrer um retardo na comunicação sem fio, o aparelho de terminal 100 apresenta a imagem prevista antevista (ou projeção) supondo-se que seja capturada após o tempo de retardo decorrer ao invés de uma imagem capturada em um tempo passado. Portanto, é possível notificar o motorista sobre a presença de um objeto em movimento que não estava incluído em uma imagem com base em uma imagem capturada em um tempo passado, mas está se aproximando.
[043]O dispositivo de controle 10 da presente modalidade tem, ainda, uma função de geração de linha de guia para gerar uma ou mais linhas de guia ao longo de uma trajetória na qual se prevê que o veículo se desloca com base nas informa-ções de estado do veículo. De modo mais específico, o dispositivo de controle 10 gera linhas de guia incluindo: “linhas de rota prevista P” que representam uma trajetória na qual se prevê que o veículo se desloca; “linhas de guia de largura do veículo Q1” que representam posições às superfícies laterais do veículo quando o veículo se desloca; e “linhas de guia de distância Q2” que representam posições ao longo da direção de deslocamento do veículo quando o veículo se desloca. O dispositivo de controle 10 sobrepõe as linhas de guia geradas na imagem prevista, conforme mostrado nas Figuras 2 e 4.
[044]Durante essa operação, na presente modalidade, o dispositivo de con-trole 10 altera uma exibição a partir das linhas de guia de acordo com o estado de retardo determinado pela função de determinação de estado de retardo previamente descrita. Por exemplo, quando o tempo de retardo for longo e o estado de retardo for ruim, isto é, quando o grau de confiabilidade da comunicação sem fio for baixo, as linhas de guia são exibidas em uma forma de exibição diferente da forma de exibição padrão que é usada quando o grau de confiabilidade da comunicação sem fio não for menor que um valor padrão. Exibir as linhas de guia em uma forma de exibição diferente da forma de exibição normal (padrão) pode chamar a atenção do motorista. Quando o grau de confiabilidade da comunicação sem fio for baixo, alterar a forma de exibição das linhas de guia permite que o motorista preste maior atenção aos arredores embora a precisão das linhas de guia possa possivelmente se deteriorar.
[045]De modo específico, a forma de exibição das linhas de guia a serem exibidas quando o tempo de retardo for longo e o estado de retardo for ruim pode ser ajustada de modo que, por exemplo, a cor, transparência, largura de linha e/ou modo (linha tracejada-pontilhada, linha tracejada-bipontilhada) sejam diferentes daqueles das linhas de guia a serem exibidas quando o tempo de retardo for curto e o estado de retardo não for ruim (o estado da comunicação sem fio é bom). Como um exemplo, quando o tempo de retardo for curto e o estado de retardo não for ruim (o estado da comunicação sem fio é bom), as linhas de guia podem ser exibidas como linhas de uma cor de recuo, tal como azul, verde e índigo, que não é relativamente distinguível, linhas pontilhadas, e/ou linhas relativamente delgadas. Por outro lado, quando o tempo de retardo for longo e o estado de retardo for ruim, as linhas de guia podem ser exibidas como linhas de uma cor de avanço, tal como vermelho, laranja e amarelo, que é relativamente distinguível, linhas contínuas e /ou linhas relativamente largas.
[046]Os exemplos das Figuras 2 e 4 são descritos como um exemplo de apresentação de uma imagem prevista a partir da imagem de vista posterior captu-radas do veículo. Em uma modalidade alternativa, o dispositivo de controle 10 pode gerar e apresentar uma imagem prevista obtida projetando-se imagens previstas, que são imagens capturadas por uma pluralidade de câmeras 1 em uma posição calculada do veículo, sobre um plano de projeção no qual o veículo é observado a partir de um ponto de vista virtual acima da posição calculada. Em outras pa- lavras, a imagem prevista após o tempo de retardo decorrer pode ser exibida em uma forma de uma imagem suspensa conforme mostrado à esquerda 30L da tela 30 da Figura 2. Em uma modalidade, o dispositivo de controle 10 pode gerar a imagem prevista somente na direção de deslocamento do veículo, embora possa gerar uma imagem em uma direção diferente da direção de deslocamento utilizando-se imagens passadas. Quando o veículo se deslocar em marcha à ré, o dispositivo de controle 10 pode gerar a imagem prevista somente na direção traseira e uma imagem suspensa utilizando-se a imagem prevista na direção traseira e imagens capturadas à frente e em uma lateral ou laterais. De acordo com essa modalidade, a imagem prevista gerada pode ser utilmente usada não somente para confirmar a situação na direção de deslocamento, mas também para confirmar toda a situação ao redor do veículo.
[047]As descrições serão voltadas a um procedimento de processamento no sistema de apresentação de informações 1000 de uma modalidade da presente invenção. A Figura 5 é um fluxograma que mostra um procedimento de controle realizado no sistema de apresentação de informações 1000 de acordo com a pre-sente modalidade.
[048]Na etapa 101, o dispositivo de controle 10 do aparelho de terminal 100 da presente modalidade confirma se a comunicação sem fio é estabelecida. Se a comunicação sem fio não for estabelecida, isto é, se a comunicação sem fio for interrompida, o dispositivo de controle 10 exibe esse fato na tela 30.
[049]Se a comunicação sem fio for estabelecida, o processo procede para a etapa 102 em que o dispositivo de controle 10 inicia um processo de contramedidas de retardo. No processo de contramedidas de retardo, o dispositivo de controle 10 gera uma imagem prevista que se supõe ser capturada após o tempo de retardo decorrer, e o dispositivo de controle 10 exibe a imagem prevista na tela 30. Na pre-sente modalidade, ao adquirir informações de detecção que um objeto em movi- mento está presente, o dispositivo de controle 10 inicia o processo de contramedidas de retardo. A ativação do processo de contramedidas de retardo não se limita a isso. O processo de contramedidas de retardo pode ser iniciado se o tempo de retardo da comunicação sem fio se tornar um valor predeterminado ou mais longo. Naturalmente, esse processo pode ser repetido em um período predeterminado.
[050]A etapa 102 é seguida pela etapa 103 em que o dispositivo de controle 10 determina o estado de retardo. O estado de retardo é determinado usando o tempo de retardo. O tempo de retardo pode ser medido no aparelho a bordo 200 ou no aparelho de terminal 100. O aparelho de terminal 100 da presente modalidade se sincroniza ao aparelho a bordo 200 e calcula, como o tempo de comunicação, metade do tempo requerido para comunicações de ida e volta a partir de quando se transmitem algumas informações ao aparelho a bordo 200 até quando se adquire um sinal de reconhecimento a partir do aparelho a bordo. O dispositivo de controle 10 calcula uma diferença de tempo entre o tempo de comunicação realmente medido e o tempo de comunicação medido em um estado padrão para obter o tempo de retardo no momento da medição real. O tempo de retardo obtido é usado para determinar o grau de confiabilidade da comunicação sem fio de acordo com o estado de retardo. À medida que o tempo de retardo se torna mais longo, o estado de retardo piora e o grau de confiabilidade da comunicação sem fio é menor. Nessa operação, o tempo de retardo e o estado de retardo são determinados em consideração ao tempo associado aos processos de descompactação e apresentação para as informações de imagem adquiridas no aparelho de terminal 100. O dispositivo de controle 10 apresenta o resultado de determinação referente ao estado de retardo na tela 30. Logo, o dispositivo de controle 10 proporciona ao motorista o grau de confiabilidade da comunicação sem fio, isto é, um aviso sobre a precisão das informações a serem apresentadas.
[051]Na etapa 104, o dispositivo de controle 10 adquire as imagens captu- radas pelas câmeras 1 e as informações de estado do veículo a partir do aparelho a bordo 200.
[052]Na etapa 105 a seguir, o dispositivo de controle 10 gera uma imagem prevista. O dispositivo de controle 10 calcula uma posição existente do veículo após o tempo de retardo com base nas informações de estado do veículo e gera uma imagem prevista a fim de prever a imagem prevista a ser capturada por uma câmera 1 na posição existente do veículo calculada usando as imagens capturadas que foram adquiridas.
[053]Na etapa 106, o dispositivo de controle 10 gera linhas de guia ao longo de uma trajetória na qual se prevê que o veículo se desloca com base nas in-formações de estado do veículo.
[054]Na etapa 107, o dispositivo de controle 10 sobrepõe as linhas de guia geradas na imagem capturada ou na imagem prevista e apresenta a imagem na tela display 30.
[055]O aparelho de terminal 100 e o sistema de apresentação de informações 1000 de acordo com a modalidade da presente invenção, que são configurados para operar conforme descrito anteriormente, apresentam efeitos vantajosos conforme abaixo.
[056](1) O sistema de apresentação de informações 1000 da presente mo-dalidade gera uma imagem prevista a fim de prever (ou projetar, ou antever) a ima-gem prevista a ser capturada pela câmera a bordo após o tempo de retardo da co-municação sem fio. O sistema de apresentação de informações 1000 apresenta a imagem prevista que mostra um estado em tempo real (ou tempo presente, ou sem um intervalo de tempo) ao redor do veículo mesmo quando ocorrer um retardo na comunicação entre o aparelho a bordo 200 e o aparelho de terminal 100. Quando ocorrer um retardo na comunicação sem fio, o sistema de apresentação de infor-mações 1000 pode evitar que o aparelho de terminal 100 apresente uma imagem capturada em um tempo passado.
[057](2) O sistema de apresentação de informações 1000 da presente mo-dalidade calcula o tempo de retardo após sincronizar preliminarmente o aparelho a bordo 200 e o aparelho de terminal 100 entre si, e pode, portanto, calcular um tempo de retardo preciso.
[058](3) O sistema de apresentação de informações 1000 da presente mo-dalidade não somente calcula o retardo da comunicação sem fio, mas também cal-cula um tempo de retardo através da adição do tempo requerido para os processos no aparelho de terminal 100, e, portanto, pode determinar o estado de retardo cor-retamente.
[059](4) O sistema de apresentação de informações 1000 da presente mo-dalidade mostra que a comunicação sem fio através do dispositivo de comunicação 2 está interrompida, e, desse modo, pode informar ao motorista que as imagens capturadas apresentadas não são imagens em tempo real.
[060](5) O sistema de apresentação de informações 1000 da presente mo-dalidade mostra que o grau de confiabilidade da comunicação sem fio através do dispositivo de comunicação 2 é baixo, e, desse modo, pode informar ao motorista que as imagens capturadas apresentadas não são imagens em tempo real.
[061](6) Quando o tempo de retardo for longo e o estado de retardo for ruim, isto é, quando o grau de confiabilidade da comunicação sem fio for baixo, o sistema de apresentação de informações 1000 da presente modalidade exibe as linhas de guia em uma forma de exibição diferente da forma de exibição padrão, e, desse modo, chama a atenção do motorista. Quando o grau de confiabilidade da comunicação sem fio for baixo, alterar a forma de exibição das linhas de guia permite que o motorista preste atenção aos arredores embora a precisão das linhas de guia possa possivelmente se deteriorar.
[062](7) O sistema de apresentação de informações 1000 da presente mo- dalidade determina o estado de retardo da comunicação sem fio quando um objeto em movimento estiver presente ao redor do veículo. O sistema de apresentação de informações 1000 pode apresentar uma imagem prevista de acordo com o estado de retardo da comunicação sem fio em uma situação em que se prestará bastante atenção.
[063](8) O sistema de apresentação de informações 1000 da presente mo-dalidade apresenta uma imagem suspensa prevista e gerada, e, portanto, não so-mente pode confirmar a situação na direção de deslocamento, mas também pode confirmar toda a situação ao redor do veículo.
[064]Na presente descrição, o aparelho de terminal 100 e o sistema de apresentação de informações 1000 são descritos como exemplos de um aspecto do sistema de apresentação de informações de acordo com a presente invenção, mas a presente invenção não se limita a isso.
[065]Na presente descrição, o sistema de apresentação de informações 1000 que compreende o aparelho a bordo 200 e o aparelho de terminal 100, que compreende o dispositivo de controle 10 incluindo a CPU 11, ROM 12 e RAM 13, é descrito como um exemplo de um aspecto do sistema de apresentação de informa-ções de acordo com a presente invenção, mas a presente invenção não se limita a isso.
[066]Na presente descrição, o aparelho de terminal 100 que compreende o dispositivo de controle 10 que executa a função de aquisição de imagem, a função de determinação de estado de retardo, a função de geração de imagem prevista, a função de apresentação, a função de geração de linha de guia e a função de aqui-sição de informações de detecção de objetos em movimento, o dispositivo de co-municação 20, e a tela 30, é descrito como um aspecto de um aparelho de terminal que compreende uma unidade de aquisição de imagem, uma unidade de determi-nação de estado de retardo, uma unidade de geração de imagem prevista, uma unidade de apresentação, uma unidade de geração de linha de guia, e uma unidade de aquisição de informações de detecção de objeto em movimento, mas a presente invenção não se limita a isso.
[067]Na presente descrição, o aparelho a bordo 200 que compreende as câmeras 1, o dispositivo de comunicação 2, o controlador de veículo 3 e os módulos 4 é descrito como um aspecto de um aparelho a bordo que compreende uma câmera e tem uma função de comunicação, mas a presente invenção não se limita a isso. DESCRIÇÃO DAS REFERÊNCIAS NUMÉRICAS 1000… sistema de apresentação de informações 100… aparelho de terminal 10… dispositivo de controle 11… CPU 12… ROM 13… RAM 20… dispositivo de comunicação 30… tela 200… aparelho a bordo 1, 1a a 1d… câmera 2… dispositivo de comunicação 3… controlador de veículo 4… módulos 41… dispositivo de controle de direção 42… sensor de aceleração 43… dispositivo de detecção de objeto em movimento

Claims (8)

1. Sistema de apresentação de informações (1000), compreendendo: um aparelho a bordo (200) incluindo uma câmera (1) proporcionada em um veículo; e um aparelho de terminal (100) realizando uma comunicação sem fio com o aparelho a bordo (200), sendo que o aparelho de terminal (100) compreende: uma unidade de aquisição de imagem configurada para adquirir uma ima-gem capturada ao redor do veículo capturada pela câmera (1); uma unidade de determinação de estado de retardo configurada para de-terminar um estado de retardo incluindo um tempo de retardo da comunicação sem fio entre o aparelho a bordo (200) e o aparelho de terminal (100); CARACTERIZADO pelo fato de que: uma unidade de geração de imagem prevista configurada para: adquirir informações de estado do veículo a partir do aparelho a bordo (200); calcular uma posição existente do veículo após o tempo de retardo, utili-zando-se as informações de estado do veículo; e gerar uma imagem prevista usando a imagem capturada que foi adquirida de modo a prever a imagem prevista a ser capturada pela câmera (1) na posição calculada existente do veículo após se deslocar quando o tempo de retardo passa; e uma unidade de apresentação (30) configurada para apresentar a imagem prevista.
2. Sistema de apresentação de informações (1000), de acordo com a rei-vindicação 1, CARACTERIZADO pelo fato de que a unidade de determinação de estado de retardo calcula o tempo de retar- do medindo-se, após sincronizar o aparelho a bordo (200) e o aparelho de terminal (100) entre si, um tempo requerido para que as informações sejam trocadas entre o aparelho a bordo (200) e o aparelho de terminal (100) através da comunicação sem fio.
3. Sistema de apresentação de informações (1000), de acordo com a rei-vindicação 1, CARACTERIZADO pelo fato de que a unidade de determinação de estado de retardo determina o estado de re-tardo obtendo-se um tempo de processamento do lado do aparelho de terminal re-querido para que o aparelho de terminal (100) apresente a imagem prevista após adquirir a imagem capturada, adicionando-se o tempo de processamento do lado do aparelho de terminal (100) ao tempo de retardo da comunicação sem fio, e cal-culando-se um tempo de retardo do processamento de apresentação de informações.
4. Sistema de apresentação de informações (1000), de acordo com qualquer uma das reivindicações 1 a 3, CARACTERIZADO pelo fato de que a unidade de determinação de estado de retardo determina se a comunica-ção sem fio é interrompida, e faz com que a unidade de apresentação (30) mostre que a comunicação sem fio é interrompida quando a comunicação sem fio for inter-rompida.
5. Sistema de apresentação de informações (1000), de acordo com qualquer uma das reivindicações 1 a 4, CARACTERIZADO pelo fato de que a unidade de determinação de estado de retardo determina um grau de confiabilidade da comunicação sem fio de acordo com o estado de retardo, e a unidade de apresentação (30) apresenta o grau de confiabilidade.
6. Sistema de apresentação de informações (1000), de acordo com qualquer uma das reivindicações 1 a 5, CARACTERIZADO pelo fato de que o aparelho de terminal (100) compreende, ainda uma unidade de geração de linha de guia configurada para gerar uma linha de guia ao longo de uma trajetória na qual se prevê que o veículo se desloca com base nas informações de estado do veículo, e a unidade de apresentação (30), quando sobrepõe a linha de guia gerada sobre a imagem prevista, altera uma forma de exibição da linha de guia de acordo com o estado de retardo determinado pela unidade de determinação de estado de retardo.
7. Sistema de apresentação de informações (1000), de acordo com qualquer uma das reivindicações 1 a 6, CARACTERIZADO pelo fato de que o aparelho de terminal (100) compreende, ainda, uma unidade de aquisição de informações de detecção de objeto em movimento configurada para adquirir informações de detecção se um objeto em movimento está presente ao redor do veículo, e a unidade de determinação de estado de retardo determina o estado de re-tardo ao adquirir informações de detecção que um objeto em movimento está pre-sente.
8. Sistema de apresentação de informações (1000), de acordo com qualquer uma das reivindicações 1 a 7, CARACTERIZADO pelo fato de que a câmera (1) inclui uma pluralidade de câmeras (1a, 1b, 1c, 1d, 1e) montadas em diferentes posições no veículo, e a unidade de geração de imagem prevista gera uma imagem prevista obtida projetando-se imagens previstas sobre um plano de projeção no qual o veículo é visualizado a partir de um ponto de vista virtual acima da posição calculada do veículo, sendo que as imagens previstas são imagens capturadas pela pluralidade de câmeras (1a, 1b, 1c, 1d, 1e) na posição calculada.
BR112016006666-9A 2013-09-27 2014-07-16 Sistema de apresentação de informações BR112016006666B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-200958 2013-09-27
JP2013200958 2013-09-27
PCT/JP2014/068919 WO2015045578A1 (ja) 2013-09-27 2014-07-16 情報提示システム

Publications (2)

Publication Number Publication Date
BR112016006666A2 BR112016006666A2 (pt) 2017-08-01
BR112016006666B1 true BR112016006666B1 (pt) 2023-04-04

Family

ID=52742735

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112016006666-9A BR112016006666B1 (pt) 2013-09-27 2014-07-16 Sistema de apresentação de informações

Country Status (7)

Country Link
US (1) US20160227098A1 (pt)
EP (1) EP3051808B1 (pt)
JP (1) JP6107960B2 (pt)
CN (1) CN105580358B (pt)
BR (1) BR112016006666B1 (pt)
RU (1) RU2647688C2 (pt)
WO (1) WO2015045578A1 (pt)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201406405D0 (en) * 2014-04-09 2014-05-21 Jaguar Land Rover Ltd Apparatus and method for displaying information
CN107615757B (zh) * 2015-05-29 2018-10-09 日产自动车株式会社 信息呈现系统
JP2017022660A (ja) * 2015-07-14 2017-01-26 シャープ株式会社 表示装置、表示システム及びプログラム
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10086871B2 (en) * 2015-12-02 2018-10-02 GM Global Technology Operations LLC Vehicle data recording
KR102441328B1 (ko) 2016-01-28 2022-09-08 삼성전자주식회사 이동 로봇이 전송한 화면을 표시하는 방법 및 그 전자장치
JP6478935B2 (ja) * 2016-03-16 2019-03-06 株式会社東芝 車両通信装置、路側通信装置及び通信システム
WO2018037789A1 (ja) * 2016-08-22 2018-03-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6433537B2 (ja) 2016-12-22 2018-12-05 カルソニックカンセイ株式会社 画像表示制御装置
WO2018116588A1 (ja) * 2016-12-22 2018-06-28 カルソニックカンセイ株式会社 画像表示制御装置
WO2019035177A1 (ja) * 2017-08-15 2019-02-21 三菱電機株式会社 車載表示装置、画像処理装置および表示制御方法
JP2019220009A (ja) * 2018-06-21 2019-12-26 ルネサスエレクトロニクス株式会社 半導体装置、メッセージ画像出力方法、およびプログラム
CN114073117B (zh) * 2019-03-29 2024-05-14 本田技研工业株式会社 终端装置、通信系统、通信方法以及存储介质
DE102019002789B4 (de) * 2019-04-16 2022-01-05 Daimler Ag Verfahren und Vorrichtung zur Steuerung eines automatisiert fahrenden Fahrzeuges
KR20210060690A (ko) * 2019-11-18 2021-05-27 현대자동차주식회사 차량 및 그 후방 영상 제공 방법
CN112991805A (zh) * 2021-04-30 2021-06-18 湖北亿咖通科技有限公司 一种辅助驾驶方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078480A (ja) * 1998-08-31 2000-03-14 Sony Corp 撮像装置及び撮像方法
JP2001266163A (ja) * 2000-03-17 2001-09-28 Nissan Motor Co Ltd 車両用画像処理装置
JP2005303450A (ja) * 2004-04-07 2005-10-27 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視装置
JP4590962B2 (ja) * 2004-07-21 2010-12-01 日産自動車株式会社 車両用周辺監視装置
JP4977568B2 (ja) * 2007-09-28 2012-07-18 日産自動車株式会社 現在位置情報通知システム、センタ装置及び誤差補正方法
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP2009118169A (ja) * 2007-11-06 2009-05-28 Victor Co Of Japan Ltd 画像無線伝送システム及び画像表示装置
JP5543098B2 (ja) * 2008-11-14 2014-07-09 キヤノン株式会社 撮像装置
JP5071743B2 (ja) * 2010-01-19 2012-11-14 アイシン精機株式会社 車両周辺監視装置
JP5445218B2 (ja) * 2010-02-25 2014-03-19 マツダ株式会社 駐車支援システム
JP5258859B2 (ja) * 2010-09-24 2013-08-07 株式会社豊田中央研究所 走路推定装置及びプログラム
JP2012162130A (ja) * 2011-02-04 2012-08-30 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2012176656A (ja) * 2011-02-25 2012-09-13 Fuji Heavy Ind Ltd 駐車支援装置
JP5861279B2 (ja) * 2011-06-23 2016-02-16 日産自動車株式会社 車両用監視装置及び車両の監視方法
WO2013081985A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
JP2014029380A (ja) * 2012-07-31 2014-02-13 Sony Corp 情報処理装置、情報処理方法、プログラム及び画像表示装置
US9519286B2 (en) * 2013-03-19 2016-12-13 Robotic Research, Llc Delayed telop aid
WO2015017541A1 (en) * 2013-07-30 2015-02-05 Robert Bosch Gmbh Adaptive methods for wireless camera communication

Also Published As

Publication number Publication date
BR112016006666A2 (pt) 2017-08-01
RU2016110774A (ru) 2017-11-01
EP3051808A1 (en) 2016-08-03
JPWO2015045578A1 (ja) 2017-03-09
EP3051808B1 (en) 2018-11-14
JP6107960B2 (ja) 2017-04-05
RU2647688C2 (ru) 2018-03-16
CN105580358B (zh) 2017-07-07
WO2015045578A1 (ja) 2015-04-02
EP3051808A4 (en) 2016-10-12
CN105580358A (zh) 2016-05-11
US20160227098A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
BR112016006666B1 (pt) Sistema de apresentação de informações
US10144351B2 (en) Information presentation system
KR101066068B1 (ko) 듀얼 카메라를 이용한 영상 감시 장치 및 방법
EP2723069B1 (en) Vehicle periphery monitoring device
KR100911066B1 (ko) 화상 표시 시스템, 화상 표시 방법 및 기록 매체
JP2010198552A (ja) 運転状況監視装置
JP5697512B2 (ja) 画像生成装置、画像表示システム及び画像表示装置
KR102045088B1 (ko) 영상 표시 방법 및 이를 위한 위한 장치
JP2008034966A (ja) 画像表示装置
US10099617B2 (en) Driving assistance device and driving assistance method
TWI506601B (zh) 車輛監控系統和車輛監控方法
JP5007863B2 (ja) 3次元物体位置計測装置
JP2018142885A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
KR101079894B1 (ko) 터널 벽면 전개화상 취득 시스템
WO2019035177A1 (ja) 車載表示装置、画像処理装置および表示制御方法
KR101649181B1 (ko) 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
JP2004274114A (ja) 画像表示装置および画像表示方法
JP4650935B2 (ja) 車両運転支援装置
JP2012004693A (ja) 運転支援装置
JP2011149810A (ja) 障害物検知警報装置
KR100856966B1 (ko) 화상 표시 시스템, 화상 표시 방법 및 기록 매체
KR101550426B1 (ko) 군 운용 차량의 주행 차선 표시 장치 및 그 방법
JP2004026115A (ja) 車両用死角監視装置
WO2016021017A1 (ja) 画像投射装置、制御方法、プログラム、及び記憶媒体
JP2017046059A (ja) 車両用表示装置および車両用表示方法

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 16/07/2014, OBSERVADAS AS CONDICOES LEGAIS