BR112018071020B1 - Método de exibição de arredores de corpo móvel e aparelho de exibição de arredores de corpo móvel - Google Patents

Método de exibição de arredores de corpo móvel e aparelho de exibição de arredores de corpo móvel Download PDF

Info

Publication number
BR112018071020B1
BR112018071020B1 BR112018071020-2A BR112018071020A BR112018071020B1 BR 112018071020 B1 BR112018071020 B1 BR 112018071020B1 BR 112018071020 A BR112018071020 A BR 112018071020A BR 112018071020 B1 BR112018071020 B1 BR 112018071020B1
Authority
BR
Brazil
Prior art keywords
attention
image
requiring
surroundings
movable body
Prior art date
Application number
BR112018071020-2A
Other languages
English (en)
Other versions
BR112018071020A2 (pt
Inventor
Yoshinori Kusayanagi
Takura Yanagi
Seigo Watanabe
Norimasa Kishi
Original Assignee
Nissan Motor Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co., Ltd. filed Critical Nissan Motor Co., Ltd.
Publication of BR112018071020A2 publication Critical patent/BR112018071020A2/pt
Publication of BR112018071020B1 publication Critical patent/BR112018071020B1/pt

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

É fornecido um método de exibição de arredores de corpo móvel executado por um aparelho de exibição de arredores de corpo móvel incluindo um elemento de captura de imagens que adquire informação de arredores em um corpo móvel ao capturar imagens, um controlador (40) que cria uma imagem capturada usando a informação de arredores e uma imagem virtual representando uma situação ao redor do corpo móvel, e um mostrador (50) que exibe a imagem virtual. O método detecta uma faixa exigindo atenção ao redor do corpo móvel, cria uma imagem capturada da faixa exigindo atenção, e exibe a imagem capturada da faixa exigindo atenção no mostrador (50).

Description

CAMPO TÉCNICO
[001] A presente invenção diz respeito a um método de exibição de arredores de corpo móvel e a um aparelho de exibição de arredores de corpo móvel.
TÉCNICA ANTERIOR
[002] Existe uma técnica conhecida convencionalmente para detectar um objeto exigindo atenção na direção de deslocamento de um veículo e informar o motorista a respeito do objeto detectado exigindo atenção. Na Literatura de Patente 1, um objeto detectado exigindo atenção é exibido em um mostrador ao nível dos olhos.
LISTA DE REFERÊNCIAS Literatura de Patente
[003] Literatura de Patente 1: publicação de pedido de patente japonês 2001-23091.
SUMÁRIO DA INVENÇÃO Problema Técnico
[004] Na Literatura de Patente 1, um objeto exigindo atenção é exibido em um mostrador ao nível dos olhos como um ícone. Assim, informação que um ocupante recebe empiricamente durante condução normal, tal como o atributo do objeto exigindo atenção (se o objeto é uma pessoa idosa ou uma criança) e a direção de olho do objeto, pode ser perdida.
[005] A presente invenção foi desenvolvida em virtude do problema citado anteriormente e tem como objetivo fornecer um método de exibição de arredores de corpo móvel e um aparelho de exibição de arredores de corpo móvel capazes de informar um ocupante a respeito de detalhes de informação aos quais precisa prestar atenção.
Solução Para o Problema
[006] Um método de exibição de arredores de corpo móvel de acordo com um aspecto da presente invenção adquire informação de arredores de um corpo móvel ao capturar imagens, cria uma imagem capturada usando a informação de arredores adquirida e uma imagem virtual representando uma situação ao redor do corpo móvel, detecta uma faixa exigindo atenção ao redor do corpo móvel, cria uma imagem de captura da faixa exigindo atenção detectada, e exibe a imagem capturada da faixa exigindo atenção em um mostrador.
Efeitos Vantajosos da Invenção
[007] A presente invenção exibe uma imagem capturada de uma faixa exigindo atenção em um mostrador, e por esta razão permite que um ocupante seja informado de detalhes de informação aos quais precisa prestar atenção.
DESCRIÇÃO RESUMIDA DOS DESENHOS
[008] A figura 1 é um diagrama da configuração de um aparelho de exibição de arredores de corpo móvel de acordo com uma primeira modalidade da presente invenção. As figuras 2(a) e 2(b) são diagramas ilustrando um exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a primeira modalidade da presente invenção. As figuras 3(a), 3(b) e 3(c) são diagramas ilustrando um outro exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a primeira modalidade da presente invenção. As figuras 4(a), 4(b) e 4(c) são diagramas ilustrando também um outro exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a primeira modalidade da presente invenção. A figura 5 é um diagrama ilustrando ainda um outro exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a primeira modalidade da presente invenção. A figura 6 é um fluxograma ilustrando uma operação de exemplo do aparelho de exibição de arredores de corpo móvel de acordo com a primeira modalidade da presente invenção. A figura 7 é um diagrama da configuração de um aparelho de exibição de arredores de corpo móvel de acordo com uma segunda modalidade da presente invenção. A figura 8 é um diagrama ilustrando síntese de uma imagem virtual com uma imagem de câmera de acordo com a segunda modalidade da presente invenção. A figura 9 é um diagrama ilustrando um exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a segunda modalidade da presente invenção. A figura 10 é um diagrama ilustrando um outro exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a segunda modalidade da presente invenção. A figura 11 é um fluxograma ilustrando uma operação de exemplo do aparelho de exibição de arredores de corpo móvel de acordo com a segunda modalidade da presente invenção. A figura 12 é um diagrama da configuração de um aparelho de exibição de arredores de corpo móvel de acordo com uma terceira modalidade da presente invenção. A figura 13 é um diagrama ilustrando um exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a terceira modalidade da presente invenção. A figura 14 é um diagrama ilustrando um outro exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a terceira modalidade da presente invenção. A figura 15 é um diagrama ilustrando também um outro exemplo de síntese de uma imagem virtual com uma imagem de câmera de acordo com a terceira modalidade da presente invenção. A figura 16 é um fluxograma ilustrando uma operação de exemplo do aparelho de exibição de arredores de corpo móvel de acordo com a terceira modalidade da presente invenção.
DESCRIÇÃO DE MODALIDADES
[009] Modalidades da presente invenção são descritas a seguir com referência para os desenhos. Por todos os desenhos, as mesmas partes são denotadas pelos mesmos números de referência e não são descritas repetidamente.
Primeira Modalidade
[010] Um aparelho de exibição de arredores de corpo móvel 1 de acordo com uma primeira modalidade é descrito com referência para a figura 1. Tal como ilustrado na figura 1, o aparelho de exibição de arredores de corpo móvel 1 inclui um detector de ambiente 10, uma câmera dianteira 20, uma câmera direita 21, uma câmera esquerda 22, uma câmera traseira 23, um controlador 40 e um mostrador 50. Notar que o aparelho de exibição de arredores de corpo móvel 1 é um aparelho usado principalmente para um veículo de condução autônoma com capacidade de condução autônoma.
[011] O detector de ambiente 10 é um dispositivo que detecta o ambiente circundando o veículo hospedeiro, e é, por exemplo, um telêmetro a laser. Um telêmetro a laser detecta obstáculos (tais como um pedestre, uma bicicleta, um veículo de duas rodas e um veículo diferente) localizados ao redor (por exemplo, dentro de 30 metros) do veículo hospedeiro. Em vez disto, um sensor infravermelho, um sensor ultrassônico ou outro tipo pode ser usado como o detector de ambiente 10, ou uma combinação destes pode constituir o detector de ambiente 10. Adicionalmente, o detector de ambiente 10 pode ser configurado incluindo câmeras tais como a câmera dianteira 20 e a câmera traseira 23 a ser descritas mais tarde, ou incluindo uma câmera diferente. Também, o detector de ambiente 10 pode ser configurado incluindo um receptor GPS. O detector de ambiente 10 pode transmitir informação a respeito da posição do veículo hospedeiro recebida com o receptor GPS para uma nuvem e receber informação de mapa em volta do veículo hospedeiro da nuvem. O detector de ambiente 10 envia informação de ambiente detectada para o controlador 40. Além do mais, o detector de ambiente 10 não tem que ser necessariamente fornecido para o veículo hospedeiro, e dados detectados por um sensor instalado fora do veículo podem ser adquiridos por meio de comunicação sem fio. Em outras palavras, o detector de ambiente 10 pode detectar o ambiente circundando o veículo hospedeiro por meio de comunicação sem fio com outros veículos (comunicação de veículo para veículo) ou comunicação sem fio com obstáculos e cruzamentos (comunicação de veículo para infraestrutura).
[012] Cada uma de a câmera dianteira 20, a câmera direita 21, a câmera esquerda 22 e a câmera traseira 23 é uma câmera tendo um elemento de captura de imagens tal como um dispositivo de carga acoplada (CCD) ou um semicondutor de óxido de metal complementar (CMOS). A seguir, as quatro câmeras, isto é a câmera dianteira 20, a câmera direita 21, a câmera esquerda 22 e a câmera traseira 23, são referidas coletivamente como as “câmeras de veículo 20 a 23”. As câmeras de veículo 20 a 23 adquirem informação de arredores do veículo hospedeiro ao capturar imagens do lado dianteiro, do lado direito, do lado esquerdo e do lado traseiro do veículo hospedeiro, respectivamente, e enviam a informação de arredores adquirida para o controlador 40.
[013] O controlador 40 é um circuito que processa informação adquirida do detector de ambiente 10 e das câmeras de veículo 20 a 23, e é configurado com, por exemplo, um IC, um LSI ou coisa parecida. O controlador 40, quando visto funcionalmente, pode ser classificado como uma unidade de criação de imagem virtual 41, uma unidade de determinação de cenário de condução 42, uma unidade de identificação de faixa exigindo atenção 43, uma unidade de armazenamento 44, uma unidade de criação de imagem de câmera 45 e uma unidade de síntese 46.
[014] A unidade de criação de imagem virtual 41 cria uma imagem virtual representando a situação em volta do veículo hospedeiro usando informação adquirida do detector de ambiente 10. Na primeira modalidade, uma imagem virtual é uma imagem gráfica de computador obtida por meio de mapeamento tridimensional de, por exemplo, informação geográfica, informação de obstáculo, informação de sinal de estrada e outras mais, e é diferente de uma imagem de câmera a ser descrita mais tarde. A unidade de criação de imagem virtual 41 envia a imagem virtual criada para a unidade de síntese 46.
[015] A unidade de determinação de cenário de condução 42 determina o cenário de condução corrente usando informação adquirida do detector de ambiente 10. Exemplos de cenários de condução determinados pela unidade de determinação de cenário de condução 42 incluem um cenário de deslocamento regular, um cenário de estacionamento, um cenário onde o veículo hospedeiro entra em uma via expressa e um cenário onde o veículo hospedeiro entra em um cruzamento. A unidade de determinação de cenário de condução 42 envia o cenário de condução determinado para a unidade de identificação de faixa exigindo atenção 43.
[016] Com base no cenário de condução determinado pela unidade de determinação de cenário de condução 42, a unidade de identificação de faixa exigindo atenção 43 identifica uma área à qual um ocupante precisa prestar atenção (referida em seguida como uma faixa exigindo atenção). Mais especificamente, a unidade de identificação de faixa exigindo atenção 43 identifica uma faixa exigindo atenção usando uma base de dados armazenada na unidade de armazenamento 44. Embora uma descrição de uma faixa exigindo atenção seja dada mais tarde, a faixa exigindo atenção em um cenário de estacionamento lado a lado é, por exemplo, uma região a partir das proximidades da roda traseira no lado interno de giro, na traseira do veículo hospedeiro, para a frente do veículo hospedeiro no lado direito, e em um cenário de estacionamento em fila é uma região em volta do veículo hospedeiro incluindo suas rodas dianteiras e traseiras. Na unidade de armazenamento 44, faixas exigindo atenção de acordo com cenários de condução são armazenadas antecipadamente. A unidade de identificação de faixa exigindo atenção 43 envia a faixa exigindo atenção identificada para a unidade de criação de imagem de câmera 45 e para a unidade de síntese 46.
[017] Usando informação adquirida das câmeras de veículo 20 a 23, a unidade de criação de imagem de câmera 45 cria uma imagem de câmera (uma imagem capturada) de uma faixa exigindo atenção identificada pela unidade de identificação de faixa exigindo atenção 43. A unidade de criação de imagem de câmera 45 envia a imagem de câmera criada para a unidade de síntese 46. Embora as câmeras de veículo sejam usadas para a imagem capturada na presente modalidade, as câmeras de veículo não estão limitadas a tipos particulares, e podem ser quaisquer câmeras tais como câmeras coloridas, câmeras monocromáticas, câmeras de infravermelho ou câmeras via rádio.
[018] A unidade de síntese 46 substitui uma faixa exigindo atenção em uma imagem virtual por uma imagem de câmera. A unidade de síntese 46 então envia a imagem sintetizada deste modo para o mostrador 50.
[019] O mostrador 50 é, por exemplo, uma tela de cristal líquido instalada em um painel de instrumentos ou uma tela de cristal líquido usada em um aparelho de navegação de carro, e apresenta várias partes de informação para um ocupante.
[020] A seguir, com referência para as figuras 2 a 5, exemplos de sínteses de imagens de câmeras para vários cenários de condução são descritos.
[021] O cenário de condução ilustrado na figura 2(a) é um cenário onde um veículo hospedeiro M1 estaciona lado a lado entre um veículo diferente M2 e um veículo diferente M3. Uma faixa exigindo atenção para um caso de estacionamento lado a lado é, tal como indicado pela região R, uma região a partir das proximidades da roda traseira no lado interno de giro, na traseira do veículo hospedeiro, para a frente do veículo hospedeiro no lado direito, e é uma faixa onde o veículo hospedeiro M1 pode se deslocar. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. Então, a unidade de síntese 46 substitui a região R em uma imagem virtual P pela imagem de câmera. Desse modo, o mostrador 50 exibe a região R à qual um ocupante precisa prestar atenção com a imagem de câmera, isto é, uma imagem capturada real. Assim, o ocupante pode receber informação detalhada a respeito da região R.
[022] A seguir, com referência para a figura 2(b), é dada uma descrição de um cenário de condução em que um veículo hospedeiro M1 executa estacionamento em fila entre um veículo diferente M2 e um veículo diferente M3. Uma faixa exigindo atenção para um caso de estacionamento em fila é, tal como indicado pela região R, uma região em volta do veículo incluindo suas rodas dianteiras e traseiras. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. O processamento seguinte é igual àquele descrito em conexão com a figura 2(a), e por esta razão não será descrito aqui.
[023] A seguir, com referência para a figura 3(a), é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 desvia para a esquerda para evitar colidir com um veículo diferente M2 enquanto se deslocando em uma estrada estreita. Uma faixa exigindo atenção para um caso de desviar para a esquerda em uma estrada estreita é, tal como indicado pela região R, uma região cobrindo a frente e o lado esquerdo do veículo hospedeiro. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. O processamento seguinte é igual àquele descrito em conexão com a figura 2(a), e por esta razão não será descrito aqui. Além do mais, a unidade de identificação de faixa exigindo atenção 43 pode identificar, como uma faixa exigindo atenção, uma região onde o veículo hospedeiro M1 fica próximo ao veículo diferente M2 ao ultrapassar o veículo diferente M2.
[024] A seguir, com referência para a figura 3(b), é dada uma descrição de um cenário de deslocamento do tipo letra S onde um veículo hospedeiro M1 se deslocando em uma estrada estreita evita um veículo diferente estacionado M3. Uma faixa exigindo atenção para um caso de deslocamento do tipo letra S em uma estrada estreita é, tal como indicado pela região R, uma região cobrindo ambos os lados esquerdo e direito do veículo diferente M3 e a frente do veículo hospedeiro incluindo as posições onde os pneus tocam o solo. Notar que a região R pode incluir um veículo diferente próximo M2. Adicionalmente, a unidade de identificação de faixa exigindo atenção 43 pode definir, como uma faixa exigindo atenção, uma região onde o veículo próximo se desloca em uma região onde o veículo hospedeiro M1 se desloca para evitar o veículo estacionado. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. O processamento seguinte é igual àquele descrito em conexão com a figura 2(a), e por esta razão não será descrito aqui.
[025] A seguir, com referência para a figura 3(c), é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 se deslocando em uma estrada estreita passa pelo lugar mais estreito (referido em seguida como uma parte mais estreita) por causa da presença de um poste de telefone T ou coisa parecida. Uma faixa exigindo atenção para um caso de passar pela parte mais estreita é, tal como indicado com a região R, uma região cobrindo a frente do veículo incluindo a largura da parte mais estreita (a largura da estrada entre um veículo diferente M2 e o poste de telefone T). A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. O processamento seguinte é igual àquele descrito em conexão com a figura 2(a), e por esta razão não será descrito aqui.
[026] A seguir, com referência para a figura 4(a), é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 entra em uma via expressa com um veículo diferente M2 atrás dele. Uma faixa exigindo atenção para um cenário de condução como este é, tal como indicado com a região R, uma região no lado direito do veículo hospedeiro se estendendo para uma região atrás. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. O processamento seguinte é igual àquele descrito em conexão com a figura 2(a), e por esta razão não será descrito aqui. Notar que a faixa exigindo atenção para o cenário de condução ilustrado na figura 4(a) pode ser uma faixa refletida no espelho de porta direita do veículo hospedeiro.
[027] A seguir, com referência para a figura 4(b), é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 entra em uma via expressa com um veículo diferente M3 à frente. Uma faixa exigindo atenção para um cenário de condução como este é, tal como indicado com a região R, uma região à frente do lado direito do veículo hospedeiro. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. O processamento seguinte é igual àquele descrito em conexão com a figura 2(a), e por esta razão não será descrito aqui.
[028] A seguir, com referência para a figura 4(c), é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 entra em uma via expressa com um veículo diferente M2 atrás e um veículo diferente M3 à frente. Uma faixa exigindo atenção para um cenário de condução como este é, tal como indicado com a região R, uma região à frente e atrás do lado direito do veículo hospedeiro. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. O processamento seguinte é igual àquele descrito em conexão com a figura 2(a), e por esta razão não será descrito aqui.
[029] A seguir, com referência para a figura 5, é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 vira para a esquerda em um cruzamento. Uma faixa exigindo atenção para um caso de virar para a esquerda em um cruzamento é, tal como indicado com a região R, uma região do cruzamento total incluindo a direção de deslocamento (a direção para a esquerda) do veículo hospedeiro M1. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da região R. O processamento seguinte é igual àquele descrito em conexão com a figura 2(a), e por esta razão não será descrito aqui.
[030] A seguir, uma operação de exemplo do aparelho de exibição de arredores de corpo móvel 1 é descrita com referência para o fluxograma na figura 6. Este fluxograma é iniciado quando, por exemplo, uma chave de ignição é ligada.
[031] Na Etapa S101, o detector de ambiente 10 e as câmeras de veículo 20 a 23 adquirem informação a respeito dos arredores do veículo hospedeiro.
[032] Na Etapa S102, a unidade de criação de imagem virtual 41 cria uma imagem virtual usando a informação a respeito dos arredores do veículo hospedeiro.
[033] Na Etapa S103, a unidade de determinação de cenário de condução 42 determina um cenário de condução usando a informação a respeito dos arredores do veículo hospedeiro.
[034] Na Etapa S104, com base no cenário de condução determinado pela unidade de determinação de cenário de condução 42, a unidade de identificação de faixa exigindo atenção 43 identifica uma faixa exigindo atenção usando a base de dados na unidade de armazenamento 44.
[035] Na Etapa S105, a unidade de criação de imagem de câmera 45 cria uma imagem de câmera da faixa exigindo atenção identificada pela unidade de identificação de faixa exigindo atenção 43.
[036] Na Etapa S106, a unidade de síntese 46 substitui a faixa exigindo atenção na imagem virtual pela imagem de câmera.
[037] Na Etapa S107, o controlador 40 exibe a imagem sintetizada pela unidade de síntese 46 no mostrador 50.
[038] O aparelho de exibição de arredores de corpo móvel 1 de acordo com a primeira modalidade tal como descrito anteriormente pode produzir os efeitos vantajosos seguintes.
[039] O aparelho de exibição de arredores de corpo móvel 1 primeiro cria uma imagem virtual usando informação a respeito dos arredores do veículo hospedeiro. A seguir, o aparelho de exibição de arredores de corpo móvel 1 identifica uma faixa exigindo atenção com base em um cenário de condução, e cria uma imagem de câmera da faixa exigindo atenção identificada. Então, o aparelho de exibição de arredores de corpo móvel 1 substitui a faixa exigindo atenção na imagem virtual pela imagem de câmera, e exibe a imagem sintetizada deste modo no mostrador 50. Por meio disso, um ocupante pode receber informação detalhada a respeito da faixa exigindo atenção.
[040] Anteriormente, o aparelho de exibição de arredores de corpo móvel 1 foi descrito como um aparelho usado principalmente para um veículo de condução autônoma com capacidade de condução autônoma. Quando muitas partes de informação são dadas para um ocupante durante condução autônoma, o ocupante pode considerar isso como incômodo. O aparelho de exibição de arredores de corpo móvel 1, entretanto, exibe uma imagem virtual exceto para uma faixa exigindo atenção, e assim pode reduzir a quantidade de informação dada para um ocupante. Assim, o aparelho de exibição de arredores de corpo móvel 1 pode incomodar menos um ocupante. Ao exibir assim uma faixa exigindo atenção com uma imagem de câmera e exibir uma região a não ser a faixa exigindo atenção com uma imagem virtual, o aparelho de exibição de arredores de corpo móvel 1 pode dar para um ocupante informação detalhada a respeito de uma região à qual o ocupante precisa prestar atenção (uma faixa exigindo atenção), e reduzir informação excessiva para uma região a não ser a faixa exigindo atenção. Desse modo, o ocupante pode obter corretamente somente informação necessária.
[041] Tal como ilustrado nas figuras 2 a 5, faixas exigindo atenção são lugares em uma estrada tal como um ponto de entrada em uma via expressa onde um veículo e um outro veículo deslocam juntos um do outro e um cruzamento onde um veículo e uma pessoa cruzam um com o outro. Um ocupante precisa prestar atenção em tais lugares. Uma vez que o aparelho de exibição de arredores de corpo móvel 1 substitui uma faixa exigindo atenção em uma imagem virtual por uma imagem de câmera e exibe a imagem sintetizada deste modo, um ocupante pode receber informação detalhada a respeito da faixa exigindo atenção.
Segunda Modalidade
[042] A seguir, com referência para a figura 7, é dada uma descrição de um aparelho de exibição de arredores de corpo móvel 2 de acordo com uma segunda modalidade da presente invenção. Tal como ilustrado na figura 7, a segunda modalidade difere da primeira modalidade em que o aparelho de exibição de arredores de corpo móvel 2 inclui um detector de objeto 60 e uma unidade de identificação de objeto exigindo atenção 47 e não inclui a unidade de determinação de cenário de condução 42, a unidade de identificação de faixa exigindo atenção 43 e a unidade de armazenamento 44. Os componentes iguais àqueles na primeira modalidade estão denotados pelos mesmos números de referência usados na primeira modalidade e não serão descritos aqui. Pontos diferentes serão discutidos principalmente a seguir.
[043] O detector de objeto 60 é um sensor de detecção de objeto que detecta um objeto presente ao redor do veículo hospedeiro, e detecta um objeto presente na periferia de uma estrada na qual o veículo hospedeiro está se deslocando. Por exemplo, um sensor de radar pode ser usado como o detector de objeto 60. Exemplos de objetos detectados pelo detector de objeto 60 incluem corpos móveis tais como um veículo diferente, uma motocicleta, um pedestre e uma bicicleta, sinais de trânsito e sinais de estrada. Notar que o detector de objeto 60 pode ser um sensor a não ser o sensor de radar, e pode ser um sensor de reconhecimento de imagem usando uma imagem capturada por uma câmera. Também, um sensor de laser, um sensor ultrassônico ou outro tipo pode ser usado como o detector de objeto 60. O detector de objeto 60 envia informação a respeito de objetos detectados para a unidade de identificação de objeto exigindo atenção 47.
[044] A unidade de identificação de objeto exigindo atenção 47 identifica, dentre os objetos detectados pelo detector de objeto 60, um objeto ao qual um ocupante precisa prestar atenção (referido em seguida como um objeto exigindo atenção). Exemplos de um objeto exigindo atenção incluem um veículo diferente, uma motocicleta, um pedestre, uma bicicleta, um animal (tal como um cachorro ou um gato), um poste de telefone, um mostrador de anúncio, um sinal de transito, um sinal de estrada e um objeto caído em uma estrada. A unidade de identificação de objeto exigindo atenção 47 envia o objeto exigindo atenção identificado para a unidade de criação de imagem de câmera 45 e para a unidade de síntese 46.
[045] A seguir, com referência para a figura 8, um exemplo de síntese de imagem de câmera é descrito. Tal como ilustrado na figura 8, em uma imagem virtual P, um pedestre W está mostrado como um símbolo. Neste caso, informação tal como o atributo do pedestre P (se o pedestre P é uma pessoa idosa ou uma criança) e a direção de olho do pedestre P pode ser perdida. Assim, a unidade de identificação de objeto exigindo atenção 47 identifica o pedestre W detectado pelo detector de objeto 60 como um objeto exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera do pedestre W identificado, tal como ilustrado na figura 8. Então, a unidade de síntese 46 substitui o pedestre W na imagem virtual P pela imagem de câmera. Desse modo, o mostrador 50 exibe o pedestre W à qual um ocupante precisa prestar atenção, usando a imagem de câmera, isto é, uma imagem capturada real. Desse modo, o ocupante pode receber informação detalhada a respeito do pedestre W. Notar que uma imagem de câmera de um objeto exigindo atenção criada pode ser uma imagem de câmera de uma região incluindo o pedestre W tal como ilustrado na figura 8, ou uma imagem de câmera recortada do pedestre W ao longo do contorno.
[046] A seguir, com referência para as figuras 9 a 10, é dada uma descrição de exemplos de síntese de imagem de câmera para vários cenários de condução.
[047] Tal como ilustrado na figura 9, quando o detector de objeto 60 detecta um veículo diferente M2 enquanto um veículo hospedeiro M1 está se deslocando em uma estrada estreita, a unidade de identificação de objeto exigindo atenção 47 identifica o veículo diferente M2 como um objeto exigindo atenção, e a unidade de criação de imagem de câmera 45 cria uma imagem de câmera do veículo diferente M2. O processamento seguinte é igual àquele descrito em conexão com a figura 8, e por esta razão não será descrito aqui.
[048] A seguir, com referência para a figura 10, é dada uma descrição de uma situação onde um veículo hospedeiro M1 entra em um cruzamento em forma de T. Quando o detector de objeto 60 detecta os veículos diferentes M2 e M3, um pedestre W, as bicicletas B1 a B3 e um sinal de estrada L, a unidade de identificação de objeto exigindo atenção 47 identifica estes objetos como objetos exigindo atenção, e a unidade de criação de imagem de câmera 45 cria imagens de câmera destes objetos. O processamento seguinte é igual àquele descrito em conexão com a figura 8, e por esta razão não será descrito aqui.
[049] A seguir, com referência para o fluxograma na figura 11, uma operação de exemplo do aparelho de exibição de arredores de corpo móvel 2 é descrita. Este fluxograma é iniciado quando, por exemplo, uma chave de ignição é ligada.
[050] Na Etapa S201, o detector de ambiente 10 e o detector de objeto 60 adquirem informação a respeito dos arredores do veículo hospedeiro.
[051] Na Etapa S202, a unidade de criação de imagem virtual 41 cria uma imagem virtual usando a informação a respeito dos arredores do veículo hospedeiro.
[052] Na Etapa S203, a unidade de identificação de objeto exigindo atenção 47 identifica um objeto exigindo atenção ao redor do veículo hospedeiro.
[053] Na Etapa S204, a unidade de criação de imagem de câmera 45 cria uma imagem de câmera do objeto exigindo atenção identificado pela unidade de identificação de objeto exigindo atenção 47.
[054] Na Etapa S205, a unidade de síntese 46 substitui o objeto exigindo atenção na imagem virtual pela imagem de câmera.
[055] Na Etapa S206, o controlador 40 exibe a imagem sintetizada pela unidade de síntese 46 no mostrador 50.
[056] O aparelho de exibição de arredores de corpo móvel 2 de acordo com a segunda modalidade tal como descrito anteriormente produz os efeitos vantajosos seguintes.
[057] O aparelho de exibição de arredores de corpo móvel 2 primeiro cria uma imagem virtual usando informação a respeito dos arredores do veículo hospedeiro. A seguir, o aparelho de exibição de arredores de corpo móvel 2 identifica um objeto exigindo atenção e cria uma imagem de câmera do objeto exigindo atenção identificado. Então, o aparelho de exibição de arredores de corpo móvel 2 substitui o objeto exigindo atenção na imagem virtual pela imagem de câmera, e exibe a imagem sintetizada deste modo no mostrador 50. Por meio disso, um ocupante pode receber informação detalhada a respeito do objeto exigindo atenção.
[058] Em uma imagem virtual, informação a respeito de um objeto exigindo atenção pode ser perdida. Por exemplo, se uma pessoa estiver mostrada como um símbolo, informação tal como o atributo dessa pessoa (se a pessoa é uma pessoa idosa ou uma criança) e a direção de olho da pessoa pode ser perdida. Adicionalmente, se um veículo estiver mostrado como um símbolo, informação tal como o tamanho, forma e cor do veículo pode ser perdida. O aparelho de exibição de arredores de corpo móvel 2, entretanto, exibe um objeto exigindo atenção em uma imagem virtual após substituir o mesmo por uma imagem de câmera, e assim pode compensar a perda de informação que pode ser causada por virtualização de imagem. Desse modo, é mais provável que um ocupante será capaz de predizer o movimento do objeto exigindo atenção.
[059] Além do mais, o aparelho de exibição de arredores de corpo móvel 2 pode prover um ocupante com informação detalhada a respeito de um objeto exigindo atenção, tal como um pedestre, um animal, uma bicicleta, um veículo ou um sinal de estrada, ao exibir o objeto exigindo atenção após substituir o objeto exigindo atenção por uma imagem de câmera.
Terceira Modalidade
[060] A seguir, com referência para a figura 12, é dada uma descrição de um aparelho de exibição de arredores de corpo móvel 3 de acordo com uma terceira modalidade da presente invenção. A terceira modalidade difere da primeira modalidade em que o aparelho de exibição de arredores de corpo móvel 3 inclui o detector de objeto 60, a unidade de identificação de objeto exigindo atenção 47 e uma unidade de identificação de parte de destaque 48. Os componentes iguais àqueles na primeira modalidade estão denotados pelos mesmos números de referência usados na primeira modalidade, e não são descritos a seguir. Pontos diferentes serão discutidos principalmente a seguir. Notar que o detector de objeto 60 e a unidade de identificação de objeto exigindo atenção 47 são iguais àqueles descritos na segunda modalidade, e por esta razão não serão descritos a seguir.
[061] A unidade de identificação de parte de destaque 48 identifica uma parte de destaque à qual um ocupante precisa prestar atenção. Especificamente, quando um objeto exigindo atenção identificado pela unidade de identificação de objeto exigindo atenção 47 está localizado dentro de uma faixa exigindo atenção identificada pela unidade de identificação de faixa exigindo atenção 43, a unidade de identificação de parte de destaque 48 identifica este objeto exigindo atenção como uma parte de destaque. A unidade de identificação de parte de destaque 48 envia a parte de destaque identificada para a unidade de criação de imagem de câmera 45 e para a unidade de síntese 46.
[062] A seguir, com referência para as figuras 13 a 15, exemplos de sínteses de imagens de câmeras para vários cenários de condução são descritos.
[063] Primeiro, com referência para a figura 13, é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 entra em um cruzamento em forma de T. Uma faixa exigindo atenção para um caso de um cruzamento em forma de T é, tal como indicado pela região R, uma região ao redor do veículo hospedeiro incluindo uma faixa dos lados esquerdo e direito do centro do cruzamento em forma de T. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção. A seguir, a unidade de identificação de objeto exigindo atenção 47 identifica os veículos diferentes M2 e M3, um pedestre W, as bicicletas B1 a B3 e um sinal de estrada L, detectados pelo detector de objeto 60, como objetos exigindo atenção. A seguir, dentre os objetos exigindo atenção, identificados pela unidade de identificação de objeto exigindo atenção 47, a unidade de identificação de parte de destaque 48 identifica um objeto exigindo atenção localizado dentro da faixa R como uma parte de destaque. No exemplo ilustrado na figura 13, a unidade de identificação de parte de destaque 48 identifica o pedestre W, as bicicletas B1 a B3 e o sinal de estrada L como partes de destaque. A seguir, a unidade de criação de imagem de câmera 45 cria imagens de câmera do pedestre W, das bicicletas B1 a B3 e do sinal de estrada L identificados como as partes de destaque. Então, a unidade de síntese 46 substitui o pedestre W, as bicicletas B1 a B3 e o sinal de estrada L em uma imagem virtual P pelas imagens de câmera. Desse modo, o mostrador 50 exibe o pedestre W, as bicicletas B1 a B3 e o sinal de estrada L por meio de uso das imagens de câmera, isto é, imagens capturadas reais. Isto permite que um ocupante receba informação detalhada a respeito do pedestre W, as bicicletas B1 a B3 e do sinal de estrada L. Notar que, no exemplo ilustrado na figura 13, um objeto exigindo atenção que está localizado parcialmente dentro da região R, tal como as bicicletas B2 e B3, também é identificado como uma parte de destaque, mas somente um objeto exigindo atenção que estiver totalmente localizado dentro da região R pode ser identificado como uma parte de destaque. Adicionalmente, a unidade de identificação de faixa exigindo atenção 43 pode identificar uma faixa exigindo atenção em tempo real, e faixas exigindo atenção podem ser predefinidas em um mapa ou coisa parecida.
[064] Adicionalmente, a unidade de identificação de parte de destaque 48 não identifica qualquer parte de destaque quando nenhum objeto exigindo atenção não é detectado dentro da região R. Quando a unidade de identificação de parte de destaque 48 não identifica nenhuma parte de destaque, a unidade de síntese 46 não substitui a região R na imagem virtual P por uma imagem de câmera. O motivo para isto é que quando objeto exigindo atenção, tal como um veículo diferente ou um pedestre, não é detectado em uma região R, o risco de o veículo hospedeiro colidir é baixo, e existe pouca necessidade de informar um ocupante a respeito da região R que tenha sido substituída por uma imagem de câmera. Quando objeto exigindo atenção não é detectado em uma região R, o aparelho de exibição de arredores de corpo móvel 3 exibe somente a imagem virtual P e assim pode reduzir a quantidade de informação dada para um ocupante. Consequentemente, o aparelho de exibição de arredores de corpo móvel 3 pode incomodar menos um ocupante. Notar que o detector de objeto 60 pode detectar um objeto dentro de uma faixa exigindo atenção identificada pela unidade de identificação de faixa exigindo atenção 43. Tal limitação da faixa para detectar um objeto dentro dela pode reduzir o tempo que o detector de objeto 60 gasta para detectar um objeto. Por sua vez, o tempo que a unidade de identificação de objeto exigindo atenção 47 gasta para identificar um objeto exigindo atenção também pode ser reduzido. Além do mais, a limitação da faixa para detectar um objeto dentro dela pode resultar em redução na carga de processamento no controlador 40.
[065] A seguir, com referência para a figura 14, é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 vira para a esquerda em um cruzamento. Uma faixa exigindo atenção para um caso de virar para a esquerda em um cruzamento é, tal como indicado com a região R, a região total do cruzamento, incluindo a direção de deslocamento (direção para a esquerda) do veículo hospedeiro M1. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de identificação de objeto exigindo atenção 47 identifica os veículos diferentes M2 a M4, uma bicicleta B e um sinal de trânsito S como objetos exigindo atenção. A seguir, dentre os objetos exigindo atenção, identificados pela unidade de identificação de objeto exigindo atenção 47, a unidade de identificação de parte de destaque 48 identifica um objeto exigindo atenção localizado dentro da região R como uma parte de destaque. No exemplo ilustrado na figura 14, a unidade de identificação de parte de destaque 48 identifica os veículos diferentes M2 e M3, a bicicleta B e o sinal de trânsito S como partes de destaque. O processamento seguinte é igual àquele descrito em conexão com a figura 13, e por esta razão não será descrito aqui. Notar que, tal como representado na figura 14, a faixa exigindo atenção pode ser definida para satisfazer uma situação de virar para a esquerda. Quando uma faixa exigindo atenção e fora da faixa exigindo atenção são assim definidos de acordo com um cenário de deslocamento, uma operação de condução sendo exercida correntemente, uma operação de condução esperada para ser exercida no futuro e outros mais, a unidade de identificação de faixa exigindo atenção 43 pode definir uma faixa exigindo atenção adequada para um cenário de deslocamento e para uma operação de condução, e pode tornar menos provável que atenção seja dada para o lado de fora da faixa exigindo atenção.
[066] A seguir, com referência para a figura 15, é dada uma descrição de um cenário de condução onde um veículo hospedeiro M1 vira para a direita em um cruzamento. Uma faixa exigindo atenção para um caso de virar para a direita em um cruzamento é, tal como indicado com a região R, a região total do cruzamento incluindo a direção de deslocamento (direção para a direita) do veículo hospedeiro M1 e excluindo o lado direito do veículo hospedeiro. A unidade de identificação de faixa exigindo atenção 43 identifica a região R como uma faixa exigindo atenção, e a unidade de identificação de objeto exigindo atenção 47 identifica os veículos diferentes M2 a M4, um pedestre W, as bicicletas B1 e B2 e os sinais de estrada L1 e L2 como partes de destaque. A seguir, dentre os objetos exigindo atenção identificados pela unidade de identificação de objeto exigindo atenção 47, a unidade de identificação de parte de destaque 48 identifica um objeto exigindo atenção localizado dentro da região R como uma parte de destaque. No exemplo ilustrado na figura 15, a unidade de identificação de parte de destaque 48 identifica os veículos diferentes M2 a M4, o pedestre W, as bicicletas B1 e B2 e os sinais de estrada L1 e L2 como partes de destaque. O processamento seguinte é igual àquele descrito em conexão com a figura 13, e por esta razão não será descrito aqui. Adicionalmente, tal como na figura 14, a unidade de identificação de faixa exigindo atenção 43 pode definir a faixa exigindo atenção para satisfazer uma situação de virar para a direita, tal como representado na figura 15.
[067] A seguir, com referência para o fluxograma ilustrado na figura 16, é dada uma descrição de uma operação de exemplo do aparelho de exibição de arredores de corpo móvel 3. Este fluxograma é iniciado quando, por exemplo, uma chave de ignição é ligada.
[068] Na Etapa S301, o detector de ambiente 10, o detector de objeto 60 e as câmeras de veículo 20 a 23 adquirem informação a respeito dos arredores do veículo hospedeiro.
[069] Na Etapa S302, a unidade de criação de imagem virtual 41 cria uma imagem virtual usando a informação a respeito dos arredores do veículo hospedeiro.
[070] Na Etapa S303, a unidade de determinação de cenário de condução 42 determina um cenário de condução usando a informação a respeito dos arredores do veículo hospedeiro.
[071] Na Etapa S304, com base no cenário de condução determinado pela unidade de determinação de cenário de condução 42, a unidade de identificação de faixa exigindo atenção 43 identifica uma faixa exigindo atenção usando a base de dados na unidade de armazenamento 44.
[072] Na Etapa S305, a unidade de identificação de objeto exigindo atenção 47 identifica um objeto exigindo atenção ao redor do veículo hospedeiro.
[073] Na Etapa S306, a unidade de identificação de parte de destaque 48 determina se um objeto exigindo atenção está localizado dentro da faixa exigindo atenção. Quando um objeto exigindo atenção está localizado dentro da faixa exigindo atenção (Sim na Etapa S306), a unidade de identificação de parte de destaque 48 identifica o objeto exigindo atenção localizado dentro da faixa exigindo atenção, e o processamento prossegue para a Etapa S307. Quando nenhum objeto exigindo atenção não é localizado dentro da faixa exigindo atenção (Não na Etapa S306), o processamento prossegue para a Etapa S310.
[074] Na Etapa S307, a unidade de criação de imagem de câmera 45 cria uma imagem de câmera do objeto exigindo atenção identificado pela unidade de identificação de parte de destaque 48.
[075] Na Etapa S308, a unidade de síntese 46 substitui o objeto exigindo atenção na imagem virtual pela imagem de câmera.
[076] Na Etapa S309, o controlador 40 exibe a imagem sintetizada pela unidade de síntese 46 no mostrador 50.
[077] Na Etapa S310, o controlador 40 exibe a imagem virtual no mostrador 50.
[078] O aparelho de exibição de arredores de corpo móvel 3 de acordo com a terceira modalidade tal como descrito anteriormente pode produzir os efeitos vantajosos seguintes.
[079] O aparelho de exibição de arredores de corpo móvel 3 primeiro cria uma imagem virtual usando informação a respeito dos arredores do veículo hospedeiro. A seguir, o aparelho de exibição de arredores de corpo móvel 3 identifica uma faixa exigindo atenção com base em um cenário de condução e identifica um objeto exigindo atenção dentro da faixa exigindo atenção. O aparelho de exibição de arredores de corpo móvel 3 cria uma imagem de câmera do objeto exigindo atenção dentro da faixa exigindo atenção, substitui o objeto exigindo atenção dentro da faixa exigindo atenção na imagem virtual pela imagem de câmera, e exibe a imagem sintetizada deste modo no mostrador 50. Por meio disso, um ocupante pode receber informação detalhada a respeito do objeto exigindo atenção.
[080] Adicionalmente, o aparelho de exibição de arredores de corpo móvel 3 exibe somente a imagem virtual no mostrador 50 quando nenhum objeto exigindo atenção não é localizado dentro da faixa exigindo atenção. Assim, o aparelho de exibição de arredores de corpo móvel 3 pode reduzir a quantidade de informação dada para um ocupante. O aparelho de exibição de arredores de corpo móvel 3 assim pode incomodar menos um ocupante.
[081] Anteriormente, as modalidades da presente invenção foram descritas. Entretanto, não deve ser entendido que as descrições e desenhos que constituem parte da revelação limitam a presente invenção. A partir desta revelação, várias modalidades, técnicas de operação e exemplos alternativos serão facilmente descobertos pelos versados na técnica.
[082] Nas primeira e segunda modalidades, uma faixa exigindo atenção e um objeto exigindo atenção, respectivamente, são substituídos por uma imagem de câmera. Na terceira modalidade, um objeto exigindo atenção é substituído por uma imagem de câmera se o objeto exigindo atenção estiver localizado dentro de uma faixa exigindo atenção. Uma faixa exigindo atenção e um objeto exigindo atenção indicam uma faixa à qual um ocupante precisa prestar atenção, e uma faixa exigindo atenção e um objeto exigindo atenção coletivamente podem ser ditos de modo reformulado como uma faixa exigindo atenção. Além do mais, tal como será descrito mais tarde, uma faixa exigindo atenção também pode incluir uma região cujo nível de atenção é igual ou maior que um valor predeterminado.
[083] Nas primeira, segunda e terceira modalidades, uma faixa exigindo atenção é substituída por uma imagem de câmera, mas a presente invenção não está limitada a isto. Por exemplo, os aparelhos de exibição de arredores de corpo móvel 1 a 3 podem calcular um nível de atenção para o veículo hospedeiro e executar a substituição de acordo com o nível de atenção calculado. O nível de atenção para o veículo hospedeiro pode ser obtido com base em uma velocidade relativa ou em uma distância relativa para o veículo hospedeiro. Por exemplo, o detector de ambiente 10 e/ou o detector de objeto 60 podem ter a capacidade de detectar uma velocidade relativa e uma distância relativa para o veículo hospedeiro.
[084] Por exemplo, os aparelhos de exibição de arredores de corpo móvel 1 a 3 podem calcular e ajustar um nível de atenção de tal maneira que quanto maior a velocidade relativa para o veículo hospedeiro tanto maior o nível de atenção. Adicionalmente, os aparelhos de exibição de arredores de corpo móvel 1 a 3 podem ajustar um nível de atenção de tal maneira que quanto menor a distância relativa para o veículo hospedeiro tanto maior o nível de atenção.
[085] Uma descrição específica é dada de um método de exibição que é baseado em um nível de atenção. Os aparelhos de exibição de arredores de corpo móvel 1 a 3 calculam um nível de atenção de um objeto localizado ao redor do veículo hospedeiro, e quando o nível de atenção calculado é igual ou maior que um valor predeterminado criam uma imagem de câmera de uma região onde o objeto está localizado, substituem essa região em uma imagem virtual pela imagem de câmera, e exibem a imagem sintetizada deste modo. Por meio disso, os aparelhos de exibição de arredores de corpo móvel 1 a 3 podem prover um ocupante com informação detalhada a respeito de uma região à qual precisa prestar atenção, sem identificar o atributo do objeto (se o objeto é uma pessoa ou um animal) ou coisa parecida. Notar que o valor predeterminado pode ser obtido antecipadamente por meio de experimento ou simulação.
[086] Também, os aparelhos de exibição de arredores de corpo móvel 1 a 3 podem dividir uma imagem virtual em uma pluralidade de partes, calcular um nível de atenção para cada uma das regiões correspondendo às respectivas partes divididas da imagem, e substituir uma região cujo nível de atenção calculado é igual ou maior que um valor predeterminado por uma imagem de câmera. Deste modo, os aparelhos de exibição de arredores de corpo móvel 1 a 3 podem reduzir a carga para o cálculo de nível de atenção.
[087] Embora a unidade de identificação de faixa exigindo atenção 43 identifique uma faixa exigindo atenção usando uma base de dados armazenada na unidade de armazenamento 44, a presente invenção não está limitada a isto. Por exemplo, a unidade de identificação de faixa exigindo atenção 43 pode transmitir informação a respeito da posição do veículo hospedeiro para uma nuvem, e identificar uma faixa exigindo atenção usando informação proveniente da nuvem correspondendo à informação a respeito da posição do veículo hospedeiro. Também, a unidade de identificação de faixa exigindo atenção 43 pode identificar uma faixa exigindo atenção usando informação adquirida de um veículo diferente por meio de comunicação de veículo para veículo.
[088] Embora a unidade de síntese 46 das presentes modalidades substitua uma faixa exigindo atenção em uma imagem virtual por uma imagem de câmera, a presente invenção não está necessariamente limitada a isto. A unidade de síntese 46 pode gerar uma imagem de câmera dos arredores do veículo hospedeiro e substituir uma região a não ser uma faixa exigindo atenção por uma imagem virtual. Em outras palavras, qualquer abordagem pode ser implementada desde que uma faixa exigindo atenção seja exibida por meio do uso de uma imagem de câmera.
[089] Notar que cada função das modalidades expostas anteriormente pode ser implementada por um ou por uma pluralidade de circuitos de processamento. Um circuito de processamento inclui um dispositivo de processamento programado tal como um dispositivo de processamento incluindo um circuito elétrico. Um circuito de processamento inclui um dispositivo tal como um circuito integrado de aplicação específica (ASIC) adaptado para executar funções descritas nas modalidades ou um componente de circuito convencional.
LISTA DE SÍMBOLOS DE REFERÊNCIA
[090] 10 detector de ambiente 20 câmera dianteira 21 câmera direita 22 câmera esquerda 23 câmera traseira 40 controlador 41 unidade de criação de imagem virtual 42 unidade de determinação de cenário de condução 43 unidade de identificação de faixa exigindo atenção 44 unidade de armazenamento 45 unidade de criação de imagem de câmera 46 unidade de síntese 47 unidade de identificação de objeto exigindo atenção 48 unidade de identificação de parte de destaque 50 mostrador 60 detector de objeto

Claims (6)

1. Método de exibição de arredores de corpo móvel executado por um aparelho de exibição de arredores de corpo móvel incluindo um elemento de captura de imagens (20, 21, 22, 23) que é montado em um corpo móvel e adquire informação de arredores ao capturar imagens, um controlador (40) que cria uma imagem capturada usando a informação de arredores e uma imagem virtual representando uma situação ao redor do corpo móvel, e um mostrador (50) que exibe a imagem virtual, o método CARACTERIZADO pelo fato de que compreende: dividir a imagem virtual ao redor do corpo móvel em uma pluralidade de partes, calcular um nível de atenção para cada uma das regiões correspondendo às partes divididas da imagem virtual, e detectar uma região cujo nível de atenção é igual ou maior que um valor predeterminado, como uma faixa exigindo atenção; criar a imagem capturada da faixa exigindo atenção; e exibir a faixa exigindo atenção por meio de uso da imagem capturada, em que a imagem virtual é diferente da imagem capturada, e exibir a imagem capturada na imagem virtual.
2. Método de exibição de arredores de corpo móvel, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a faixa exigindo atenção é uma região em uma estrada onde um veículo e um veículo ou um veículo e uma pessoa deslocam transversalmente um do outro.
3. Método de exibição de arredores de corpo móvel, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que compreende: detectar um objeto exigindo atenção ao redor do corpo móvel; ao detectar o objeto exigindo atenção, detectar uma região incluindo o objeto exigindo atenção como a faixa exigindo atenção; e exibir a faixa exigindo atenção por meio de uso da imagem capturada.
4. Método de exibição de arredores de corpo móvel, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que compreende: detectar um objeto exigindo atenção ao redor do corpo móvel dentro da faixa exigindo atenção; ao detectar o objeto exigindo atenção dentro da faixa exigindo atenção, detectar uma região incluindo o objeto exigindo atenção como uma parte de destaque; e exibir a parte de destaque por meio de uso da imagem capturada.
5. Método de exibição de arredores de corpo móvel, de acordo com a reivindicação 3 ou 4, CARACTERIZADO pelo fato de que o objeto exigindo atenção é um pedestre, um animal, uma bicicleta, um veículo ou um sinal de estrada localizado ao redor do corpo móvel.
6. Aparelho de exibição de arredores de corpo móvel, CARACTERIZADO pelo fato de que compreende: um elemento de captura de imagens (20, 21, 22, 23) que é montado em um corpo móvel e adquire informação de arredores ao capturar imagens; um controlador (40) que cria uma imagem capturada usando a informação de arredores e uma imagem virtual representando uma situação ao redor do corpo móvel; e um mostrador (50) que exibe a imagem virtual, em que o controlador (40) divide a imagem virtual ao redor do corpo móvel em uma pluralidade de partes, calcula um nível de atenção para cada uma das regiões correspondendo às partes divididas da imagem virtual, detecta uma região cujo nível de atenção é igual ou maior que um valor predeterminado, como uma faixa exigindo atenção, cria a imagem capturada da faixa exigindo atenção detectada, e exibe a imagem capturada da faixa exigindo atenção no mostrador (50), em que a imagem virtual é diferente da imagem capturada, e o controle exibe a imagem capturada na imagem virtual.
BR112018071020-2A 2016-04-14 2016-04-14 Método de exibição de arredores de corpo móvel e aparelho de exibição de arredores de corpo móvel BR112018071020B1 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062014 WO2017179174A1 (ja) 2016-04-14 2016-04-14 移動体周囲表示方法及び移動体周囲表示装置

Publications (2)

Publication Number Publication Date
BR112018071020A2 BR112018071020A2 (pt) 2019-02-12
BR112018071020B1 true BR112018071020B1 (pt) 2022-06-28

Family

ID=60042543

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112018071020-2A BR112018071020B1 (pt) 2016-04-14 2016-04-14 Método de exibição de arredores de corpo móvel e aparelho de exibição de arredores de corpo móvel

Country Status (10)

Country Link
US (1) US10864856B2 (pt)
EP (1) EP3444145A4 (pt)
JP (1) JP6555413B2 (pt)
KR (1) KR102023863B1 (pt)
CN (1) CN109070799B (pt)
BR (1) BR112018071020B1 (pt)
CA (1) CA3020813C (pt)
MX (1) MX367700B (pt)
RU (1) RU2715876C1 (pt)
WO (1) WO2017179174A1 (pt)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7195200B2 (ja) * 2019-03-28 2022-12-23 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法
US11554668B2 (en) * 2019-06-25 2023-01-17 Hyundai Mobis Co., Ltd. Control system and method using in-vehicle gesture input
CN116964637A (zh) * 2021-03-08 2023-10-27 索尼集团公司 信息处理装置、信息处理方法、程序和信息处理系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06278531A (ja) 1993-03-25 1994-10-04 Honda Motor Co Ltd 車両用視認補助装置
JP4334686B2 (ja) 1999-07-07 2009-09-30 本田技研工業株式会社 車両の画像表示装置
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
MX2007016556A (es) 2005-06-30 2008-03-07 Agc Flat Glass Na Inc Dispositivo y metodo para la percepcion monoltica de imagenes.
JP4775123B2 (ja) 2006-06-09 2011-09-21 日産自動車株式会社 車両用監視装置
US8472665B2 (en) * 2007-05-04 2013-06-25 Qualcomm Incorporated Camera-based user input for compact devices
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
EP2512133B1 (en) * 2009-12-07 2018-07-18 Clarion Co., Ltd. Vehicle periphery image display system
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
WO2011135778A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 画像処理装置、カーナビゲーションシステム、及び路上カメラシステム
JP2012053533A (ja) * 2010-08-31 2012-03-15 Daihatsu Motor Co Ltd 運転支援装置
JP5998496B2 (ja) * 2011-02-02 2016-09-28 日産自動車株式会社 駐車支援装置
US20120287277A1 (en) * 2011-05-13 2012-11-15 Koehrsen Craig L Machine display system
DE112013006385B4 (de) * 2013-01-09 2018-09-06 Mitsubishi Electric Corporation Fahrzeugperipherie-Anzeigevorrichtung
JP2013255237A (ja) * 2013-07-08 2013-12-19 Alpine Electronics Inc 画像表示装置及び画像表示方法
JP5901593B2 (ja) * 2013-09-11 2016-04-13 本田技研工業株式会社 車両用表示装置
US20150138099A1 (en) * 2013-11-15 2015-05-21 Marc Robert Major Systems, Apparatus, and Methods for Motion Controlled Virtual Environment Interaction
US9639968B2 (en) 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest

Also Published As

Publication number Publication date
EP3444145A1 (en) 2019-02-20
BR112018071020A2 (pt) 2019-02-12
MX2018012119A (es) 2019-02-11
RU2715876C1 (ru) 2020-03-03
WO2017179174A1 (ja) 2017-10-19
EP3444145A4 (en) 2019-08-14
JP6555413B2 (ja) 2019-08-14
CA3020813C (en) 2019-05-14
KR20180123553A (ko) 2018-11-16
CA3020813A1 (en) 2017-10-19
US10864856B2 (en) 2020-12-15
JPWO2017179174A1 (ja) 2019-04-04
CN109070799B (zh) 2021-02-26
KR102023863B1 (ko) 2019-09-20
US20190337455A1 (en) 2019-11-07
CN109070799A (zh) 2018-12-21
MX367700B (es) 2019-09-03

Similar Documents

Publication Publication Date Title
US11535155B2 (en) Superimposed-image display device and computer program
US10431094B2 (en) Object detection method and object detection apparatus
US20230005364A1 (en) Systems and methods for monitoring traffic lane congestion
CN106462727B (zh) 车辆、车道终止检测系统和方法
US10964217B2 (en) Travel control method and travel control apparatus
US8473201B2 (en) Current position determining device and current position determining method for correcting estimated position based on detected lane change at road branch
CN109426256A (zh) 自动驾驶车辆的基于驾驶员意图的车道辅助系统
JPWO2016208067A1 (ja) 車両位置判定装置及び車両位置判定方法
US11198398B2 (en) Display control device for vehicle, display control method for vehicle, and storage medium
JP2011013039A (ja) 車線判定装置及びナビゲーションシステム
WO2008038369A1 (fr) Dispositif de commande de conduite, procédé de commande de conduite, programme de commande de conduite et support d'enregistrement
JP2017009553A (ja) 車両位置判定装置及び車両位置判定方法
BR112018071020B1 (pt) Método de exibição de arredores de corpo móvel e aparelho de exibição de arredores de corpo móvel
US20180216955A1 (en) Lane Display Device and Lane Display Method
JP2016048226A (ja) 情報処理装置、情報処理方法並びに情報処理用プログラム及び記録媒体
JP2022006844A (ja) 物体検出方法及び物体検出装置
WO2020116205A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2014229100A (ja) 車両用表示装置
US20220383645A1 (en) Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium
CN114868381A (zh) 图像处理装置、图像处理方法以及程序
JP2012032366A (ja) カーナビゲーションシステム
JP7001169B2 (ja) 運転計画表示方法及び運転計画表示装置
US20230150534A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
US20230007156A1 (en) Dual sensor readout channel to allow for frequency detection
CN117152993A (zh) Ar设备控制方法、车载ar设备和计算机可读存储介质

Legal Events

Date Code Title Description
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B350 Update of information on the portal [chapter 15.35 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 14/04/2016, OBSERVADAS AS CONDICOES LEGAIS