BR112015024721B1 - Aparelho de reconhecimento de sinal de trânsito - Google Patents

Aparelho de reconhecimento de sinal de trânsito Download PDF

Info

Publication number
BR112015024721B1
BR112015024721B1 BR112015024721-0A BR112015024721A BR112015024721B1 BR 112015024721 B1 BR112015024721 B1 BR 112015024721B1 BR 112015024721 A BR112015024721 A BR 112015024721A BR 112015024721 B1 BR112015024721 B1 BR 112015024721B1
Authority
BR
Brazil
Prior art keywords
traffic sign
link
vehicle
traffic
image
Prior art date
Application number
BR112015024721-0A
Other languages
English (en)
Other versions
BR112015024721A2 (pt
Inventor
Naoki Kojo
Original Assignee
Nissan Motor Co., Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co., Ltd filed Critical Nissan Motor Co., Ltd
Publication of BR112015024721A2 publication Critical patent/BR112015024721A2/pt
Publication of BR112015024721B1 publication Critical patent/BR112015024721B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)

Abstract

aparelho de reconhecimento de sinal de trânsito. um aparelho de reconhecimento de sinal de trânsito (100) incluindo um dispositivo de controle (10) é proporcionado. o dispositivo de controle (10) executa: uma função de obtenção de imagem capturada, que obtém uma imagem capturada em torno de um veículo próprio de uma câmera (20); uma função de obtenção de posição de veículo próprio, que obtém uma posição de momento do veículo próprio; uma função de especificação de sinal de trânsito selecionado, que se refere às informações de mapas para especificar um sinal de trânsito a ser selecionado em uma ligação de deslocamento par a o veículo próprio, as informações de mapas incluindo dados de ligações de deslocamento e dados de sinais de trânsito, os dados de ligações de deslocamento incluindo uma ligação conectada e informações de direção de deslocamento, que são relacionadas entre si, a ligação conectada sendo definida por uma ligação dirigida, incluindo um ponto de partida, um ponto final e uma direção para cima ou uma direção para baixo, e conectada a cada um dos pontos de partida e final incluindo diretamente à frente, curva à direita ou curva à esquerda, os dados de sinais de trânsito incluindo informações de posição sobre o sinal de trânsito relativas à ligação de deslocamento; uma função de extração de área de imagem de sinal de trânsito, que extrai uma área de imagem do sinal de trânsito, com base nas informações de posição sobre o sinal de trânsito e informações de propriedades de captura de imagem sobre a câmera (20); e uma função de reconhecimento de conteúdo de sinal de trânsito, que reconhece um conteúdo de sinal de trânsito do sinal de trânsito, com base em uma imagem do sinal de trânsito na área de imagem.

Description

CAMPO TÉCNICO
[001] A presente invenção se refere a um aparelho de reconhecimento de sinal de trânsito, que especifica um sinal de trânsito a ser selecionado em uma pista de rolamento para um veículo próprio e que reconhece o conteúdo do sinal de trânsito.
ANTECEDENTES
[002] Com relação a esse tipo de aparelho, um aparelho que reconhece o estado de um sinal de trânsito é conhecido. Esse aparelho supõe uma área de imagem, que inclui uma imagem do sinal de trânsito dentro de uma imagem capturada por uma câmera, com base na distância do veículo próprio a um cru-zamento e informações de altura de um sinal de trânsito. E, esse aparelho re-conhece o conteúdo do sinal de trânsito, com base em uma imagem da área de imagem do sinal de trânsito (consultar o documento de patente 1 apresentado a seguir).DOCUMENTOS DA TÉCNICA ANTERIORDOCUMENTOS DE PATENTES[Documento de patente 1] patente japonesa de n° 3857698
SUMÁRIO DA INVENÇÃOPROBLEMAS A SEREM SOLUCIONADOS PELA INVENÇÃO
[003] No entanto, no caso em que vários sinais de trânsito são propor-cionados em um cruzamento, algumas dificuldades podem ocorrer. Por exemplo, uma dificuldade na qual uma imagem de um sinal de trânsito, que não deve ser selecionada pelo veículo próprio, é capturada na imagem capturada por uma câmera no veículo pode ocorrer. Outra dificuldade é que uma imagem de um sinal de trânsito, que deve ser selecionada, não é capturada pode ocorrer. Essas dificuldades podem depender da diferença de lugar, devido à direção de deslocamento do veículo próprio, às pistas de trânsito, à direção de desloca- mento ou assemelhados. Portanto, o processo, de acordo com a técnica anterior, tem um problema no qual o veículo próprio pode especificar erroneamente um sinal de trânsito a ser selecionado e reconhecer incorretamente o conteúdo do sinal de trânsito apresentado por ele.
[004] Um objeto da presente invenção é proporcionar um aparelho de reconhecimento de sinal de trânsito, que especifica um sinal de trânsito a ser selecionado pelo veículo próprio e que reconhece o conteúdo do sinal de trânsito com uma alta precisão, mesmo sob dificuldades, tal como quando uma imagem de um sinal de trânsito, que não deve ser selecionada, é capturada na imagem capturada por uma câmera de veículo próprio, ou uma imagem de um sinal de trânsito, que deve ser selecionada, não é capturada na imagem capturada pela câmera de veículo próprio.
MEIOS PARA SOLUCIONAR OS PROBLEMAS
[005] O aparelho de reconhecimento de sinal de trânsito da presente invenção se refere a informações de mapas, para especificar um sinal de trânsito a ser selecionado, quando de deslocamento na ligação de deslocamento seguinte, com base em uma ligação de deslocamento a qual a posição de momento do veículo próprio pertence. As informações de mapas incluem os dados de ligações de deslocamento e dados de sinais de trânsito. Os dados de ligações de deslocamento são definidos para cada pista de trânsito por uma ligação dirigida. Os dados de ligação de deslocamento incluem uma ligação conectada e informações de direções de deslocamento, que são relativas entre si. Os dados de sinais de trânsito são relacionados aos dados de ligações de deslocamento.
EFEITO DA INVENÇÃO
[006] De acordo com a presente invenção, as informações de mapas incluem os dados de ligações de deslocamento e os dados de sinais de trânsito, que são relacionados entre si. A ligação de deslocamento é especificada para cada pista de trânsito por uso da ligação dirigida, incluindo um ponto de partida, um ponto final e uma direção para cima ou uma direção para baixo, e a ligação de deslocamento é relacionada à ligação conectada e às informações de direções de deslocamento. Os dados de sinais de trânsito incluem os dados relativos a um sinal de trânsito a ser selecionado, quando de deslocamento na ligação de deslocamento. As informações de mapas são, desse modo, usadas para especificar o sinal de trânsito a ser selecionado, quando do deslocamento em cada ligação de deslocamento. Portanto, mesmo em uma situação de trânsito complexa, na qual vários sinais de trânsito são proporcionados, um sinal de trânsito a ser selecionado pelo motorista pode ser especificado corretamente na ligação de deslocamento para o veículo próprio.
BREVE DESCRIÇÃO DOS DESENHOS
[007] A Figura 1 é um diagrama de blocos de um sistema de suporte de acionamento, de acordo com uma concretização da presente invenção.
[008] A Figura 2 é uma vista mostrando um exemplo de informações de mapas, de acordo com a presente concretização.
[009] A Figura 3 é uma vista para descrever uma situação de trânsito na qual vários sinais de trânsito são proporcionados.
[010] A Figura 4 é uma vista para descrever um processo de especificação de um sinal de trânsito a ser selecionado.
[011] A Figura 5 é uma vista para descrever a sincronia de um processo de presunção para uma ligação de deslocamento.
[012] A Figura 6 é um fluxograma mostrando um procedimento de controle do sistema de suporte de acionamento, de acordo com a presente concretização.
MODO(S) PARA CONDUZIR A INVENÇÃO
[013] A seguir, uma concretização da presente invenção vai ser descrita com referência aos desenhos. A presente concretização exemplifica um exemplo no qual o aparelho de reconhecimento de sinal de trânsito, de acordo com a presente invenção, é aplicado a um sistema de suporte de acionamento.
[014] A Figura 1 é um diagrama de blocos de um sistema de suporte de acionamento 1, compreendendo um aparelho de reconhecimento de sinal de trânsito 100, de acordo com a invenção. O sistema de suporte de acionamento 1 e o aparelho de reconhecimento de sinal de trânsito 100 incluído nele são equipados em um veículo. O aparelho de reconhecimento de sinal de trânsito 100 especifica um sinal de trânsito a ser selecionado por um motorista no seu veículo próprio e que reconhece o conteúdo de informações apresentadas pelo sinal de trânsito.
[015] O sistema de suporte de acionamento 1 compreende o aparelho de reconhecimento de sinal de trânsito 100, um aparelho de navegação 50, um controlador de veículo 60, e um sistema de acionamento 70, que controla a direção do veículo. O sistema de suporte de acionamento 1 controla a direção / frenagem do veículo próprio por meio do controlador de veículo 60 e do sistema de acionamento 70, com base no conteúdo do sinal reconhecido pelo aparelho de reconhecimento de sinal de trânsito 100. O sistema de suporte de acionamento 1 proporciona ao motorista do veículo próprio informações de suporte, para direção pelo aparelho de navegação 50.
[016] Como mostrado na Figura 1, o aparelho de reconhecimento de sinal de trânsito 100 da presente concretização compreende um dispositivo de controle 10, uma câmera 20, um dispositivo de detecção de posição 30 e uma base de dados 40.
[017] A câmera 20, que é montada no veículo próprio, captura uma imagem em torno do veículo próprio. Por exemplo, a câmera 20 é uma câmera que inclui um elemento de captura de imagem, tal como um CCD. A lente usada nele pode ser uma lente telescópica tendo um ângulo de visão estreito, que é capaz de capturar uma imagem de um veículo precedente distante. A lente pode ser tam- bém uma lente olho-de-peixe, tendo um campo de visão amplo para responder a uma curva e a uma variação de inclinação. Uma lente para câmeras unidirecio- nais, que podem capturar imagens de vistas totais, pode ser também usada. A posição na qual a câmera 20 é presa não é limitada, mas, na presente concretização, a câmera 20 é proporcionada para ficar voltada para frente, nas vizinhanças de um espelho retrovisor interno do veículo próprio. Um exemplo vai ser descrito que usa uma lente padronizada, tendo um ângulo de visão de cerca de 25 a 50°. As informações de propriedades de captura de imagem 42, que incluem parâmetros internos, tal como a distorção da lente 20, e parâmetros externos, que representam a posição de fixação no veículo, podem ser armazenadas de antemão em uma ROM.
[018] A câmera 20 tem, na presente concretização, uma função de ampli-ação, que aumenta e diminui um aumento de captura de imagem, quando da cap-tura de uma imagem. A função de ampliação inclui, na presente concretização, uma função de controle do aumento de captura de imagem, que é controlada com base em uma relação superficial da área de imagem de um sinal de trânsito específico, com relação à imagem capturada, que vai ser descrita posteriormente.
[019] A câmera 20 inclui, na presente concretização, um mecanismo de movimentação 21. O mecanismo de movimentação 21 pode variar a direção de formação de imagem da câmera 20. O mecanismo de movimentação 21 tem, na presente concretização, uma função de acionamento, e a câmera 20 pode ser acionada na direção vertical do veículo próprio pela função de acionamento. O mecanismo de movimentação 21 pode ser configurado como um dispositivo de suporte, separado da câmera 20. A câmera 20, usada na presente concretização, é uma câmera integrada com mecanismo de movimentação, tal como uma câmera PTZ (uma câmara capaz de funções de efeito panorâmico / inclinação / ampliação), que tem um mecanismo para acionar rotativamente o corpo da câmera. A câmera 20 pode ser, mas não é particularmente limitada a uma câmera PTZ, disposta em uma superfície superior de um painel no veículo próprio, de modo que a câmera possa capturar uma imagem vista para frente do veículo próprio. A forma específica do mecanismo de movimentação 21 não é particularmente limitada, e pode empregar um processo de proporcionar um espelho na frente do elemento de captura de imagem e acionar o espelho, para, desse modo, variar a direção de formação de imagem. Os parâmetros externos, incluindo a posição de fixação da câmera 20 no veículo, e outros parâmetros, incluindo o grau variável da posição de fixação da câmera 20, devido à operação do mecanismo de movimentação 21, podem ser preliminarmente calculados e armazenados na base de dados 40. O mecanismo de movimentação 21 varia, na presente concretização, a direção de formação de imagem da câmera 20, com base na posição da área de imagem de um sinal de trânsito específico com relação à imagem capturada.
[018] O dispositivo de detecção de posição 30, que compreende um GPS (Sistema de Posicionamento Global), detecta uma posição de momento (latitude / longitude) de um veículo, que está se deslocando. A posição de momento do veículo próprio pode ser obtida do dispositivo de detecção de posição 30, incluído no aparelho de navegação 50, que é montado no veículo próprio. O dispositivo de detecção de posição 30 tem, na presente concretização, uma função de detectar um ponto de vista do veículo próprio. Para detectar o ponto de vista do veículo próprio, o dispositivo de detecção de posição 30 pode compreender dois receptores de GPS e calcular a direção do veículo próprio. Esse dispositivo de detecção de posição 30 pode compreender ainda um medidor de azimute, para calcular a direção do veículo próprio.
[019] O dispositivo de detecção de posição 30 pode calcular o ponto de vista do veículo próprio, com base na imagem capturada pela câmera 20. Um exemplo vai ser descrito de um processo quando do cálculo do ponto de vista do veículo próprio, com base na imagem capturada. Quando o veículo próprio está se deslocando em uma pista de rolamento reta, o ponto de vista para a imagem capturada pela câmera 20 é ajustada de acima em relação ao veículo, e a imagem capturada é convertida em uma imagem de visão de voo de pássaro, na qual o veículo próprio é visto ponto de vista de acima do veículo. Se linhas (marcações de pista) ou meios-fios são reconhecidos na imagem de visão de voo de pássaro, a inclinação das linhas ou meios-fios pode ser usada para calcular a direção do veículo. As posição / ponto de vista do veículo próprio podem ser calculadas por uso de SLAM (Localização e Mapeamento Simultâneos), que é uma técnica de presunção de autolocalização usando uma imagem, e que era de conhecimento na técnica no momento de depósito do presente pedido de patente. Especificamente, posições tridimensionais de pontos característicos de imagens podem ser armazenadas preliminarmente na base de dados 40, e os pontos característicos de imagens, na imagem capturada pela câmera 20, podem ser comparados para verificação com os pontos característicos de imagens armazenados na base de dados 40, para, desse modo, calcular a posição / ponto de vista do veículo próprio.
[020] A base de dados 40 armazena informações de mapas 41. As in-formações de mapas 41 podem ser armazenadas, alternativamente, no aparelho de navegação 50, que é acessível pelo dispositivo de controle 10. As informações de mapas 41 incluem, na presente concretização, dados de ligação de deslocamento 411, e dados de sinais de trânsito 412, que são associados com os dados de ligação de deslocamento 411.
[021] Cada ligação de deslocamento nos dados de ligação de deslocamento 411 é definida por cada pista de trânsito por uma ligação dirigida, que inclui um ponto de partida, um ponto final e uma direção para acima ou para baixo. A ligação dirigida é definida, pelo menos parcialmente pelos pontos de partida e final (isto é, a extensão) e por informações sobre a direção. Cada ligação de deslocamento (ligação dirigida) é, na presente concretização, relacio- nada a uma ligação conectada, que é conectada a cada um dos pontos de partida e final, e também relacionada às informações de direção de deslocamento, que especificam uma direção de deslocamento incluindo diretamente à frente ou uma curva para a direita ou para a esquerda. Além disso, os dados de sinais de trânsito são relacionados à ligação de deslocamento. Os dados de sinais de trânsito são dados que incluem informações de posição sobre um sinal de trânsito, a ser selecionado pelo motorista, quando de deslocamento em cada ligação de deslocamento.
[022] A Figura 2 mostra um exemplo das informações de mapas 41. Como mostrado na Figura 2, as informações de mapas 41, na presente concretização, incluem:todos os pontos especificados pelos valores das coordenadas dos mapas, tais como latitude e longitude, como em informações de mapas usuais;todos os nós atribuídos a um identificador (ID);todas as ligações de deslocamento atribuídas a um identificador (ID); todos os sinais de trânsito atribuídos a um identificador (ID); eas informações dos pontos de interesse (POI) relativas a cada ponto.
[023] As informações sobre um nó são especificadas pelos valores das coordenadas dos mapas e têm um identificador de um nó, a ser conectado com o nó, e identificadores de nós em partes desviadas. Um nó pode ser estabelecido no centro da direção de largura de uma pista de trânsito, mas em um cruzamento complexo e assemelhados, tendo várias pistas de trânsito, a posição de um nó pode ser definida utilizando um traço no qual um veículo se deslocou de fato.
[024] Os dados de ligação de deslocamento incluem:um identificador de um nó, que é especificado pelos valores das coor-denadas de mapas e define os pontos de partida e final;uma direção de deslocamento, tal como uma linha reta, uma curva à di- reita e uma curva à esquerda, de cada ligação de deslocamento;uma classificação de cada ligação de deslocamento, isto é, se a ligação de deslocamento é uma ligação de junção ou uma ligação de desvio (uma ligação a ser unida ou uma ligação a ser desviada);um identificador de outra ligação de deslocamento, que é conectada à ligação de deslocamento; eidentificadores de várias ligações de deslocamento em partes desviadas.
[025] O identificador de um sinal de trânsito, a ser selecionado, é relacionado a cada ligação de deslocamento. Os dados de ligações de deslocamento são, na presente concretização, atribuídos a diferentes IDs, para cada pista de trânsito, mesmo quando as pistas estão presentes na mesma pista de rolamento, e tratadas como uma ligação de deslocamento diferente. Isso permite que uma ligação de deslocamento para uma curva à direita e uma ligação de deslocamento para diretamente à frente sejam processadas como diferentes ligações de deslocamento, ainda que na mesma pista de rolamento. Desse modo, mesmo quando as informações sobre os pontos de partida e final são iguais, o sinal de trânsito, a ser selecionado na ligação de deslocamento para curva à direita, e o sinal de trânsito, a ser selecionado na ligação de deslocamento para diretamente à frente, são diferentes, e, portanto, armazenados como diferentes itens de informações. De acordo com a presente concretização, as ligações de deslocamento são definidas como diferentes ligações de deslocamento, quando uma pista de rolamento de deslocamento para veículos é dobrada ou as pistas de rolamento de deslocamento se interceptam entre si e quando os sinais de trânsito, a serem selecionados, são diferentes. Isto é, nas informações de ligações de deslocamento, de acordo com a presente invenção, a ligação de deslocamento é definida para cada pista de trânsito, e um sinal de trânsito, a ser selecionado, é relacionado a uma ligação de deslocamento. Por- tanto, mesmo quando vários sinais de trânsito são proporcionados na mesma pista de rolamento de deslocamento, os vários sinais de trânsito não são relacionados a uma ligação de deslocamento nos dados de ligações de deslocamento, de acordo com a presente concretização. Quando uma ligação de deslocamento é determinada para que o veículo próprio se desloque, o sinal de trânsito, a ser selecionado, pode ser especificado singularmente, porque um sinal de trânsito, a ser selecionado, é relacionado a uma ligação de deslocamento, que definida para cada pista de trânsito.Os dados de sinais de trânsito incluem:informações de altura;uma posição de instalação especificada pelas valores das coordenadas de mapas;um identificador de uma ligação de deslocamento tendo um sinal de trânsito, a ser selecionado por um veículo, que está se deslocando na ligação de deslocamento, isto é, um identificador de uma ligação de deslocamento, que é controlado pelo sinal de trânsito; einformações de seleção sobre o sinal de trânsito.
[026] As informações de seleção sobre o sinal de trânsito, como referidas no presente relatório descritivo, são informações que o sinal de trânsito é um sinal de trânsito que exibe a cor vermelha, amarela ou verde, o sinal de trânsito é um sinal de trânsito que exibe a cor vermelha ou verde para pedestres, ou o sinal de trânsito é um sinal de trânsito que exibe curvas à direita e à esquerda por setas.
[027] A Figura 3 é uma vista mostrando exemplos dos dados de ligações de deslocamento e de dados de sinais de trânsito em um cruzamento real. Como mostrado na Figura 3, uma ligação de deslocamento LKD1 é estabelecida para uma pista de rolamento, na qual uma ligação de deslocamento LKU1 está presente para deslocamento do veículo próprio V. Nesse caso, a ligação de deslocamento LDK1 é uma ligação de deslocamento para a pista para baixo, e ambas recebem identificadores diferentes como ligações de deslocamento diferentes. Na lado da direção de deslocamento da ligação de deslocamento LKU1, para que o veículo próprio se desloque, três ligações de deslocamento LKU2A, LKU2B e LKU2C estão presentes, que são ligadas à ligação de deslocamento LKU1 em um nó ND2. a LIGAÇÃO DE DESLOCAMENTO LKU2A é uma ligação de deslocamento para uma pista diretamente à frente, a ligação de deslocamento LKU2B é uma ligação de deslocamento para uma pista de curva à direita, e a ligação de deslocamento LKU2C é uma ligação de deslocamento para uma pista de curva à esquerda. As ligações de deslocamento LKU2A e LKU2C são definidas como diferentes ligações de deslocamento, porque as ligações ligadas a elas são diferentes.
[028] Como mostrado na Figura 4, quando vistos para a frente do veículo próprio V, mostrado na Figura 3, ambos os sinais de trânsito SG1 e SG2 vão ficar dentro do campo de visão (área de captura de imagem) ao mesmo tempo. Pode ser difícil determinar que sinal de trânsito o veículo próprio V deve selecionar. Nessa situação, um processo errôneo pode ser possivelmente conduzido (um sinal de trânsito, que não deveria ter sido selecionado, pode ser especificado erroneamente), tal como na dependência da técnica de reconhecimento de imagem, em um processo de especificar qualquer um dos sinais de trânsito. Notar que o eixo z, mostrado na Figura 4, é na direção de formação de imagem.
[029] Ainda que detalhes sejam descritos posteriormente, o sinal de trânsito SG1, a ser selecionado, pode ser especificado, e uma área de imagem R, incluindo esse sinal de trânsito SG1, pode ser extraída, mesmo quando dois sinais de trânsito são incluídos concorrentemente na área de captura de imagem, como mostrado na Figura 4. Isso é porque o aparelho de reconhecimento de sinal de trânsito 100, de acordo com a presente concretização, é configura- do de modo que a ligação de deslocamento seja relacionada a todos os sinais de trânsito, que vão ser selecionados, e no exemplo mostrado na Figura 3, apenas o sinal de trânsito SG1 é relacionado à ligação de deslocamento LKU1 para o veículo próprio V.
[030] Em outras palavras, de acordo com a presente concretização, um sinal de trânsito, a ser selecionado, pode ser especificado para uma ligação de deslocamento por referência aos dados das ligações de deslocamento e aos dados dos sinais de trânsito, mesmo em uma situação na qual vários sinais de trânsito são proporcionados em um cruzamento, para complicar a situação de trânsito. A seguir, as descrições vão ser dirigidas a um processo de reconhecimento de sinais de trânsito, de acordo com a presente concretização, que especifica um sinal de trânsito a ser selecionado e reconhece o conteúdo apresentado pelo sinal de trânsito.
[031] O dispositivo de controle 10 do aparelho de reconhecimento de sinal de trânsito 100, que especifica um sinal de trânsito a ser selecionado, é um computador, compreendendo: uma ROM (Memória Exclusiva de Leitura) 12, que armazena um programa para reconhecimento de conteúdo de informações apresentadas pelo sinal de trânsito; uma CPU (Unidade de Processamento Central) 11 como um circuito operacional, que executa o programa armazenado na ROM, para funcionar como o aparelho de reconhecimento de sinal de trânsito 100; e uma RAM (Memória de Acesso Aleatório) 13, que funciona como o armazenamento acessível.
[032] O dispositivo de controle 10 do aparelho de reconhecimento de sinal de trânsito 100, de acordo com a presente concretização, tem uma função de obtenção de imagem capturada, uma função de obtenção de posição de veículo próprio, uma função de especificação de sinal de trânsito alvo, uma função de extração de área de imagem de sinal de trânsito, e uma função de reconhecimento de conteúdo de sinal de trânsito. O dispositivo de controle 10 executa, na presente concretização, todas as funções por software, para conduzir as funções mencionadas acima conjuntamente o hardware descrito acima.
[033] Todas as funções executadas pelo aparelho de reconhecimento de sinal de trânsito 100, de acordo com a presente concretização, vão ser descritas abaixo.
[034] A função de obtenção de imagem capturada executada pelo dispositivo de controle 10, de acordo com a presente concretização, vai ser descrita primeiro. O dispositivo de controle 10 obtém uma imagem capturada em torno do veículo próprio obtida pela câmera 20.
[035] A função de obtenção de posição de veículo próprio executada pelo dispositivo de controle 10, de acordo com a presente concretização, vão ser então descrita. O dispositivo de controle 10 obtém uma posição de momento do veículo próprio, detectada pelo dispositivo de detecção de posição 30. O dispositivo de controle 10 também obtém, se alguma, informações de campo de visão sobre o veículo próprio detectadas pelo dispositivo de detecção de posição 30.
[036] A função de especificação de sinal de trânsito alvo executada pelo dispositivo de controle 10 é uma função para referência às informações de mapas 41 e para especificação de um sinal de trânsito a ser selecionado por uso de informações sobre a ligação de deslocamento, na qual a posição de momento do veículo próprio pertence. O dispositivo de controle 10 presume a ligação de deslocamento para deslocamento do veículo próprio, usando os dados de ligações de deslocamento obtidos das informações de mapas 41, e posição de momento do veículo próprio, obtida do dispositivo de detecção de posição. O dispositivo de controle 10 presume uma ligação de deslocamento relativa ao ponto ou área, no qual a posição de momento do veículo próprio pertence, como a ligação de deslocamento para deslocamento do veículo próprio. O dispositivo de controle 10 pode presumir uma ligação de deslocamento separada da posição de momento do veículo próprio por uma distância mínima (a ligação de deslocamento mais próxima), como a ligação de deslocamento para deslocamento do veículo próprio. Quando uma postura, incluindo a direção de deslocamento do veículo próprio, é obtida, uma ligação de deslocamento na qual uma diferença entre a direção de deslocamento do veículo próprio e a direção de um vetor, dirigida do ponto de partida da ligação de deslocamento ao ponto final, não é superior a um limiar predeterminado, por exemplo, 90°, e a distância da posição de momento é mínima (isto é, a ligação de deslocamento mais próxima), pode ser considerada como a ligação de deslocamento para deslocamento do veículo próprio.
[037] Quando os dados de ligações de deslocamento incluem informações sobre ligações ligadas, que são ligadas à ligação de deslocamento (todas sendo de trânsito), as opções de uma ligação de deslocamento para deslocamento subsequente são restritas às ligações ligadas, que são ligadas à ligação de deslocamento de momento. Portanto, entre as ligações de deslocamento limitadas às opções, uma ligação de deslocamento, separada da posição de momento por uma distância mínima, pode ser selecionada como uma ligação de deslocamento seguinte para deslocamento subsequente. Isso propicia uma correta suposição de uma ligação de deslocamento para o deslocamento do veículo próprio, mesmo em uma situação complexa de trânsito, na qual o sinal de trânsito a ser selecionado é diferente para cada ligação de deslocamento, como o trânsito no qual o veículo próprio subsequentemente segue. Desse modo, a ligação de deslocamento para o veículo próprio para virar à direita no cruzamento e a ligação de deslocamento para que o veículo próprio siga diretamente reto no cruzamento podem ser previstos sem falha.
[038] O dispositivo de controle 10, na presente concretização, se refere aos dados de ligações de deslocamento 411 das informações de mapas 41 para deslocamento do veículo próprio, e calcula a ligação de deslocamento seguinte para deslocamento subsequente, quando se determina que o veículo próprio atingiu o ponto final da ligação de deslocamento. Especificamente, quando uma distância entre o veículo próprio e o ponto final da ligação dirigida, relativa à ligação de deslocamento, ficar menor do que um valor predeterminado, o dispositivo de controle 10 se refere aos dados de ligações de deslocamento 411 e calcula uma ligação conectada, que é conectada ao ponto final da ligação de deslocamento à qual a posição de momento do veículo próprio pertence.
[039] Mais especificamente, como mostrado na Figura 5, a distância ao nó do ponto final é calculada em comparação com o vetor dirigido do ponto de partida ao ponto final da ligação de deslocamento. E, quando uma distância D do nó do ponto final ND2 para a ligação de deslocamento LKU1 para a posição de momento VL do veículo próprio V ficar menor do que um valor predeterminado, o dispositivo de controle 10 supõe a ligação de deslocamento seguinte para o veículo próprio V, para deslocamento subsequente em sincronia quando o veículo próprio V tiver atingido o ponto final da ligação de deslocamento LKU1.
[040] O dispositivo de controle 10, na presente concretização, se refere aos dados de ligações de deslocamento 411 e/ou aos dados de sinais de trânsito 412, que são relacionados entre si nas informações de mapas 41, e especifica um sinal de trânsito a ser selecionado, que é relativo à ligação de deslocamento suposta para o veículo próprio. O dispositivo de controle 10 identifica o ID da ligação de deslocamento para o veículo próprio para deslocamento e se refere aos dados de sinais de trânsito 412 relativos ao ID da ligação de deslocamento nos dados de ligações de deslocamento 411, desse modo, especificando o sinal de trânsito a ser selecionado pelo veículo próprio, quando de deslocamento na ligação de deslocamento. Ainda mais, o dispositivo de contro- le 10 obtém, dos dados de sinais de trânsito 412, as informações de posições tridimensionais, tais como a posição de instalação e a altura do sinal de trânsito específico e seu tipo, etc.
[041] A seguir, a função de extração de área de imagem de sinal de trânsito, executada pelo dispositivo de controle 10, vai ser descrita. O dispositivo de controle 10 extrai uma área de imagem do sinal de trânsito da imagem capturada pela câmera 20, com base nas informações de posição sobre o sinal de trânsito específico e das informações de propriedades de captura de imagem 42 sobre a câmera 20. O dispositivo de controle 10 calcula a relação de posição relativa do sinal de trânsito com base na câmera 20, usando uma relação geométrica, da posição do veículo próprio obtida pela função de obtenção de posição de veículo próprio, de informações de posições tridimensionais sobre o sinal de trânsito, a ser selecionado, que são especificadas pela função de especificação de sinal de trânsito, e de parâmetros externos (informações de propriedades de captura de imagem 42), que incluem informações sobre a posição de fixação da câmera 20 no veículo próprio.
[042] O dispositivo de controle 10, na presente concretização, extrai a área de imagem correspondente a uma imagem do sinal de trânsito da imagem capturada, enquanto considerando o campo de visão do veículo próprio, detectado pela função de especificação de sinal de trânsito. Desse modo, o campo de visão do veículo próprio é também considerado, para, desse modo, permitir uma extração precisa da área de imagem na qual há uma imagem do sinal de trânsito. O processamento específico não é limitado, mas pode ser projetado de modo que a conversão de coordenadas seja feita de acordo com o campo de visão do veículo próprio, para obter a área de imagem do sinal de trânsito da imagem capturada, quando a imagem do sinal de trânsito for capturada no campo de visão de momento do veículo próprio.
[043] Quando a função de especificação de sinal de trânsito obtiver apenas a posição do veículo próprio, isto é, quando as informações sobre o campo de visão do veículo próprio não puderem ser obtidas, o dispositivo de controle 10 pode usar a direção de deslocamento da ligação de deslocamento para o veículo próprio, para deslocamento como o campo de visão do veículo próprio. Nesse caso, o dispositivo de controle 10 pode calcular o campo de visão veículo por uso da direção de deslocamento da ligação de deslocamento. Por exemplo, em uma ligação de deslocamento tendo uma curvatura, tal como uma curva à direita e uma curva à esquerda, o campo de visão do veículo no nó do ponto inicial e o campo de visão do veículo no nó do ponto final são preliminarmente incluídas nos dados de ligações de deslocamento das informações de mapas 41, e o dispositivo de controle 10 calcula as distâncias da posição do veículo próprio ao nó do ponto de partida e ao nó do ponto final da ligação de deslocamento. Essas distâncias calculadas, que refletem o percentual de progresso do veículo próprio na ligação de deslocamento, podem ser usadas para calcular a variação no campo de visão do veículo em cada posição, do nó do ponto de partida para o nó do ponto final, da ligação de deslocamento pelo dispositivo de controle 10.
[044] Como descrito acima, o mecanismo de movimentação 21 para a câmera 20 varia a direção de formação de imagem da câmera 20, com base na posição da área de imagem do sinal de trânsito na imagem capturada. Com relação à posição da área de imagem do sinal de trânsito, usada quando da variação da direção de formação de imagem da câmera 20, prefere-se que não apenas as informações de posições relativas sobre o sinal de trânsito, com base na posição de momento da câmera 20, são calculadas, mas também as informações de deslocamento sobre o veículo próprio, tais como a velocidade e o grau de guinada do veículo do veículo próprio, e o tempo estimado necessário para que um processo calcule a área de imagem do sinal de trânsito, sejam consideradas para calcular a área de imagem de um sinal de trânsito, que pode ser especificado no período subsequente. As informações de deslocamento sobre o veículo próprio são obtidas do controlador do veículo 60. Após prever a área de imagem de um sinal de trânsito, quando da execução do processo subsequente, para especificar o sinal de trânsito, o mecanismo de movimentação 21 ajusta a direção de formação de imagem da câmera 20, de modo que a câmera 20 possa capturar a área de imagem prevista do sinal de trânsito. Isso permite que a especificação subsequente do sinal de trânsito seja feita corretamente.
[045] Também como descrito acima, a câmera 20 varia o aumento de captura de imagem da câmera 20, com base em uma relação da área de imagem do sinal de trânsito com relação à imagem capturada. Com relação à relação ocupada pela área de imagem do sinal de trânsito com relação a toda área da imagem capturada, cuja relação é usada quando da variação do aumento de captura de imagem da câmera 20, prefere-se que não apenas as informações de posição sobre o sinal de trânsito, com base na posição de momento da câmera 20 sejam calculadas, mas também as informações de deslocamento sobre o veículo próprio, tais como a velocidade e o grau de guinada do veículo do veículo próprio, e o tempo estimado necessário para que um processo calcule a área de imagem do sinal de trânsito, sejam consideradas para calcular a área de imagem de um sinal de trânsito, que pode ser especificado no período subsequente. Após prever a área de imagem de um sinal de trânsito, quando da execução do processo subsequente para especificar o sinal de trânsito, o mecanismo de movimentação 21 ajusta o aumento de captura de imagem da câmera 20, de modo que a câmera 20 possa capturar com clareza a área de imagem prevista do sinal de trânsito. Isso permite que o reconhecimento subsequente do conteúdo do sinal de trânsito, apresentado pelo sinal de trânsito, seja feito corretamente.
[046] O dispositivo de controle 10 extrai uma área de imagem na ima- gem capturada (a área de imagem do sinal de trânsito), na qual aparece a imagem do sinal de trânsito específico, usando a posição relativa do sinal de trânsito, com base na câmera 20 e nos parâmetros internos (as informações de propriedades de captura de imagem 420, incluindo as informações de distorção de lente relativas à câmera 20. A coordenada central da área de imagem do sinal de trânsito pode ser obtida por execução de conversão de projeção para as coordenadas tridimensionais da parte central do sinal de trânsito (por exemplo, a parte central da luz amarela, no caso do sinal de trânsito do tipo vermelho - amarelo - verde) em um sistema de coordenadas da imagem capturada pela câmera 20. O tamanho da área de imagem do sinal de trânsito pode ser ajustado a algum tamanho fixo ou ser ajustado de acordo com o tipo do sinal de trânsito, ou o tamanho pode ser variado de acordo com a distância do veículo próprio ao sinal de trânsito. Embora não particularmente limitada, a área de imagem do sinal de trânsito pode ser ajustada maior na medida em que a distância para o sinal de trânsito fique mais longa, e a área de imagem do sinal de trânsito pode ser ajustada menor na medida em que a distância para o sinal de trânsito fica mais curta, de modo que o tamanho da área de imagem do sinal de trânsito na imagem capturada fique dentro de uma área predeterminada. O tamanho da área de imagem do sinal de trânsito pode ser variado de acordo com a precisão de detecção do dispositivo de detecção de posição 30 no veículo próprio.
[047] Finalmente, a função de reconhecimento de conteúdo de sinal de trânsito, executada pelo dispositivo de controle 10, na presente concretização, vai ser descrita. O dispositivo de controle 10 reconhece, na presente concretização, o conteúdo de sinal de trânsito apresentado pelo sinal de trânsito, com base na imagem do sinal de trânsito incluída na área de imagem extraída. O dispositivo de controle 10 executa um processo para reconhecer um conteúdo de sinal de trânsito apresentado pelo sinal de trânsito, para a área de imagem do sinal de trânsito, extraída pela função de reconhecimento de conteúdo de sinal de trânsito, e obtém informações apresentadas pelo sinal de trânsito. O processo para reconhecer o conteúdo de sinal de trânsito, apresentado pelo sinal de trânsito, não é particularmente limitado, mas pode ser configurado para: armazenar preliminarmente uma imagem de modelo para cada item de informação apresentado pelo sinal de trânsito; executar a equiparação de modelo geralmente conhecida no campo de processamento de imagem, para apontar especificamente a área de imagem do sinal de trânsito; e depois verificar, por reconhecimento de cor, o estado de iluminação de cada sinal de trânsito (por exemplo, vermelho / amarelo / verde) apresentado pelo sinal de trânsito, para reconhecer a cor de iluminação como as informações apresentadas pelo sinal de trânsito. O processo de reconhecimento do conteúdo de sinal de trânsito não é particularmente limitado, e qualquer processo, que era conhecido na técnica, no momento de depósito do presente pedido de patente, pode ser adequadamente usado.
[048] O procedimento de controle no aparelho de reconhecimento de sinal de trânsito 100, de acordo com a presente concretização, vai ser então descrito com referência ao fluxograma da Figura 6. O dispositivo de controle 10, tendo uma função de reconhecimento de sinal de trânsito, executa sequencialmente o processo mostrado na Figura 6 a um intervalo de tempo determinado, por exemplo, cerca de 50 ms.
[049] Como mostrado na Figura 6, o dispositivo de controle 10 obtém na etapa S110 a posição de momento do veículo próprio, detectada pelo dispositivo de detecção de posição 30.
[050] Na etapa S120, o dispositivo de controle 10 determina se o veículo próprio atingiu o nó de ponto final da ligação de deslocamento, com base na posição do veículo próprio, que foi obtida na etapa S110, e as informações sobre a ligação de deslocamento, na qual se determinou, no processamento pré- vio, que o veículo próprio estava se deslocando (posição do veículo obtida per-tencente a ela). O processo de determinação, que vai ser usado no presente relatório descritivo, pode ser o processo descrito com referência à Figura 5. Se for determinado que o veículo próprio atingiu o nó do ponto final, a rotina segue para a etapa S130, enquanto que se for determinado que o veículo próprio não atingiu o nó do ponto final, a rotina continua o processamento nas etapas S110 e S120.
[051] Na etapa S130, o dispositivo de controle 10 calcula uma ligação de deslocamento para deslocamento do veículo próprio, com base na posição de momento do veículo próprio, obtida na etapa S110, e nos dados de ligações de deslocamento 411 incluídos nas informações de mapas 41, e a rotina segue para a etapa S140.
[052] Na etapa S140, o dispositivo de controle 10 usa o identificador (ID) da ligação de deslocamento, calculado na etapa S130, e as informações de mapas 41, para especificar um sinal de trânsito a ser selecionado, com base na ligação de deslocamento à qual pertence a posição de momento do veículo próprio.
[053] Na etapa S150, o dispositivo de controle 10 calcula uma posição relativa do sinal de trânsito com relação à câmera 20, usando: as informações de posição, obtidas com referência aos dados de sinais de trânsito 412 das informações de mapas 41, sobre o sinal de trânsito especificado na etapa S140; a posição de momento do veículo próprio, obtida na etapa S110; e os parâmetros externos (as informações de propriedades de captura de imagem 42) da câmera 20 presa no veículo próprio.
[054] Na etapa S160, o dispositivo de controle 10 extrai uma área de imagem do sinal de trânsito da imagem capturada pela câmera 20, com base nas informações de posição sobre o sinal de trânsito específico e nas informações de propriedades de captura de imagem 42 sobre a câmera 20.
[055] Na etapa S170, o dispositivo de controle 10 reconhece o conteúdo de sinal de trânsito do sinal de trânsito, com base na imagem do sinal de trânsito na área de imagem.
[056] Na etapa S180, o dispositivo de controle 10 envia o sinal de resultado de reconhecimento ao aparelho de navegação 50, controlador de veículo 60 ou sistema de acionamento 70. Esses aparelhos a bordo do veículo executam suporte de acionamento, de acordo com o conteúdo do sinal de trânsito apresentado pelo sinal de trânsito. Embora não particularmente limitado, o sistema de suporte de acionamento 1, de acordo com a presente concretização, pode executar o controle para diminuir a velocidade do veículo próprio, quando do reconhecimento do sinal de parar ou sinal de alerta, exibido pelo sinal de trânsito. Quando o sinal de parar ou sinal de alerta, exibido pelo sinal de trânsito, for reconhecido, o sistema de suporte de acionamento 1, de acordo com a presente concretização, pode anunciá-lo por voz.
[057] Na etapa S220, o dispositivo de controle 10 varia a direção da formação de imagem da câmera 20 com base na posição, obtida na etapa S160, da área de imagem do sinal de trânsito da imagem capturada. Isso é porque, quando a imagem do sinal de trânsito é deslocada do centro da imagem capturada, a direção de formação de imagem da câmera 20 pode precisar ser corrigida, de modo que toda a imagem do sinal de trânsito possa ser obtida.
[058] Na presente concretização, a área de imagem do sinal de trânsito, obtida na etapa S160, é utilizada na etapa S210, para prever a área de imagem do sinal de trânsito em sincronia com um processo a ser executado no período subsequente. E a direção de formação de imagem da câmera 20 é variada na etapa S220, com base na posição da área de imagem prevista do sinal de trânsito. Uma vez que o veículo está em deslocamento, supõe-se que a posição da área de imagem do sinal de trânsito, no presente período de processamento, e a posição da área de imagem do sinal de trânsito, no período de processamento subsequente (período seguinte), são diferentes. Na presente concretização, as informações de deslocamento sobre o veículo próprio, tais como a velocidade e o grau de guinada do veículo do veículo próprio, e o tempo estimado necessário para que um processo calcule a área de imagem do sinal de trânsito, sejam consideradas para calcular a área de imagem do sinal de trânsito, a ser especificado, no período subsequente.
[059] O aparelho de reconhecimento de sinal de trânsito 100, de acordo com a presente concretização, tem os efeitos vantajosos apresentados a seguir.(1) O aparelho de reconhecimento de sinal de trânsito 100 da presente concretização se refere às informações de mapas 41, para especificar um sinal de trânsito a ser selecionado por uso da ligação de deslocamento, à qual a posição de momento do veículo próprio pertence. As informações de mapas 41 incluem os dados de ligações de deslocamento 411 e os dados de sinais de trânsito 412. Os dados de ligações de deslocamento 411 são dados definidos pela ligação dirigida e relativa às informações sobre a ligação conectada e a direção de deslocamento. Os dados de sinais de trânsito 412 são dados relativos aos dados de ligações de deslocamento. Portanto, mesmo em uma situação de tráfego complexa, na qual vários sinais de trânsito estão presentes, a ligação de deslocamento para o veículo próprio é prevista corretamente, de modo que o sinal de trânsito, a ser selecionado pelo motorista, pode ser especificado corretamente.
[060] Na presente concretização, a ligação de deslocamento é definida pela ligação dirigida, incluindo os pontos de partida e final. Essa ligação de deslocamento é estabelecida para cada pista de tráfego na pista de rolamento. Em um cruzamento, essa ligação de deslocamento é estabelecida para cada item de informação de direção de deslocamento, tal como diretamente à frente, curva à direita ou curva à esquerda. Portanto, mesmo em uma situação em um cruzamento complexo, por exemplo, como mostrado na Figura 3, o sinal de trânsito, a ser selecionado pelo veículo próprio, pode ser especificado.
[061] Na presente concretização, a ligação de deslocamento é relativa às informações sobre a ligação conectada, a ser conectada subsequentemente a ela. Portanto, mesmo quando várias ligações de deslocamento estão presentes na mesma pista de rolamento, a ligação de deslocamento, à qual o veículo próprio pertence, pode ser prevista adequadamente. Por exemplo, quando o veículo vira à esquerda no cruzamento no qual está localizado o sinal de trânsito SG2, como mostrado na Figura 3, a ligação de deslocamento de curva à esquerda LKU2C e a ligação de deslocamento de diretamente à frente LKU2A estão presentes na mesma pista. No entanto, a ligação de deslocamento de curva à esquerda LKU2C é relativa à ligação conectada LKU3-TL, como o trânsito, enquanto que a ligação de deslocamento de diretamente à frente LKU é relativa à ligação conectada LKU3-ST, como o trânsito, e, portanto, a ligação de deslocamento LKU2C e a ligação de deslocamento LKU2A podem ser identificadas corretamente.(2) De acordo o aparelho de reconhecimento de sinal de trânsito 100 da presente concretização, o processo para especificar a ligação de deslocamento é conduzido em sincronia quando o veículo próprio tiver se aproximado para ficar dentro de uma distância predeterminada do nó do ponto final, e a ligação de deslocamento para deslocamento subsequente pode ser, desse modo, especificada corretamente. Por exemplo, quando a precisão de detecção da posição de momento do veículo próprio ficar muito baixa, é possível eliminar a seleção de uma ligação conectada incorreta na presente concretização.(3) De acordo o aparelho de reconhecimento de sinal de trânsito 100 da presente concretização, o campo de visão do veículo próprio é obtido, e a área de imagem do sinal de trânsito é extraída no campo de visão do veículo. Portanto, a posição da área de imagem, na qual a imagem do sinal de trânsito pode ser obtida precisamente.(4) O aparelho de reconhecimento de sinal de trânsito 100, da presente concretização, emprega uma forma de informação na qual um item de dados de sinal de trânsito é relativamente relacionado a um item de dados de ligação de deslocamento. Portanto, um sinal de trânsito a ser selecionado pode ser especificado usando as informações de ligações de deslocamento, que tenham sido prevista com alta precisão usando as informações sobre a pista, a ligação dirigida, a ligação conectada e a direção de deslocamento.(5) No aparelho de reconhecimento de sinal de trânsito 100 da presente concretização, a câmera 20 pode ser acionada para movimentar-se. Portanto, a câmera 20 pode capturar uma imagem de um sinal de trânsito independentemente de sua localização. Por exemplo, em uma situação de meio físico de cruzamento, como mostrado na Figura 3, na qual o veículo espera para virar à direita no ponto TRP da ligação de deslocamento LKU3-TR, a câmera 20 pode capturar uma imagem do sinal de trânsito SG3, que ficaria fora do campo de visão, se fosse usada uma câmara comum para capturar uma imagem vista à frente. Uma câmara do tipo acionada, tendo um ângulo de visão estreito, pode ser, de preferência, usada, porque, nesse caso, a possibilidade de captura do sinal de trânsito, que não vai ser selecionado, pode ser reduzida, desse modo, eliminando o reconhecimento incorreto, em comparação com o uso de uma câmera tendo um ângulo de visão amplo.(6) No aparelho de reconhecimento de sinal de trânsito 100 da presente concretização, a câmera 20 tem uma função de ampliação e executa o controle de aumentar e diminuir o aumento de captura de imagem, de acordo com o tamanho da área de imagem do sinal de trânsito. Portanto, o tamanho da área de imagem do sinal de trânsito na imagem capturada pode ser mantido adequadamente, independentemente da relação de distância do sinal de trânsi- to. Isso permite que o risco de captura de outro sinal de trânsito seja reduzido ainda mais. Além do mais, a precisão do processo de reconhecimento de sinal de trânsito pode ser aumentada, em virtude do tamanho da área de imagem do sinal de trânsito, como um objeto de reconhecimento, é aproximadamente constante.
[062] As concretizações explicadas até agora são descritas para facilitar o entendimento da presente invenção e não são descritas para limitá-la. Portanto, pretende-se que os elementos, descritos nas concretizações mencionadas acima, incluam todas as variações de projeto e que equivalentes fiquem dentro do âmbito técnico da presente invenção.
[063] Isto é, na presente descrição, o sistema de suporte de acionamento 1 é descrito como um exemplo, que compreende o aparelho de reconhecimento de sinal de trânsito 100, de acordo com a presente concretização, o aparelho de navegação 50, o controlador de veículo 60 e o sistema de acionamento 70, mas a presente invenção não é limitada a ele.
[064] Na presente descrição, o aparelho de reconhecimento de sinal de trânsito 100, compreendendo o dispositivo de controle 10, a câmera 20 com uma unidade de captura de imagem, o dispositivo de detecção de posição 30 e a base de dados 40, é descrito como um exemplo de uma concretização do aparelho de reconhecimento de sinal de trânsito, de acordo com a presente concretização, mas a presente invenção não é limitada a ele.
[065] Na presente descrição, o aparelho de reconhecimento de sinal de trânsito 100, tendo o dispositivo de controle 10, que executa a função de obtenção de imagem capturada, a função de obtenção de posição de veículo próprio, a função de especificação de sinal de trânsito alvo, a função de extração de área de imagem de sinal de trânsito e a função de reconhecimento de conteúdo de sinal de trânsito, é descrito como um exemplo do aparelho de reconhecimento de sinal de trânsito, de acordo com a presente invenção, que com- preende uma unidade de obtenção de imagem capturada, uma unidade de obtenção de posição de veículo próprio, uma unidade de especificação de sinal de trânsito alvo, uma unidade de extração de área de imagem de sinal de trânsito e uma unidade de reconhecimento de conteúdo de sinal de trânsito, mas a presente invenção não é limitada a ele.DESCRIÇÃO DOS NÚMEROS DE REFERÊNCIA1 sistema de suporte de acionamento100 aparelho de reconhecimento de sinal de trânsito10 dispositivo de controle11 CPU12 ROM13 RAM20 câmera30 dispositivo de detecção de posição40 base de dados41 informações de mapas411 dados de ligações de deslocamento412 dados de sinais de trânsito50 aparelho de navegação60 controlador de veículo70 sistema de acionamento

Claims (5)

1. Aparelho de reconhecimento de sinal de trânsito (100), compreendendo:uma unidade de obtenção de imagem capturada (10), configurada para obter uma imagem capturada em torno de um veículo (V) a partir de uma unidade de captura de imagem (20) no veículo;uma unidade de obtenção de posição de veículo (30), configurada para obter uma posição atual do próprio veículo (V);uma unidade de especificação de sinal de trânsito alvo (10), configurada para: (i) referir-se às informações de mapa (41); e (ii) especificar um sinal de trânsito (SG) a ser selecionado; uma unidade de extração de área de imagem de sinal de trânsito (10), configurada para extrair uma área de imagem de um sinal de trânsito da imagem capturada, por uso das informações de posição sobre o sinal de trânsito especificado (SG), a posição do próprio veículo (V) e das informações de propriedades de captura de imagem sobre a unidade de captura de imagem (20); euma unidade de reconhecimento de conteúdo de sinal de trânsito (10), configurada para reconhecer um conteúdo de sinal de trânsito do sinal de trânsito (SG), por uso de uma imagem do sinal de trânsito incluída na área de imagem extraída, em que:as informações de mapas (41) incluem dados de ligações de deslocamento (411) e dados de sinais de trânsito (412),os dados de ligações de deslocamento (411) incluem:ligações de deslocamento (LKU, LKD), cada ligação de deslocamento (LKU, LKD) incluindo um ponto de partida (ND1) e um ponto final (ND2); eos dados de sinais de trânsito (412) incluem as informações de posição sobre o sinal de trânsito a ser selecionado;CARACTERIZADO pelo fato de que cada ligação de deslocamento (LKU, LKD) dos dados de ligações de deslocamento (411) é uma ligação direcionada definida pelo ponto de partida (ND1), o ponto final (ND2) e, além disso, por uma direção para cima ou para baixo; ecada ligação de deslocamento (LKD, LKU) inclui ainda:uma ligação conectada que está ligada ao ponto final (ND2) da ligação de deslocamento (LKU, LKD) e à informação da direção de deslocamento, que especifica uma direção de deslocamento, incluindo diretamente à frente curva à direita ou curva à esquerda; euma referência única aos dados do sinal de trânsito (412) que especifica o sinal de trânsito (SG) a ser visado para a ligação de deslocamento (LKU, LKD); em queuma ligação de tráfego individual (LKU, LKD, LKU2A - LKU2C) é definida para cada faixa de tráfego de uma estrada compreendendo duas ou mais faixas com a mesma direção de viagem; euma ligação de deslocamento diferente é atribuída a cada uma das faixas de curva à esquerda (LKU2C), de curva à direita (LKU2B) e diretamente em frente (LKU2A).
2. Aparelho de reconhecimento de sinal de trânsito (100), de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a unidade de especificação de sinal de trânsito alvo (10) é configurada para:referir-se aos dados de ligações de deslocamento (411) para deslo-camento do próprio veículo;calcular a ligação de deslocamento seguinte (LKU, LKD), quando uma distância entre o veículo e o ponto final (ND2) da ligação de deslocamento (LKU, LKD) for menor do que um valor predeterminado; eespecificar o sinal de trânsito (SG) a ser selecionado, quando se deslocando na ligação de deslocamento seguinte (LKU, LKD).
3. Aparelho de reconhecimento de sinal de trânsito (100), de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que:a unidade de obtenção de posição do próprio veículo (30) é configurada para obter um campo de visão do próprio veículo na posição atual; ea unidade de extração de área de imagem de sinal de trânsito (10) é configurada para extrair a área de imagem do sinal de trânsito (SG) da imagem capturada, de acordo com o campo de visão obtido do próprio veículo (V).
4. Aparelho de reconhecimento de sinal de trânsito (100), de acordo com qualquer uma das reivindicações 1 a 3, CARACTERIZADO pelo fato de que:a unidade de captura de imagem (20) compreende um mecanismo de movimentação (21), que é configurado para variar uma direção de formação de imagem da unidade de captura de imagem (20); eo mecanismo de movimentação (21) é configurado para variar a direção de formação de imagem da unidade de captura de imagem (20), de acordo com uma posição da área de imagem do sinal de trânsito (SG) na imagem capturada.
5. Aparelho de reconhecimento de sinal de trânsito (100), de acordo com qualquer uma das reivindicações 1 a 4, CARACTERIZADO pelo fato de quea unidade de captura de imagem (20) tem uma função de ampliação, ea função de ampliação da unidade de captura de imagem (20) inclui uma função de controle de uma ampliação de captura de imagem, que é controlado com base em uma relação superficial da área de imagem do sinal de trânsito (SG) com relação à área de imagem da imagem capturada.
BR112015024721-0A 2013-04-04 2014-02-25 Aparelho de reconhecimento de sinal de trânsito BR112015024721B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013078368 2013-04-04
JP2013-078368 2013-04-04
PCT/JP2014/054435 WO2014162797A1 (ja) 2013-04-04 2014-02-25 信号認識装置

Publications (2)

Publication Number Publication Date
BR112015024721A2 BR112015024721A2 (pt) 2017-07-18
BR112015024721B1 true BR112015024721B1 (pt) 2022-01-18

Family

ID=51658101

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112015024721-0A BR112015024721B1 (pt) 2013-04-04 2014-02-25 Aparelho de reconhecimento de sinal de trânsito

Country Status (8)

Country Link
US (1) US9389093B2 (pt)
EP (1) EP2983153B1 (pt)
JP (1) JP5962850B2 (pt)
CN (1) CN105074794B (pt)
BR (1) BR112015024721B1 (pt)
MX (1) MX346231B (pt)
RU (1) RU2666061C2 (pt)
WO (1) WO2014162797A1 (pt)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
JP6546450B2 (ja) * 2015-05-29 2019-07-17 株式会社Subaru 道路地図情報処理装置
CN107735826B (zh) * 2015-06-09 2019-07-23 日产自动车株式会社 信号机检测装置及信号机检测方法
JP6477876B2 (ja) * 2015-06-18 2019-03-06 日産自動車株式会社 信号機検出装置及び信号機検出方法
JP6712447B2 (ja) * 2015-06-30 2020-06-24 株式会社ゼンリン 運転支援装置、プログラム
WO2017009933A1 (ja) * 2015-07-13 2017-01-19 日産自動車株式会社 信号機認識装置及び信号機認識方法
EP3324384B1 (en) * 2015-07-13 2021-03-03 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
JP6742736B2 (ja) * 2016-01-22 2020-08-19 株式会社デンソーテン 信号機の点灯色判定装置および信号機の点灯色判定方法
DE102016216070A1 (de) * 2016-08-26 2018-03-01 Siemens Aktiengesellschaft Steuergerät, System mit solch einem Steuergerät und Verfahren zum Betrieb solch eines Systems
WO2018145245A1 (en) * 2017-02-07 2018-08-16 Bayerische Motoren Werke Aktiengesellschaft Method, device and system for configuration of a sensor on a moving object
DE102017102593A1 (de) * 2017-02-09 2018-08-09 SMR Patents S.à.r.l. Verfahren und Vorrichtung zum Erkennen des Signalisierungszustands von mindestens einer Signalvorrichtung
JP6552064B2 (ja) * 2017-03-31 2019-07-31 株式会社Subaru 車両の走行制御システム
JP6838522B2 (ja) * 2017-08-10 2021-03-03 トヨタ自動車株式会社 画像収集システム、画像収集方法、画像収集装置、および記録媒体
CN110617821B (zh) * 2018-06-19 2021-11-02 北京嘀嘀无限科技发展有限公司 定位方法、装置及存储介质
JP6843819B2 (ja) * 2018-11-27 2021-03-17 本田技研工業株式会社 交通案内物認識装置、交通案内物認識方法、およびプログラム
KR20200069542A (ko) 2018-12-07 2020-06-17 팅크웨어(주) 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기
JP7088135B2 (ja) * 2019-07-23 2022-06-21 トヨタ自動車株式会社 信号表示推定システム
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
JP2021051603A (ja) * 2019-09-25 2021-04-01 株式会社Jvcケンウッド 車両用電子機器制御装置、車両用電子機器、車両用制御方法およびプログラム
JP6965325B2 (ja) * 2019-11-05 2021-11-10 三菱スペース・ソフトウエア株式会社 自動検出システムおよび自動検出プログラム
JP6979438B2 (ja) * 2019-11-05 2021-12-15 三菱スペース・ソフトウエア株式会社 データベース生成システムおよびデータベース生成プログラム
US11679769B2 (en) * 2019-11-12 2023-06-20 Nissan Motor Co., Ltd. Traffic signal recognition method and traffic signal recognition device
JP7390204B2 (ja) * 2020-02-07 2023-12-01 三菱重工機械システム株式会社 経路推定装置、経路推定方法、及びプログラム
EP4308430A1 (en) * 2021-03-17 2024-01-24 Argo AI, LLC Remote guidance for autonomous vehicles
JP2022147209A (ja) * 2021-03-23 2022-10-06 トヨタ自動車株式会社 車両制御装置
CN113452904B (zh) * 2021-06-18 2022-11-04 北京三快在线科技有限公司 一种交通信号灯检测方法及装置
US11810049B2 (en) * 2021-08-20 2023-11-07 Ford Global Technologies, Llc Systems and methods to generate a last mile travel route for a delivery robot

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224326B1 (ko) * 1995-12-26 1999-10-15 모리 하루오 차량용 네비게이션장치
JP3619628B2 (ja) * 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
JPH11306489A (ja) * 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd カメラシステム
CA2534968C (en) * 2002-09-20 2013-06-18 M7 Visual Intelligence, Lp Vehicle based data collection and processing system
JP3857698B2 (ja) 2004-04-05 2006-12-13 株式会社日立製作所 走行環境認識装置
JP2007071581A (ja) * 2005-09-05 2007-03-22 Xanavi Informatics Corp ナビゲーション装置
JP4577655B2 (ja) * 2005-12-27 2010-11-10 アイシン・エィ・ダブリュ株式会社 地物認識装置
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4446201B2 (ja) * 2007-03-30 2010-04-07 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP4915281B2 (ja) * 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 信号機検出装置、信号機検出方法及びプログラム
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
JP5691915B2 (ja) 2011-07-27 2015-04-01 アイシン・エィ・ダブリュ株式会社 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム
US9501929B2 (en) * 2013-01-25 2016-11-22 Mitsubishi Electric Corporation Movement assistance device and movement assistance method

Also Published As

Publication number Publication date
MX346231B (es) 2017-03-13
US20160054138A1 (en) 2016-02-25
JP5962850B2 (ja) 2016-08-03
MX2015013884A (es) 2016-06-06
EP2983153B1 (en) 2018-12-19
WO2014162797A1 (ja) 2014-10-09
BR112015024721A2 (pt) 2017-07-18
RU2015140803A (ru) 2017-05-15
RU2666061C2 (ru) 2018-09-05
EP2983153A1 (en) 2016-02-10
CN105074794B (zh) 2017-10-24
EP2983153A4 (en) 2016-06-01
US9389093B2 (en) 2016-07-12
CN105074794A (zh) 2015-11-18
JPWO2014162797A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
BR112015024721B1 (pt) Aparelho de reconhecimento de sinal de trânsito
JP6566132B2 (ja) 物体検出方法及び物体検出装置
EP3477614B1 (en) Vehicle control method and vehicle control device
BR112019027564A2 (pt) método de armazenamento de informação de veículo, método de controle de viagem de veículo, e dispositivo de armazenamento de informação de veículo
BR112017008187B1 (pt) Dispositivo de assistência de direção
KR20190063845A (ko) 차로 유지 보조 방법 및 장치
BR112016027098B1 (pt) Aparelho para reconhecimento de sinal de tráfego e método para reconhecimento de sinal de tráfego
BR102018072683A2 (pt) Dispositivo de localização de veículo
KR20180080391A (ko) V2x 통신을 이용한 무단 횡단 보행자의 사고 방지 시스템
JP6103265B2 (ja) 車両用歩行者画像取得装置
BR112017005761B1 (pt) Dispositivo de controle de movimento e método de controle de movimento
JP4483305B2 (ja) 車両周辺監視装置
US10846546B2 (en) Traffic signal recognition device
BR122023021198A2 (pt) Método de assistência de deslocamento e dispositivo de assistência de deslocamento
US10473481B2 (en) Lane display device and lane display method
JP2018063122A (ja) 経路選択方法及び経路選択装置
JP5974718B2 (ja) 車両走行支援装置及び車両走行支援方法
JP2006344133A (ja) 道路区画線検出装置
JP2005293479A (ja) 物体危険判定装置
CN115143973A (zh) 地图信息判定装置、存储介质以及地图信息判定方法
KR20140087860A (ko) 현재 차선 추정 방법
BR112020001742A2 (pt) método de exibição de situação circundante e dispositivo de exibição de situação circundante
JP2020038551A (ja) 顔向き検出装置、顔向き検出方法、及び制御プログラム
JP2014089137A (ja) 退出道路案内システム、方法およびプログラム
US20230150534A1 (en) Vehicle control system and vehicle driving method using the vehicle control system

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 25/02/2014, OBSERVADAS AS CONDICOES LEGAIS.