BR112017026297B1

BR112017026297B1 - Dispositivo de detecção de sinal de trânsito e método de detecção de sinal de trânsito

Info

Publication number: BR112017026297B1
Application number: BR112017026297-5A
Authority: BR
Inventors: Daiki Yamanoi; Haruo Matsuo; Takahiko Oki; Akira Suzuki
Original assignee: Nissan Motor Co., Ltd
Priority date: 2015-06-09
Filing date: 2015-06-09
Publication date: 2023-01-17
Also published as: CN107735826A; KR101974772B1; RU2017146241A; EP3309767B1; MX2017015718A; EP3309767A1; RU2700646C2; CA2988843C; CA2988843A1; JPWO2016199225A1; JP6432680B2; MX363873B; EP3309767A4; CN107735826B; BR112017026297A2; KR20180009786A; RU2017146241A3; US20180349717A1; US10210407B2; WO2016199225A1

Abstract

DISPOSITIVO DE DETECÇÃO DE SINAL DE TRÂNSITO E MÉTODO DE DETECÇÃO DE SINAL DE TRÂNSITO. Um dispositivo de detecção de sinal de trânsito 100 inclui: uma unidade de estimativa de posição de sinal de trânsito 13 que estima uma posição relativa de um sinal de trânsito em relação a um veículo 5, com base na informação de mapa D02 incluindo informação de posição do sinal de trânsito nas proximidades do veículo 5 e uma autoposição do veículo 5; uma unidade de definição de primeira região de detecção 21 que define uma primeira região de detecção em uma imagem para cada sinal de trânsito predito para estar presente na imagem obtida por uma unidade de captura de imagem 11 da posição relativa do sinal de trânsito; uma unidade de definição de segunda região de detecção 14 que define, quando é predito que uma pluralidade de sinais de trânsito está presente na imagem, uma segunda região de detecção incluindo a pluralidade de sinais de tráfego preditos na imagem; uma unidade de definição de terceira região de detecção 23 que define uma terceira região de detecção ao corrigir a primeira região de detecção, com base em candidatas a lâmpada dos sinais de trânsito detectados da segunda região de detecção; e um detector (...).

Description

CAMPO TÉCNICO

[001] A presente invenção diz respeito a um dispositivo de detecção de sinal de trânsito e a um método de detecção de sinal de trânsito para detectar um sinal de trânsito.

TÉCNICA ANTERIOR

[002] Um sistema é proposto que determina uma região de processamento de imagem para dados de imagem obtidos ao capturar uma imagem à frente de um veículo, com base em uma posição do sinal de trânsito previsto a partir de uma forma de uma via na qual o veículo está se deslocando e de uma posição corrente do veículo, e detecta o sinal de trânsito a partir da região de processamento de imagem (ver a Literatura de Patente 1). Um sistema como este reduz carga de processamento em processamento de imagem e reduz detecção errônea de outros a não ser um sinal de trânsito ao limitar uma região alvo de processamento de imagem. LISTA DE REFERÊNCIAS Literatura de Patente Literatura de Patente 1: Publicação de patente japonesa aberta 2007-241469

SUMÁRIO DA INVENÇÃO

[003] Entretanto, a tecnologia descrita na Literatura de Patente 1 não considera qualquer erro incluído em uma posição corrente do veículo detectado ao determinar a região de processamento de imagem. Uma vez que um erro na posição corrente do veículo muda significativamente de acordo com a condição de funcionamento e arredores circundantes do veículo, com a tecnologia descrita na Literatura de Patente 1, quando existe um erro na posição corrente do veículo, o sinal de trânsito pode divergir da região de processamento de imagem e pode não ser detectado em alguns casos.

[004] A presente invenção foi criada em virtude do problema indicado acima, e um objetivo da mesma é fornecer um dispositivo de detecção de sinal de trânsito e um método de detecção de sinal de trânsito que possam melhorar precisão de detecção de sinais de trânsito.

[005] O dispositivo de detecção de sinal de trânsito define uma terceira região de detecção ao corrigir uma primeira região de detecção definida com base na posição relativa de um sinal de trânsito com base em candidatas a lâmpada detectadas a partir de um ambiente real, e detecta o sinal de trânsito a partir da terceira região de definição.

DESCRIÇÃO RESUMIDA DOS DESENHOS

[006] A figura 1 é um diagrama de blocos ilustrando esquematicamente uma configuração básica de um dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção.

[007] A figura 2 é um diagrama de blocos ilustrando uma configuração e fluxo de dados do dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção.

[008] A figura 3 é um diagrama explanativo de uma segunda região de detecção usada no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção.

[009] A figura 4 é um diagrama explanativo de candidatas a lâmpada usados no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção.

[010] A figura 5 é um diagrama de blocos ilustrando uma configuração e fluxo de dados de uma unidade de definição de região de detecção de sinal de trânsito fornecida no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção.

[011] A figura 6 é um diagrama explanativo de uma primeira região de detecção usada no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção.

[012] A figura 7 é um fluxograma ilustrando um método de detecção de sinal exemplar pelo dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção.

[013] A figura 8 é um fluxograma ilustrando um processo exemplar de um calculador de correção fornecido no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção.

[014] A figura 9 é um diagrama explanativo de um processo exemplar do calculador de correção fornecido no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção quando todas as lâmpadas de sinais de trânsito são detectadas como candidatas a lâmpada.

[015] A figura 10 é um diagrama explanativo de um processo exemplar do calculador de correção fornecido no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção quando rotação de inclinação lateral ocorre em uma imagem capturada.

[016] A figura 11 é um diagrama explanativo de um processo exemplar do calculador de correção fornecido no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção quando somente duas candidatas a lâmpada são detectadas.

[017] A figura 12 é um diagrama explanativo de um processo exemplar do calculador de correção fornecido no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção quando o número de candidatas a lâmpada detectadas é maior que o número de primeiras regiões de detecção.

[018] A figura 13 é um diagrama explanativo de um processo exemplar do calculador de correção fornecido no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção quando o número de candidatas a lâmpada detectadas é maior que o número de primeiras regiões de detecção.

[019] A figura 14 é um diagrama explanativo de um processo exemplar do calculador de correção fornecido no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção quando o número de candidatas a lâmpada detectadas é maior que o número de primeiras regiões de detecção.

[020] A figura 15 é um diagrama explanativo de um processo exemplar do calculador de correção fornecido no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção quando o número de candidatas a lâmpada detectadas é menor que o número de primeiras regiões de detecção.

[021] A figura 16 é um diagrama explanativo de um processo exemplar da terceira unidade de definição de região de detecção no dispositivo de detecção de sinal de trânsito de acordo com uma modalidade da presente invenção quando uma escala em relação à imagem inteira também é mudada.

DESCRIÇÃO DE MODALIDADES

[022] Com referência para os desenhos, modalidades da presente invenção serão descritas. Na descrição dos desenhos, as partes iguais ou similares são denotadas pelos símbolos de referência iguais ou similares, e descrições de repetição são omitidas.

Dispositivo de Detecção de Sinal de Trânsito

[023] Tal como mostrado na figura 1, um dispositivo de detecção de sinal de trânsito 100 de acordo com a presente modalidade detecta, a partir de uma imagem capturada por uma unidade de captura de imagem (câmera) montada em um veículo (objeto móvel) 5, um sinal de trânsito instalado em uma via na qual o veículo 5 está se deslocando. O dispositivo de detecção de sinal de trânsito 100 recebe entradas da informação de ponto de referência D01, da informação de mapa D02 e da informação de câmera D03. O dispositivo de detecção de sinal de trânsito 100 produz um resultado de detecção do sinal de trânsito como a informação de sinal de trânsito D04, com base na informação de ponto de referência D01, na informação de mapa D02 e na informação de câmera D03.

[024] A informação de ponto de referência D01 é usada para detectar uma posição corrente (autoposição) no mapa do veículo 5 que está se deslocando em um ambiente real. Pontos de referência incluem um objeto característico fornecido no solo (pontos de referência terrestres), e um satélite GPS que transmite sinais GPS recebíveis pelo veículo 5. Por exemplo, a informação de ponto de referência D01 contém informação de posição a respeito de pontos de referência terrestres no mapa. A informação de mapa D02 contém informação de posição, tal como uma forma de uma via na qual o veículo 5 está se deslocando, e informação de posição, tal como pontos de referência terrestres nos quais posições em um ambiente real e posições no mapa são associadas umas com as outras antecipadamente. A informação de câmera D03 é usada para extrair uma imagem dos arredores (por exemplo, à frente) do veículo pela unidade de captura de imagem. Por exemplo, informação a respeito de aproximação, panoramização e inclinação para determinar uma direção de captura de imagem, informação para determinar a resolução da imagem e outras mais são definidas.

[025] Tal como mostrado na figura 2, o dispositivo de detecção de sinal de trânsito 100 inclui uma unidade de captura de imagem (câmera) 11, um detector de autoposição 12, uma unidade de estimativa de posição de sinal de trânsito 13, uma segunda unidade de definição de região de detecção 14, um detector de lâmpada 15, uma unidade de definição de região de detecção de sinal de trânsito 16 e um detector de sinal de trânsito 17.

[026] A unidade de captura de imagem 11 é montada no veículo 5 para capturar e obter uma imagem dos arredores do veículo 5. A unidade de captura de imagem 11 inclui um elemento de imageamento de estado sólido, tal como um CCD ou um CMOS, e obtém imagens digitais às quais processamento de imagem pode ser executado. A unidade de captura de imagem 11 define um ângulo de visão, ângulos verticais e horizontais, resolução e outros mais de uma câmera com base na informação de câmera D03, e produz uma imagem capturada para uma região necessária dos arredores do veículo 5 como os dados de imagem D08.

[027] O detector de autoposição 12 detecta, com base na informação de ponto de referência D01 e na informação de mapa D02, uma posição corrente (autoposição) em um mapa do veículo 5. Por exemplo, a informação de ponto de referência D01 é informação a respeito da posição relativa, em relação ao veículo 5, de um ponto de referência terrestre (uma loja, uma visão e um ponto de passeio turístico, etc.) detectado por um sensor, tal como uma câmera em veículo ou um radar a laser. O detector de autoposição 12 pode detectar uma posição corrente (autoposição) no mapa do veículo 5 ao verificar a informação de posição do ponto de referência terrestre da informação de ponto de referência D01 com a informação de posição do ponto de referência terrestre do mapa informação D02.

[028] Aqui, na presente modalidade, a “posição” inclui coordenadas e uma atitude. Especificamente, a posição de um ponto de referência terrestre inclui as coordenadas e atitude do ponto de referência terrestre, e a posição corrente do veículo 5 inclui as coordenadas e atitude no mapa do veículo 5. O detector de autoposição 12 produz as coordenadas representadas em um sistema de referência de coordenadas cartesianas e as atitudes nas direções rotacionais dos respectivos eixos de coordenadas, como a informação de autoposição D05.

[029] Por exemplo, o detector de autoposição 12 detecta uma posição inicial no mapa do veículo 5 usando a informação de ponto de referência D01 e a informação de mapa D02, e detecta uma posição corrente (autoposição) no mapa do veículo 5 ao adicionar de forma acumulativa a quantidade de movimento do veículo 5 à posição inicial. O detector de autoposição 12 pode estimar a quantidade de movimento do veículo 5 por unidade de tempo, isto é, uma quantidade de mudança em coordenadas e em uma atitude, ao usar uma medição de distância por hodômetro, um radar, um sensor de giro, um sensor de taxa de mudança de direção, um sensor de ângulo de direção ou coisa parecida.

[030] A unidade de estimativa de posição de sinal de trânsito 13 estima a posição relativa de um sinal de trânsito em relação ao veículo 5 a partir da informação de mapa D02 e da informação de autoposição D05. A unidade de estimativa de posição de sinal de trânsito 13 estima coordenadas relativas do sinal de trânsito em relação ao veículo 5, a partir de informação de coordenadas no mapa de um sinal de trânsito presente nos arredores do veículo 5 e de informação de coordenadas e de atitude a respeito de uma posição corrente no mapa do veículo. A unidade de estimativa de posição de sinal de trânsito 13 produz as coordenadas relativas estimadas do sinal de trânsito como a informação de posição relativa D06. O sinal de trânsito indicado pela informação de posição relativa D06 é um sinal de trânsito para apresentar uma luz de trânsito para o veículo 5, em outras palavras, um sinal de trânsito a ser seguido pelo veículo.

[031] Quando é previsto que uma pluralidade de sinais de trânsito está presente na imagem capturada pela unidade de captura de imagem 11 da posição relativa do sinal de trânsito indicado pela informação de posição relativa D06, a segunda unidade de definição de região de detecção 14 define uma segunda região de detecção incluindo a pluralidade de sinais de trânsito previstos na imagem. Por causa de a unidade de captura de imagem 11 estar fixada ao veículo, quando o ângulo de visão e a direção de captura de imagem da unidade de captura de imagem 11 são determinados, a segunda unidade de definição de região de detecção 14 pode predizer uma região dos sinais de trânsito na imagem a partir da informação de posição relativa D06. A segunda unidade de definição de região de detecção 14 define uma segunda região de detecção incluindo a pluralidade de sinais de trânsito com base na região predita dos sinais de trânsito na imagem e produz a segunda região de detecção como a informação de segunda região de detecção D07.

[032] A fim de que os respectivos sinais de trânsito não divirjam da segunda região de detecção mesmo se o comportamento do veículo 5 e a informação de autoposição D05 incluírem erros, a segunda unidade de definição de região de detecção 14 considera estes erros e define uma segunda região de detecção incluindo a região total dos sinais de trânsito previstos na imagem. Por exemplo, tal como mostrado na figura 3, quando é previsto que existe uma pluralidade dos sinais de trânsito TS1 a TS4 na imagem indicada pelos dados de imagem D08, a informação de segunda região de detecção D07 é definida para ter uma margem predeterminada ao considerar o erro nas extremidades superior, inferior, direita e esquerda das regiões da pluralidade dos sinais de trânsito TS1 a TS4.

[033] O detector de lâmpada 15 executa processamento de imagem para detectar uma lâmpada do sinal de trânsito na segunda região de detecção de uma imagem capturada pela unidade de captura de imagem 11 e detectar desse modo candidatas a lâmpada tendo o recurso da lâmpada do sinal de trânsito da segunda região de detecção. Por exemplo, o detector de lâmpada 15 extrai pixels que cintilam em um ciclo específico com base no ciclo de alternação de fornecimentos de energia comercial e então detecta uma região dos mesmos como uma candidata a lâmpada. Alternativamente, o detector de lâmpada 15 pode detectar candidatas a lâmpada usando processamento de determinação de similaridade de tonalidade e forma. Tal como descrito anteriormente, o detector de lâmpada 15 pode detectar candidatas a lâmpada usando vários métodos de processamento de imagens ou uma combinação dos mesmos. O detector de lâmpada 15 produz a posição e região na imagem das candidatas a lâmpada detectadas, como a informação de candidata a lâmpada D09.

[034] Notar que o detector de lâmpada 15 executa processamento de imagem somente na segunda região de detecção definida em uma parte da imagem em vez de na região total da imagem capturada pela unidade de captura de imagem 11, e assim pode reduzir a carga de processamento e tempo de processamento para detectar candidatas a lâmpada. Entretanto, a segunda região de detecção pode ser definida, pela segunda unidade de definição de região de detecção 14, como a região total da imagem capturada pela unidade de captura de imagem 11. Por exemplo, no caso mostrado na figura 3, quando o detector de lâmpada 15 detecta candidatas a lâmpada da segunda região de detecção, a informação de candidata a lâmpada D09 é definida para a região das lâmpadas que brilham nos respectivos sinais de trânsito TS1 a TS4, tal como mostrado na figura 4.

[035] A unidade de definição de região de detecção de sinal de trânsito 16 define uma terceira região de detecção, a qual é mais estreita que a segunda região de detecção e corresponde aos respectivos sinais de trânsito, na imagem capturada pela unidade de captura de imagem 11, com base na informação de posição relativa D06 e na informação de candidata a lâmpada D09, e produz a terceira região de detecção como a informação de terceira região de detecção D10. Descrição detalhada da unidade de definição de região de detecção de sinal de trânsito 16 será dada mais tarde.

[036] O detector de sinal de trânsito 17 executa processamento de imagem para detectar sinal de trânsito na terceira região de detecção da imagem capturada pela unidade de captura de imagem 11, e assim detecta um sinal de trânsito da terceira região de detecção para produzir o sinal de trânsito como a informação de sinal de trânsito D04. Por exemplo, o detector de sinal de trânsito 17 armazena padrões característicos de uma imagem inteira incluindo um alojamento de sinal de trânsito e uma lâmpada antecipadamente, e detecta maior similaridade como um sinal de trânsito ao usar casamento de padrão da imagem na terceira região de detecção. Um método similar a esse do detector de lâmpada 15 pode ser combinado, ou um sinal de trânsito pode ser detectado da terceira região de detecção usando vários métodos de processamento de imagens ou uma combinação dos mesmos. Uma vez que a terceira região de detecção é mais estreita que a segunda região de detecção, mesmo um método similar a esse do detector de lâmpada 15 pode detectar um sinal de trânsito, excluindo a não ser a lâmpada do sinal de trânsito, das candidatas a lâmpada detectadas na segunda região de detecção.

[037] O detector de autoposição 12, a unidade de estimativa de posição de sinal de trânsito 13, a segunda unidade de definição de região de detecção 14, o detector de lâmpada 15, a unidade de definição de região de detecção de sinal de trânsito 16 e o detector de sinal de trânsito 17 são implementados por meio de um microcontrolador incluindo, por exemplo, uma unidade central de processamento (CPU), uma memória e uma unidade de entrada/saída. Neste caso, a CPU executa programas de computador pré-instalados no microcontrolador para configurar a pluralidade de unidades de processamento de informação (12 a 17), respectivamente. O microcontrolador pode ser usado também como uma unidade de controle eletrônico (ECU) usada para outro controle relacionado com o veículo 5, tal como controle de direção automática, por exemplo.

[038] Tal como mostrado na figura 5, a unidade de definição de região de detecção de sinal de trânsito 16 inclui uma primeira unidade de definição de região de detecção 21, um calculador de correção 22 e uma terceira unidade de definição de região de detecção 23.

[039] A primeira unidade de definição de região de detecção 21 define uma primeira região de detecção na imagem para cada sinal de trânsito previsto para estar presente na imagem capturada pela unidade de captura de imagem 11 da posição relativa do sinal de trânsito indicado pela informação de posição relativa D06. Por causa de a unidade de captura de imagem 11 estar fixada ao veículo, quando o ângulo de visão e a direção de captura de imagem da unidade de captura de imagem 11 são determinados, a primeira unidade de definição de região de detecção 21 pode predizer uma região de um sinal de trânsito na imagem a partir da informação de posição relativa D06. A segunda unidade de definição de região de detecção 14 define uma primeira região de detecção para cada um dos sinais de trânsito previstos e produz a informação de primeira região de detecção D11.

[040] Por exemplo, a primeira unidade de definição de região de detecção 21 pode definir a primeira região de detecção para incluir o alojamento de sinal de trânsito de maneira que a primeira região de detecção possa incluir o sinal de trânsito independente de qual lâmpada no sinal de trânsito está acesa.

[041] Alternativamente, a primeira unidade de definição de região de detecção 21 pode definir a primeira região de detecção ao considerar a possibilidade de que a informação de autoposição D05 diverge na direção de deslocamento do veículo 5. Por exemplo, quando a distância do veículo 5 para o sinal de trânsito é calculada para ser de 60 m com base na informação de autoposição D05, é assumido que a distância real do veículo 5 para o sinal de trânsito é de 50 m. Neste caso, o tamanho do sinal de trânsito na imagem real é de 60/50 vezes o tamanho do sinal de trânsito na imagem predita a partir da informação de autoposição D05. Além disso, quando a distância do veículo 5 para o sinal de trânsito diverge, a informação de posição relativa D06 também diverge. Por exemplo, no caso mostrado na figura 3, quando a distância para o sinal de trânsito que é de 50 m à frente é calculada para ser de 60 m, os sinais de trânsito TS1 a TS3 na parte de trás mudam para o lado esquerdo superior, e o sinal de trânsito TS4 na frente muda para o lado direito superior. Assim, a primeira unidade de definição de região de detecção 21 pode definir, ao considerar um erro que pode ocorrer na informação de autoposição D05, uma primeira região de detecção obtida ao adicionar uma região que pode compensar o desvio na imagem do sinal de trânsito.

[042] Quando os sinais de trânsito TS1 a TS4 são previstos tais como mostrados na figura 3, a primeira unidade de definição de região de detecção 21 define primeiras regiões de detecção para regiões correspondendo aos respectivos sinais de trânsito TS1 a TS4 tal como mostrado na figura 6, e gera uma imagem de máscara M que mascara a imagem excluindo as primeiras regiões de detecção. A primeira unidade de definição de região de detecção 21 produz a imagem de máscara M como a informação de primeira região de detecção D11.

[043] O calculador de correção 22 calcula, com base na informação de candidata a lâmpada D09 e na informação de primeira região de detecção D11, uma quantidade de correção (valor de correção) para uma primeira região de detecção. O calculador de correção 22 verifica as posições das candidatas a lâmpada detectadas na segunda região de detecção com as primeiras regiões de detecção da imagem de máscara M, e localiza uma posição na qual as posições das candidatas a lâmpada correspondem mais próximo às primeiras regiões de detecção da imagem de máscara M. O calculador de correção 22 calcula um valor de correção exigido para corrigir a imagem de máscara M para a posição na qual as posições das candidatas a lâmpada correspondem mais próximo às primeiras regiões de detecção da imagem de máscara M, e produz o valor de correção como a informação de correção D12. Descrição detalhada do calculador de correção 22 será dada mais tarde.

[044] A terceira unidade de definição de região de detecção 23 corrige, com base no valor de correção indicado pela informação de correção D12, as posições na imagem das primeiras regiões de detecção indicadas pela informação de primeira região de detecção D11, define uma terceira região de detecção na imagem capturada pela unidade de captura de imagem 11 ao definir as posições corrigidas na imagem das primeiras regiões de detecção como uma terceira região de detecção, e produz as terceiras regiões de detecção como a informação de terceira região de detecção D10.

Método de Detecção de Sinal de Trânsito

[045] A seguir, um método de detecção de sinal de trânsito exemplar pelo dispositivo de detecção de sinal de trânsito de acordo com a presente modalidade será descrito usando o fluxograma da figura 7.

[046] Na Etapa S1, quando é previsto que uma pluralidade de sinais de trânsito está presente na imagem com base na informação de posição relativa D06, a segunda unidade de definição de região de detecção 14 define uma segunda região de detecção incluindo a pluralidade de sinais de trânsito previstos, na imagem capturada pela unidade de captura de imagem 11.

[047] Na Etapa S2, o detector de lâmpada 15 executa processamento de imagem para detectar lâmpadas dos sinais de trânsito na imagem da segunda região de detecção, e desse modo detecta candidatas a lâmpada tendo o recurso da lâmpada do sinal de trânsito da segunda região de detecção. As posições e regiões na imagem das candidatas a lâmpada detectadas são produzidos como a informação de candidata a lâmpada D09.

[048] Na Etapa S3, a primeira unidade de definição de região de detecção 21 define, com base na informação de posição relativa D06 dos sinais de trânsito, uma primeira região de detecção na imagem para cada um dos sinais de trânsito previstos para estar presentes na imagem capturada pela unidade de captura de imagem 11.

[049] Na Etapa S4, o calculador de correção 22 localiza uma posição na qual as posições das candidatas a lâmpada detectadas na segunda região de detecção correspondem mais próximo às primeiras regiões de detecção da imagem de máscara M. A verificação é executada ao deslocar a imagem de máscara M sobre a imagem para localizar uma posição na qual as primeiras regiões de detecção sobrepõem e correspondem mais estreitamente com as posições das candidatas a lâmpada. O calculador de correção 22 calcula uma quantidade de movimento da imagem de máscara M para a posição na qual as posições das candidatas a lâmpada correspondem mais próximo às primeiras regiões de detecção da imagem de máscara M neste tempo, como um valor de correção exigido para corrigir a posição na qual as posições das candidatas a lâmpada correspondem mais próximo às primeiras regiões de detecção da imagem de máscara M.

[050] Na Etapa S5, a terceira unidade de definição de região de detecção 23 executa correção ao deslocar a primeira região de detecção pelo valor de correção calculado pelo calculador de correção 22, e define a posição corrigida na imagem das primeiras regiões de detecção como terceiras regiões de detecção.

[051] Na Etapa S6, o detector de sinal de trânsito 17 executa processamento de imagem para detectar sinal de trânsito nas terceiras regiões de detecção da imagem capturada pela unidade de captura de imagem 11, e desse modo detecta sinais de trânsito da terceira região de detecção.

Processamento do Calculador de Correção 22

[052] A seguir, processamento do calculador de correção 22 na Etapa S4 do fluxograma da figura 7 será descrito usando o fluxograma mostrado na figura 8.

[053] Na Etapa S41, o calculador de correção 22 estabelece o valor inicial do valor de contador i para N, onde N é o número das primeiras regiões de detecção. Na Etapa S42, o calculador de correção 22 determina se o valor de contador i é um ou não. O calculador de correção 22 prossegue o processo para a Etapa S43 quando o valor de contador i é um, e calcula o valor de correção como zero. O calculador de correção 22 prossegue o processo para a Etapa S44 quando o valor de contador i não é um.

[054] Na Etapa S44, o calculador de correção 22 verifica as primeiras regiões de detecção da imagem de máscara M com as posições das candidatas a lâmpada detectadas na segunda região de detecção e determina se existe ou não uma posição onde um número das posições das candidatas a lâmpada correspondendo às primeiras regiões de detecção (ou sobrepondo as mesmas) é i. Quando uma posição na qual o número é i pode ser localizada, o calculador de correção 22 prossegue o processo para a Etapa S45, e calcula uma quantidade de movimento das primeiras regiões de detecção para a posição na qual o número é i como um valor de correção. Quando uma posição na qual o número é i não pode ser localizada, o calculador de correção 22 decrementa o valor de contador i e retorna o processo para a Etapa S42. O valor de correção é definido para as coordenadas de movimento (x, y) e ângulo rotacional (θ) das primeiras regiões de detecção quando as posições das candidatas a lâmpada correspondem mais próximo às primeiras regiões de detecção da imagem de máscara M na última Etapa S44.

[055] Por exemplo, a figura 9 é um exemplo de cálculo de um valor de correção quando o número N das primeiras regiões de detecção é quatro, e as lâmpadas de sinalização de todos os sinais de trânsito são detectadas como candidatas a lâmpada. É assumido que todas as primeiras regiões de detecção sobrepõem as posições das candidatas a lâmpada. Neste caso, o calculador de correção 22 calcula um valor de correção para definir uma posição onde todas as candidatas a lâmpada estão próximas aos centros das respectivas primeiras regiões de detecção como as posições das candidatas a lâmpada correspondendo mais próximo às primeiras regiões de detecção. No exemplo mostrado na figura 10, o calculador de correção 22 calcula uma quantidade de movimento da imagem de máscara M ao transladar as respectivas primeiras regiões de detecção para o lado direito inferior. O valor de correção é calculado como coordenadas de movimento (pixel) (x, y) e um ângulo rotacional θ (=0).

[056] A figura 10 é um exemplo de cálculo de um valor de correção quando rotação de inclinação lateral ocorre na imagem capturada pela unidade de captura de imagem 11, em que o número N das primeiras regiões de detecção é quatro, e as lâmpadas de sinalização de todos os sinais de trânsito são detectadas como candidatas a lâmpada. É assumido que o número em que as primeiras regiões de detecção correspondem às posições das candidatas a lâmpada é menor que quatro. Rotação de inclinação lateral pode ocorrer por causa do comportamento do veículo 5. Neste caso, o calculador de correção 22 estabelece i=4 ao girar a imagem de máscara M pelo ângulo rotacional θ. Além disso, o calculador de correção 22 localiza uma posição na qual as posições das respectivas candidatas a lâmpada estão próximas aos centros das primeiras regiões de detecção e desse modo calcula um valor de correção. Neste caso, o valor de correção é calculado como coordenadas de movimento (x, y) e um ângulo rotacional θ.

[057] A figura 11 é um exemplo de cálculo de um valor de correção quando somente duas candidatas a lâmpada podem ser detectadas por causa de inibição do ângulo de visão da unidade de captura de imagem 11 e de outros mais, contudo o número N das primeiras regiões de detecção é quatro. Neste caso, o calculador de correção 22 localiza uma posição na qual as posições das duas candidatas a lâmpada sobrepõem as respectivas primeiras regiões de detecção da imagem de máscara M ao transladar a imagem de máscara M para o lado direito inferior (i=2). Além disso, o calculador de correção 22 localiza uma posição na qual as posições de duas candidatas a lâmpada estão próximas aos centros das respectivas primeiras regiões de detecção da imagem de máscara M em um estado onde o valor de contador i é dois, e calcula um valor de correção. O valor de correção é calculado como coordenadas de movimento (x, y) e um ângulo rotacional θ (=0).

[058] A figura 12 é um exemplo de cálculo de um valor de correção quando o número de candidatas a lâmpada detectadas é maior que o número das primeiras regiões de detecção. Por exemplo, é assumido que sete candidatas a lâmpada incluindo detecções errôneas são detectadas por causa de objetos nos arredores do veículo 5 e de outros mais, contudo o número N das primeiras regiões de detecção é quatro. Neste caso, o calculador de correção 22 calcula um valor de correção para definir, ao transladar a imagem de máscara M para o lado direito inferior, uma posição na qual as posições das quatro candidatas a lâmpada estão próximas aos centros das respectivas primeiras regiões de detecção da imagem de máscara M, para uma posição na qual as posições das candidatas a lâmpada correspondem mais próximo às primeiras regiões de detecção da imagem de máscara M (i=4). O valor de correção é calculado como coordenadas de movimento (x, y) e um ângulo rotacional θ (=0).

[059] A figura 13 é um exemplo de cálculo de um valor de correção quando o número de candidatas a lâmpada detectadas é maior que o número de primeiras regiões de detecção. Por exemplo, é assumido que cinco candidatas a lâmpada incluindo três detecções errôneas são detectadas por causa de inibição do ângulo de visão, objetos nos arredores ou de coisa parecida, contudo o número N das primeiras regiões de detecção é quatro. Neste caso, o calculador de correção 22 calcula um valor de correção para definir, ao transladar a imagem de máscara M para o lado direito inferior, uma posição na qual as posições de duas candidatas a lâmpada estão próximas aos centros das respectivas primeiras regiões de detecção da imagem de máscara M, para as posições das candidatas a lâmpada que correspondem mais próximo às primeiras regiões de detecção da imagem de máscara M (i=2). O valor de correção é calculado como coordenadas de movimento (x, y) e um ângulo rotacional θ (=0).

[060] A figura 14 é um exemplo de cálculo de um valor de correção quando o número de candidatas a lâmpada detectadas é maior que o número das primeiras regiões de detecção. Por exemplo, é assumido que cinco candidatas a lâmpada são detectadas por causa de inibição do ângulo de visão, objetos nos arredores ou de coisa parecida, contudo o número N das primeiras regiões de detecção é quatro. Neste caso, o calculador de correção 22 calcula, ao transladar a imagem de máscara M para o lado direito superior ou lado direito inferior, um valor de correção de maneira que as posições das candidatas a lâmpada correspondam mais próximo às primeiras regiões de detecção da imagem de máscara M. Quando as primeiras regiões de detecção da imagem de máscara M são corrigidas para o lado direito superior e as terceiras regiões de detecção são assumidas para ser A, i=2. Quando as primeiras regiões de detecção da imagem de máscara M são corrigidas para o lado direito inferior e as terceiras regiões de detecção são assumidas para ser B, i=3. Neste caso, por causa de uma das candidatas a lâmpada poder ser detectada erroneamente, o calculador de correção 22 pode selecionar um valor de correção menor (quantidade de movimento da imagem de máscara M). O valor de correção é calculado como coordenadas de movimento (x, y) e um ângulo rotacional θ (=0).

[061] Alternativamente, como um outro método de seleção, quando uma pluralidade de valores de correção pode ser calculada, o calculador de correção 22 pode descartar a imagem do quadro no qual uma candidata a lâmpada é detectada, permitindo ao detector de lâmpada 15 detectar candidatas a lâmpada para uma imagem de um próximo quadro. Como um resultado, o calculador de correção 22 pode impedir saída de um resultado de detecção errôneo de um sinal de trânsito.

[062] A figura 15 é um exemplo de cálculo de um valor de correção quando o número de candidatas a lâmpada detectadas é menor que o número das primeiras regiões de detecção. Por exemplo, é assumido que três candidatas a lâmpada são detectadas por causa de inibição de ângulo de visão, objetos nos arredores ou de coisa parecida, contudo o número N das primeiras regiões de detecção é quatro. Além disso, é assumido que o número das primeiras regiões de detecção correspondendo às candidatas a lâmpada é um sem as primeiras regiões de detecção da imagem de máscara M corrigida, e o número das primeiras regiões de detecção correspondendo às posições das candidatas a lâmpada não excede um independente de como uma imagem de máscara M é deslocada. Neste caso, o calculador de correção 22 estabelece um valor de correção para zero (coordenadas de movimento (0,0), ângulo rotacional θ (=0)). Em outras palavras, o detector de sinal de trânsito 17 detecta sinais de trânsito das primeiras regiões de detecção indicadas pela informação de primeira região de detecção D11. Notar que o calculador de correção 22 de modo similar estabelece um valor de correção para zero também em um caso onde o número de candidatas a lâmpada detectadas é um.

[063] Nos exemplos mostrados nas figuras 9 a 15, a terceira unidade de definição de região de detecção 23 define a terceira região de detecção ao transladar as coordenadas (x, y) da primeira região de detecção indicada pela informação de primeira região de detecção D11, sem mudar a escala em relação à imagem inteira, e em alguns casos girando pelo ângulo rotacional θ, mas a escala da terceira região de detecção em relação à imagem inteira pode ser mudada em relação àquela da primeira região de detecção.

[064] A terceira unidade de definição de região de detecção 23 pode definir a terceira região de detecção ao mudar a escala das primeiras regiões de detecção em relação à imagem inteira com o ponto central de cada uma das primeiras regiões de detecção corrigido por meio de translação ou o ponto central da candidata a lâmpada sobrepondo as primeiras regiões de detecção corrigidas estando como uma referência. A escala da terceira região de detecção pode ser definida de maneira que o tamanho do alojamento de sinal de trânsito seja previsto com base no tamanho das candidatas a lâmpada e então o alojamento de sinal de trânsito é incluído na terceira região de detecção na imagem. Como um resultado, ela também é adaptável a um caso onde o erro de estimativa da posição corrente na direção de deslocamento do veículo é grande.

[065] Por exemplo, a figura 16 é um exemplo de cálculo de um valor de correção quando a escala em relação à imagem inteira também é mudada. A primeira região de detecção é transladada e a escala em relação à imagem inteira é mudada, de maneira que ela também é adaptável para um caso onde erros de estimativa de uma posição corrente na direção de deslocamento do veículo são grandes. Na figura 16A, quando erros de estimativa de uma posição corrente na direção de deslocamento do veículo estão presentes na direção próxima ao sinal de trânsito, a terceira região de detecção é definida ao transladar a primeira região de detecção e reduzir a escala em relação à imagem inteira. A figura 16B é um exemplo no qual a primeira região de detecção é transladada e a escala em relação à imagem inteira é mudada, e adicionalmente a largura é ampliada a fim de incluir o alojamento de sinal de trânsito na suposição de que é desconhecido que lâmpadas dos sinais de trânsito estão acesas. Quando é definido incluir o alojamento de sinal de trânsito, ele é definido para ter pelo menos duas vezes o tamanho na imagem do sinal de trânsito em uma direção de arranjo da lâmpada. Como um resultado, mesmo quando é desconhecido que lâmpadas dos sinais de trânsito estão acesas, é mais fácil localizar uma posição onde as posições das candidatas a lâmpada casam mais próximo com as primeiras regiões de detecção.

[066] Com o dispositivo de detecção de sinal de trânsito 100 de acordo com a presente modalidade, as primeiras regiões de detecção definidas com base na posição relativa do sinal de trânsito são corrigidas com base em candidatas a lâmpada detectadas em um ambiente real, de maneira que uma terceira região de detecção usada para detectar sinal de trânsito é definida. Como um resultado, no dispositivo de detecção de sinal de trânsito de acordo com a presente modalidade, a possibilidade de que a terceira região de detecção inclua um sinal de trânsito na imagem é aumentada, e precisão de detecção de sinais de trânsito pode ser aperfeiçoada.

[067] Além disso, com o dispositivo de detecção de sinal de trânsito 100 de acordo com a presente modalidade, quando a escala da terceira região de detecção em relação à imagem inteira é igual àquela da primeira região de detecção, a terceira região de detecção é definida com base nas posições das candidatas a lâmpada, de maneira que ela é definida no mesmo tamanho da primeira região de detecção, em uma posição apropriada para detecção de sinal de trânsito. Portanto, o dispositivo de detecção de sinal de trânsito 100 pode reduzir detecção errônea de sinais de trânsito e melhorar adicionalmente precisão de detecção de sinais de trânsito.

[068] Além disso, com o dispositivo de detecção de sinal de trânsito 100 de acordo com uma modalidade da presente invenção, quando a área das terceiras regiões de detecção é menor que aquela das primeiras regiões de detecção, as terceiras regiões de detecção são definidas com base nas posições das candidatas a lâmpada, e é possível executar processamento de detecção de um sinal de trânsito com uma área pequena. Portanto, o dispositivo de detecção de sinal de trânsito 100 pode reduzir detecção errônea de sinais de trânsito, melhorar precisão de detecção de sinais de trânsito, e reduzir adicionalmente uma magnitude de operação de processamento de detecção de sinais de trânsito.

[069] Além disso, com o dispositivo de detecção de sinal de trânsito 100 de acordo com a presente modalidade, mesmo quando somente uma candidata a lâmpada é detectada e a primeira região de detecção não pode ser corrigida de modo apropriado, sinais de trânsito são detectados com a primeira região de detecção sendo tal como a terceira região de detecção. Como um resultado, o dispositivo de detecção de sinal de trânsito 100 detecta sinais de trânsito de uma região de detecção definida com base na posição relativa do sinal de trânsito, e é possível impedir redução de precisão de detecção.

[070] Além disso, com o dispositivo de detecção de sinal de trânsito 100 de acordo com a presente modalidade, mesmo quando o número das primeiras regiões de detecção correspondendo às candidatas a lâmpada é um e a primeira região de detecção não pode ser corrigida de modo apropriado, um sinal de trânsito é detectado com a primeira região de detecção sendo tal como a terceira região de detecção. Como um resultado, no dispositivo de detecção de sinal de trânsito 100, sinais de trânsito são detectados de uma região de detecção definida com base na posição relativa dos sinais de trânsito, e é possível impedir redução de precisão de detecção.

[071] Além disso, com o dispositivo de detecção de sinal de trânsito 100 de acordo com a presente modalidade, as primeiras regiões de detecção são corrigidas para uma posição na qual as primeiras regiões de detecção correspondem mais próximo às candidatas a lâmpada, de maneira que a terceira região de detecção é definida. Como um resultado, no dispositivo de detecção de sinal de trânsito 100, a possibilidade de que a terceira região de detecção inclua um sinal de trânsito na imagem é aumentada, e precisão de detecção de sinal de trânsito pode ser melhorada adicionalmente.

[072] Embora a presente invenção tenha sido descrita anteriormente por meio das modalidades tais como expostas anteriormente, não deve ser entendido que as declarações e os desenhos como parte da revelação limitam a presente invenção. A partir desta revelação, várias modalidades modificadas, exemplos e técnicas de operação estarão aparentes para os versados na técnica. Certamente, a presente invenção inclui de forma alternativa várias modalidades não descritas nesta descrição, tais como cada configuração mutuamente aplicada. Portanto, o escopo técnico da presente invenção é definido somente pelos recursos apropriados de acordo com o escopo das reivindicações em virtude das explicações dadas acima.

APLICABILIDADE INDUSTRIAL

[073] De acordo com a presente invenção, um dispositivo de detecção de sinal de trânsito e um método de detecção de sinal de trânsito podem ser fornecidos nos quais uma região de detecção definida com base na posição relativa de um sinal de trânsito é corrigida com base em um ambiente real, e desse modo precisão de detecção de sinais de trânsito é aperfeiçoada. LISTA DE SÍMBOLOS DE REFERÊNCIA 5 veículo (objeto móvel) 11 unidade de captura de imagem (câmera) 12 detector de autoposição 13 unidade de estimativa de posição de sinal de trânsito 14 segunda unidade de definição de região de detecção 17 detector de sinal de trânsito 21 primeira unidade de definição de região de detecção 23 terceira unidade de definição de região de detecção 100 dispositivo de detecção de sinal de trânsito

Claims

1. Dispositivo de detecção de sinal de trânsito (100), compreendendo: uma câmera (11) configurada para capturar uma imagem de arredores de um objeto móvel (5) e fixada ao objeto móvel (5) de modo que um ângulo de visão e uma direção de captura de imagem da câmera (11) em relação ao objeto móvel (5) seja determinado; um detector de autoposição (12) configurado para detectar uma posição do objeto móvel (5) em um mapa; uma unidade de estimativa de posição de sinal de trânsito (13) configurada para estimar uma posição relativa de um sinal de trânsito em relação ao objeto móvel (5) com base em informação de mapa incluindo informação de posição do sinal de trânsito que está presente nos arredores do objeto móvel (5), a posição do objeto móvel (5) no mapa, e uma direção de deslocamento do objeto móvel (5); uma primeira unidade de definição de região de detecção (21) configurada para definir uma primeira região de detecção na imagem para cada sinal de trânsito previsto para estar presente na imagem, baseada na posição relativa do sinal de trânsito em relação à câmera (11); e um detector de sinal de trânsito (17) configurado para detectar sinais de trânsito, CARACTERIZADO por uma segunda unidade de definição de região de detecção (14) configurada para definir, quando é previsto que uma pluralidade de sinais de trânsito está presente na imagem, uma segunda região de detecção na imagem incluindo toda a pluralidade de sinais de trânsito, baseada nas posições relativas dos sinais de trânsito em relação à câmera (11); um detector de lâmpada (15) configurado para detectar, da segunda área de detecção, um candidato a lâmpada tendo uma característica de uma lâmpada de um sinal de trânsito; e uma terceira unidade de definição de região de detecção (23) configurada para definir uma terceira região de detecção para cada um da pluralidade de sinais de trânsito corrigindo uma posição da primeira região de detecção para fazer com que a posição da primeira região de detecção usando pelo menos um dentre movimento de translação, de rotação, e escalando, de modo a corresponder ao candidato a lâmpada, em que o detector de sinal de trânsito (17) é configurado para detectar sinais de trânsito da terceira região de detecção.

2. Dispositivo de detecção de sinal de trânsito (100), de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a terceira região de detecção é definida para ter uma escala em relação à imagem inteira igual à escala da primeira região de detecção em relação à imagem inteira.

3. Dispositivo de detecção de sinal de trânsito (100), de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a terceira região de detecção é definida para ter uma área menor que aquela da primeira região de detecção.

4. Dispositivo de detecção de sinal de trânsito (100), de acordo com qualquer uma das reivindicações 1 a 3, CARACTERIZADO pelo fato de que o detector de sinal de trânsito (17) é configurado para detectar um sinal de trânsito da primeira região de detecção quando o número das candidatas a lâmpada detectadas pelo detector de lâmpada for um.

5. Dispositivo de detecção de sinal de trânsito (100), de acordo com qualquer uma das reivindicações 1 a 4, CARACTERIZADO pelo fato de que o detector de sinal de trânsito (17) é configurado para detectar um sinal de trânsito da primeira região de detecção quando o número das primeiras regiões de detecção correspondendo às candidatas a lâmpada for um na imagem.

6. Dispositivo de detecção de sinal de trânsito (100), de acordo com qualquer uma das reivindicações 1 a 5, CARACTERIZADO pelo fato de que a terceira unidade de definição de região de detecção (23) define uma terceira região de detecção corrigindo a primeira região de detecção para uma posição na qual a primeira região de detecção mais próxima corresponde às candidatas a lâmpada na imagem.

7. Método de detecção de sinal de trânsito, compreendendo: estimar uma posição relativa de um sinal de trânsito em relação a um objeto móvel (5) com base em informação de mapa incluindo informação de posição do sinal de trânsito que está presente em arredores do objeto móvel (5), uma posição do objeto móvel (5) em um mapa, e uma direção de deslocamento do objeto móvel (5); e definir uma primeira região de detecção em uma imagem de arredores do objeto móvel (5) capturada por uma câmera (11) para cada sinal de trânsito previsto para estar presente na imagem, baseada na posição relativa do sinal de trânsito em relação à câmera (11), em que a câmera (11) é fixada ao objeto móvel (5) de modo que um ângulo de visão e uma direção de captura de imagem da câmera (11) em relação ao objeto móvel (5) seja determinado, CARACTERIZADO por definir, quando é previsto que uma pluralidade de sinais de trânsito está presente na imagem, uma segunda região de detecção na imagem incluindo toda a pluralidade de sinais de trânsito, baseada nas posições relativas dos sinais de trânsito em relação à câmera (11); detectar, da segunda área de detecção, um candidato a lâmpada tendo uma característica de uma lâmpada de um sinal de trânsito; definir uma terceira região de detecção para cada um da pluralidade de sinais de trânsito corrigindo uma posição da primeira região de detecção para fazer com que a posição da primeira região de detecção usando pelo menos um dentre movimento de translação, de rotação, e escalando, de modo a corresponder ao candidato a lâmpada, e detectar sinais de trânsito da terceira região de detecção.