BR112018000191B1 - Dispositivo de reconhecimento de semáforo e método de reconhecidmento de semáforo - Google Patents

Abstract

DISPOSITIVO DE RECONHECIMENTO DE SEMÁFORO E MÉTODO DE RECONHECIDMENTO DE SEMÁFORO. A presente invenção se refere a um dispositivo de reconhecimento de semáforo que inclui: uma câmera (11) que captura uma imagem em torno de um veículo; uma unidade de aquisição de informações de mapa (17) configurada para adquirir informações de mapa em torno do veículo; um detector de posição atual de veículo (12) configurado para detectar uma posição atual em um mapa do veículo; e um estimador de posição de semáforo (21) configurado para estimar uma posição no mapa do semáforo com base na posição atual e nas informações de mapa. O dispositivo de reconhecimento de semáforo inclui adicionalmente: uma unidade de definição de posicionamento de imageamento (23) configurada para definir uma direção de imageamento da câmera em base em uma posição na imagem do semáforo e em uma direção de movimento no tempo futuro na imagem do semáforo; um controlador de posicionamento de câmera (24) configurado para mudar a direção de imageamento da câmera para uma direção de imageamento definida por uma unidade de definição de direção de imageamento; e uma unidade de reconhecimento de semáforo (14) configurada para reconhecer o semáforo a partir de uma imagem capturada na direção de imageamento pela câmera. O (...).

Description

CAMPO DA TÉCNICA

[001]A presente invenção refere-se a um dispositivo de reconhecimento de semáforo e um método de reconhecimento de semáforo para reconhecer um semáforo, em que o dispositivo de reconhecimento de semáforo é montado em um veículo.

ANTECEDENTES DA INVENÇÃO

[002]Por exemplo, um veículo dotado de uma função de operação automática controla as operações para parar, prosseguir, e assim por diante pelo reconhecimento de um semáforo fornecido ao longo de uma trajetória de percurso do veículo e detecção de um estado de iluminação, tal como cor luminosa, do semáforo.

[003]Como um dispositivo de reconhecimento de semáforo convencional, é conhecido, por exemplo, um revelado na Literatura de Patente 1 (Publicação de Patente Aberta à Inspeção Japonesa no 11-306489). Nessa Literatura citada 1, uma câmera é montada em um veículo e imageia um semáforo com antecedência. Nesse caso, o ângulo na direção horizontal e o ângulo na direção vertical da câmera são controlado de modo que o semáforo seja localizado no centro de uma imagem capturada pela câmera. Além disso, a magnificação é controlada de modo que a imagem do semáforo tenha um tamanho desejado.

LISTA DE CITAÇÃO LITERATURA DE PATENTE

[004]Literatura de Patente 1: Publicação de Patente Japonesa Aberta à Inspeção no 11-306489

SUMÁRIO DA INVENÇÃO

[005]No entanto, no exemplo convencional revelado na Literatura de Patente 1, ocorre uma distorção na imagem capturada por uma câmera enquanto altera a direção de imageamento da câmera, tornando, então, o reconhecimento de imagem difícil. Como resultado, ao mudar a direção de imageamento da câmera, a precisão para detectar o estado de iluminação de um semáforo deve diminuir.

[006]A presente invenção foi feita a fim de solucionar os problemas convencionais descritos acima, e um objetivo da mesma é de fornecer um dispositivo de reconhecimento de semáforo com capacidade para eliminar a necessidade de mudar a direção de imageamento de uma unidade de imageamento ou reduzir o número de vezes de mudança da direção de imageamento, quando um veículo se aproxima de um semáforo.

[007]Um dispositivo de reconhecimento de semáforo de acordo com um aspecto da presente invenção inclui: uma unidade de imageamento; uma unidade de aquisição de informações de mapa configurada para adquirir informações de mapa; um detector de posição atual de veículo configurado para detectar uma posição atual em um mapa de um veículo; e um estimador de posição de semáforo configurada para estimar uma posição em uma imagem de um semáforo. O dispositivo de reconhecimento de semáforo inclui adicionalmente: uma unidade de definição de direção de imageamento configurada para definir uma direção de imageamento da unidade de imageamento com base em uma posição na imagem do semáforo e em uma direção de movimento no tempo futuro na imagem do semáforo; uma unidade de mudança de direção de imageamento configurada para mudar a direção de imageamento da unidade de imageamento para uma direção de imageamento definida pela unidade de definição de direção de imageamento; e uma unidade de reconhecimento de semáforo configurada para reconhecer o semáforo a partir de uma imagem capturada na direção de imageamento pela unidade de imageamento.

[008]Um método de reconhecimento de semáforo de acordo com um aspecto da presente invenção inclui as etapas de: capturar, por uma unidade de imageamento, uma imagem em torno de um veículo; adquirir informações de mapa em torno do veículo; detectar uma posição atual em um mapa do veículo; e estimar uma posição na imagem do semáforo com base na posição atual de veículo e nas informações de mapa. O método de reconhecimento de semáforo inclui adicionalmente as etapas de: definir uma direção de imageamento da unidade de imageamento com base em uma posição na imagem do semáforo e em uma direção de movimento no tempo futuro na imagem do semáforo; mudar a direção de imageamento da unidade de imageamento para a direção de imageamento definida pela unidade de definição de direção de imageamento; e reconhecer o semáforo a partir de uma imagem capturada na direção de imageamento pela unidade de imageamento.

BREVE DESCRIÇÃO DOS DESENHOS

[009]A Figura 1 é um diagrama de blocos que ilustra uma configuração de um dispositivo de reconhecimento de semáforo de acordo com uma modalidade da presente invenção e dos dispositivos periféricos da mesma.

[010]A Figura 2 é um diagrama de blocos que ilustra a configuração detalhada do dispositivo de reconhecimento de semáforo de acordo com uma modalidade da presente invenção.

[011]A Figura 3 é um diagrama de blocos que ilustra a configuração detalhada de uma unidade de definição de posicionamento de imageamento de acordo com uma primeira modalidade.

[012]A Figura 4 é um fluxograma que ilustra um procedimento de processamento de um dispositivo de reconhecimento de semáforo de acordo com a primeira modalidade.

[013]A Figura 5 é uma vista explicativa que ilustra a coordenada de posição atual de um semáforo presente em uma imagem.

[014]A Figura 6 é uma vista explicativa que ilustra a coordenada de posição anterior e coordenada de posição atual do semáforo presentes na imagem.

[015]A Figura 7 é uma vista explicativa que ilustra como a coordenada de posição do semáforo se moveu na parte inferior esquerda de uma imagem pela mudança da direção de imageamento de uma câmera.

[016]A Figura 8 é uma vista explicativa que ilustra o momento de mudar a direção de imageamento do dispositivo de reconhecimento de semáforo de acordo com a primeira modalidade, a Figura 8(a) ilustra a rota de percurso de um veículo, a Figura 8(b) ilustra uma imagem antes de mudar a direção de imageamento, e a Figura 8(c) ilustra uma imagem após mudar a direção de imageamento.

[017]A Figura 9 é um diagrama de blocos que ilustra a configuração detalhada de uma unidade de definição de posicionamento de imageamento de acordo com uma segunda modalidade.

[018]A Figura 10 é um fluxograma que ilustra um procedimento de processamento de um dispositivo de reconhecimento de semáforo de acordo com a segunda modalidade.

[019]A Figura 11 é uma vista explicativa que ilustra o momento de mudar a direção de imageamento do dispositivo de reconhecimento de semáforo de acordo com a segunda modalidade, a Figura 11(a) ilustra a rota de percurso de um veículo, a Figura 11(b) ilustra uma imagem antes de mudar a direção de imageamento, e a Figura 11(c) ilustra uma imagem após mudar a direção de imageamento.

[020]A Figura 12 é uma vista explicativa que ilustra o local de movimento de um semáforo em uma imagem quando um veículo percorre uma curva da estrada.

[021]A Figura 13 é uma vista explicativa que ilustra o momento de mudar a direção de imageamento de um dispositivo de reconhecimento de semáforo que não emprega a segunda modalidade, a Figura 13(a) ilustra a rota de percurso de um veículo, a Figura 13(b) ilustra uma imagem antes de mudar a direção de imageamento, e as Figuras 13(c) e 13(d) ilustram uma imagem após mudar a direção de imageamento.

[022]A Figura 14 é uma vista explicativa que ilustra o momento de mudar a direção de imageamento de um dispositivo de reconhecimento de semáforo de acordo com uma terceira modalidade, a Figura 14(a) ilustra a rota de percurso de um veículo, a Figura 14(b) ilustra uma imagem antes de mudar a direção de imageamento, e a Figura 14(c) ilustra uma imagem após mudar a direção de imageamento.

[023]A Figura 15 é uma vista explicativa que ilustra o momento de mudar a direção de imageamento de um dispositivo de reconhecimento de semáforo que não emprega a terceira modalidade, a Figura 15(a) ilustra a rota de percurso de um veículo, a Figura 15(b) ilustra uma imagem antes de mudar a direção de imageamento, e Figura 15(c) ilustra uma imagem após mudar a direção de imageamento.

[024]A Figura 16 é uma vista explicativa que ilustra o momento de mudar a direção de imageamento de um dispositivo de reconhecimento de semáforo de acordo com um exemplo modificado da terceira modalidade, a Figura 16(a) ilustra a rota de percurso de um veículo, a Figura 16(b) ilustra uma imagem antes de mudar a direção de imageamento, e a Figura 16(c) ilustra uma imagem após mudar a direção de imageamento.

[025]A Figura 17 é uma vista explicativa que ilustra o momento de mudar a direção de imageamento de um dispositivo de reconhecimento de semáforo de acordo com uma quarta modalidade, a Figura 17(a) ilustra a rota de percurso de um veículo, a Figura 17(b) ilustra uma imagem antes de mudar a direção de imageamento, e as Figuras 17(c), 17(d) e 17(e) ilustram uma imagem após mudar a direção de imageamento.

[026]A Figura 18 é uma vista explicativa que ilustra o momento de mudar a direção de imageamento de um dispositivo de reconhecimento de semáforo de acordo com uma quinta modalidade, a Figura 18(a) ilustra a rota de percurso de um veículo, a Figura 18(b) ilustra uma imagem antes de mudar a direção de imageamento, e a Figura 18(c) ilustra uma imagem após mudar a direção de imageamento.

DESCRIÇÃO DE MODALIDADES DA INVENÇÃO

[027]Doravante no presente documento, as modalidades da presente invenção serão explicadas em referência aos desenhos.

Explicação da Primeira Modalidade

[028]A Figura 1 é um diagrama de blocos que ilustra uma configuração de um dispositivo de reconhecimento de semáforo de acordo com uma primeira modalidade da presente invenção e dos dispositivos periféricos da mesma. Além disso, a Figura 2 é um diagrama de blocos que ilustra os detalhes de um dispositivo de reconhecimento de semáforo 100 ilustrado na Figura 1. Conforme ilustrado na Figura 1, o dispositivo de reconhecimento de semáforo 100 é montado em um veículo 51, e recebe entradas de informações de mapa D02, informações de câmera D03, informações de posição atual de veículo D05 e dados de imagem D07 a partir de vários dispositivos montados nesse veículo 51. Desse modo, o dispositivo de reconhecimento de semáforo 100 emite informações de semáforo D04, que são as informações reconhecidas por esse dispositivo de reconhecimento de semáforo 100, para um aparelho no estado subsequente.

[029]As informações de câmera D03 são as informações sobre a posição de instalação de uma câmera 11 (consulte a Figura 2) em relação ao veículo 51. Mediante a aquisição de informações tridimensionais (3D) indicativas das direções em um mapa do veículo 51, uma área de imageamento em torno do veículo pode ser estimada pela câmera 11 em base nas informações de câmera D03.

[030]As informações de mapa D02 são as informações fornecidas a partir de um banco de dados de mapa que inclui os dados de mapa (informações de mapa em torno de um veículo) de uma trajetória de percurso na qual um veículo percorre, e inclui as informações de posição sobre um alvo, tais como um ponto de referência terrestre presente ao longo da trajetória de percurso, as informações de posição sobre um semáforo, e similares.

[031]Conforme ilustrado na Figura 2, o dispositivo de reconhecimento de semáforo 100 inclui a câmera 11 (unidade de imageamento), um detector de posição atual de veículo 12, uma unidade de aquisição de informações de mapa 17, uma unidade de definição de direção de imageamento 13, uma unidade de reconhecimento de semáforo 14 e uma unidade de aquisição de informações de ponto de referência 18.

[032]A câmera 11 é uma câmera dotada de um sensor de imagem de estado sólido, tal como um CCD ou um CMOS, por exemplo, e é instalada no veículo 51 e captura uma imagem em torno de uma trajetória de percurso para adquirir uma imagem digital de uma área periférica. A câmera 11 emite a imagem capturada como os dados de imagem D07 para a unidade de reconhecimento de semáforo 14. Ademais, a câmera 11 armazenou na mesma as informações sobre a posição de instalação da câmera 11 em relação ao veículo 51, e emite essas informações como as informações de câmera D03 para a unidade de definição de direção de imageamento 13. Para as informações sobre a posição de instalação da câmera 11, por exemplo uma marcação ou similares para calibração é instalada em uma posição conhecida pelo veículo 51, de modo que a posição de instalação possa ser calculada a partir de uma posição em uma imagem capturada pela câmera 11. Além disso, a câmera 11 é instalada através de um mecanismo que é giratório nas direções panorâmicas e inclinadas em relação ao veículo 51, inclui um mecanismo de acionamento para acionar os ângulos de rotação nas direções panorâmicas e inclinadas, e pode controlar o posicionamento da câmera 11 de modo que a câmera 11 esteja voltada em uma direção de imageamento desejada pelo acionamento dos ângulos de rotação nas direções panorâmicas e inclinadas.

[033]A unidade de aquisição de informações de mapa 17 adquire as informações de posição sobre um alvo, tal como um ponto de referência terrestre, presente em torno de uma trajetória de percurso, as informações de posição sobre um semáforo, e similares a partir de um banco de dados de mapa que inclui as informações de mapa (informações de mapa em torno de um veículo) sobre a trajetória de percurso na qual um veículo percorre. A unidade de aquisição de informações de mapa 17 emite essas informações de mapa como as informações de mapa D02 para o detector de posição atual de veículo 12 e unidade de definição de direção de imageamento 13.

[034]A unidade de aquisição de informações de ponto de referência 18 é, por exemplo, uma câmera de captação, radar a laser, ou similares montados em um veículo, e reconhece pontos de referência terrestres (marcações na estrada (marcações de faixa, linhas de parada, textos), uma bordadura, um semáforo, uma placa, etc.) para adquirir as informações sobre a posição relativa em relação ao veículo 51. A unidade de aquisição de informações de ponto de referência 18 emite as informações adquiridas como informações de ponto de referência D01 para o detector de posição atual de veículo 12.

[035]O detector de posição atual de veículo 12 adquire as informações de ponto de referência D01 e informações de mapa D02, detecta uma posição atual em um mapa do veículo 51 em base nessa informação, e emite essas as informações de posição atual de veículo D05. Conforme anteriormente descrito, as informações de ponto de referência D01 incluem as informações indicativas da relação posicional relativa de um ponto de referência terrestre em relação ao veículo 51. Consequentemente, uma posição atual no mapa do veículo 51 pode ser detectada pela comparação das informações de posição sobre essas informações de ponto de referência D01 com as informações de posição sobre um ponto de referência terrestre incluído nas informações de mapa D02. No presente documento, a "posição" inclui uma coordenada e um posicionamento. Especificamente, a posição de um ponto de referência terrestre inclui a coordenada e o posicionamento da mesma, e a posição do veículo 51 inclui a coordenada e o posicionamento da mesma. O detector de posição atual de veículo 12 emite, como as informações de posição atual de veículo D05, uma coordenada (x, y, z) em um sistema de coordenada que serve como uma referência e um posicionamento (guinada, arfagem, rolagem) que está na direção de rotação em cada eixo geométrico de coordenada.

[036]A unidade de definição de direção de imageamento 13 controla, com base nas informações de posição atual de veículo D05 e nas informações de mapa D02, o posicionamento na direção de imageamento da câmera 11 de modo que um semáforo presente ao longo de uma trajetória de percurso do veículo 51 esteja localizado dentro da área de imageamento da câmera 11. Especificamente, o posicionamento da câmera 11 pode ser controlado pelo acionamento dos ângulos de rotação nas direções panorâmicas e inclinadas da câmera 11 de modo a estar em uma direção de imageamento alvo. Desse modo, a partir de uma imagem capturada nessa direção de imageamento, uma área de detecção, na qual considera-se que um semáforo esteja presente, é definida e emitida como informações de área de detecção D06. Isto é, uma vez que o posicionamento da câmera 11 é determinado e a área a ser imageada é definida, uma posição na qual considera-se que um semáforo esteja presente em uma imagem capturada pela câmera 11 pode ser identificada. Portanto, uma área que inclui essa posição pode ser definida como a área de detecção. Essas informações de área de detecção D06 são emitidas para a unidade de reconhecimento de semáforo 14. Nesse caso, uma área de detecção é definida de modo a ter tal tamanho em que cada semáforo será enquadrado dentro da área de detecção mesmo quando um erro ocorrer no comportamento de veículo e/ou informações de posição atual de veículo. A unidade de definição de direção de imageamento 13 é dotada de uma função para determinar a direção de imageamento da câmera 11 com base na posição do veículo 51, na posição de um semáforo e em uma quantidade de mudança da posição de um semáforo. Os detalhes da unidade de definição de direção de imageamento 13 serão descritos posteriormente em referência à Figura 3.

[037]A unidade de reconhecimento de semáforo 14 reconhece um semáforo com base nas informações de área de detecção descritas acima D06 a partir dos dados de imagem D07 capturados pela câmera 11. Especificamente, com base nos dados de imagem D07 emitidos a partir da câmera 11 e nas informações de área de detecção D06 definidas pela unidade de definição de direção de imageamento 13, o processamento de imagem para reconhecer um semáforo é realizado em uma área de detecção. Como o método para o processamento de imagem, uma lâmpada de sinalização de um semáforo pode ser detectada com uso, por exemplo, de um método para detectar uma lâmpada de sinalização de um semáforo pelo uso de uma luz intermitente em sincronização com o ciclo de corrente alternada (CA) de uma fonte de alimentação comercial ou um método para determinar similaridade entre as características, tais como o tonalidades e formatos arredondados de lâmpadas em vermelho, verde e amarelo ou similares. Diferente desses métodos, um processamento de imagem conhecido para detectar um semáforo pode ser aplicado. O processamento de reconhecimento de um semáforo não é realizado em todos os dados de imagem D07 capturados pela câmera 11, mas em uma área de detecção definida como uma parte dos mesmos, de modo que o carregamento no processamento de informações para detectar um semáforo possa ser reduzido e um semáforo possa ser detectada rapidamente. Desse modo, a unidade de reconhecimento de semáforo 14 emite o resultado de reconhecimento de um semáforo como as informações de semáforo D04. Nota-se que o processamento de reconhecimento de um semáforo não é limitado ao método descrito acima, e outros métodos também podem ser empregados.

[038]A Figura 3 é um diagrama de blocos que ilustra a configuração detalhada da unidade de definição de direção de imageamento 13. Conforme ilustrado na Figura 3, a unidade de definição de direção de imageamento 13 inclui um estimador de posição de semáforo 21, um calculador de quantidade de mudança de posição 22, uma unidade de definição de posicionamento de imageamento 23, um controlador de posicionamento de câmera 24, e um calculador de área de detecção 25.

[039]O estimador de posição de semáforo 21 recebe entradas das informações de mapa D02 e das informações de posição atual de veículo D05 e emite as informações de detecção de posição D08. Visto que as informações de mapa D02 incluem a coordenada de cada semáforo, o estimador de posição de semáforo 21 pode obter a coordenada relativa de um semáforo em relação ao veículo 51 com base na coordenada de cada semáforo, na coordenada do veículo 51 e no posicionamento da câmera 11. Consequentemente, visto que o posicionamento quando a câmera 11 imageia uma periferia é determinado, uma posição em uma imagem pode ser identificada na qual a posição de um semáforo em uma imagem capturada seria imageada. Por exemplo, conforme ilustrado na Figura 5, dentro de uma imagem R1, uma posição estimada (x2, y2) de um semáforo pode ser definida. Isto é, o estimador de posição de semáforo 21 é dotado de uma função para estimar a posição de um semáforo com base nas informações de mapa em torno do veículo 51.

[040]O calculador de quantidade de mudança de posição 22 calcula uma quantidade de mudança da posição de um semáforo dentro da imagem R1. Isto é, conforme ilustrado na Figura 6, dentro da imagem R1, uma coordenada de posição de detecção anterior (x1, y1) e uma coordenada de posição de detecção atual (x3, y3) são adquiridas para calcula uma posição quantidade de mudança na imagem de um semáforo. Desse modo, a quantidade de mudança de posição calculada na imagem do semáforo é emitida como informações de mudança de posição de detecção D09. Especificamente, uma diferença na coordenada x (x3-x1)=dx e uma diferença na coordenada y (y3-y1)=dy são calculadas para obter a quantidade de mudança (dx, dy). Nesse caso, visto que o posicionamento da câmera 11 é definido para os mesmos entre a detecção anterior e a detecção atual. Ademais, como a coordenada de posição de detecção anterior, a coordenada de um ciclo de detecção anterior pode ser usada. Alternativamente, a coordenada de dois ou mais ciclos anteriores também pode ser usada se os ruídos não forem superpostos. Isto é, o calculador de quantidade de mudança de posição 22 é dotado de uma função para calcular uma quantidade de mudança com o lapso de tempo da posição de um semáforo estimado pelo estimador de posição de semáforo 21.

[041]A unidade de definição de posicionamento de imageamento 23 se refere à quantidade de mudança descrita acima (dx, dy) e estima a direção de movimento de um semáforo dentro da imagem R1 a partir dessa quantidade de mudança. Desse modo, com base na direção de movimento estimada, a direção de imageamento da câmera 11 é determinada de modo que um semáforo não seja enquadrado dentro da imagem R1. Especificamente, a direção de mudança de um semáforo dentro da imagem R1 é obtida a partir da quantidade de mudança descrita acima (dx, dy), e a direção de imageamento da câmera 11 é determinada de modo que um semáforo esteja localizado no lugar dentro da imagem R1 no lado de direção oposta dessa direção de mudança. Isto é, a unidade de definição de posicionamento de imageamento 23 é dotada de uma função, como a unidade de definição de direção de imageamento, para determinar a direção de imageamento da câmera 11 com base na posição do veículo 51, a posição de um semáforo estimada pelo estimador de posição de semáforo 21, e uma quantidade de mudança da posição de um semáforo.

[042]Conforme ilustrado na Figura 5 descrita acima, quando um semáforo está presente no ponto de placa de referência q1 no lado direito dentro da imagem R1, e adicionalmente, a direção de movimento desse semáforo for a direção superior direita conforme ilustrado na Figura 6, isto é, quando dx é um valor positivo (dx>0) e dy é um valor negativo (dy<0), um semáforo dentro da imagem R1 é estimado para se mover na direção superior direita. Consequentemente, conforme ilustrado na Figura 7, a direção de imageamento da câmera 11 é determinada de modo que um semáforo esteja localizado na posição de placa de referência esquerda inferior q2 dentro da imagem R1. No presente documento, mesmo em tal caso, quando determina-se que a posição estimada (x2, y2) está presente em uma posição em que um semáforo será enquadrado mesmo supondo um caso em que ocorre um erro no comportamento de veículo e/ou informações de posição atual de veículo até um veículo passar através do ponto de um semáforo, o estado atual será mantido sem mudar a direção de imageamento da câmera 11.

[043]O controlador de posicionamento de câmera 24 controla, com base nas informações de posicionamento de imageamento D10 emitidas a partir da unidade de definição de posicionamento de imageamento 23, o posicionamento na direção de imageamento da câmera 11 de modo que o semáforo seja enquadrado dentro da imagem R1. Especificamente, o posicionamento da câmera 11 pode ser controlado pelo acionamento dos ângulos de rotação nas direções panorâmicas e inclinadas da câmera 11 de modo a estar em um alvo direção de imageamento. Desse modo, as informações de posicionamento D11 da câmera 11 definida pelo controle de posicionamento são emitidas. Ademais, quando as informações de posicionamento de imageamento D10 não mudarem entre o cálculo atual e o cálculo de um ciclo anterior, a direção de imageamento atual será mantida sem mudar a direção de imageamento da câmera 11. O controlador de posicionamento de câmera 24 é dotado de uma função, como a unidade de mudança de direção de imageamento, para mudar a direção de imageamento de modo que a direção de imageamento da câmera 11 se torne uma direção de imageamento definida pela unidade de definição de posicionamento de imageamento 23.

[044]O calculador de área de detecção 25 define, em base nas informações de posicionamento descritas acima D11 da câmera 11, nas informações de mapa D02 e nas informações de posição atual de veículo D05, uma área de detecção para detectar um semáforo a partir da imagem R1 capturada pela câmera 11. A posição de um semáforo é registrada, como uma coordenada em um mapa, com as informações de mapa D02 em avanço. Com base na coordenada da posição de um semáforo em um mapa e na coordenada da posição atual e posicionamento do veículo 51 no mapa, a posição relativa do semáforo em relação ao veículo 51 pode ser obtida. Desse modo, com base nessa posição relativa e nas informações de posicionamento D11 sobre a câmera 11 em relação ao veículo 51, a posição de um semáforo na imagem da imagem R1 capturada pela câmera 11 é obtida, e adicionalmente, com base na posição do semáforo nessa imagem, uma área de detecção é definida dentro da imagem R1. A área de detecção é definida de modo a ter tal tamanho que o semáforo seja enquadrado mesmo quando um erro ocorre no comportamento de veículo e/ou nas informações de posição atual de veículo. Desse modo, as informações de área de detecção definidas D06 são emitidas. Essas informações de área de detecção D06 são emitidas para a unidade de reconhecimento de semáforo 14 conforme ilustrado na Figura 2.

[045]Nota-se que, o detector de posição atual de veículo 12, a unidade de definição de direção de imageamento 13 e a unidade de reconhecimento de semáforo 14 descrita acima podem ser realizadas com uso de um microcontrolador dotado de uma CPU, uma memória e uma unidade de entrada/saída. Especificamente, a CPU constitui uma pluralidade de unidades de processamento de informações (12, 13, 14) do microcontrolador pela execução de um programa de computador pré-instalado. Uma parte da memória do microcontrolador constitui um banco de dados de mapa para armazenar as informações de mapa D02. Nota-se que o microcontrolador também pode ser usado como uma ECU usada para outros controles (por exemplo, controle de operação automática) relativos a um veículo.

[046]A seguir, a ação do dispositivo de reconhecimento de semáforo 100 de acordo com a primeira modalidade descrita acima será explicada em referência ao fluxograma ilustrado na Figura 4. Em primeiro lugar, na etapa S11, o estimador de posição de semáforo 21 ilustrado na Figura 3 calcula, com base nas informações de mapa D02 e nas informações de posição atual de veículo D05, a posição de um semáforo dentro da imagem R1 capturada pela câmera 11. Especificamente, a posição de placa de referência q1 ilustrada na Figura 5 é calculada. Esse processamento é executado em um ciclo de cálculo predeterminado.

[047]Na etapa S12, o calculador de quantidade de mudança de posição 22 calcula uma quantidade de mudança da posição de um semáforo dentro da imagem R1. Conforme ilustrado na Figura 6, quando a coordenada de posição de um semáforo se move para (x3, y3) a partir de (x1, y1), a quantidade de mudança (dx, dy) nesse caso é calculada.

[048]Na etapa S13, a unidade de definição de posicionamento de imageamento 23 estima se o semáforo dentro da imagem R1 será enquadrado ou não a partir dessa imagem R1. Nesse processamento, conforme ilustrado na Figura 6, com base na coordenada de posição estimada (x2, y2) do semáforo e na quantidade de mudança (dx, dy), a unidade de definição de posicionamento de imageamento 23 estima se o semáforo será enquadrado ou não a partir da imagem R1.

[049]Desse modo, quando estima-se o enquadramento do semáforo (SIM na etapa S13), na etapa S14, o controlador de posicionamento de câmera 24 define a direção de imageamento da câmera 11 para realizar o controle de posicionamento de modo que o semáforo seja enquadrado a partir da imagem R1 ou de modo que o número de vezes de mudança da direção de imageamento esteja dentro do mínimo mesmo se o semáforo for inevitavelmente enquadrado. Por exemplo, conforme ilustrado na Figura 6, quando estima-se que o semáforo dentro da imagem R1 esteja presente na coordenada (x2, y2) e que esse semáforo esteja se movendo para a direção direita superior, prevê-se que o semáforo se enquadre a partir da imagem R1 se nada for feito. Consequentemente, conforme ilustrado na Figura 7, a direção de imageamento da câmera 11 é definida de modo que o semáforo seja localizado na posição de placa de referência q2 ilustrada na parte esquerda inferior dentro da imagem R1. Na etapa S15, o controlador de posicionamento de câmera 24 controla o posicionamento da câmera 11 de modo a estar na direção de imageamento definida.

[050]Por outro lado, quando estima-se o não enquadramento do semáforo (NÃO na etapa S13), o procedimento de processamento prossegue para a etapa S16. Subsequentemente, na etapa S16, o calculador de área de detecção 25 define uma área de detecção para detectar o semáforo a partir da imagem R1 capturada pela câmera 11. Como resultado, quando o veículo 51 se aproxima de uma interseção em que o semáforo é instalado, o enquadramento desse semáforo a partir da imagem R1 pode ser evitado.

[051]A seguir, uma mudança da posição de um semáforo dentro da imagem R1 quando o veículo 51 se aproxima do semáforo será explicada. A Figura 8 é uma vista explicativa que ilustra esquematicamente como o veículo 51 percorre uma trajetória de percurso linear X1 e está se aproximando de um semáforo P1. A Figura 8(a) ilustra a relação posicional entre o veículo e o semáforo P1, a Figura 8(b) ilustra a imagem R1 antes de mudar a direção de imageamento da câmera 11, e a Figura 8(c) ilustra a imagem R1 após mudar a direção de imageamento da câmera 11.

[052]Um ponto Z1 ilustrado na Figura 8(a) é o ponto em que o veículo 51 está suficientemente na direção contrária do semáforo P1 e o semáforo P1 pode ser confirmado a partir da imagem capturada pela câmera 11. Ademais, um ponto Z2 é o ponto em que o veículo 51 se aproximou do semáforo P1. Um ponto Z3 é o ponto em que uma linha de parada já é definida. Consequentemente, a área do ponto Z2 ao ponto Z3 é a área onde o veículo 51 deve frear, isto é, a área para o veículo 51 frear de modo a parar desacelerando o veículo 51 quando determina-se a possibilidade de parar ou continuar a percorrer e o mesmo foi determinado como parado. Portanto, a área indicada pelo ponto Z2 ao ponto Z3 é a área em que uma mudança no estado de iluminação do semáforo P1 precisa ser reconhecida com precisão.

[053]Conforme ilustrado na Figura 8(a), quando o veículo 51 está percorrendo o ponto Z1, o semáforo P1 está presente na parte direita inferior dentro da imagem R1 capturada pela câmera 11 conforme indicado pela placa de referência b1 da Figura 8(b).

[054]Subsequentemente, uma vez que o veículo 51 alcança o ponto Z2, o semáforo P1 se move na direção superior direita dentro da imagem R1 conforme indicado pela placa de referência b2. Nesse caso, o semáforo P1 é exibido maior à medida que o veículo 51 se aproxima. Consequentemente, o semáforo P1 será enquadrado a partir da imagem R1 se nada for feito.

[055]Nessa modalidade, no ponto no tempo quando o veículo 51 alcança o ponto Z2 na trajetória de percurso, a direção de imageamento da câmera 11 é mudada. Especificamente, a área de imageamento da câmera 11 é gerada para se mover na direção superior direita. Desse modo, o semáforo P1 se moverá para a parte esquerda inferior dentro da imagem R1 conforme indicado pela placa de referência c1 da Figura 8(c). Consequentemente, no ponto no tempo quando o veículo 51 adicionalmente prossegue e alcança o ponto Z3, o semáforo P1 é confiavelmente exibido sem se enquadrar a partir da imagem R1 conforme indicado pela placa de referência c2. Isto é, o semáforo P1 pode ser retido dentro da imagem R1 sem mudar a direção de imageamento da câmera 11 na área do ponto Z2 para o ponto Z3 em que o estado de iluminação do semáforo P1 precisa ser reconhecido com precisão. Desse modo, a definição de uma área de detecção dentro dessa imagem R1 permite o reconhecimento preciso de um semáforo.

[056]Dessa maneira, no dispositivo de reconhecimento de semáforo 100 de acordo com a primeira modalidade, na detecção do semáforo P1 presente dentro da imagem R1 capturada pela câmera 11, o mesmo é estimado, com base na direção de movimento do semáforo P1 dentro da imagem R1, se ou não esse semáforo P1 será enquadrado. Desse modo, quando estima-se o enquadramento desse semáforo P1, a direção de imageamento da câmera 11 é mudada em avanço de modo que a posição do semáforo P1 dentro da imagem R1 se torne uma posição na qual o semáforo P1 seja enquadrado.

[057]Consequentemente, após o veículo 51 se aproximar do semáforo P1 ilustrado na Figura 8(a) e alcançar o ponto Z2, o enquadramento do semáforo P1 a partir da imagem R1 pode ser evitado sem realizar o controle de posicionamento na direção de imageamento da câmera 11. Isto é, na área do ponto Z2 ao ponto Z3 que é a área mais importante na detecção do estado de iluminação do semáforo P1, a necessidade para mudar a direção de imageamento da câmera 11 é eliminada ou o número de vezes de mudança da direção de imageamento é reduzido, assim, a ocorrência de uma distorção na imagem capturada pela câmera 11 pode ser evitada. Consequentemente, um estado de iluminação do semáforo P1 pode ser confiavelmente detectado para contribuir com a operação automática e similares.

[058]Ademais, visto que a unidade de definição de direção de imageamento 13 calcula uma quantidade de mudança na direção de imageamento a partir da posição na imagem de um semáforo e uma faixa de movimento no tempo futuro na imagem do semáforo e define a direção de imageamento com base na faixa de imageamento da câmera 11 e na quantidade de mudança na direção de imageamento, o enquadramento do semáforo P1 a partir da imagem R1 pode ser confiavelmente evitado.

Explicação do Exemplo Modificado da Primeira Modalidade

[059]A seguir, um exemplo modificado do dispositivo de reconhecimento de semáforo 100 de acordo com a primeira modalidade será explicado. A primeira modalidade descrita acima é configurada com base nas informações de posição atual de veículo D05 de um veículo e nas informações de mapa D02 (consulte a Figura 3), a posição do semáforo P1 presente dentro da imagem R1 é estimada, e com base nessa direção de movimento do semáforo P1, o controle de posicionamento na direção de imageamento da câmera 11 é realizado.

[060]Ao contrário, em um dispositivo de reconhecimento de semáforo de acordo com o exemplo modificado, o estimador de posição de semáforo 21 ilustrado na Figura 3 submete, de fato, uma imagem dentro da imagem R1 ao processamento de imagem, para, através disso, reconhecer a posição do semáforo P1. Desse modo, o calculador de quantidade de mudança de posição 22 detecta, pelo processamento de imagem, a posição (x1, y1) do semáforo P1 reconhecido no passado e a posição (x2, y2) do semáforo P1 reconhecido no presente, e obtém as informações de mudança de posição de detecção D09 a partir das informações de posição detectadas.

[061]Conforme explicada acima, no dispositivo de reconhecimento de semáforo de acordo com o exemplo modificado, o semáforo P1 presente dentro de uma imagem dentro da imagem R1 é reconhecido pelo processamento de imagem, e o controle de posicionamento na direção de imageamento da câmera 11 é realizado com base na direção de movimento desse semáforo P1, assim, o controle de posicionamento mais preciso na direção de imageamento da câmera 11 é possibilitado.

Explicação da Segunda Modalidade

[062]A seguir, uma segunda modalidade da presente invenção será explicada. Toda a configuração de um dispositivo de reconhecimento de semáforo de acordo com a segunda modalidade é igual a uma descrita na Figura 1, mas difere na configuração da unidade de definição de direção de imageamento 13. Doravante no presente documento, a configuração da unidade de definição de direção de imageamento 13 de acordo com a segunda modalidade será explicada em referência ao diagrama de blocos ilustrado na Figura 9.

[063]Conforme ilustrado na Figura 9, a unidade de definição de direção de imageamento 13 inclui uma unidade de determinação de rota de percurso 26, o estimador de posição de semáforo 21, a unidade de definição de posicionamento de imageamento 23, o controlador de posicionamento de câmera 24, e o calculador de área de detecção 25. A segunda modalidade difere da primeira modalidade descrita acima devido ao fato de que a "unidade de determinação de rota de percurso 26" é fornecida em vez do "calculador de quantidade de mudança de posição 22" ilustrado na Figura 3. O mesmo componente como aquele da Figura 3 é determinado como a mesma placa de referência para omitir a explanação da configuração do mesmo.

[064]A unidade de determinação de rota de percurso 26 recebe entradas das informações de mapa D02 e das informações de posição atual de veículo D05, e obtém, com uso dessa informação, uma rota na qual o veículo 51 deve percorrer. Por exemplo, com base nas informações de mapa D02, a trajetória de percurso na qual o veículo 51 está atualmente percorrendo é detectada, e, adicionalmente, em que a posição nessa trajetória de percurso o veículo 51 está percorrendo é detectado a partir das informações de posição atual de veículo D05. Desse modo, uma rota na qual o veículo 51 percorrerá doravante no presente documento é estimada a partir desse resultado de detecção, e é emitida como informações de rota de percurso D12. Por exemplo, quando o veículo 51 está percorrendo o lado próximo de uma curva da estrada e é estimado para entrar subsequentemente nessa curva da estrada (consulte o veículo 51 na Figura 11(a) descrita posteriormente), as informações sobre a direção de curva (a direção esquerda ou direita) e o raio de curvatura dessa curva da estrada são emitidos como as informações de rota de percurso D12.

[065]A unidade de definição de posicionamento de imageamento 23 determina a direção de imageamento da câmera 11 com base nas informações de rota de percurso D12 e nas informações de detecção de posição D08 emitidas a partir do estimador de posição de semáforo 21. Especificamente, a unidade de definição de posicionamento de imageamento 23 prevê, de acordo com a condição de percurso do veículo 51, uma mudança na direção de imageamento quando a câmera 11 imageia o semáforo P1, e determina a direção de imageamento da câmera 11 de modo que o semáforo P1 seja enquadrado a partir da imagem R1 mesmo quando uma mudança ocorre na direção de imageamento.

[066]A seguir, a ação do dispositivo de reconhecimento de semáforo de acordo com a segunda modalidade será explicada em referência ao fluxograma ilustrado na Figura 10. Em primeiro lugar, na etapa S31, o estimador de posição de semáforo 21 ilustrado na Figura 9 calcula a posição de um semáforo dentro da imagem R1 capturada pela câmera 11, com base nas informações de mapa D02 e nas informações de posição atual de veículo D05. Esse processamento é executado em um ciclo de cálculo predeterminado.

[067]Na etapa S32, a unidade de determinação de rota de percurso 26 adquire, a partir das informações de mapa D02, uma rota na qual o veículo 51 é estimado a percorrer no tempo futuro, e prevê, com base nas informações de posição atual de veículo D05 do veículo 51, o movimento de um semáforo dentro da imagem R1.

[068]Na etapa S33, a unidade de definição de posicionamento de imageamento 23 estima se o semáforo dentro da imagem R1 será enquadrado ou não a partir dessa imagem R1. Nesse processamento, com base nas condições da rota de percurso do veículo 51, a unidade de definição de posicionamento de imageamento 23 estima, a partir das informações sobre a direção de percurso do veículo 51 e similares quando esse veículo 51 se aproxima de uma interseção em que um semáforo é instalado, se o semáforo será enquadrado ou não a partir da imagem.

[069]Se o enquadramento do semáforo for estimado (SIM na etapa S33), então, na etapa S34, o controlador de posicionamento de câmera 24 define a direção de imageamento da câmera 11 para realizar o controle de posicionamento de modo que um semáforo seja enquadrado a partir da imagem R1 ou de modo que o número de vezes de mudança da direção de imageamento esteja dentro do mínimo mesmo se o semáforo for inevitavelmente enquadrado. O controle de posicionamento na direção de imageamento da câmera 11 será descrito posteriormente em referência à Figura 11 a Figura 13. Na etapa S35, o controlador de posicionamento de câmera 24 controla o posicionamento na direção de imageamento da câmera 11 de modo a estar na direção de imageamento definida. Subsequentemente, o procedimento de processamento prossegue para a etapa S36.

[070]Por outro lado, se o não enquadramento do semáforo for estimado (NÃO na etapa S33), o procedimento de processamento prossegue para a etapa S36. Na etapa S36, o calculador de área de detecção 25 define uma área de detecção para detectar um semáforo a partir da imagem R1 capturada pela câmera 11. Com tal definição, quando o veículo 51 se aproxima de uma interseção em que um semáforo é instalada, o enquadramento desse semáforo dentro da imagem R1 pode ser evitado.

[071]A seguir, os detalhes do processamento descrito acima na etapa S34 serão explicados em referência à Figura 11 a Figura 13. Por exemplo, um caso é tomado como um exemplo e explicado em que o veículo 51 percorre uma curva da estrada X2 que se curva na direção direita e se dirige para uma interseção em que o semáforo P1 é instalado, conforme ilustrado na Figura 11(a). Conforme ilustrado na Figura 11(a), o veículo 51 prossegue para os pontos Z1, Z2, Z3, e Z4.

[072]Agora, assume-se que, no ponto Z1 ilustrado na Figura 11(a), o semáforo P1 está presente na parte esquerda inferior da imagem R1 conforme indicado pela placa de referência b1 da Figura 11(b). Uma vista ampliada disso é ilustrada na Figura 12. Desse modo, à medida que o veículo 51 percorre a curva da estrada X2, o semáforo P1 se moverá como uma curva L1 em relação à imagem R1 ilustrada na Figura 12. Nota-se que Z1 a Z4 ilustrados na Figura 12 correspondem aos pontos Z1 a Z4 ilustrados na Figura 11(a). Consequentemente, a menos que a direção de imageamento da câmera 11 seja mudada para mover a imagem R1, o semáforo P1 será enquadrado a partir da imagem R1.

[073]O movimento do semáforo P1 após o local de movimento indicado pela curva L1 dentro da imagem R1 consiste nas informações que podem ser adquiridas em avanço das informações de mapa D02 e das informações de posição atual de veículo D05 do veículo. Desse modo, o controlador de posicionamento de câmera 24 estima que a posição do semáforo P1 será mudada como a curva L1 ilustrada na Figura 12, e realiza o controle de posicionamento na direção de imageamento da câmera 11 de modo que o semáforo P1 seja enquadrado a partir da imagem R1 mesmo quando a mudança similar a curva L1 ocorre.

[074]Especificamente, quando o semáforo está presente na parte esquerda inferior da imagem R1 conforme indicado pela placa de referência b1 da Figura 11(b) no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z1 ilustrado na Figura 11(a), o controle de posicionamento na direção de imageamento da câmera 11 é realizado de modo que o semáforo seja localizado no lado ligeiramente para a esquerda do centro da imagem R1, conforme indicado pela placa de referência c1 da Figura 11(c).

[075]Desse modo, quando o veículo 51 tiver alcançado o ponto Z2, o semáforo P1 está localizado em uma extremidade esquerda da imagem R1 conforme indicado pela placa de referência c2. Além disso, quando o veículo 51 tiver alcançado os pontos Z3 e Z4, o semáforo P1 está localizado dentro da imagem R1 conforme indicado pelas placas de referência c3 e c4. Isto é, no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z1, o movimento do semáforo dentro da imagem R1 é previsto com base na rota de percurso no tempo futuro do veículo 51 e nas informações de posição atual de veículo D05 do veículo 51, e com base nessa predição, o controle de posicionamento na direção de imageamento da câmera 11 é realizado em avanço. Como resultado, após passar através do ponto Z1, o semáforo P1 pode ser capturado dentro da imagem R1 sem realizar o controle de posicionamento na direção de imageamento da câmera 11.

[076]A seguir, a fim de comparar o controle de posicionamento na direção de imageamento da câmera 11 ilustrada na Figura 11, um caso em que a direção de imageamento da câmera 11 é mudada apenas com base na direção de movimento do semáforo P1 dentro da imagem R1, isto é, um caso em que a direção de imageamento da câmera 11 é mudada sem estimar a rota de percurso do veículo 51, serão explicados em referência à Figura 13. A Figura 13(a) ilustra a posição do veículo 51 e a curva da estrada X2 que é a rota de percurso desse veículo 51, e é a mesma vista da Figura 11(a). Desse modo, quando o semáforo P1 está presente na parte esquerda inferior dentro da imagem R1 e esse semáforo P1 está para se mover para a esquerda conforme indicado pela placa de referência b1 da Figura 13(b), a direção de imageamento da câmera 11 é mudada de modo que o semáforo P1 esteja localizado no lado direito da imagem R1 conforme indicado pela placa de referência c1 da Figura 13(c).

[077]Subsequentemente, uma vez que o veículo 51 tiver alcançado o ponto Z2, o semáforo P1 se moverá para a direção superior direita nesse tempo conforme indicado pela placa de referência c2. Consequentemente, quando o veículo 51 tiver alcançado o ponto Z3, a possibilidade para o semáforo P1 se enquadrar dentro da imagem R1 aumentará conforme indicado pela placa de referência c3. Consequentemente, no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z3, a direção de imageamento da câmera 11 é mudada de modo que o semáforo P1 esteja localizado no lado esquerdo da imagem R1 conforme indicado pela placa de referência d1 da Figura 13(d). Desse modo, no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z4, o semáforo P1 será localizado geralmente no centro da imagem R1 conforme indicado pela placa de referência d2 da Figura 13(d).

[078]Conforme explicado acima, no exemplo ilustrado na Figura 13, embora o enquadramento do semáforo P1 de dentro da imagem R1 possa ser evitado, a direção de imageamento é mudada duas vezes até que o veículo 51 alcance o ponto Z4 a partir do ponto Z1. Como resultado, o tempo exigido para o controle de posicionamento na direção de imageamento da câmera 11 aumenta, e, então, a precisão para detectar o estado de iluminação do semáforo P1 deve diminuir.

[079]Ao contrário, no dispositivo de reconhecimento de semáforo de acordo com a segunda modalidade, o posicionamento na direção de imageamento da câmera 11 é controlado com base na curva da estrada X2 que é a rota de percurso do veículo 51, e, portanto, conforme ilustrado na Figura 11, se a direção de imageamento da câmera 11 for mudada no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z1 que é o ponto suficientemente contrário ao semáforo P1, subsequentemente, o semáforo P1 será enquadrado a partir da imagem R1. Consequentemente, a necessidade de mudar a direção de imageamento da câmera 11 após o veículo 51 ter se aproximado do semáforo P1 é eliminada.

[080]Dessa maneira, no dispositivo de reconhecimento de semáforo 100 de acordo com a segunda modalidade, a unidade de definição de direção de imageamento 13 inclui a unidade de determinação de rota de percurso 26, que estima a rota de percurso do veículo 51 em avanço, para prever, através disso, a faixa de movimento do semáforo P1 dentro da imagem R1. Isto é, a faixa de movimento no tempo futuro na imagem do semáforo é prevista. Desse modo, com base nessa faixa de movimento, a direção de imageamento da câmera 11 é mudada de modo que o semáforo seja enquadrado.

[081]Consequentemente, mesmo em um caso em que o semáforo P1 se move complexamente dentro da imagem R1, tal como um caso em que o veículo 51 percorre uma curva da estrada, o enquadramento do semáforo P1 pode ser evitado com uma mudança mínima necessária da direção de imageamento. Como resultado, a necessidade de mudar a direção de imageamento da câmera 11 no ponto Z2 ao ponto Z4 que se aproxima do semáforo P1 é eliminada, e, portanto, uma mudança do estado de iluminação do semáforo P1 pode ser confiavelmente detectada para determinar confiavelmente se deve parar ou percorrer uma interseção.

Explicação da Terceira Modalidade

[082]A seguir, uma terceira modalidade da presente invenção será explicada. Na primeira modalidade descrita acima e segunda modalidade, mostra-se que a direção de imageamento da câmera 11 é mudada no ponto Z1, que é um ponto suficientemente distante da interseção em que o semáforo P1 está presente, para eliminar a necessidade subsequente de mudar a direção de imageamento da câmera 11.

[083]Na terceira modalidade, assume-se que o veículo 51 está sendo automaticamente operado, e uma área (doravante no presente documento referida como uma “área de restrição de mudança") para restringir a mudança da direção de imageamento de uma câmera é definida na frente do semáforo P1. Desse modo, o controle é feito de modo que o semáforo P1 seja enquadrado dentro da imagem R1 sem mudar a direção de imageamento da câmera 11 dentro dessa área de restrição de mudança. Doravante no presente documento, a terceira modalidade será explicada em detalhes em referência à Figura 14 e à Figura 15. Nota-se que, visto que a configuração de dispositivo é igual àquela da Figura 1 a Figura 3 ilustradas na primeira modalidade, a explanação da mesma será omitida.

[084]A Figura 14(a) é uma vista explicativa que ilustra uma área de restrição de mudança Q1 definida na frente do semáforo P1. Na aproximação do semáforo P1, o veículo automaticamente operado 51 monitora o estado de iluminação (estado de iluminação em verde, vermelho, etc.) desse semáforo P1, e determina, de acordo com esse estado de iluminação, se para o veículo 51 ou permite que o veículo 51 continue seu percurso. A área que exige essa determinação é definida como a área de restrição de mudança descrita acima Q1. Isto é, uma vez que a direção de imageamento da câmera 11 é mudada, a precisão para detectar o estado de iluminação diminuirá, e, portanto, a área que exige essa determinação é definida como a área de restrição de mudança Q1 de modo que o estado de iluminação do semáforo P1 possa ser detectado com precisão. No presente documento, a área de restrição de mudança Q1 pode ser definida com base na posição de parada dotada do respectivo semáforo P1, da velocidade de percurso do veículo 51, das informações de posição atual de veículo D05 e das informações de mapa D02.

[085]Por exemplo, conforme ilustrado na Figura 14(a), no ponto Z1 em que o veículo não alcançou a área de restrição de mudança Q1, há uma distância suficiente do veículo 51 para o semáforo P1, e, portanto, a mudança da direção de imageamento da câmera 11 não afetaria a detecção do estado de iluminação do semáforo P1. Além disso, no ponto Z2 em que o veículo 51 passou através da área de restrição de mudança Q1, a determinação de se o veículo 51 para ou continua o percurso já é concluída, e, portanto, a mudança da direção de imageamento da câmera 11 não terá um grande efeito no controle de percurso para a operação automática do veículo 51.

[086]Consequentemente, na terceira modalidade, a área de restrição de mudança Q1 é definida, e o posicionamento da câmera 11 é controlado de modo a mudar a direção de imageamento da câmera 11 nos pontos diferentes dessa área de restrição de mudança Q1.

[087]Especificamente, no ponto Z1, o semáforo P1 presente dentro da imagem R1 está presente no lado um ponto para a direita do centro conforme indicado pela placa de referência b1 da Figura 14(b), e, portanto, nesse ponto no tempo determina-se que o semáforo P1 seja enquadrado. No entanto, visto que o veículo 51 alcançou o ponto Z1 que é logo na frente da área de restrição de mudança Q1, a direção de imageamento da câmera 11 é mudada nesse ponto no tempo. Como resultado, o semáforo P1 é controlado de modo a estar localizado na parte esquerda inferior dentro da imagem R1 conforme indicado pela placa de referência c1 da Figura 14(c). Subsequentemente, antes de o veículo 51 passar através do interior da área de restrição de mudança Q1 e alcançar o ponto Z2, o semáforo P1 pode ser capturado sem se enquadrar dentro da imagem R1, conforme indicado pelas placas de referência c2 e c3 da Figura 14(c).

[088]Ao contrário, no caso em que a área de restrição de mudança Q1 não é definida, a direção de imageamento da câmera 11 será mudada dentro da área de restrição de mudança Q1 conforme ilustrado na Figura 15. Isto é, no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z1 na Figura 15(a), o semáforo P1 está presente no lado ligeiramente para a direita do centro da imagem R1 conforme indicado pela placa de referência b1 da Figura 15(b), e, portanto, não determina-se que esse semáforo P1 seja enquadrado dentro da imagem R1. Desse modo, determina-se que o semáforo P1 se enquadre no ponto no tempo quando o mesmo está localizado na extremidade direita da imagem R1 (quando o veículo 51 está localizado dentro da área de restrição de mudança Q1 na Figura 15(a)), conforme indicado pela placa de referência b2. Portanto, nesse ponto no tempo, a direção de imageamento da câmera 11 será mudada.

[089]Como resultado, o semáforo P1 é controlado de modo a estar na parte esquerda inferior da imagem R1 conforme indicado pela placa de referência c1 da Figura 15(c). À medida que o veículo 51 se desloca adicionalmente, no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z2, o semáforo P1 é localizado no lado ligeiramente para a direita do centro dentro da imagem R1, conforme indicado pela placa de referência c2 da Figura 15(c). Nesse caso, A direção de imageamento da câmera 11 será mudada dentro da área de restrição de mudança Q1 na qual o resultado de reconhecimento do estado de iluminação do semáforo P1 é exigido.

[090]Consequentemente, a direção de imageamento da câmera 11 é alterada dentro da área, na qual a determinação de se o veículo 51 deve parar ou continuar o percurso de acordo com o estado de iluminação do semáforo P1 é exigida, e essa mudança da direção de imageamento deve reduzir a precisão para detectar o semáforo P1.

[091]No dispositivo de reconhecimento de semáforo 100 de acordo com a terceira modalidade, visto que a área de restrição de mudança Q1 é definida na frente do semáforo P1 conforme ilustrado na Figura 14 e a mudança da direção de imageamento da câmera 11 dentro dessa área de restrição de mudança Q1 é proibida, é possível impedir que o semáforo P1 se enquadre dentro da imagem R1 e detectar com precisão o estado de iluminação do semáforo P1. Como resultado, a possibilidade de parar o veículo 51 ou permitir que o veículo 51 continue o percurso pode ser apropriadamente determinada.

[092]Ademais, a área de restrição de mudança Q1 muda de acordo com a velocidade de veículo, desaceleração G, e a distância à linha de parada. Pela definição da área de restrição de mudança Q1 de acordo com essa mudança, um tempo para exigir o resultado de reconhecimento do semáforo P1 e um tempo para mudar a direção de imageamento da câmera 11 podem ser confiavelmente deslocados entre si.

Explicação do Exemplo Modificado da Terceira Modalidade

[093]Na terceira modalidade descrita acima, o controle é feito de modo a impedir que o semáforo P1 se enquadre dentro da imagem R1 pela definição da área de restrição de mudança Q1 para proibir a mudança da direção de imageamento da câmera 11 na frente do semáforo P1 e pela mudança da direção de imageamento da câmera 11 em um ponto no tempo antes de o veículo 51 alcançar essa área de restrição de mudança Q1.

[094]A detecção do estado de iluminação do semáforo P1 é executada para cada ciclo de cálculo predeterminado, e apenas uma imagem, dentre as imagens capturadas pela câmera 11, por exemplo no ponto de partida no tempo do ciclo de cálculo, pode ser usada. Em tal caso, em uma zona de tempo, em que uma imagem capturada pela câmera 11 dentro desse ciclo de cálculo não é usada, até mesmo a mudança da direção de imageamento da câmera 11 não afetaria a detecção do estado de iluminação do semáforo P1.

[095]Desse modo, no dispositivo de reconhecimento de semáforo de acordo com o exemplo modificado, enquanto o veículo 51 está percorrendo a área de restrição de mudança Q1, a zona de tempo é classificada em uma zona de tempo (doravante no presente documento referida como uma "imagem usa zona de tempo") em que uma imagem capturada pela câmera 11 é usada, e uma zona de tempo (doravante no presente documento referida como uma "zona de tempo de mudança") em que uma imagem capturada pela câmera 11 não é usada e a direção de imageamento da câmera 11 pode ser alterada, e uma área de proibição de mudança é definida apenas na "zona de tempo de uso de imagem" de modo a proibir a mudança da direção de imageamento.

[096]Especificamente, conforme ilustrado na Figura 16(a), dentro da área de restrição de mudança Q1, uma área Qa que corresponde à "zona de tempo de uso de imagem" e uma área Qb que corresponde à "zona de tempo de mudança" são definidas. Essas áreas Qa e Qb podem ser definidas com base na velocidade de percurso do veículo 51 e no ciclo de cálculo na unidade de reconhecimento de semáforo 14. Desse modo, para a área Qb, a mudança da direção de imageamento da câmera 11 é permitida.

[097]Consequentemente, por exemplo o ponto Z2 dentro da área de restrição de mudança Q1 está localizado dentro da área Qb, assim, a direção de imageamento da câmera 11 pode ser mudada. Consequentemente, quando o veículo 51 está percorrendo o ponto Z1 conforme ilustrado na Figura 16(b), a direção de imageamento da câmera 11 não é mudada devido ao fato de que o semáforo P1 será enquadrado conforme indicado pela placa de referência b1 da Figura 16(b). Desse modo, no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z2, determina-se que o semáforo P1 será enquadrado a partir da imagem R1 conforme indicado pela placa de referência b2, assim, a direção de imageamento da câmera 11 é mudada. Como resultado, o semáforo P1 será localizado no lado esquerdo superior dentro da imagem R1 conforme indicado pela placa de referência c1 da Figura 16(c), e subsequentemente o semáforo P1 será enquadrado a partir da imagem R1 mesmo quando o veículo 51 alcançar o ponto Z3, conforme indicado pela placa de referência c2 da Figura 16.

[098]Dessa maneira, no dispositivo de reconhecimento de semáforo 100 de acordo com o exemplo modificado da terceira modalidade, a área Qa que corresponde à "zona de tempo de uso de imagem" e a área Qb que corresponde à "zona de tempo de mudança" são definidas com base no ciclo de cálculo da unidade de reconhecimento de semáforo 14, e para a área Qb, a mudança da direção de imageamento da câmera 11 é permitida. Consequentemente, mesmo quando o veículo 51 entra na área de restrição de mudança Q1, a direção de imageamento da câmera 11 pode ser mudada durante o percurso dentro da área Qb, e o enquadramento do semáforo P1 dentro da imagem R1 pode ser mais confiavelmente evitado.

Explicação da Quarta Modalidade

[099]A seguir, uma quarta modalidade da presente invenção será explicada. Nota-se que, visto que a configuração de dispositivo é igual àquela da Figura 1 a Figura 3 ilustradas na primeira modalidade, a explanação da mesma será omitida.

[0100]Na quarta modalidade, quando há dois semáforos a serem monitorados, o controle de posicionamento na direção de imageamento da câmera 11 é realizado de modo que ambos os semáforos sejam enquadrados a partir de uma imagem. Doravante no presente documento, a quarta modalidade será explicada em detalhes em referência à Figura 17. Conforme ilustrado na Figura 17(a), quando há dois semáforos P1 e P2 ao longo de uma trajetória de percurso X3 do veículo 51 e ambos os semáforos podem ser imageados, o controle de posicionamento na direção de imageamento da câmera 11 é realizado de modo que ambos os semáforos P1 e P2 sejam enquadrados a partir de uma imagem R1.

[0101]Consequentemente, quando o veículo 51 tiver alcançado o ponto Z1, é obtida a imagem R1 em que dois semáforos P1 e P2 estão presentes conforme indicado pela placa de referência b1 da Figura 17(b). Subsequentemente, quando o veículo 51 tiver alcançado o ponto Z2, determina-se que o semáforo P2 seja enquadrado a partir da imagem R1 conforme indicado pela placa de referência b2. Nesse caso, a direção de imageamento da câmera 11 é mudada nesse ponto Z2. Como resultado, conforme indicado pela placa de referência c1 da Figura 17(c), a direção de imageamento da câmera 11 é definida e o posicionamento nessa direção é controlado de modo que os semáforos P1 e P2 sejam localizados no lado esquerdo dentro da imagem R1. Isto é, o controle é feito de modo que o semáforo lateral esquerdo P1 dentre os dois semáforos P1 e P2 esteja localizado no lado esquerdo da imagem R1 e ambos os semáforos P1 e P2 sejam enquadrados.

[0102]Além disso, quando o veículo 51 tiver alcançado o ponto Z3, determina-se que o semáforo P2 seja enquadrado a partir da imagem R1, conforme indicado pela placa de referência c2 da Figura 17(c). Nesse caso, a direção de imageamento da câmera 11 é mudada nesse ponto Z3. Como resultado, conforme indicado pela placa de referência d1 da Figura 17(d), a direção de imageamento da câmera 11 é definida e o posicionamento nessa direção é controlado de modo que os semáforos P1 e P2 sejam localizados no lado esquerdo dentro da imagem R1.

[0103]Subsequentemente, quando o veículo 51 tiver alcançado o ponto Z4, determina-se que o semáforo P2 seja enquadrado dentro da imagem R1, conforme indicado pela placa de referência d2 da Figura 17(d). Nesse caso, a direção de imageamento da câmera 11 é mudada nesse ponto Z4. Como resultado, conforme indicado pela placa de referência e1 da Figura 17(e), a direção de imageamento da câmera 11 é definida e o posicionamento nessa direção é controlado de modo que os semáforos P1 e P2 sejam localizados no lado esquerdo dentro da imagem R1. Desse modo, no ponto no tempo quando o veículo 51 tiver alcançado um ponto Z5, ambos os semáforos P1 e P2 são capturados sem se enquadrarem dentro da imagem R1.

[0104]Dessa maneira, no dispositivo de reconhecimento de semáforo 100 de acordo com a quarta modalidade, mesmo quando há dois semáforos P1 e P2, cada um dos semáforos P1 e P2 podem continuar a serem exibidos sem se enquadrarem a partir da imagem R1. No presente documento, no exemplo ilustrado na Figura 17, o controle de posicionamento na direção de imageamento da câmera 11 é realizado nos três pontos Z2, Z3, e Z4 ilustrados na Figura 17(a). Tal controle de posicionamento na direção de imageamento da câmera 11 é executado na área Qb que corresponde ao período no qual a imagem capturada pela câmera 11 do processamento de reconhecimento de sinal não é usada, conforme ilustrado na Figura 16 descrita acima, de modo que a direção de imageamento da câmera 11 possa ser mudada sem afetar a precisão de detecção do estado de um semáforo.

[0105]Nota-se que, na quarta modalidade descrita acima, foi explicado um exemplo no qual quando há dois semáforos P1 e P2, a direção de imageamento da câmera 11 é definida e o posicionamento nessa direção é controlado de modo que cada um desses semáforos P1 e P2 seja enquadrado a partir da imagem R1. No entanto, a presente invenção não é limitada ao caso em que há dois semáforos, mas pode ser similarmente aplicável aos casos em que há três ou mais semáforos.

Explicação de Quinta Modalidade

[0106]A seguir, uma quinta modalidade da presente invenção será explicada. Nota-se que, visto que a configuração de dispositivo é igual àquela da Figura 1 a Figura 3 ilustradas na primeira modalidade, a explanação da mesma será omitida.

[0107]Na quinta modalidade, quando há dois semáforos a serem monitorados e ambos os semáforos são sincronamente operados, a direção de imageamento da câmera 11 é definida e o posicionamento nessa direção é controlado de modo a não enquadrar preferencialmente o semáforo, dentre os dois semáforos, cuja quantidade de movimento dentro da imagem R1 é menor. Doravante no presente documento, a quinta modalidade será explicada em detalhes em referência à Figura 18. Conforme ilustrado na Figura 18(a), quando há dois semáforos P1 e P2 ao longo da trajetória de percurso do veículo 51, cada um dos semáforos P1 e P2 será capturado no centro da imagem R1 capturada no ponto Z1 pela câmera 11, conforme indicado pela placa de referência b1 da Figura 18(b). Desse modo, quando cada um dos semáforos P1 e P2 é sincronamente operado, isto é, quando as cores de iluminação mudam ao mesmo tempo, o controle de posicionamento na direção de imageamento da câmera 11 é realizado de modo que o semáforo P1, dentre os respectivos semáforos P1 e P2, cuja quantidade de movimento dentro da imagem R1 é estimada para ser menor, seja enquadrado a partir da imagem R1.

[0108]Isto é, no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z2, o controle de posicionamento na direção de imageamento da câmera 11 não é realizado mesmo quando determina-se que o semáforo P2 será enquadrado, conforme indicado pela placa de referência b2 da Figura 18(b). Desse modo, no ponto no tempo quando o veículo 51 tiver alcançado o ponto Z3, quando determina-se que o semáforo P1 será enquadrado, conforme indicado pela placa de referência b3, o controle de posicionamento na direção de imageamento da câmera 11 é realizado de modo que o semáforo P1 seja localizado no lado esquerdo da imagem R1, conforme indicado pela placa de referência c1 da Figura 18(c). Subsequentemente, quando o veículo 51 tiver alcançado os pontos Z4 e Z5, o semáforo P1 será capturado sem enquadrar a partir da imagem R1, conforme indicado pelas placas de referência c2 e c3, respectivamente. Como resultado, o estado de iluminação de semáforo P1 pode ser confiavelmente reconhecido. Sem mencionar que, visto que o semáforo P2 é sincronamente operado com o semáforo P1, não há problema, mesmo se o estado de iluminação do semáforo P2 não puder ser detectado.

[0109]Ademais, o controle de posicionamento na direção de imageamento da câmera 11 no ponto Z3 é executado na área Qb que corresponde ao período no qual a imagem capturada pela câmera 11 do processamento de reconhecimento de sinal não é usada, conforme ilustrado na Figura 16 descrita acima, de modo que a direção de imageamento da câmera 11 possa ser mudada sem afetar a precisão de detecção do estado de um semáforo.

[0110]Dessa maneira, no dispositivo de reconhecimento de semáforo de acordo com a quinta modalidade, quando dois semáforos P1 e P2 sincronamente operados entre si estiverem presentes dentro da imagem R1 capturada pela câmera 11, o controle é feito de modo que um (semáforo P1 no exemplo anteriormente mencionado) dos semáforos será enquadrado a partir da imagem R1. Portanto, o número de vezes de mudança da direção de imageamento da câmera 11 pode ser reduzido e o estado de iluminação de um semáforo pode ser confiavelmente detectado.

[0111]Anteriormente, o dispositivo de reconhecimento de semáforo e método de reconhecimento de semáforo da presente invenção foram explicados com base nas modalidades ilustradas, mas a presente invenção não se limita aos mesmos. A configuração de cada unidade pode ser substituída por qualquer configuração que tem uma função similar. LISTA DE REFERÊNCIAS NUMÉRICAS 11 câmera (unidade de imageamento) 12 detector de posição atual de veículo 13 unidade de definição de direção de imageamento 14 unidade de reconhecimento de semáforo 21 estimador de posição de semáforo 22 calculador de quantidade de mudança de posição 23 unidade de definição de posicionamento de imageamento 24 controlador de posicionamento de câmera 25 calculador de área de detecção 26 unidade de determinação de rota de percurso 51 veículo 100 dispositivo de reconhecimento de semáforo D01 informações de ponto de referência D02 informações de mapa D03 informações de câmera D04 informações de semáforo D05 informações de posição atual de veículo D06 informações de área de detecção D07 dados de imagem D08 informações de detecção de posição D09 informações de mudança de posição de detecção D10 informações de posicionamento de imageamento D11 informações de posicionamento D12 informações de rota de percurso P1, P2 semáforo Q1 área de restrição de mudança R1 imagem X1 trajetória de percurso X2 curva da estrada X3 trajetória de percurso

Claims (9)

1. Dispositivo de reconhecimento de semáforo CARACTERIZADO pelo fato de que compreende: uma unidade de imageamento (11) montada em um veículo (51) e configurada para capturar uma imagem em torno do veículo (51); uma unidade de aquisição de informações de mapa (17) configurada para adquirir informações de mapa em torno do veículo (51); um detector de posição atual de veículo (12) configurado para detectar uma posição atual em um mapa do veículo (51); um estimador de posição de semáforo (21) configurado para estimar uma posição em uma imagem de um semáforo com base na oposição atual e nas informações de mapa; uma unidade de definição de direção de imageamento (23) configurada para definir uma direção de imageamento da unidade de imageamento (11) com base na posição na imagem do semáforo e de uma direção de movimento no tempo futuro na imagem do semáforo; uma unidade de mudança de direção de imageamento (24) configurada para mudar a direção de imageamento da unidade de imageamento (11) para uma direção de imageamento definida pela unidade de definição de direção de imageamento (23); e uma unidade de reconhecimento de semáforo (14) configurada para reconhecer o semáforo de uma imagem capturada na direção de imagea- mento pela unidade de imageamento (11), em que: a unidade de mudança de direção de imageamento (24) define um região ou ponto de mudança no qual a unidade de mudança de direção de imageamento (24) muda a direção de imageamento da unidade de image- amento (11), com base na posição na imagem do semáforo e na direção de movimento no tempo futuro na imagem do semáforo, e a unidade de mudança de direção de imageamento (24) altera a direção de imageamento quando o veículo (51) alcança a região ou ponto de mudança.

2. Dispositivo de reconhecimento de semáforo CARACTERIZADO pelo fato de que compreende: uma unidade de imageamento (11) montada em um veículo (51) e configurada para capturar uma imagem em torno do veículo (51); uma unidade de aquisição de informações de mapa (17) configurada para adquirir informações de mapa em torno do veículo (51); um detector de posição atual de veículo (12) configurado para detectar uma posição atual em um mapa do veículo (51); um estimador de posição de semáforo (21) configurado para estimar uma posição em uma imagem de um semáforo com base na oposição atual e nas informações de mapa; uma unidade de definição de direção de imageamento (23) configurada para definir uma direção de imageamento da unidade de imageamento (11) com base na posição na imagem do semáforo e de uma direção de movimento no tempo futuro na imagem do semáforo; uma unidade de mudança de direção de imageamento (24) configurada para mudar a direção de imageamento da unidade de imageamento (11) para uma direção de imageamento definida pela unidade de definição de direção de imageamento (23); e uma unidade de reconhecimento de semáforo (14) configurada para reconhecer o semáforo de uma imagem capturada na direção de imagea- mento pela unidade de imageamento (11), em que: a unidade de definição de direção de imageamento (23) define, quando uma pluralidade de semáforos sincronamente operados pode ser imageada pela unidade de imageamento (11), uma direção de imageamento da unidade de imageamento (11) com base em uma direção de movimento de um semáforo, dentre a pluralidade de semáforos sincronamente operados, cuja quantidade de movimento na imagem se torna mínima.

3. Dispositivo de reconhecimento de semáforo, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que: a unidade de definição de direção de imageamento (23) define uma direção de imageamento da unidade de imageamento (11) com base na posição na imagem do semáforo e de uma faixa de movimento no tempo futuro na imagem do semáforo.

4. Dispositivo de reconhecimento de semáforo, de acordo com qualquer uma das reivindicações 1 a 3, CARACTERIZADO pelo fato de que: a unidade de definição de direção de imageamento (23) calcula uma quantidade de mudança na direção de imageamento a partir da posição na imagem do semáforo e na faixa de movimento no tempo futuro na imagem do semáforo, e define uma direção de imageamento com base em um faixa de imageamento da unidade de imageamento (11) e na quantidade de mudança.

5. Dispositivo de reconhecimento de semáforo, de acordo com qualquer uma das reivindicações 3 a 4, CARACTERIZADO pelo fato de que: a unidade de definição de direção de imageamento (23) prevê uma faixa de movimento no tempo futuro na imagem do semáforo com base em uma rota de percurso no tempo futuro do veículo (51).

6. Dispositivo de reconhecimento de semáforo, de acordo com qualquer uma das reivindicações 1 a 5, CARACTERIZADO pelo fato de que: a unidade de definição de direção de imageamento (23) define, quando uma pluralidade de semáforos pode ser imageada pela unidade de imageamento (11), uma direção de imageamento da unidade de imagea- mento (11) de modo que a pluralidade de semáforos esteja incluída na imagem.

7. Dispositivo de reconhecimento de semáforo, de acordo com qualquer uma das reivindicações 1 a 6, CARACTERIZADO pelo fato de que a unidade de definição de direção de imageamento (23) define, com base em uma distância de uma posição de parada fornecida para o semáforo ao veículo (51) e de uma velocidade de percurso do veículo (51), uma área de restrição de mudança para restringir a mudança da direção de imageamento da unidade de imageamento (11), e altera a direção de ima- geamento da unidade de imageamento (11) antes de entre nessa área de restrição de mudança.

8. Dispositivo de reconhecimento de semáforo, de acordo com qualquer uma das reivindicações 1 a 6, CARACTERIZADO pelo fato de que: a unidade de definição de direção de imageamento (23) define, com base em uma distância de uma posição de parada fornecida para o semáforo ao veículo (51), e de uma velocidade de percurso do veículo (51), e de um ciclo de cálculo para a unidade de reconhecimento de semáforo (14) para reconhecer um semáforo, uma "zona de tempo de mudança" na direção de imageamento da unidade de imageamento (11); e a unidade de mudança de direção de imageamento (24) altera a direção de imageamento da unidade de imageamento (11) dentro da “zona de tempo de mudança”.

9. Método de reconhecimento de semáforo CARACTERIZADO pelo fato de que compreende as etapas de: capturar, por uma unidade de imageamento (11), uma imagem em torno de um veículo (51); adquirir informações de mapa em torno do veículo (51); detectar uma posição atual em um mapa do veículo (51); estimar uma posição em uma imagem de um semáforo com base na posição atual e nas informações de mapa; definir uma direção de imageamento da unidade de imageamento (11) com base na posição na imagem do semáforo e de uma direção de movimento no tempo futuro na imagem do semáforo; alterar a direção de imageamento da unidade de imageamento (11) para uma direção de imageamento definida; reconhecer o semáforo a partir de uma imagem capturada na direção de imageamento pela unidade de imageamento (11); definir uma região ou ponto de mudança na qual a direção de imageamento da unidade de imageamento (11) é mudada, com base na posição na imagem do semáforo e na direção de movimento no tempo futuro na imagem do semáforo; e mudar a direção de imageamento da unidade de imageamento (11) quando o veículo (51) alcança a região ou ponto de mudança.

Images