BR112014020753A2

BR112014020753A2 - Dispositivo de detecção de objeto tridimensional

Info

Publication number: BR112014020753A2
Application number: BR112014020753-4A
Authority: BR
Inventors: Yasuhisa Hayakawa; Osamu Fukata
Original assignee: Nissan Motor Co., Ltd.
Priority date: 2012-03-02
Filing date: 2013-02-06
Publication date: 2021-05-25
Also published as: RU2636120C2; MY179728A; CN104106105A; BR112014020753B1; MX2014010403A; MX341376B; JPWO2013129361A1; EP2821980A1; JP5787024B2; CN104106105B; EP2821980A4; WO2013129361A1; RU2014139837A; US9754172B2; US20150002672A1

Abstract

DISPOSITIVO DE DETECÇÃO DE OBJETO TRIDIMENSIONAL. Esse dispositivo de detecção de objeto tridimensional é fornecido com um dispositivo de detecção de objeto tridimensional (32, 33, 34) para geração de informação de forma de onda de diferença pela contagem do número de pixels indicando uma diferença em um valor limítrofe de diferença ou maior em uma imagem de diferença onde as imagens de visualização de olho de pássaro em momentos diferentes foram alinhadas, e detectando um objeto tridimensional com base na informação de forma de onda de diferença; um dispositivo de configuração de área de imagem de referência (35) para configurar, como uma área de imagem de referência, uma área que é diferente da área de detecção e onde a extração da informação de contorno de um sujeito é prevista; um dispositivo de detecção de informação de contorno (35) para extração da informação de contorno do sujeito; um dispositivo de cálculo de nitidez de referência (35) para calcular uma nitidez de referência com base na informação de contorno detectada na área de imagem de referência; e um dispositivo de cálculo de nitidez de sujeito (35) para calcular uma nitidez de sujeito com base na informação de contorno detectada na área de detecção.A unidade de detecção de objeto tridimensional (32, 33, 34) calcula uma nitidez final com base na nitidez de referência e na nitidez de sujeito, e configura o valor limite de diferença com base na nitidez final calculada.

Description

"DISPOSITIVO DE DETECÇÃO DE OBJETO TRIDIMENSIONAL" CAMPO TECNOLÓGICO

[001]A presente invenção se refere a um dispositivo de detecção de objeto tridimensional.

[002]Esse pedido reivindica os direitos de prioridade com base no pedido de patente japonês No. 2012-046670, depositado em 2 de maço de 2012, e do pedido de patente japonês No. 2012-160775, depositado em 19 de julho de 2012, e nos estados designados que aceitem a incorporação de um documento por referência, o conteúdo descrito no pedido notado acima é incorporado aqui por referência e é considerado parte da descrição do presente pedido.

TECNOLOGIA FUNDAMENTAL

[003]Em uma técnica convencionalmente conhecida, um objeto tridimensional é detectado a partir de imagens capturadas por uma câmera (ver documento de patente 1).

DOCUMENTOS DA TÉCNICA ANTERIOR

DOCUMENTOS DE PATENTE Documento de patente 1: publicação de patente japonesa No. 2001-273494

DESCRIÇÃO DA INVENÇÃO PROBLEMAS A SEREM SOLUCIONADOS PELA INVENÇÃO

[004]No entanto, convencionalmente, uma imagem capturada clara não pode ser capturada quando a lente da câmera está suja, e como resultado disso, existem casos nos quais outro veículo não pode ser detectado a partir da imagem capturada.

[005]O problema a ser solucionado pela presente invenção é o fornecimento de um dispositivo de detecção de objeto tridimensional capaz de detectar com precisão um objeto tridimensional, mesmo quando a lente da câmera está suja.

MEIOS UTILIZADOS PARA SOLUCIONAR OS PROBLEMAS MENCIONADOS ACIMA

[006]A presente invenção soluciona o problema pela geração de uma forma de onda de diferença a partir da diferença entre duas imagens de visão aérea obtidas em momentos diferentes, detectando um objeto tridimensional com base na forma de onda de diferença, e em se fazendo isso, configurando uma área de imagem para ser uma área de imagem de referência na qual a detecção de uma quantidade fixa de informação de contorno é prevista, calculando a quantidade de clareza da imagem na área de imagem de referência como uma nitidez de referência, calculando a quantidade de clareza da imagem na área de detecção como uma nitidez de sujeito, e modificando um valor de limite de diferença para detecção de diferenças entre duas imagens de visão aérea com base nos resultados de comparação entre a nitidez de referência e a nitidez de sujeito.

EFEITO DA INVENÇÃO

[007]De acordo com a presente invenção, um valor limítrofe de diferença é modificado de acordo com a clareza de uma imagem, onde a sensibilidade de detecção das diferenças entre as imagens de visão aérea pode ser ajustada de acordo com a clareza da imagem. Portanto, um objeto tridimensional pode ser adequadamente detectado mesmo quando a lente está suja e a imagem não está clara.

BREVE DESCRIÇÃO DOS DESENHOS

[008]A figura 1 é um diagrama estrutural esquemático de um veículo no qual um dispositivo de detecção de objeto tridimensional de acordo com a primeira modalidade foi montado; A figura 2 é uma vista plana ilustrando o estado de percurso do veículo na figura 1; A figura 3 é uma vista em bloco ilustrando os detalhes do computador de acordo com a primeira modalidade; A figura 4 é uma vista descrevendo a viso geral do processamento da unidade de alinhamento de acordo com a primeira modalidade, a figura 4(a) é uma vista plana ilustrando o estado de movimento do veículo, e a figura 4(b) é uma imagem ilustrando uma visão geral de alinhamento;

A figura 5 é uma vista ilustrando um exemplo de uma imagem capturada pela câmera;

A figura 6 é uma vista para descrever a relação entre a sujeira da lente e a nitidez;

A figura 7 é uma vista para descrever o método de cálculo da nitidez de referência com base em um valor de referência de extração;

A figura 8 é uma vista para descrever o método de comparação da nitidez de referência e nitidez de sujeito, e o cálculo da nitidez final;

A figura 9 é um gráfico para ilustrar um exemplo da relação entre a nitidez final e o valor limítrofe de diferença th;

A figura 10 é uma vista esquemática ilustrando a forma na qual a forma de onda de diferença é gerada pela unidade de detecção de objeto tridimensional de acordo com a primeira modalidade;

A figura 11 é uma vista descrevendo áreas pequenas divididas pela unidade de detecção de objeto tridimensional de acordo com a primeira modalidade;

A figura 12 é uma vista ilustrando ume exemplo do histograma obtido pela unidade de detecção de objeto tridimensional de acordo com a primeira modalidade;

A figura 13 é uma vista ilustrando a ponderação utilizada pela unidade de detecção de objeto tridimensional de acordo com a primeira modalidade;

A figura 14 é uma vista ilustrando outro exemplo do histograma obtido pela unidade de detecção de objeto tridimensional;

A figura 15 é uma vista descrevendo o método de determinação de um veículo adjacente presente em uma fila adjacente;

A figura 16 é um fluxograma ilustrando o método de detecção de um veículo adjacente de acordo com a terceira modalidade (parte 1);

A figura 17 é um fluxograma ilustrando o método de detecção de um veículo adjacente de acordo com a primeira modalidade (parte 2);

A figura 18 é uma vista em bloco ilustrando os detalhes do computador de acordo com uma segunda modalidade;

A figura 19 é uma vista ilustrando o estado de percurso do veículo, a figura

19(a) é uma vista plana ilustrando a relação de posição entre a área de detecção e similares, e a figura 19(b) é uma vista em perspectiva ilustrando a relação de posição entre a área de detecção e similares em espaço real;

A figura 20 é uma vista para descrever a operação da unidade de cálculo de diferença de luminância de acordo com a segunda modalidade; a figura 20(a) é uma vista ilustrando a relação de posição entre a linha de atenção, linha de referência,

ponto de atenção, e ponto de referência em uma imagem de visão aérea, e a figura

20(b) é uma vista ilustrando a relação de posição entre a linha de atenção, a linha de referência, o ponto de atenção, e o espaço real de ponto de referência;

A figura 21 é uma vista para descrever a operação detalhada da unidade de cálculo de diferença de luminância de acordo com a segunda modalidade, a figura

21(a) é uma vista ilustrando a área de detecção na imagem de vista aérea, e a figura

21(b) é uma vista ilustrando a relação de posição entre a linha de atenção, a linha de referência, o ponto de atenção e o ponto de referência na imagem de visão aérea;

A figura 22 é uma vista ilustrando um exemplo de imagem para descrever a operação de detecção de borda;

A figura 23 é uma vista ilustrando a linha de borda e a distribuição de luminância na linha de borda; a figura 23(a) é uma vista ilustrando a distribuição de luminância quando um objeto tridimensional (veículo adjacente) está presente na área de detecção, e a figura 23(b) é uma vista ilustrando a distribuição de luminância quando um objeto tridimensional não está presente na área de detecção;

A figura 24 é um gráfico para ilustrar um exemplo da relação entre a nitidez final e o valor limítrofe de borda; A figura 25 é um fluxograma ilustrando o método de detecção de um veículo adjacente de acordo com a segunda modalidade (parte 1); A figura 26 é um fluxograma ilustrando o método de detecção de um veículo adjacente de acordo com a segunda modalidade (parte 2); A figura 27 é uma vista para descrever outro método de comparação da nitidez de referência e nitidez de sujeito, e cálculo da nitidez final; A figura 28 é uma vista para descrever outro método para comparar a nitidez de referência e a nitidez de sujeito e cálculo da nitidez final.

MODALIDADES PREFERIDAS DA INVENÇÃO MODALIDADE 1

[009]A figura 1 é uma visão geral esquemática de um veículo no qual um dispositivo de detecção de objeto tridimensional 1 de acordo com a primeira modalidade foi montado. Um objetivo do dispositivo de detecção de objeto tridimensional 1 de acordo com a presente modalidade é detectar outro veículo (pode, doravante, ser referido como "veículo adjacente") presente em uma fila adjacente onde o contato é possível no caso de um veículo hospedeiro V1 mudar de faixa.O dispositivo de detecção de objeto tridimensional 1 de acordo com a presente modalidade é fornecido com uma câmera 10, um sensor de velocidade 20, e um computador 30, como ilustrado na figura 1.

[010]A câmera 10 é fixada ao veículo hospedeiro V1 de modo que o eixo geométrico ótico seja um ângulo  descendente a partir do plano horizontal em um local em uma altura h na parte traseira do veículo hospedeiro V1, como ilustrado na figura 1. A partir dessa posição, a câmera 10 captura uma área predeterminada do ambiente circundante do veículo hospedeiro V1. O sensor de velocidade 20 detecta a velocidade de percurso do veículo hospedeiro V1 e calcula a velocidade do veículo a partir de uma velocidade de roda detectada, por exemplo, por um sensor de velocidade de roda para detectar a velocidade de rotação de uma roda. O computador 30 detecta um veículo adjacente presente em uma faixa adjacente para trás do veículo hospedeiro.

[011]A figura 2 é uma vista plana ilustrando o estado de percurso do veículo hospedeiro V1 na figura 1. Como ilustrado nos desenhos, a câmera 10 captura o lado traseiro do veículo em um ângulo de visualização predeterminado a. Nesse momento, o ângulo de visualização a da câmera 10 é configurado para um ângulo de visualização que permite que as faixas esquerda e direita (faixas adjacentes) sejam capturadas em adição à faixa na qual o veículo hospedeiro V1 está.

[012]A figura 3 é uma vista em bloco ilustrando os detalhes do computador 30 na figura 1. A câmera 10 e o sensor de velocidade 20 também são ilustrados na figura 3 a fim de indicar de forma distinta as relações de conexão.

[013]Como ilustrado na figura 3, o computador 30 é fornecido com uma unidade de conversão de ponto de visualização 31, uma unidade de alinhamento 32, uma unidade de detecção de objeto tridimensional 33, uma unidade de configuração de valor limite de diferença 34, e uma unidade de cálculo de nitidez 35. A configuração dessas unidades é descrita abaixo.

[014]Os dados da imagem capturada da área predeterminada obtidos pela captura realizada pela câmera 10 são registrados na unidade de conversão de ponto de visualização 31, e os dados de imagem capturados registrados, dessa forma, são convertidos em dados de imagem de visualização tipo olho de pássaro, que é um estado de visualização aérea. Um estado de visualização aérea é um estado de visualização de um ponto de vista de uma câmera imaginária que está olhando para baixo a partir de cima, por exemplo, verticalmente de forma descendente. A conversão de ponto de visualização pode ser realizada da forma descrita, por exemplo, no pedido de patente publicado japonês No. 2008 – 219063. A razão de os dados de imagem capturados serem convertidos em dados de imagem de visualização tipo olho de pássaro é baseada no princípio de que bordas perpendiculares singulares a um objeto tridimensional sejam convertidos em um grupo de linha reta que passa através de um ponto fixo específico pela conversão do ponto de visualização em dados de imagem de visualização tipo olho de pássaro, e a utilização desse princípio permite que um objeto plano e um objeto tridimensional seja diferenciado.

[015]Os dados de imagem de visualização tipo olho de pássaro obtidos pela conversão de ponto de visualização realizada pela unidade de conversão de ponto de visualização 31 são sequencialmente inseridos na unidade de alinhamento 32, e as posições registradas dos dados de imagem de visualização tipo olho de pássaro em momentos diferentes são alinhados. A figura 4 é uma vista para descrever a visão geral do processamento da unidade de alinhamento 32, a figura 4(a) é uma vista plana ilustrando o estado de movimento do veículo hospedeiro V1 e a figura 4(b) é uma imagem ilustrando uma visão geral de alinhamento.

[016]Como ilustrado na figura 4(a), o veículo hospedeiro V1 no momento atual é posicionado em P1, e o veículo hospedeiro V1 em um momento único antes é posicionado em P1'. É considerado que um veículo adjacente V2 seja posicionado na direção lateral-traseira do veículo hospedeiro V1 e esteja percorrendo em paralelo ao veículo hospedeiro V1, e que o veículo adjacente V2 no momento atual seja posicionado em P2, e o veículo adjacente V2 em um momento único anterior seja posicionado em P2'. Além disso, é assumido que o veículo hospedeiro V1 tenha movido por uma distância d em um único momento. A frase "em um único momento anterior" pode ser um momento no passado por um tempo determinado antecipadamente (por exemplo, um ciclo de controle único) do momento atual, ou pode ser um momento no passado por um tempo arbitrário.

[017]Em tal estado, a imagem de visualização aérea PBt no momento atual é ilustrada na figura 4(b). As linhas brancas desenhadas na superfície da estrada são retangulares na imagem de visualização aérea PBt e são relativamente precisas em uma vista plana, mas o veículo adjacente V2 (posição P2) está desmontado. O mesmo se aplica à imagem de visualização aérea PBt-1 em um único momento anterior; as linhas brancas desenhadas na superfície da estrada são retangulares e são relativamente precisas em uma vista plana, mas o veículo adjacente V2 (posição P2') está desmontado. Como previamente descrito, as bordas perpendiculares de um objeto tridimensional (bordas que permanecem eretas no espaço tridimensional a partir da superfície da estrada também são incluídas em um significado estrito da borda perpendicular) aparecem como um grupo de linha reta ao longo de uma direção de desmonte devido ao processo de conversão do ponto de visualização em dados de imagem de visualização tipo olho de pássaro, mas visto que uma imagem plana na superfície da estrada não inclui bordas perpendiculares, tal desmonte não ocorre mesmo quando o ponto de visualização foi convertido.

[018]A unidade de alinhamento 32 alinha as imagens de visualização aérea PBt e PBt-1, tal como descrito acima, em termos de dados. Quando isso é realizado, a unidade de alinhamento 32 desvia a imagem de visualização aérea PBt-1 em um único momento anterior, e combina a posição com a imagem de visualização aérea PBt no momento atual. A imagem de lado esquerdo e a imagem central na figura 4(b) ilustram o estado de desvio por uma distância de movimento d'. A quantidade de desvio d' é a quantidade de movimento nos dados de imagem de visualização aérea que corresponde à distância de movimento real d do veículo hospedeiro V1 ilustrado na figura 4(a) e é decida com base em um sinal do sensor de velocidade 20 e o tempo de um único momento antes do momento atual.

[019]Depois do alinhamento, a unidade de alinhamento 32 obtém a diferença entre as imagens de visualização aérea PBt e PBt-1, e gera dados de imagem de diferença PD1. Na presente modalidade, a unidade de alinhamento 32 obtém o valor absoluto da diferença nos valores de pixel das imagens de visualização aérea PBt e PBt-1 a fim de corresponder à variação no ambiente de iluminação, e quanto o valor absoluto é igual a ou superior a um valor limítrofe predeterminado th, os valores de pixel da imagem de diferença PD1 são configurados para "1", e quanto o valor absoluto é inferior a um valor limítrofe predeterminado th, os valores de pixel da imagem de diferença PDt são configurados para "0", o que permite que os dados de imagem de diferença PDt tal como ilustrado no lado direito da figura 4(b) sejam gerados.

[020]Na presente modalidade, o valor limítrofe de diferença th descrito acima é configurado pela unidade de configuração de valor limítrofe de diferença 34 ilustrada na figura 3. Na presente modalidade, a unidade de configuração de valor limítrofe de diferença 34 configura o valor limítrofe de diferença th com base nos resultados de cálculo da unidade de cálculo de nitidez descrito posteriormente 35.

Descrito abaixo se encontra um método para configuração do valor limítrofe de diferença th realizado pela unidade de configuração de valor limítrofe de diferença 34 e a unidade de cálculo de nitidez 35.

[021]A unidade de cálculo de nitidez 35 calcula a quantidade de clareza da imagem de visualização tipo olho de pássaro como a nitidez. Em outras palavras, a unidade de cálculo de nitidez 35 calcula a nitidez como sendo maior de forma comensurável com a extensão pela qual um sujeito é exibido com clareza na imagem de visualização tipo olho de pássaro, e por outro lado, calcula a nitidez como sendo inferior de forma comensurável quando o sujeito não é exibido com clareza. Por exemplo, quando a lente da câmera 10 está suja (por exemplo, a superfície da lente seca depois de a lente ter sido molhada pela chuva, e marcas das gotas de chuva são deixadas na lente na forma de um filme branco), a nitidez é calculada como sendo baixa.

[022]Na presente modalidade, a unidade de cálculo de nitidez 35 calcula dois tipos de nitidez, isso é, uma nitidez de referência e uma nitidez de sujeito. Como utilizado aqui, a nitidez de referência se refere à nitidez em uma área da imagem onde um sujeito predeterminado deve estar presente, e a nitidez de sujeito se refere à nitidez nas áreas de detecção A1, A2. O método de cálculo da nitidez de referência e nitidez de sujeito realizado pela unidade de cálculo de nitidez 35 é descrito abaixo. O método para calcular a nitidez descrita abaixo é um exemplo e nenhuma limitação é imposta pelo menos.

[023]É descrito em primeiro lugar o método de cálculo da nitidez de referência. Na presente modalidade, a unidade de cálculo de nitidez 35 primeiro configura como a área de imagem de referência, a área de imagem na qual pode ser previsto que uma quantidade fixa de bordas ou mais serão detectadas na imagem de visualização aérea. Por exemplo, o para-choque do veículo hospedeiro, o invólucro da câmera 10 para fixar a câmera 10 ao veículo hospedeiro, a placa do veículo hospedeiro, e similares são capturados em uma área de imagem específica dependendo da posição de instalação, ângulo de instalação, e similares da câmera 10, como ilustrado na figura 5. Tal sujeito é uma parte do veículo hospedeiro e está presente em uma posição próxima à câmera 10 montada no veículo hospedeiro. De acordo, quando tal sujeito foi capturado, o sujeito é capturado com clareza relativa, e pode ser previsto que uma quantidade fixa de bordas ou mais pode ser extraída do sujeito capturado. Em vista do acima exposto, a unidade de cálculo de nitidez 35 configura uma área de imagem que corresponde a uma imagem do para-choque do veículo hospedeiro, o invólucro da câmera 10, a placa do veículo hospedeiro, ou outra parte do veículo hospedeiro como área de imagem de referência onde a extração de uma quantidade fixa de bordas é prevista. Tal imagem de uma parte do veículo hospedeiro é posicionada em uma área específica, como ilustrado na figura 5, e uma área de imagem de referência pode ser determinada sem detectar a posição de um sujeito.

[024]O método de configuração de área de imagem de referência não está limitado ao método descrito acima, e a área de imagem de referência também pode ser configurada da seguinte forma. Por exemplo, uma área de imagem que inclui um horizonte de água pode ser configurada como a área de imagem de referência.

Contraste é prontamente produzido entre o céu e o oceano em uma área de imagem contendo um horizonte de água visto que é previsto que uma quantidade fixa de bordas ou mais possa ser extraída. Além disso, um área de imagem contendo um horizonte de terra pode ser configurado como a área de imagem de referência, como ilustrado na figura 5. O contraste é prontamente produzido entre o céu e a estrada em uma área de imagem contendo um horizonte de terra visto que é previsto que uma quantidade fixa de bordas ou mais pode ser extraída. Uma área de imagem que corresponde ao cenário distante tal como horizonte de água e um horizonte de terra é posicionada em uma área específica, e é, portanto, possível se configurar uma área de imagem de referência sem detectar a posição de um sujeito, como ilustrado na figura 5. É possível também se utilizar uma configuração na qual uma área de imagem contendo um horizontal de água é determinada como a área de imagem de referência durante o dia, e uma área de imagem contendo um horizonte de terra é configurada como a área de imagem de referência durante a noite.

[025]É adicionalmente possível se utilizar uma configuração na qual a unidade de cálculo de nitidez 35 configura uma área de imagem contendo um ponto de desaparecimento da estrada como a área de imagem de referência. Isso se deve ao fato de a velocidade de movimento relativo de um sujeito em uma imagem ser reduzida em uma área de imagem contendo um ponto de desaparecimento da estrada, e as bordas do sujeito podem, portanto, ser detectadas de forma estável.

De acordo, a configuração da área de imagem perto de um ponto de desaparecimento incluindo, por exemplo, um horizonte de terra, como a área de imagem de referência permite que a unidade de cálculo de nitidez 35 extraia de forma mais adequada uma quantidade fixa de bordas ou mais.

[026]Adicionalmente, a unidade de cálculo de nitidez 35 pode configurar uma área de imagem contendo uma imagem de iluminação de ruas, faróis de outros veículos, ou outra fonte de luz como a área de imagem de referência. Isso se deve ao fato de o contraste ser prontamente produzido entre as áreas de alta luminância tal como a iluminação das ruas e faróis e áreas de baixa luminância nas proximidades, e é previsto que uma quantidade fixa de bordas ou mais possa ser extraída. O método de detecção de iluminação de estradas, faróis, e outras fontes de luz não é particularmente limitado e a unidade de cálculo de nitidez 35 pode, por exemplo, detectar, como área correspondente à fonte de luz, uma área de imagem possuindo um tamanho predeterminado ou maior e onde a diferença no brilho com as cercanias está em um valor predeterminado ou maior.

[027]A unidade de cálculo de nitidez 35 calcula a quantidade de clareza na imagem na área de imagem de referência como a nitidez de referência.

Especificamente, quando uma diferença de luminância entre pixels mutuamente adjacentes está em um valor predeterminado ou maior na área de imagem de referência, a unidade de cálculo de nitidez 35 determina que uma borda (contorno) de um sujeito está presente entre esses pixels mutuamente adjacentes, e extrai a borda do sujeito dos pixels possuindo tal diferença de luminância. A unidade de cálculo de nitidez 35 calcula a nitidez de referência na área de imagem de referência como sendo um valor maior de forma comensurável a uma intensidade maior da borda extraída na área de imagem de referência.

[028]Aqui, a figura 6 é uma vista para descrever a relação entre a sujeira da lente e a nitidez (clareza de imagem). Na figura 6, o eixo geométrico vertical indica a luminância e o eixo geométrico horizontal indica a posição dos pixels. Além disso, uma situação na qual uma iluminação de estrada, faróis ou outro sujeito possuindo alta luminância é capturado é determinada como ume exemplo na figura 6. Quando a lente da câmera 10 está suja, a luz incidente na lente a partir do sujeito é refletida de forma irregular pela sujeira depositada na lente da câmera 10, a inclinação do pico de luminância se torna gradual em comparação com quando a lente não está suja, e a diferença de luminância entre os pixels é reduzida, como ilustrado na figura

6. De acordo, a unidade de cálculo de nitidez 35 detecta a intensidade de borda como sendo baixa quando a lente da câmera 10 está suja, e em tal caso, calcula a nitidez de referência como sendo um valor baixo. Por outro lado, quando a lente não está suja, a inclinação do pico de luminância é íngreme, e a diferença de luminância entre os pixels é considerável, como ilustrado na figura 6. De acordo, a unidade de cálculo de nitidez 35 detecta a intensidade de borda como sendo alta quando a lente da câmera 10 não está suja, e em tal caso, calcula a nitidez de referência como sendo um valor alto. Dessa forma, a unidade de cálculo de nitidez 35 calcula a nitidez de referência indicando a quantidade de clareza de imagem de acordo com a intensidade de borda.

[029]O método de cálculo da nitidez de referência pela unidade de cálculo de nitidez 35 não é limitado ao método descrito acima, e a nitidez de referência pode ser calculada utilizando-se o método a seguir. Em outras palavras, uma área possuindo uma luminância em um valor predeterminado ou maior pode ser detectada como uma área de alta luminância e a nitidez de referência pode ser calculada com base na inclinação da luminância nas proximidades da área de alta luminância detectada. Especificamente, a unidade de cálculo de nitidez 35 detecta a inclinação da luminância direcionada para fora a partir da borda externa da área de alta luminância que corresponde a uma iluminação de rua, faróis, ou outra fonte de luz quando a área de imagem contendo uma imagem de iluminação de ruas, faróis, ou outra fonte de luz foi configurada como a área de imagem de referência. Nesse caso, quando a lente não está suja, como ilustrado na figura 6, a inclinação da luminância é íngreme, e inversamente, quando a lente está suja, a inclinação da luminância é gradual. De acordo, a unidade de cálculo de nitidez 35 detecta uma inclinação íngreme da luminância quando a lente da câmera 10 não está suja, e, nesse caso, calcula a nitidez de referência como sendo um valor alto. Por outro lado, quando a lente da câmera 10 está suja, a unidade de cálculo de nitidez 35 detecta uma inclinação gradual da luminância, nesse caso, calcula a nitidez de referência como sendo um valor baixo.

[030]É possível também se utilizar uma configuração na qual a nitidez de referência é calculada com base em um componente de frequência da imagem. Em outras palavras, um componente de frequência do sujeito é extraído do sinal de imagem obtido na área de imagem de referência, e um componente de alta frequência é removido pelo processamento do componente de frequência extraído através de um filtro de passa baixa. Uma comparação é feita do componente de frequência com um componente de alta frequência removido e o componente de frequência antes do componente de alta frequência ser removido, e o componente de alta frequência do sujeito sendo extraído para, dessa forma, calcular o componente de alta frequência extraído como a nitidez de referência. O componente de alta frequência do sujeito obtido a partir da área de imagem de referência é obtido a partir de uma área de contraste alto da área de imagem de referência, e uma imagem mais clara (contraste maior) é obtida de forma comensurável para um número maior de componentes de alta frequência, e em tal caso, a nitidez de referência é calculada como sendo um valor alto.

[031]É possível também se utilizar uma configuração na qual a nitidez de referência é calculada com base em um valor de referência de extração utilizado quando as bordas são extraídas da área de imagem de referência. Aqui, a figura 7, é uma vista para descrever o método para calcular a nitidez de referência com base em um valor de referência de extração. Por exemplo, no exemplo ilustrado na figura 7, a unidade de calcula de nitidez 35 extrai as bordas possuindo um valor de referência de extração ts ou maior configurado antecipadamente a partir da área de imagem de referência, e determina se uma quantidade predeterminada de bordas ou maior foi extraída. Quando a quantidade predeterminada de bordas ou maior não pode ser retraída, a unidade de cálculo de nitidez 35 modifica o valor de referência de extração ts para um valor menor, extrai as bordas possuindo o valor de referência de extração modificado ou maior, e determina se uma quantidade predeterminada de bordas ou maior pode ser extraída na área de imagem de referência. Dessa forma, a unidade de cálculo de nitidez 35 extrai de forma repetida bordas enquanto a modificação do valor de referência de extração para um valor menor, e específica um valor de referência de extração ts' no qual uma quantidade predeterminada de bordas ou mais pode ser extraída (o valor de referência de extração maior ts' entre os valores de referência de extração onde uma quantidade predeterminada de bordas ou maios pode ser extraída). Nesse caso, quando o mesmo sujeito foi capturado, o contorno de manchas de sujeito, e a intensidade das bordas extraídas do sujeito é reduzida de forma comensurável para a falta de clareza da imagem devido à sujeira da lente, como ilustrado na figura 7. De acordo, quando a lente está suja e existe falta de clareza da imagem, uma quantidade predeterminada de bordas ou maior não pode ser extraída a menos que o valor de referência de extração seja modificado para um valor mais baixo em comparação com quando a lente não está suja e a imagem é claramente exibida, como ilustrado na figura 7. Em vista do acima, a unidade de cálculo de nitidez 35 determina que a lente está suja e a imagem não apresenta clareza de forma comensurável com relação a um valor de referência de extração inferior no qual uma quantidade predeterminada de bordas ou maior pode ser extraída, e calcula a nitidez de referência como sendo um valor menor.

[032]Em adição à nitidez de referência que corresponde à área de imagem de referência, a unidade de cálculo de nitidez 35 calcula adicionalmente a quantidade de clareza da imagem nas áreas de detecção A1, A2 como nitidez de sujeito. Excluindo que a nitidez é calculada nas áreas de detecção A1, A2, o método de cálculo da nitidez de sujeito é igual ao método para calcular a nitidez de referência, e uma descrição é omitida aqui.

[033]A unidade de cálculo de nitidez 35 então compara a nitidez de referência e nitidez de sujeito calculadas, e calcula o valor mais alto da nitidez de referência e nitidez de sujeito como a nitidez final, como ilustrado na figura 8. A figura 8 é um gráfico ilustrando um exemplo da nitidez final, e na figura 8, a nitidez final é representada como uma linha sólida. Além disso na figura 8, o eixo geométrico horizontal indica tempo e o eixo geométrico vertical indica o valor de nitidez.

[034]Retornando à figura 3, a unidade de configuração de valor limite de diferença 34 calcula o valor limítrofe de diferença th com base na nitidez final calculada pela unidade de cálculo de nitidez 35. Aqui, a figura 9 é um gráfico para ilustrar a relação entre a nitidez final e o valor limítrofe de diferença th. A unidade de configuração de valor limítrofe de diferença 34 configura o valor limítrofe de diferença th para ser inferior de forma comensurável a uma nitidez final inferior, e configura o valor limítrofe de diferença th para ser um valor maior de forma comensurável do que uma nitidez final maior, como ilustrado na figura 9. O valor limítrofe de diferença th é, dessa forma, configurado para ser baixo quando a lente da câmera 10 está suja e a nitidez final é baixa.

[035]As diferenças entre as duas imagens de visualização aérea obtidas em diferentes momentos são localizações nas quais mudanças ocorreram nas duas imagens de visualização aérea obtidas em momentos diferentes, isso e, localizações nas quais pode ser considerado que exista uma alta possibilidade de um objeto tridimensional estar presente. De acordo, a redução do valor limite de diferença th quando a nitidez final das áreas de detecção é baixa para melhorar a sensibilidade de detecção de diferença entre duas imagens de visualização aérea obtidas como momento diferentes permite que um objeto tridimensional nas áreas de detecção sejam prontamente detectadas. Como resultado disso, um objeto tridimensional pode ser adequadamente detectado nas áreas de detecção mesmo quando a lente está suja e a nitidez final das áreas de detecção é baixa.

[036]Retornando-se à figura 3, a unidade de detecção de objeto tridimensional 33 detecta um objeto tridimensional com base nos dados de imagem de diferença PDt ilustrados na figura 4(b). Nesse caso, a unidade de detecção de objeto tridimensional 33 calcula a distância de movimento do objeto tridimensional no espaço real. A unidade de detecção de objeto tridimensional 33 primeiro gera uma primeira forma de onda de diferença quando o objeto tridimensional é detectado e a distância de movimento deve ser calculada.

[037]Especificamente, a unidade de detecção de objeto tridimensional 33 gera uma forma de onda de diferença nas áreas de detecção configuradas pela unidade de configuração de valor limite de diferença 34. Um objetivo do dispositivo de detecção de objeto tridimensional 1 do presente exemplo é calcular a distância de movimento para o veículo adjacente com o qual existe uma possibilidade de contato no caso de o veículo hospedeiro V1 mudar de faixa. De acordo, no presente exemplo, as áreas de detecção retangulares A1, A2 são configuradas atrás do veículo hospedeiro V1, como ilustrado na figura 2. Tais áreas de detecção A1, A2 podem ser configuradas a partir de uma posição relativa para o veículo hospedeiro V1, ou podem ser configuradas com base na posição das linhas brancas. Quando configurado com base na posição das linhas brancas, o dispositivo de detecção de objeto tridimensional 1 pode utilizar, por exemplo, técnicas de reconhecimento de linha branca conhecidas. O método para configuração das áreas de detecção realizado pela unidade de configuração de valor limite de diferença 34 será descrito posteriormente.

[038]A unidade de detecção de objeto tridimensional 33 reconhece como linhas de aterramento L1, L2 as bordas das áreas de detecção A1, A2, configuradas dessa forma, no lado do veículo hospedeiro V1 (lado ao longo da direção de percurso), como ilustrado na figura 2. Geralmente, uma linha de aterramento se refere a uma linha na qual um objeto tridimensional está em contato com o solo, mas na presente modalidade, uma linha de aterramento não é uma linha em contato com o solo, mas ao invés disso configurada da forma descrita acima. Mesmo em tal caso, a diferença entre a linha de aterramento de acordo com a presente modalidade e a linha de aterramento normal determinada a partir da posição do veículo adjacente V2 não é excessivamente grande como determinado por experiência, e não há problema de fato.

[039]A figura 10 é uma vista esquemática ilustrando a forma na qual a forma de onda de diferença é gerada pela unidade de detecção de objeto tridimensional

33. Como ilustrado na figura 10, a unidade de detecção de objeto tridimensional 33 gera uma forma de onda de diferença DWt a partir da parte que corresponde às áreas de detecção A1, A2 na imagem de diferença PDt (desenho na direita na figura 6(b)) calculada pela unidade de alinhamento 32. Nesse caso, a unidade de detecção de objeto tridimensional 33 gera uma forma de onda de diferença DWt ao longo da direção de desmonte do objeto tridimensional pela conversão de ponto de visualização. No exemplo ilustrado na figura 10, apenas a área de detecção A1 será descrita para fins de conveniência, mas a forma de onda de diferença DWt é gerada para a área de detecção A2 além de utilização do mesmo procedimento.

[040]Mais especificamente, primeiro, a unidade de detecção e objeto tridimensional 33 define uma linha La na direção na qual o objeto tridimensional desmonta nos dados de imagem de diferença PDt. A unidade de detecção de objeto tridimensional 33 então conta o número de pixels de diferença DP indicando uma diferença predeterminada na linha La. Na presente modalidade, o valor de pixel dos pixels possuindo uma diferença do valor limítrofe de diferença th ou maior configurado pela unidade de configuração de valor limítrofe de diferença 34 é expressa como "1", o valor de pixel dos pixels possuindo uma diferença de menos do que o valor limítrofe de diferença th é expressa como "0", e os pixels indicando um valor de pixel igual a "1" são contados como pixels de diferença DP.

[041]A unidade de detecção de objeto tridimensional 33 conta o número de pixels de diferença DP, e depois disso determina o ponto de cruzamento CP da linha La e a linha de aterramento L1. A unidade de detecção de objeto tridimensional 33 então correlaciona o ponto de cruzamento CP e o número de contagem, decide a posição de eixo geométrico horizontal, isso é, a posição no eixo geométrico na direção vertical no desenho na direita na figura 10, com base na posição do ponto de cruzamento CP, decide a posição de eixo geométrico vertical, isso é, a posição no eixo geométrico na direção lateral no desenho na direita na figura 10, a partir do número de contagem, e representa as posições como o número de contagem no ponto de cruzamento CP.

[042]De forma similar, a unidade de detecção de objeto tridimensional 33 define as linhas Lb, Lc. na direção na qual o objeto tridimensional desmonta, conta o número de pixels de diferença DP, decide a posição do eixo geométrico horizontal com base na posição de cada ponto de cruzamento CP, decide a posição do eixo geométrico vertical a partir do número de contagem (o número de pixels de diferença DP) e representa as posições. A unidade de detecção de objeto tridimensional 33 repete o acima em sequência para formar uma distribuição de frequência e, dessa forma, gerar uma forma de onda de diferença DWt como ilustrado nos desenhos no lado direito da figura 10.

[043]Como descrito acima, os pixels de diferença PD nos dados de imagem de diferença PDt são pixels que mudaram na imagem em momentos diferentes, em outras palavras, localizações que podem ser construídas para estarem onde um objeto tridimensional está presente. De acordo, em locais onde um objeto tridimensional esteve presente, o número de pixels é contato ao longo da direção na qual o objeto tridimensional desmonta para formar uma distribuição de frequência e, dessa forma, gerar uma forma de onda de diferença DWt. Em particular, o número de pixels é contato ao longo da direção na qual o objeto tridimensional desmonta, e uma forma de onda de diferença DWt é, portanto, gerada a partir da informação sobre a direção de altura com relação ao objeto tridimensional.

[044]As linhas La e Lb na direção na qual o objeto tridimensional desmonta possui distâncias diferentes que se sobrepõem à área de detecção A1, como ilustrado no desenho à esquerda da figura 10. De acordo, o número de pixels de diferença DP é maior na linha La do que na linha Lb quando é assumido que a área de detecção A1 é preenchida com pixels de diferença DP. Por essa razão, a unidade de detecção de objeto tridimensional 33 realiza a normalização com base na distância que as linhas La, Lb na direção na qual o objeto tridimensional desmonta e a área de detecção A1 se sobrepõem quando a posição de eixo geométrico vertical é decidida a partir do número de contagem dos pixels de diferença DP. Em um exemplo específico, existem seis pixels de diferença DP na linha La e existem cinco pixels de diferença DP na linha Lb no desenho à esquerda na figura 10. De acordo, quando a posição do eixo geométrico vertical é decidida a partir do número de contagem na figura 10, a unidade de detecção de objeto tridimensional 33 divide o número de contagem pela distância sobreposta ou realiza a normalização de outra forma. Os valores da forma de onda de diferença DWt que corresponde às linhas La, Lb na direção na qual o objeto tridimensional desmonta são, dessa forma, substancialmente iguais.

[045]Depois que a forma de onda de diferença DWt foi gerada, a unidade de detecção de objeto tridimensional 33 calcula a distância de movimento pela comparação da forma de onda de diferença DWt no momento atual e a forma de onda de diferença DWt-1 em um único momento anterior. Em outras palavras, a unidade de detecção de objeto tridimensional 33 calcula a distância de movimento da mudança no momento da forma de onda de diferença DWt e forma de onda de diferença WDt-1.

[046]Mais especificamente, a unidade de detecção de objeto tridimensional 33 divide a forma de onda de diferença WDt em uma pluralidade de pequenas áreas DWt1 a DWtn (onde n é um inteiro arbitrário de 2 ou mais), como ilustrado na figura

11. A figura 11 é uma vista ilustrando as áreas pequenas DWt1 a DWtn divididas pela unidade de detecção de objeto tridimensional 33. As áreas pequenas DWt1 a DWtn são divididas de modo a serem mutuamente sobrepostas, como ilustrado, por exemplo, na figura 11. Por exemplo, a área pequena DWt1 e a área pequena DWt2 se sobrepõem uma à outra,e a área pequena DWt2 e a área pequena DWt3 se sobrepõem uma à outra.

[047]A seguir, a unidade de detecção de objeto tridimensional 33 determina a quantidade de desvio (a quantidade de movimento na direção do eixo geométrico horizontal (direção vertical na figura 11) da forma de onda de diferença) para cada uma das pequenas áreas DWt1 para DWtn. Aqui, a quantidade de desvio é determinada a partir da diferença (distância na direção do eixo geométrico horizontal) entre a forma de onda de diferença DWt-1 em um momento único antes e a forma de onda de diferença DWt no momento atual. Nesse caso, a unidade de detecção de objeto tridimensional 33 move a forma de onda de diferença DWt-1 em um momento único antes na direção do eixo geométrico horizontal para cada uma das pequenas áreas DWt1 a DWtn e determina a posição (a posição na direção do eixo geométrico horizontal) na qual o erro da forma de onda de diferença DWt no momento atual está em um mínimo, e determina como a quantidade de desvio de quantidade de movimento na direção do eixo geométrico horizontal na posição na qual o erro da posição original da forma de onda de diferença DWt-1 está em um mínimo. A unidade de detecção de objeto tridimensional 33 então conta a quantidade de desvio determinada para cada uma das pequenas áreas DWt1 a DWtn e forma um histograma.

[048]A figura 12 é uma vista ilustrando um exemplo do histograma obtido pela unidade de detecção de objeto tridimensional 33. Como ilustrado na figura 12, alguma quantidade de variação ocorre na quantidade de desvio, que é a distância de movimento na qual de erro entre as áreas pequenas DWt1 a DWtn e a forma de onda de diferença DWt-1 em um momento único antes está em um mínimo. De acordo, a unidade de detecção de objeto tridimensional 33 forma as quantidades de desvio incluindo a variação em um histograma e calcula a distância de movimento a partir do histograma. Nesse ponto, a unidade de detecção de objeto tridimensional 33 calcula a distância de movimento do objeto tridimensional a partir do valor máximo no histograma. Em outras palavras, no exemplo ilustrado na figura 12, a unidade de detecção de objeto tridimensional 33 calcula a quantidade de desvio indicando o valor máximo do histograma como a distância de movimento *. Dessa forma, na presente modalidade, uma maior distância de movimento altamente precisa pode ser calculada a partir do valor máximo, mesmo quando existe uma variação na quantidade de desvio. A distância de movimento * é a distância de movimento relativo do objeto tridimensional com relação ao veículo hospedeiro. De acordo, a unidade de detecção de objeto tridimensional 33 calcula a distância de movimento absoluto com base na distância de movimento * obtida e o sensor de velocidade 20 quando a distância de movimento absoluto deve ser calculada.

[049]Dessa forma, na presente modalidade, a distância de movimento do objeto tridimensional é calculada a partir da quantidade de desvio da forma de onda de diferença DWt quando o erro na forma de onda de diferença DWt gerada em momentos diferentes está em um mínimo, e isso permite que a distância de movimento seja calculada a partir da quantidade de desvio, que é a informação sobre uma dimensão em uma forma de onda, e permite que o custo de computação seja mantido baixo quando a distância de movimento é calculada. Além disso, a divisão da forma de onda de diferença DWt gerada em momentos diferentes em uma pluralidade de áreas pequenas DWt1 a DWtn permite que uma pluralidade de formas de onda representando as localizações do objeto tridimensional seja obtida, permitindo, assim ,que a quantidade de desvio em cada local do objeto tridimensional seja determinada e permitindo que a distância de movimento seja determinada a partir de uma pluralidade de quantidades de desvio. Portanto, a precisão do cálculo da distância de movimento pode ser aperfeiçoada. Na presente modalidade, a distância de movimento do objeto tridimensional é calculada a partir da mudança no tempo da forma de onda de diferença DWt, que inclui a informação de direção de altura. Consequentemente, em contraste com o foco sendo apenas no movimento de um único ponto, a localização de detecção antes da mudança no tempo e a localização de detecção depois da mudança no tempo são especificadas com a informação de direção de altura incluída e, de acordo, caba sendo a mesma localização; a distância de movimento é calculada a partir da mudança no tempo no mesmo local; e a precisão para se calcular a distância de movimento pode ser aperfeiçoada.

[050]Quando um histograma deve ser formado, a unidade de detecção de objeto tridimensional 33 pode imprimir uma ponderação à pluralidade de áreas pequenas DWt1 a DWtn e contar as quantidades de desvio determinadas para cada uma das áreas pequenas DWt1 a DWtn de acordo com a ponderação para formar um histograma. A figura 13 é uma vista ilustrando a ponderação utilizada pela unidade de detecção de objeto tridimensional 33.

[051]Como ilustrado na figura 13, uma área pequena DWm (onde m e um inteiro 1 ou maior e n-1 ou menor) é plana. Em outras palavras, na área pequena DWm, existe pouca diferença entre os valores máximo e mínimo da contagem do número de pixels indicando uma diferença predeterminada. A unidade de detecção de objeto tridimensional 33 reduz a ponderação desse tipo de área pequena DWm.

Isso porque a área pequena e plana DWm não apresenta uma característica e existe uma alta possibilidade de um erro ser amplificado quando a quantidade de desvio é calculada.

[052]Por outro lado, uma área pequena DWm+k (onde k é um inteiro n –m ou menos) possui ondulação abundante. Em outras palavras, na área pequena DWm, existe uma diferença considerável entre os valores máximo e mínimo da contagem do número de pixels indicando uma diferença predeterminada. A unidade de detecção de objeto tridimensional 33 aumenta a ponderação desse tipo de área pequena DWm. Isso porque a área pequena DWw+k abundando em ondulação é características e existe uma alta possibilidade de a quantidade de desvio ser calculada com precisão. A ponderação das áreas pequenas dessa forma, possibilita a melhoria da precisão para se calcular a distância de movimento.

[053]A forma de onda de diferença DWt é dividida em uma pluralidade de áreas pequenas DWt1 para DWtn na presente modalidade a fim de melhorar a precisão para o cálculo d distância de movimento, mas a divisão em áreas pequenas DWt1 a DWtn não é necessária quando a precisão para o cálculo da distância de movimento não é tão necessária. Nesse caso, a unidade de detecção de objeto tridimensional 33 calcula a distância de movimento a partir da quantidade de desvio da forma de onda de diferença DWt quando o erro entre a forma de onda de diferença DWt e a forma de onda de diferença DWt-1 está em um mínimo. Em outras palavras, o método de determinação da quantidade de desvio entre a forma de onda de diferença DWt-1 em um único momento antes e a forma de onda de diferença DWt no momento atual não está limitada aos detalhes descritos acima.

[054]A unidade de detecção de objeto tridimensional 33 na presente modalidade determinar a velocidade de movimento do veículo hospedeiro V1

(câmera 10) e determina a quantidade de desvio para um objeto estacionário a partir da velocidade de movimento determinada. Depois que a quantidade de desvio do objeto estacionário foi determinada, a unidade de detecção de objeto tridimensional 33 ignora a quantidade de desvio que corresponde ao objeto estacionário dentro do valor máximo de histograma, e calcula a distância de movimento do objeto tridimensional.

[055]A figura 14 é uma vista ilustrando outro exemplo do histograma obtido pela unidade de detecção de objeto tridimensional 33. Quando um objeto estacionário além do objeto tridimensional estiver presente dentro do ângulo de visualização da câmera 10, dois valores máximos 1 e 2 aparecem no histograma resultante. Nesse caso, um dos dois valores máximos 1 e 2 é a quantidade de desvio do objeto estacionário. Consequentemente, a unidade de detecção de objeto tridimensional 33 determina a quantidade de desvio para o objeto estacionário a partir da velocidade de movimento, ignora o valor máximo que corresponde à quantidade de desvio, e calcula a distância de movimento do objeto tridimensional utilizando o valor máximo restante. É, dessa forma, possível se impedir uma situação na qual a precisão para se calcular a distância de movimento do objeto tridimensional é reduzida pelo objeto estacionário.

[056]Mesmo quando a quantidade de desvio correspondente ao objeto estacionário é ignorada, pode haver uma pluralidade de veículos adjacentes presentes dentro do ângulo de visualização da câmera 10 quando existe uma pluralidade de valores máximos. No entanto, uma pluralidade de objetos tridimensionais presentes dentro das áreas de detecção A1, A2 corre muito raramente. de acordo, a unidade de detecção de objeto tridimensional 33 interrompe o cálculo da distância de movimento. Na presente modalidade, é possível se impedir uma situação na qual uma distância de movimento errante é calculada tal como quando existe uma pluralidade de valores máximos.

[057]Adicionalmente, a unidade de detecção de objeto tridimensional 33 calcula a velocidade de movimento relativo do objeto tridimensional com relação ao veículo hospedeiro pela diferenciação de tempo da distância de movimento relativo calculada do objeto tridimensional, e também adiciona a velocidade do veículo hospedeiro detectada pelo sensor de velocidade 20 à velocidade de movimento relativo calculada do objeto tridimensional para calcular a velocidade de movimento absoluto do objeto tridimensional.

[058]Depois de a forma de onda de diferença DWt ter sido gerada, a unidade de detecção de objeto tridimensional 33 detecta um veículo adjacente presente em uma faixa adjacente com base na forma de onda de diferença gerada DWt. Aqui, a figura 15 é uma vista para descrever o método para determinar outro veículo presente em uma faixa adjacente, e ilustra um exemplo da forma de onda de diferença DWt e o valor limite  para detecção de um veículo adjacente presente em uma faixa adjacente. A unidade de detecção de objeto tridimensional 33 determina, como ilustrado na figura 15, se o pico da forma de onda de diferença gerada DWt estiver em um valor limítrofe predeterminado  ou maior, e determina o objeto tridimensional detectado pela unidade de detecção de objeto tridimensional 33 não estando em um veículo adjacente presente em uma faixa adjacente quando o pico da forma de onda de diferença DWt não está em um valor limítrofe predeterminado  ou maior.

[059]Descrito a seguir encontra-se o processo de detecção de um veículo adjacente de acordo com a presente modalidade. As figuras 16 e 17 são fluxogramas ilustrando um processo para detecção de um veículo adjacente de acordo com a presente modalidade. Primeiro, os dados de uma imagem capturada são adquiridos pelo computador 30 a partir da câmera 10 (etapa S101), como ilustrado na figura 17, e os dados da imagem de visualização tipo olho de pássaro PBt é gerada (etapa S102) com base nos dados da imagem capturada adquirida dessa forma.

[060]A seguir, a unidade de cálculo de nitidez 35 configura, como uma área de imagem de referência, uma área na qual a extração de uma quantidade fixa de bordas ou mais é prevista na imagem de visualização de olho de passar PBt (etapa S103), e calcula a quantidade de clareza da imagem na área de imagem de referência como a nitidez de referência (etapa S104). Além disso, a unidade de cálculo de nitidez 35 calcula a quantidade de clareza da imagem nas áreas de detecção A1 e A2 como a nitidez de sujeito (etapa S105).

[061]A unidade de cálculo de nitidez 35 seleciona o valor mais alto da nitidez de referência calculada na etapa S104 e a nitidez de sujeito calculada na etapa S105 para, dessa forma, calcular a nitidez final, como ilustrado na figura 8 (tapa S106). A unidade de configuração de valor de limite de diferença 34 então configura o valor de limite de diferença th (etapa S107) com base na nitidez final calculada na etapa S106, como ilustrado na figura 9.

[062]A seguir, a unidade de alinhamento 32 alinha os dados da imagem de visualização aérea PBt e os dados da imagem de visualização aérea PBt-1 em um único momento anterior, configura para um valor de pixel igual a "1" os pixels possuindo uma diferença (a diferença entre os valores de pixel nas imagens de visualização aérea PBt, PBt-1) igual a ou maior do que o valor limítrofe de diferença th ou maior configurado na etapa S107 e configura os pixels possuindo uma diferença inferior ao valor limítrofe de diferença th para um valor de pixel de "0" para, dessa forma, gerar os dados de imagem de diferença PDt (etapa S108). A unidade de detecção de objeto tridimensional 33, depois disso, conta o número de pixels de diferença DP possuindo um valor de pixel de "1" para gerar uma forma de onda de diferença DWt a partir dos dados de imagem de diferença PDt (etapa S109).

[063]Avançando para a figura 17, a unidade de detecção de objeto tridimensional 33 então determina se um pico na forma de onda de diferença DWt está em um valor limítrofe predeterminado  ou maior (etapa S110). Quando o pico da forma de onda de diferença DWt não está no valor limítrofe  ou maior, isso é, quando não existe essencialmente qualquer diferença, é possível que um objeto tridimensional não esteja presente na imagem capturada. De acordo, quando foi determinado que o pico da forma de onda de diferença DWt não está no valor limítrofe  ou maior (etapa S110 = Não), a unidade de detecção de objeto tridimensional 33 determina que outro veículo não está presente visto que um objeto tridimensional não está presente (etapa S119). O processo então retorna para a etapa S101 ilustrada na figura 16 e repete o processamento ilustrado nas figuras 16 e 17.

[064]Por outro lado, quando o pico na forma de onda de diferença DWt é determinado como estando em um valor limítrofe  ou maior (etapa S110 = Sim), a unidade de detecção de objeto tridimensional 33 determina que um objeto tridimensional está presente na faixa adjacente e prossegue para a etapa S111 onde a forma de onda de diferença DWt é dividida em uma pluralidade de áreas pequenas DWt1 a DWtn pela unidade de detecção de objeto tridimensional 33. A unidade de detecção de objeto tridimensional 33 a seguir imprime a ponderação a cada uma das áreas pequenas DWt1 a DWtn (etapa S112), calcula a quantidade de desvio para cada uma das áreas pequenas DWt1 a DWtn (etapa S113), e gera um histograma com consideração fornecida às ponderações (etapa S114).

[065]A unidade de detecção de objeto tridimensional 33 calcula a distância de movimento relativo, que é a distância de movimento do veículo adjacente com relação ao veículo hospedeiro, com base no histograma, e diferenciam em tempo a distância de movimento relativo calculada para, dessa forma, calcular a velocidade de movimento relativo (etapa S115). A unidade de detecção de objeto tridimensional 33 adicionalmente adiciona a velocidade de veículo hospedeiro detectada pelo sensor de velocidade 20 e calcula a velocidade de movimento absoluto do objeto tridimensional com relação ao veículo hospedeiro (etapa S116).

[066]A unidade de detecção de objeto tridimensional 33 determina se a velocidade de movimento absoluto do objeto tridimensional é igual a 10 km/h ou mais e se a velocidade de movimento relativo do objeto tridimensional com relação ao veículo hospedeiro é de +60 km/h ou menos (etapa S117). Quando ambas as condições são satisfeitas (etapa S117 = Sim), a unidade de detecção de objeto tridimensional 33 determina que um objeto tridimensional está presente na faixa adjacente e que um veículo adjacente está presente na faixa adjacente (etapa S118). O processo então retorna para a etapa S101 ilustrada na figura 16 e repete o processamento ilustrado nas figuras 16 e 17. Por outro lado, quando qualquer condição não for satisfeita (etapa S117 = Não), a unidade de detecção de objeto tridimensional 33 determina que um veículo adjacente não está presente na faixa adjacente (etapa S119). O processo então retorna para a etapa S101 ilustrada na figura 16 e repete o processamento ilustrado nas figuras 16 e 17.

[067]Na presente modalidade, as áreas de detecção A1, A2 são as direções de lado traseiro do veículo hospedeiro, e o foco é colocado no fato de se o veículo hospedeiro pode fazer contato com um veículo adjacente no caso de uma mudança de faixa ocorrer. De acordo, o processo da etapa S117 é implementado. Em outras palavras, assumindo-se que o sistema na presente modalidade seja acionado em uma via expressa, quando a velocidade de um veículo adjacente for inferior a 10 km/h, isso raramente seria um problema mesmo se um veículo adjacente estivesse presente visto que o veículo adjacente estaria posicionado muito atrás do veículo hospedeiro quando uma mudança de faixa ocorresse. De forma similar, quando a velocidade do movimento relativo de um veículo adjacente excede +60 km/h com relação ao veículo hospedeiro (isso é, quando o veículo adjacente está movendo em uma velocidade de 60 km/h ou mais do que a velocidade do veículo hospedeiro), seria raramente um problema visto que o veículo adjacente estaria posicionado à frente do veículo hospedeiro quando uma mudança de faixa ocorresse. De acordo, pode ser considerado que um veículo adjacente, que representaria um problema no caso de uma mudança de faixa ser feita, está sendo determinado na etapa S127.

[068]Na etapa S117, é determinado se a velocidade de movimento absoluto do veículo adjacente é de 10 km/h ou mais, e se a velocidade de movimento relativo do veículo adjacente com relação ao veículo hospedeiro é de +60 km/h ou menos, obtendo-se, assim, o seguinte efeito. Por exemplo, um caso possível é de a velocidade de movimento absoluto de um objeto estacionário ser detectada como sendo de vários quilômetros por hora dependendo do erro de fixação da câmera 10.

De acordo, a determinação de se a velocidade é de 10 km/h ou mais possibilita a redução da possibilidade de o objeto estacionário ser determinado como sendo um veículo adjacente. Além disso, é possível que a velocidade relativa de um veículo adjacente com relação ao veículo hospedeiro seja detectada como estando acima de +60 km/h devido ao ruído. De acordo, a determinação de que a velocidade relativa é de +60 km/h ou menos possibilita se reduzir a possibilidade de detecção errada decorrente de ruído.

[069]No lugar do processamento na etapa S117, pode ser determinado que a velocidade de movimento absoluto do veículo adjacente não é um valor negativo, ou não é igual a 0 km/h. Além disso, na presente modalidade, visto que o foco é colocado no fato de existir uma possibilidade de o contato ser feito (com o veículo adjacente) no caso de o veículo hospedeiro realizar uma mudança de faixa, um som de alerta pode ser emitido para o motorista do veículo hospedeiro, ou uma exibição correspondente a um aviso pode ser fornecida por um dispositivo de exibição predeterminado quando um veículo adjacente tiver sido detectado na etapa S118.

[070]Dessa forma, na primeira modalidade, duas imagens obtidas em momentos diferentes são convertidas em imagens de visualização aérea, e uma imagem de diferença PDt é gerada com base na diferença entre as imagens de visualização aérea. O número de pixels que indica uma diferença predeterminada na imagem de diferença PDt é contado e uma distribuição de frequência é formada para, dessa forma, gerar uma forma de onda de diferença e detectar um veículo adjacente presente em uma faixa adjacente com base na forma de onda de diferença gerada. Além disso, na presente modalidade, quando uma imagem de diferença PDt está para ser gerada, uma área na qual a extração de uma quantidade fixa de bordas ou mais é prevista é configurada como a área de imagem de referência, a quantidade de clareza da imagem na área de imagem de referência é calculada como a nitidez de referência com base nas bordas detectadas na área de imagem de referência, e a quantidade de clareza da imagem nas áreas de detecção é calculada como a nitidez de sujeito com base nas bordas detectadas nas áreas de detecção A1, A2. A nitidez de referência e a nitidez de sujeito são comparadas, o valor mais alto da nitidez de referência e da nitidez de sujeito é selecionado, e a nitidez final é calculada. O valor limítrofe de diferença th é configurado mais alto de forma comensurável para uma nitidez final maior calculada dessa forma, e o valor limítrofe de diferença th é configurado mais baixo de forma comensurável para uma nitidez final menor. Dessa forma, de acordo com a presente modalidade, quando o valor de limite de diferença th é um valor baixo quando a lente da câmera 10 está suja, a imagem não apresenta clareza, e a nitidez final é, portanto, calculada como sendo um valor baixo. É, dessa forma, possível se melhorar a sensibilidade para detecção da diferença entre as duas imagens de visualização aérea em momentos diferentes. Como resultado disso, uma diferença que corresponde a um objeto tridimensional pode ser adequadamente detectada a partir de entre duas imagens de visualização tipo olho de pássaro em momentos diferentes, e o objeto tridimensional pode ser detectado com precisão com base na diferença detectada, mesmo quando a lente da câmera 10 está suja e a imagem não tem clareza.

[071]Na presente modalidade, a nitidez de referência e a nitidez de sujeito são comparadas quando a nitidez final deve ser calculada, e quando a nitidez de sujeito é menor do que a nitidez de referência, a nitidez de referência é calculada como a nitidez final. O valor limítrofe de diferença th é configurado para um valor adequado com base na nitidez de referência, mesmo quando a nitidez de sujeito é calculada como sendo um valor baixo visto que um objeto tridimensional não está presente nas áreas de detecção e uma borda de um objeto tridimensional não é detectada, e é, portanto, possível se impedir efetivamente que o ruído e similares sejam erroneamente detectados como uma diferença entre as imagens de visualização aérea. Em outras palavras, quando a nitidez de sujeito é calculada como sendo um valor baixo visto que um objeto tridimensional não está presente nas áreas de detecção e uma borda do objeto tridimensional não pode ser detectada, existem casos nos quais o valor limítrofe de diferença th seria excessivamente baixo se o valor limítrofe de diferença th fosse configurado com base na nitidez de sujeito calculada, e ruído e similares forem erroneamente detectados como uma diferença entre as imagens de visualização aérea apesar de um objeto tridimensional não estar presente nas áreas de detecção. Em contraste, na presente modalidade, o valor limítrofe de diferença th é configurado com base na nitidez de referência quando a nitidez de sujeito é calculada como sendo um valor baixo e é, portanto, possível se impedir efetivamente a detecção errônea de um objeto tridimensional causada por tal ruído ou similares.

MODALIDADE 2

[072]É descrito a seguir um dispositivo de detecção de objeto tridimensional 1a de acordo com a segunda modalidade. O dispositivo de detecção de objeto tridimensional 1a de acordo com a segunda modalidade é igual à primeira modalidade, exceto que um computador 30a é fornecido no lugar do computador 30 da primeira modalidade, como ilustrado na figura 18, e a operação é como descrito abaixo. Aqui, a figura 18 é uma vista em bloco ilustrando os detalhes do computador

30a de acordo com a segunda modalidade.

[073]O dispositivo de detecção de objeto tridimensional 1a de acordo com a segunda modalidade é fornecido com uma câmera 10 e um computador 30a, como ilustrado na figura 18. O computador 30a é fornecido com uma unidade de conversão de ponto de visualização 31, uma unidade de detecção de objeto tridimensional 33a, uma unidade de cálculo de nitidez 35, uma unidade de cálculo de diferença de luminância 36, uma unidade de detecção de linha de borda 37, e uma unidade de configuração de valor limítrofe de borda 38. A configuração do dispositivo de detecção de objeto tridimensional 1a de acordo com a segunda modalidade é descrita abaixo.

[074]A figura 19 é uma vista ilustrando a faixa de imagem da câmera 10 na figura 18, figura 19(a) é uma vista plana e a figura 19(b) é uma vista em perspectiva em espaço real atrás do veículo hospedeiro V1. A câmera 10 é configurada para um ângulo de visualização predeterminado a, e o lado traseiro do veículo hospedeiro V1 incluído no ângulo de visualização predeterminado a é capturado, como ilustrado na figura 19(a). O ângulo de visualização a da câmera 10 é configurado de modo que faixas adjacentes sejam incluídas na faixa de captura da câmera 10 em adição à faia na qual o veículo hospedeiro V1 está percorrendo, da mesma forma que a ilustrada na figura 2.

[075]As áreas de detecção A1, A2 no presente exemplo são trapezoidais em uma vista plana (estado de visualização tipo olho de pássaro), a posição, tamanho e formato das áreas de detecção A1, A2 são decididos com base nas distâncias d1 a d4. As áreas de detecção A1, A2 do exemplo ilustrado no desenho não são limitadas a serem trapezoidais, e também podem ser retangulares ou ter outro formato em um estado de visualização de olho de passar, como ilustrado na figura 2.

[076]Aqui, a distância d1 é a distância do veículo hospedeiro V1 para as linhas de aterramento L1, L2. As linhas de aterramento L1, L2 se referem a uma linha na qual um objeto tridimensional, que está presente em uma faixa adjacente à faixa na qual o veículo hospedeiro V1 está percorrendo, está em contato com o chão. Na presente modalidade, um objetivo é detectar um veículo adjacente V2 ou similar (incluindo veículos de duas rodas ou similares) percorrendo na faixa da esquerda ou direita atrás do veículo hospedeiro V1 e adjacente à faixa do veículo hospedeiro V1. De acordo, a distância d1, que é a posição das linhas de aterramento L1, L2 do veículo adjacente V2, pode ser decidida de modo que seja substancialmente fixa a partir da distância d11 do veículo hospedeiro V1 para uma linha branca W e a distância d12 da linha branca W para a posição na qual o veículo adjacente V2 deve percorrer.

[077]A distância d1 não está limitada a ser decidida de forma fixa, e pode ser variável. Nesse caso, o computador 30a reconhece a posição da linha branca W com relação ao veículo hospedeiro V1 utilizando o reconhecimento de linha branca ou outra técnica, e a distância d11 é decidida com base na posição da linha branca reconhecida W. A distância d1 é, dessa forma, determinada de forma variável utilizando-se a distância decidida 11. Na presente modalidade descrita abaixo, a posição na qual o veículo adjacente V2 está percorrendo (a distância d12 da linha branca W) e a posição na qual o veículo hospedeiro V1 está percorrendo (a distância d11 da linha branca W) é basicamente previsível, e a distância d1 é decidida de forma fixa.

[078]Uma distância d2 é a distância que se estende a partir da parte de extremidade traseira do veículo hospedeiro V1 na direção de progresso de veículo.

A distância d2 é decidida de modo que as áreas de detecção A1, A2 sejam acomodadas dentro de pelo menos o ângulo de visualização a da câmera 10. Na presente modalidade em particular, a distância d2 é configurada de modo a estar em contato com uma faixa dividida dentro do ângulo de visualização a. A distância d3 indica o comprimento das áreas de detecção A1, A2 na direção de progresso do veículo. A distância d3 é decidida com base no tamanho do objeto tridimensional a ser detectado. Na presente modalidade, o objeto a ser detectado é um veículo adjacente V2 ou similar, e, portanto, a distância d3 é determinada como um comprimento que inclui o veículo adjacente V2.

[079]A distância d4 indica a altura, que foi configurada de modo que os pneumáticos do veículo adjacente V2 ou similares sejam incluídos no espaço real, como ilustrado na figura 19(b). Em uma imagem de visualização aérea, a distância d4 é o comprimento ilustrado na figura 19(a). A distância d4 é o comprimento ilustrado na figura 19(a). A distância d4 também pode ser um comprimento que não inclui faixas adjacentes às faixas esquerda e direita adjacentes na imagem de visualização aérea (isso é, faixas adjacentes-adjacentes que estão a duas faixas de distância). Isso porque quando as faixas que estão a duas faixas de distância da faixa do veículo hospedeiro V1 são incluídas, não é mais possível se distinguir se um veículo adjacente V2 está presente nas faixas adjacentes à esquerda e à direita da faixa na qual o veículo hospedeiro V1 está percorrendo, ou se um veículo adjacente-adjacente está presente em uma faixa adjacente-adjacente que está duas faixas de distância.

[080]Como definido acima, as distâncias d1 a d4 são decididas, e a posição, o tamanho e o formato das áreas de detecção A1, A2 são dessa forma decididos.

Mais especificamente, a posição do lado superior b1 das áreas de detecção A1, A2 que formam um trapezoide é decidida pela distância d1. A posição inicial C1 do lado superior b1 é decidida pela distância d2. A posição de extremidade C2 do lado superior b1 é decidida pela distância d3. O lado b2 das áreas de detecção A1, A2 que formam um trapezoide é decidido por uma linha reta L3 se estendendo a partir da câmera 10 na direção da posição inicial C1. De forma similar, o lado b3 das áreas de detecção A1, A2 que formam um trapezoide é decidido por uma linha reta L3 se estendendo a partir da câmera 10 na direção da posição inicial C1. De forma similar,

o lado b3 das áreas de detecção A1, A2 que formam um trapezoide é decidido por uma linha reta L4 se estendendo a partir da câmera 10 na direção da posição final C2. A posição do lado inferior b4 das áreas de detecção A1, A2 que forma um trapezoide é decidido pela distância d4. Dessa forma, as áreas cercadas pelos lados b1 a b4 são as áreas de detecção A1, A2. As áreas de detecção A1, A2 são quadrados regulares (retângulos) em espaço real atrás do veículo hospedeiro V1, como ilustrado na figura 19(b).

[081]Retornando-se à figura 18, a unidade de conversão de ponto de visualização 31 aceita o registro de dados de imagem capturada de uma área predeterminada capturada pela câmera 10. A unidade de conversão de ponto de visualização 31 converte o ponto de visualização dos dados de imagem capturada registrados em dados de imagem de visualização aérea que é um estado de visualização aérea. Um estado de visualização aérea é um estado de visualização do ponto de vista de uma câmera imaginária que estão olhando par abaixo a partir de cima, por exemplo, verticalmente para baixo (ou ligeiramente inclinada de forma descendente). A conversão de ponto de visualização pode ser realizada utilizando- se a técnica descrita, por exemplo, no pedido de patente publicado japonês No.

2008-219063.

[082]A unidade de cálculo de diferença de luminância 36 calcula as diferenças de luminância nos dados de imagem de visualização aérea, que sofreu a conversão de ponto de visualização pela unidade de conversão de ponto de visualização 31, a fim de detectar as bordas de um objeto tridimensional incluído na imagem de visualização aérea. A unidade de cálculo de diferença de luminância 36 calcula, para cada uma dentre a pluralidade de posições ao longo de uma linha imaginária perpendicular se estendendo ao longo da direção perpendicular em espaço real, a diferença de luminância entre dois pixels perto de cada posição. A unidade de cálculo de diferença de luminância 36 é capaz de calcular a diferença de luminância por um método para configuração de uma linha imaginária perpendicular única se estendendo na direção perpendicular em espaço real, ou um método para configuração de duas linhas imaginárias perpendiculares.

[083]Descrito abaixo se encontra o método específico para configuração de duas linhas imaginárias perpendiculares. A unidade de cálculo de diferença de luminância 36 configura uma primeira linha imaginária perpendicular que corresponde a um seguimento de linha se estendendo na direção perpendicular em espaço real na imagem de visualização aérea convertida no ponto de visualização, e uma segunda linha imaginária perpendicular que é diferente da primeira linha imaginária perpendicular e que corresponde ao segmento de linha que se estende na direção perpendicular em espaço real. A unidade de cálculo de diferença de luminância 36 determina a diferença de luminância entre um ponto na primeira linha imaginária perpendicular e um ponto na segunda linha imaginária perpendicular de forma contínua ao longo da primeira linha imaginária perpendicular e a segunda linha imaginária perpendicular. A operação da unidade de cálculo de diferença de luminância 36 é descrita em detalhes abaixo.

[084]A unidade de cálculo de diferença de luminância 36 configura uma primeira linha imaginária perpendicular La (doravante referida como linha de atenuação La) que corresponde a um segmento de linha se estendendo na direção perpendicular em espaço real e que passa através da área de detecção A1, como ilustrado na figura 20(a). A unidade de cálculo de diferença de luminância 36 configura uma segunda linha imaginária perpendicular Lr (doravante referida como linha de referência Lr) que é diferente da linha de atenção La, corresponde ao segmento de linha se estendendo na direção perpendicular em espaço real e passa através da área de detecção A1. Aqui, a linha de referência Lr é configurada para uma posição em uma distância da linha de atenção La por uma distância predeterminada em espaço real. As linhas que correspondem aos segmentos de linha se estendendo na direção perpendicular em espaço real são linhas que espalham na direção radial a partir da posição Ps da câmera 10 em uma imagem de visualização aérea. Essas linhas espalhando na direção radial são linhas que seguem a direção de desmonte do objeto tridimensional quando convertido em uma vista aérea.

[085]A unidade de cálculo de diferença de luminância 34 configura um ponto de atenção Pa na linha de atenção La (um ponto na primeira linha imaginária perpendicular). A unidade de cálculo de diferença de luminância 36 configura um ponto de referência Pr na linha de referência Lr (um ponto na segunda linha imaginária perpendicular). A linha de atenção La, o ponto de atenção Pa, a linha de referência Lr, e o ponto de referência Pr possuem a relação em espaço real ilustrada na figura 20(b). É aparente a partir da figura 20(b) que a linha de atenção La e a linha de referência Lr são linhas se estendendo na direção perpendicular em espaço real, e que o ponto de atenção Pa e o ponto de referência Pr são pontos configurados para substancialmente a mesma altura em espaço real. O ponto de atenção Pa e o ponto de referência Pr não precisam necessariamente ser mantidos rigorosamente na mesma altura, e uma quantidade determinada de erro que permite que o ponto de atenção Pa e o ponto de referência Pr sejam considerados da mesma altura é permitida.

[086]A unidade de cálculo de diferença de luminância 36 determina a diferença de luminância entre o ponto de atenção Pa e o ponto de referência Pr. Se a diferença de luminância entre o ponto de atenção Pa e o ponto de referência Pr for grande, é possível que uma borda esteja presente entre o ponto de atenção Pa e o ponto de referência Pr. Na segunda modalidade em particular, uma linha imaginária perpendicular é configurada como um segmento de linha se estendendo na direção perpendicular em espaço real com relação à imagem de visualização aérea, a fim de detectar um objeto tridimensional presente nas áreas de detecção A1, A2. Portanto,

existe uma alta possibilidade de haver uma borda de um objeto tridimensional na localização onde a linha de atenção La foi configurada quando a diferença de luminância entre a linha de atenção La e a linha de referência Lr é alta. De acordo, a unidade de detecção de linha de borda 37 ilustrada na figura 18 detecta uma linha de borda com base na diferença de luminância entre o ponto de atenção Pa e o ponto de referência Pr.

[087]Esse ponto será descrito em maiores detalhes. A figura 21 é uma vista para descrever a operação detalhada da unidade de cálculo de diferença de luminância 36. A figura 21(a) ilustra uma imagem de visualização aérea do estado de visualização aérea, e a figura 21(b) é uma vista ampliada de uma parte B1 da imagem de visualização aérea ilustrada na figura 21(a). Na figura 21, apenas a área de detecção A1 é ilustrada e descrita, mas a diferença de luminância é calculada utilizando o mesmo procedimento para a área de detecção A2.

[088]Quando o veículo adjacente V2 está sendo exibido na imagem capturada pela câmera 10, o veículo adjacente V2 aparece na área de detecção A1 na imagem de visualização aérea, como ilustrado na figura 21(a). A linha de atenção La é configurada em uma parte de borracha de um pneumático do veículo adjacente V2 na imagem de visualização aérea na figura 21(b) como ilustrado na vista ampliada da área B1 na figura 21(a). Nesse estado, primeiro, a unidade de cálculo de diferença de luminância 36 configura a linha de referência Lr. A linha de referência Lr é configurada ao longo da direção perpendicular em uma posição configurada em uma distância predeterminada em espaço real a partir da linha de atenção La. Especificamente, no dispositivo de detecção de objeto tridimensional 1a de acordo com a presente modalidade, a linha de referência Lr é configurada em uma posição a uma distância de 10 cm em espaço real da linha de atenção La. A linha de referência Lr é, dessa forma, configurada na roda do pneumático do veículo adjacente V2 configurado, por exemplo, a uma distância que corresponde a 10 cm da borracha do pneumático do veículo adjacente V2 na imagem de visualização aérea.

[089]A seguir, a unidade de cálculo de diferença de luminância 36 configura uma pluralidade de pontos de atenção Pa1 a PaN na linha de atenção La. Na figura 21(b), seis pontos de atenção Pa1 a Pa6 (doravante referidos como ponto de atenção Pai quando da indicação de um ponto arbitrário) são configurados para fins de conveniência da descrição. Um número arbitrário de pontos de atenção Pa pode ser configurado na linha de atenção La. Na descrição abaixo, N pontos de atenção Pa são configurados na linha de atenção La.

[090]A unidade de cálculo de diferença de luminância 36 configura subsequentemente os pontos de referência Pr1 a PrN de modo a ter a mesma altura que os pontos de atenção Pa1 a PaN em espaço real. A unidade de cálculo de diferença de luminância 36 calcula a diferença de luminância entre os pares de ponto de atenção Pa e o ponto de referência Pr na mesma altura. A unidade de cálculo de diferença de luminância 36 calcula dessa forma a diferença de luminância entre dois pixels para cada uma dentre a pluralidade de posições (1-N) ao longo da linha imaginária perpendicular se estendendo na direção perpendicular em espaço real. A unidade de cálculo de diferença de luminância 36 calcula a diferença de luminância entre, por exemplo, um primeiro ponto de atenção Pa1 e um primeiro ponto de referência Pr1, e calcula a diferença de luminância entre um segundo ponto de atenção Pa2 e um segundo ponto de referência Pr2. A unidade de cálculo de diferença de luminância 36 determina, dessa forma, a diferença de luminância de forma contínua ao longo da linha de atenção La e a linha de referência Lr. Em outras palavras, a unidade de cálculo de diferença de luminância 36 determina sequencialmente a diferença de luminância entre os terceiro a N pontos de atenção Pa3 a PaN e o terceiro a N pontos de referência Pr3 a PrN.

[091]A unidade de cálculo de diferença de luminância 36 repete o processo de configuração da linha de referência descrita acima Lr, configurando o ponto de atenção Pa, configurando o ponto de referência Pr, e calculando a diferença de luminância enquanto muda a linha de atenção La dentro da área de detecção A1.

Em outras palavras, a unidade de cálculo de diferença de luminância 36 executa repetidamente o processo descrito acima enquanto altera as posições da linha de atenção La e da linha de referência Lr pela mesma distância em espaço real ao longo da direção na qual a linha de aterramento L1 se estende. A unidade de cálculo de diferença de luminância 36, por exemplo, configura a linha que foi a linha de referência Lr processo anterior para ser alinha de atenção La, configura a linha de referência Lr com relação à linha de atenção La, e determina sequencialmente a diferença de luminância.

[092]Dessa forma, na segunda modalidade, a determinação da diferença de luminância do ponto de atenção Pa na linha de atenção La e o ponto de referência Pr na linha de referência Lr, que estão substancialmente na mesma altura no espaço real, permite que a diferença de luminância seja distintamente detectada quando uma borda se estendendo na direção perpendicular estiver presente. A precisão para detecção de um objeto tridimensional pode ser melhorada sem o processo de detecção do objeto tridimensional ser afetado, mesmo quando o objeto tridimensional é aumentado de acordo com a altura a partir da superfície da estrada pela conversão para uma imagem de visualização aérea a fim de comparar a luminância entre as linhas imaginárias perpendiculares se estendendo na direção perpendicular em espaço real.

[093]Retornando-se à figura 18, a unidade de detecção de linha de borda 37 detecta a linha de borda a partir da diferença de luminância contínua calculada pela unidade de cálculo de diferença de luminância 36. Por exemplo, no caso ilustrado na figura 21(b), o primeiro ponto de atenção Pa1 e o primeiro ponto de referência Pr1 são posicionados na mesma parte de pneumático, e a diferença de luminância é,

portanto, pequena. Por outro lado, os segundo a sexto pontos de atenção Pa2 a Pa6 são posicionados nas partes de borracha do pneumático, e os segundo a sexto pontos de referência Pr2 a Pr6 são posicionados na parte de roda do pneumático.

Portanto, a diferença de luminância entre os segundo a sexto pontos de atenção Pa1 a Pa6 e os segundo a sexto pontos de referência Pr2 a Pr6 é grande. De acordo, a unidade de detecção de linha de borda 37 é capaz de detectar que uma borda está presente entre os segundo a sexto pontos de atenção Pa2 a Pa6 e os segundo a sexto pontos de referência Pr2 a Pr6 onde a diferença de luminância é alta.

[094]Especificamente, quando uma linha de borda deve ser detectada, a unidade de detecção de linha de borda 37 primeiro designa um atributo ao ponto de atenção i Pai a partir da diferença de luminância entre o ponto de atenção i Pai (coordenadas (xi, yi)) e o ponto de referência i Pri (coordenadas (xi', yi')) de acordo com a fórmula 1 notada abaixo FÓRMULA 1 s(xi, yi) = 1 quando I (xi,yi) > I (xi', yi') + t s(xi, yi) = -1 quando I(xi, yi) < I(xi', yi') – t s(xi, yi) = 0 quando o acima não é verdadeiro.

[095]Na fórmula 1 acima, t representa o valor limítrofe de borda, I(xi, yi) representa o valor de luminância do ponto de atenção i Pai, e I(xi', yi') representa o valor de luminância do ponto de referência i Pri. De acordo com a fórmula 1, o atributo s(xi, yi) do ponto de atenção Pai é "1" quando o valor de luminância do ponto de atenção Pai é maior do que o valor de luminância obtido pela adição do valor limítrofe de borda t par ao ponto de referência Pri. Por outro lado, o atributo s(xi, yi)

do ponto de atenção Pai é "-1" quando o valor de luminância do ponto de atenção Pai é inferior ao valor de luminância obtido pela subtração do valor limítrofe de borda t a partir do ponto de referência Pri. O atributo s(xi, yi) do ponto de atenção Pai é igual a "0" quando o valor de luminância do ponto de atenção Pai e o valor de luminância do ponto de referência Pri estão em uma relação além da mencionada acima. O valor limítrofe de borda t é configurado pela unidade de configuração de valor limítrofe de borda descrito posteriormente 38.

[096]A seguir, a unidade de detecção de linha de borda 37 determina se a linha de atenção La é uma linha de borda da continuidade c(xi, yi) do atributo s ao longo da linha de atenção La com base na fórmula 2 a seguir: FÓRMULA 2 c(xi,yi) = 1 quando s(xi, yi) = s(xi, yi + 1) (excluindo quando 0 = 0) c(xi, yi) = 0 quando o acima não for verdadeiro.

[097]A continuidade c(xi, yi) é igual a "1" quando o atributo s(xi, yi) do ponto de atributo Pai e o atributo s(xi + 1, yi + 1) do ponto de atenção adjacente Pai + 1 são iguais. A continuidade c(xi, yi) é igual a "0" quando o atributo s(xi, yi) do ponto de atenção Pai e o atributo s(xi + 1, yi + 1) do ponto de atenção adjacente Pai + 1 não são iguais.

[098]A seguir, a unidade de detecção de linha de borda 37 determina a soma das continuidades c de todos os pontos de atenção Pa na linha de atenção La. A unidade de detecção de linha de borda 37 divide a soma das continuidades c determinadas dessa forma pelo número N de pontos de atenção Pa para, dessa forma, normalizar a continuidade c. A unidade de detecção de linha de borda 37 determina a linha de atenção La para ser uma linha de borda quando o valor normalizado excedeu um valor limite . O valor limite  é configurado antecipadamente pela experimentação ou por outros meios.

[099]Em outras palavras, a unidade de detecção de linha de borda 37 determina se a linha de atenção La é uma linha de borda com base na fórmula 3 notada abaixo. A unidade de detecção de linha de borda 37 então determina se todas as linhas de atenção La retiradas na área de detecção A1 são linhas de borda.

FÓRMULA 3 c(xi, yi)/N > 

[0100]Dessa forma, na segunda modalidade, um atributo é designado para o ponto de atenção Pa com base na diferença de luminância entre o ponto de atenção Pa na linha de atenção La e o ponto de referência Pr na linha de referência Lr, e é determinado se a linha de atenção La é uma linha de borda com base na continuidade c dos atributos ao longo da linha de atenção La. Portanto, os limites entre as áreas possuindo alta luminância e as áreas possuindo baixa luminância são detectados como linhas de borda, e as bordas podem ser detectadas de acordo com os sentidos humanos naturais. Os resultados do acima exposto serão descritos. A figura 22 é uma vista ilustrando um exemplo de imagem para descrever o processamento da unidade de detecção de linha de borda 37. Esse exemplo de imagem é uma imagem na qual um primeiro padrão de listras 101 e um segundo padrão de listras 102 são adjacentes um ao outro, o primeiro padrão de listras 101 indicando um padrão de listras no qual áreas de alta luminância e áreas de baixa luminância são repetidas, e o segundo padrão de listras 102 indicando um padrão de listras no qual as áreas de baixa luminância e as áreas de alta luminância são repetidas. Além disso, nesse exemplo de imagem, áreas do primeiro padrão de listras 101 no qual a luminância é alta, e áreas do segundo padrão de listras 102 no qual a luminância é baixa são adjacentes um ao outro e áreas do primeiro padrão de listras 101 qual a luminância é baixa, e áreas do segundo padrão de listras 102 no qual a luminância é alta são adjacentes uma à outra. A localização 103 posicionada no limite entre o primeiro padrão de listras 101 e o segundo padrão de listras 102 tende a ser percebida como uma borda pelos sentidos humanos.

[0101]Em contraste, visto que as áreas de baixa luminância e as áreas de alta luminância são adjacentes uma à outra, a localização 103 é reconhecida como uma borda quando uma borda é detectada apenas pela diferença de luminância. No entanto, a unidade de detecção de linha de borda 37 determina a localização 103 como sendo uma linha de borda apenas quando existe continuidade nos atributos da diferença de luminância. Portanto, a unidade de detecção de linha de borda 37 pode suprimir a determinação errônea na qual a localização 103, que não é reconhecida como uma linha de borda pelos sentidos humanos, é reconhecida como uma linha de borda, e bordas podem ser detectadas de acordo com os sentidos humanos.

[0102]Retornando-se à figura 18, a unidade de detecção de objeto tridimensional 33a detecta um objeto tridimensional com base na quantidade de linhas de borda detectadas pela unidade de detecção de linha de borda 37. Como descrito acima, o dispositivo de detecção de objeto tridimensional 1a de acordo com a presente modalidade detecta uma linha de borda se estendendo na direção perpendicular em espaço real. A detecção de muitas linhas de borda se estendendo na direção perpendicular indica que existe uma alta possibilidade de um objeto tridimensional estar presente nas áreas de detecção A1, A2. De acordo, a unidade de detecção de objeto tridimensional 33a detecta um objeto tridimensional com base na quantidade de linhas de borda detectadas pela unidade de detecção de linha de borda 37. Especificamente, a unidade de detecção de objeto tridimensional 37a determina se a quantidade de linhas de borda detectada pela unidade de detecção de linha de borda 37 é um valor limítrofe predeterminado  ou maior e quando a quantidade de linhas de bordas é um valor limítrofe predeterminado  ou maior, as linhas de borda detectadas pela unidade de detecção de linha de borda 37 são determinadas como sendo as linhas de borda de um objeto tridimensional.

[0103]Adicionalmente, antes da detecção do objeto tridimensional, a unidade de detecção de objeto tridimensional 33a determina se as linhas de borda detectadas pela unidade de detecção de linha de borda 37 estão corretas. A unidade de detecção de objeto tridimensional 33a determina se uma mudança na luminância nas linhas de borda é um valor limítrofe predeterminado Tb ou maior ao longo das linhas de borda da imagem de visualização aérea. Quando a mudança na luminância nas linhas de borda na imagem de visualização aérea é um valor limítrofe predeterminado tb ou maior, as linhas de borda são determinadas como tendo sido detectadas pela determinação errônea. Por outro lado, quando a mudança em luminância nas linhas de borda na imagem de visualização aérea é inferior a um valor limítrofe predeterminado tb, é determinado que as linhas de borda estejam corretas. O valor limítrofe tb é configurado antecipadamente pela experimentação ou outros meios.

[0104]A figura 23 é uma vista ilustrando a distribuição de luminância na linha de borda, a figura 23(a) ilustra a linha de borda e a distribuição de luminância quando um veículo adjacente V2 como um objeto tridimensional está presente na área de detecção A1, e a figura 23(b) ilustra a linha de borda e a distribuição de luminância quando um objeto tridimensional não está presente na área de detecção A1.

[0105]Como ilustrado na figura 23(a), é considerado que foi determinado que a linha de atenção La configurada na parte de borracha de pneumático do veículo adjacente V2 em uma linha de borda na imagem de visualização aérea. Nesse caso, a mudança na luminância na linha de atenção La na imagem de visualização aérea é gradual. Isso se deve ao fato de a imagem capturada pela câmera 10 ser convertida em ponto de visualização para uma imagem de visualização aérea, onde o pneumático do veículo adjacente é aumentado dentro da imagem de visualização aérea, Por outro lado, a linha de atenção La configurada na parte de caractere branco "50" desenhado na superfície da estrada na imagem de visualização aérea é considerada como tendo sido erroneamente determinada como sendo uma linha de borda, como ilustrado na figura 23(b). Nesse caso, a mudança na luminância na linha de atenção La na imagem de visualização aérea possui ondulações consideráveis. Isso porque a estrada e outras partes de baixa luminância são misturadas com as partes de alta luminância nos caracteres em branco na linha de borda.

[0106]A unidade de detecção de objeto tridimensional 33a determina se uma linha de borda foi detectada pela determinação errônea com base nas diferenças na distribuição de luminância na linha de atenção La como descrito acima. Quando a mudança na luminância ao longo de uma linha de borda estiver em um valor limítrofe predeterminado tb ou maior, a unidade de detecção de objeto tridimensional 33a determina que a linha de borda foi detectada pela determinação errônea e que a linha de borda não é causada por um objeto tridimensional. Uma redução na precisão para detecção de um objeto tridimensional é dessa forma suprimida quando os caracteres em branco tal como "50" na superfície da estrada, vegetação ao longo da estrada, e similares são determinados como sendo linhas de borda. Por outro lado, a unidade de detecção de objeto tridimensional 33a determina que uma linha de borda é a linha de borda de um objeto tridimensional e determina que um objeto tridimensional esteja presente quando mudanças na luminância ao longo da linha de borda são inferiores a um valor limite predeterminado tb.

[0107]Especificamente, a unidade de detecção de objeto tridimensional 33a calcula a mudança na luminância da linha de borda utilizando a fórmula 4 ou 5 notadas abaixo. A mudança na luminância da linha de borda corresponde ao valor de avaliação em espaço real na direção perpendicular. A fórmula 4 avalia a distribuição de luminância utilizando o valor total do quadrado da diferença entre o valor de luminância i I(xi, yi) e o valor de luminância i + 1 adjacente I (xi + yi +1) na linha de atenção La. A fórmula 5 avalia a distribuição de luminância utilizando o valor total do valor absoluto da diferença entre o valor de luminância i I(xi, yi) e o valor de luminância i + 1 adjacente (I(xi +1, yi + 1) na linha de atenção La.

FÓRMULA 4 Valor de avaliação na direção equivalente perpendicular = [{I(xi, yi) – I(xi + 1, yi + 1)}2] FÓRMULA 5 Valor de avaliação na direção equivalente perpendicular = |I(xi, yi) – I(xi + 1, yi + 1)|

[0108]Nenhuma limitação é imposta ao uso da fórmula 5, e é possível também se binarizar um atributo b de um valor de luminância adjacente utilizando um valor limítrofe t2, e então somar o atributo binarizado b para todos os pontos de atenção Pa, como na fórmula 6 notada abaixo.

FÓRMULA 6 O valor de avaliação na direção equivalente perpendicular = b(xi, yi) onde b(xi, yi) = 1 quando |I(xi, yi) – I(xi + 1, yi + I)| > t2 e b(xi, yi) = 0 quando o acima não é verdadeiro.

[0109]O atributo b(xi, yi) do ponto de atenção Pa(xi, yi) é "1" quando o valor absoluto da diferença de luminância entre o valor de luminância do ponto de atenção Pai e o valor de luminância do ponto de referência Pri é maior do que um valor limite t2. Quando a relação acima não é verdadeira, o atributo b(xi, yi) do ponto de atenção Pai é "0". O valor limite t2 é configurado antecipadamente pela experimentação ou por outros meios de modo que a linha de atenção La não seja determinada como estando no mesmo objeto tridimensional. A unidade de detecção de objeto tridimensional 33a então soma o atributo b para todos os pontos de atenção Pa na linha de atenção La e determinar o valor de avaliação na direção equivalente perpendicular para, dessa forma, determinar se uma linha de borda é causada por um objeto tridimensional e que um objeto tridimensional está presente.

[0110]Retornando-se à figura 18, a unidade de configuração de valor limite de borda 38 configura o valor limítrofe de borda t para ser utilizado nas detecção de linhas de borda, com base na nitidez final calculada pela unidade de cálculo de nitidez 35. Especificamente, a unidade de configuração de valor limítrofe de borda 38 configura o valor limítrofe de borda t maior de forma comensurável para uma nitidez final maior, como ilustrado na figura 24, e configura valor limítrofe de borda t menor de forma comensurável de uma nitidez final inferior. O método de cálculo da nitidez final realizada pela unidade de cálculo de nitidez 35 é igual ao da primeira modalidade, e uma descrição do mesmo é, portanto, omitida.

[0111]A seguir, o método de detecção de um veículo adjacente de acordo com a segunda modalidade será descrito. As figuras 25 e 26 são fluxogramas ilustrando os detalhes do método para detecção de um veículo adjacente de acordo com a segunda modalidade. Nas figuras 25 e 26, o processo envolvido com a área de detecção A1 será descrito para fins de conveniência, mas o mesmo processo é executado para a área de detecção A2 também.

[0112]Primeiro, na etapa S201, os dados de imagem da imagem capturada pela câmera 10 são adquiridos pelo computador 30a. A seguir, a unidade de conversão de ponto de visualização 31 converte o ponto de visualização dos dados de imagem adquiridos e gera os dados de imagem de visualização aérea na etapa S202.

[0113]A seguir, a unidade de cálculo de nitidez 35 configura, como a área de imagem de referência, uma área da imagem de visualização aérea PBt onde a extração de uma quantidade predeterminada de bordas ou maior é prevista (etapa S203), e calcula a quantidade de clareza da imagem na área de imagem de referência como a nitidez de referência (etapa S204). Além disso, a unidade de cálculo de nitidez 35 calcula a quantidade de clareza da imagem nas áreas de detecção A1, A2 como a nitidez de sujeito (etapa S205).

[0114]A unidade de cálculo de nitidez 35 seleciona o valor mais alto da nitidez de referência calculada na etapa S204 e a nitidez de sujeito calculada na etapa S205 para, dessa forma, calcular a nitidez final (etapa S206). A unidade de configuração de valor limítrofe de diferença 34 então configura o valor limítrofe de borda t (etapa S207) com base na nitidez final calculada na etapa S206, como ilustrado na figura 24.

[0115]Avançando para a figura 26, a unidade de cálculo de diferença de luminância 36 configura a linha de atenção La e a linha de referência Lr na área de detecção A1 na etapa S208. Nesse ponto, a unidade de cálculo de diferença de luminância 36 configura uma linha correspondente a uma linha que se estende na direção perpendicular em espaço real como a linha de atenção La, e configura uma linha que corresponde a um segmento de linha se estendendo na direção perpendicular espaço real e uma linha separada da linha de atenção La por uma distância predeterminada em espaço real como a linha de referência Lr.

[0116]A seguir, na etapa S209, a unidade de cálculo de diferença de luminância 36 configura uma pluralidade de pontos de atenção Pa na linha de atenção La, e configura um ponto de referência Pr de modo que os pontos de atenção Pa e o ponto de referência Pr estão substancialmente na mesma altura no espaço real. Os pontos de atenção Pa e o ponto de referência Pr, dessa forma, alinham substancialmente na direção horizontal, e a linha de borda se estendendo na direção perpendicular em espaço real é mais prontamente detectada. A unidade de cálculo de diferença de luminância 36 configura um número determinado de pontos de atenção Pa que não será problemático durante a detecção de borda pela unidade de detecção de linha de borda 37.

[0117]A seguir, na etapa S210, a unidade de cálculo de diferença de luminância 36 calcula a diferença de luminância entre os pontos de atenção Pa e os pontos de referência Pr na mesma altura no espaço real. A unidade de detecção de linha de borda 37 calcula o atributo s dos pontos de atenção Pa de acordo com a fórmula 1 descrita acima com base no valor limítrofe de borda t configurado na etapa S207.

[0118]Na etapa S211, a unidade de detecção de linha de borda 37 então calcula a continuidade c do atributo s dos pontos de atenção Pa de acordo com a fórmula 2. Na etapa S212, a unidade de detecção de linha de borda 37 determina adicionalmente se um valor obtido pela normalização da soma da continuidade c é maior do que um valor limite  de acordo com a fórmula 3. Quando foi determinado que o valor normalizado é maior do que o valor limite (etapa S212 = Sim), a unidade de detecção de linha de borda 37 detecta a linha de atenção La como a linha de borda na etapa S213. O processo então prossegue para a etapa S214. Quando for determinado que o valor normalizado não é maior do que o valor limite  (etapa S121 = Não), a unidade de detecção de linha de borda 37 não detecta que essa linha de atenção La é uma linha de borda, e o processo prossegue para a etapa S214.

[0119]Na etapa S214, o computador 30a determina se os processos das etapas S308 a S214 foram executados para todas as linhas de atenção La que podem ser determinadas na área de detecção A1. Quando for determinado que os processos acima não foram realizados para todas as linhas de atenção La (etapa S214 = Não), o processo retorna para a etapa S208, configura uma nova linha de atenção La, e repete o processo através da etapa S214. Por outro lado, quando for determinado que os processos foram realizados para todas as linhas de atenção La (etapa S214 = Sim), o processo prossegue para a etapa S215.

[0120]Na etapa S215, a unidade de detecção de objeto tridimensional 33a calcula a mudança na luminância ao longo da linha de borda para cada linha de borda detectada na etapa S213. A unidade de detecção de objeto tridimensional 33a calcula a mudança na luminância das linhas de borda de acordo com qualquer uma das fórmulas 4, 5 e 6. A seguir, na etapa S216, a unidade de detecção de objeto tridimensional 33a exclui, dentre as linhas de borda, linhas de borda nas quais a mudança na luminância está em um valor limítrofe predeterminado tb ou maior. Em outras palavras, quando uma linha de borda possuindo uma mudança grande na luminância não é determinada como sendo uma linha de borda correta, a linha de borda não é utilizada para detecção de um objeto tridimensional. Como descrito acima, isso é feito a fim de suprimir a detecção de caracteres na superfície da estrada, vegetação de beira de estrada, e similares incluída na área de detecção A1 como linhas de borda. Portanto, o valor limite predeterminado tb é determinado pela experimentação ou outros meios antecipadamente, e é configurado com base na mudança na luminância que ocorre devido aos caracteres na superfície de estrada, vegetação de beira de estrada e similares. Por outro lado, a unidade de detecção de objeto tridimensional 33a determina, entre as linhas de borda, uma linha de borda possuindo uma mudança na luminância que é inferior a um valor limite predeterminado tb como sendo uma linha de borda de um objeto tridimensional, e, dessa forma, detecta o objeto tridimensional presente em uma faixa adjacente.

[0148]A seguir, na etapa S217, é determinado pela unidade de detecção de objeto tridimensional 33a se a quantidade de linhas de borda é um valor limite predeterminado  ou maior. Quando for determinado que a quantidade de linhas de borda está no valor limite  ou maior (etapa S217 = Sim), a unidade de detecção de objeto tridimensional 33a determina que um veículo adjacente está presente na área de detecção A1 na etapa S218. Por outro lado, quando for determinado que a quantidade de linhas de borda não é um valor limite  ou maior (etapa S218 = Não), a unidade de detecção de objeto tridimensional 33a determina na etapa S219 que um veículo adjacente não está presente na área de detecção A1. O processamento ilustrado nas figuras 25 e 26 então termina.

[0149]Dessa forma, na segunda modalidade, uma imagem capturada é convertida em uma imagem de visualização aérea, e a informação de borda do objeto tridimensional é detectada a partir da imagem de visualização aérea convertida para, dessa forma, detectar um veículo adjacente presente em uma faixa adjacente. Além disso, na segunda modalidade, quando uma imagem de diferença PDt deve ser gerada, uma área de imagem na qual a extração de uma quantidade fixa de bordas ou mais é prevista é configurada como a área de imagem de referência, a quantidade de clareza da imagem na área de imagem de referência é calculada como a nitidez de referência com base nas bordas detectada na área de imagem de referência, e a quantidade de clareza da imagem nas área de detecção é calculada como a nitidez de sujeito com base nas bordas detectadas nas áreas de detecção A1, A2, e o valor mais alto de nitidez de referência e nitidez de sujeito é selecionado como a nitidez final, de forma similar à primeira modalidade. O valor limite de diferença th é configurado mais alto de forma comensurável para uma nitidez final maior calculada, e o valor limítrofe de diferença th é configurado mais baixo de forma comensurável para uma nitidez final inferior. Em adição aos efeitos da primeira modalidade, é, dessa forma, possível se melhorar a sensibilidade para detecção da diferença entre duas imagens de visualização aérea em momentos diferentes quando a nitidez final é calculada como sendo um valor baixo visto que a lente da câmera 10 está suja e a imagem não possui clareza, mesmo quando um objeto tridimensional é detectado com base na informação de borda. Como resultado disso, uma diferença que corresponde a um objeto tridimensional pode ser adequadamente detectada dentre as duas imagens de visualização aérea em momentos diferentes, e o objeto tridimensional pode ser detectado com precisão com base na diferença detectada.

[0121]As modalidades descritas acima são descritas a fim de facilitar a compreensão da presente invenção e não são descritas a fim de limitar a presente invenção. Portanto, os elementos descritos nas modalidades acima devem incluir todas as modificações de desenho e equivalências que se encontram dentro da faixa técnica da presente invenção.

[0122]Por exemplo, nas modalidades descritas acima, uma configuração foi fornecida como um exemplo no qual a nitidez de referência e a nitidez de sujeito são calculadas, e a maior dente a nitidez de referência calculada e a nitidez de sujeito é selecionada para, dessa forma, calcular a nitidez final, como ilustrado na figura 8. No entanto, nenhuma limitação é imposta e é possível também se utilizar uma configuração na qual, por exemplo, a nitidez de sujeito é calculada, a nitidez de referência é determinada em um valor fixo, e a maior dentre a nitidez de sujeito e nitidez de referência calculada configurada de antemão sendo selecionada para, dessa forma, calcular a nitidez final, como ilustrado na figura 27. Alternativamente, como ilustrado na figura 28, é possível também se utilizar uma configuração na qual a nitidez de sujeito seja calculada, e uma primeira nitidez de referência e uma segunda nitidez de referência que é menor do que a primeira nitidez de referência sejam configuradas para valores fixos, a primeira nitidez de referência sendo selecionada como a nitidez final quando a nitidez de sujeito é maior do que a primeira nitidez de referência, a segunda nitidez de referência sendo selecionada como a nitidez final quando a nitidez de sujeito é inferior à segunda nitidez de referência, e a nitidez de sujeito sendo selecionada como a nitidez final quando a nitidez de sujeito é igual a ou inferior à primeira nitidez de referência e é igual a ou maior do que a segunda nitidez de referência. A nitidez final é expressa como uma linha sólida nas figuras 27 e 28 da mesma forma que na figura 8.

[0123]Uma configuração foi fornecida como um exemplo nas modalidades descritas acima nas quais o valor limítrofe de diferença th ou o valor limítrofe de borda t é modificado de acordo com a nitidez final, mas nenhuma limitação é imposta pelo menos, e também é possível se utilizar uma configuração na qual o valor limite  ou o valor limite  utilizados para determinar um veículo adjacente é modificado de acordo com a nitidez final. Além disso, é possível também se utilizar uma configuração na qual o valor limite , o valor limite b, e o valor limite t2 para detecção de linhas de borda são modificados de acordo com a finalidade final.

[0124]Adicionalmente, uma configuração foi fornecida como um exemplo nas modalidades descritas acima onde uma área de imagem possuindo uma diferença de brilho com as cercanias que é um valor predeterminado ou maior e um tamanho possuindo uma área de superfície predeterminada ou maior é detectado como uma área correspondendo à fonte de luz quando uma área de imagem contendo uma imagem de iluminação de ruas, faróis de outro veículo, ou outra fonte de luz estiver para ser configurada como a área de imagem de referência, mas nesse caso, é possível também se utilizar uma configuração na qual a extensão de névoa na lente (um filme branco fino formado na superfície da lente) é calculada como a extensão de névoa, e a fonte de luz é detectada mais prontamente de forma comensurável para uma quantidade maior de névoa na lente. Especificamente, a redução do valor limite de luminância para detecção de uma fonte de luz ou redução da área de superfície de forma comensurável para um grau maior de névoa de lente torna a fonte de luz mais prontamente detectável.

[0125]O método de cálculo da extensão de névoa na lente não é particularmente limitado, e é possível, por exemplo, se calcular a extensão de névoa na lente da seguinte forma. Em outras palavras, quando resíduos de água ou outra matéria estranha são depositados na lente e a lente fica manchada, existem casos nos quais uma parte do fluxo luminoso do sujeito pode ser bloqueada por matéria estranha depositada na lente ou pode ser refletido de forma irregular, e uma imagem do sujeito não pode ser prontamente capturada. De acordo, quando a lente é manchada, o brilho da imagem capturada, isso é, a nitidez da imagem tende a ser reduzida. Em vista dessa situação, é possível se determinar que a lente está mais suja de forma comensurável para uma nitidez de imagem menor e se tornar a fonte de luz mais prontamente detectável. No caso particular de a lente estar suja, a luz de uma fonte de luz capturada é enfraquecida pela matéria estranha depositada na lente, e pode haver casos nos quais a luminância na periferia da fonte de luz a uma distância do centro da fonte de luz é reduzida mais do que a luminância detectada como a fonte de luz. De acordo, quando a lente está suja, o tamanho da fonte de luz capturada é reduzido em comparação com quando a lente não está suja, e pode haver casos nos quais a diferença na luminância com as cercanias é reduzida. Em vista do acima exposto, quando o grau de sujeira na lente é considerável, é possível se utilizar uma configuração na qual uma fonte de luz é detectada e uma área de imagem contendo a fonte de luz é configurada como a área de imagem de referência, mesmo quando o tamanho da área de alta luminância é pequeno ou a diferença na luminância com as cercanias é baixa.

[0126]A câmera 10 nas modalidades descritas acima corresponde ao dispositivo de captura de imagem da presente invenção. A unidade de detecção de objeto tridimensional 33, 33a corresponde aos meios de configuração de área de detecção da presente invenção. A unidade de conversão de ponto de visualização 31 corresponde ao dispositivo de conversão de imagem da presente invenção, e a unidade de alinhamento 32, a unidade de detecção de objeto tridimensional 33, 33a, a unidade de configuração de valor limite de diferença 34, a unidade de cálculo de diferença de luminância 36, a unidade de detecção de linha de borda 37, e a unidade de configuração de valor limite de borda 38 correspondem aos meios de detecção de objeto tridimensional da presente invenção, e a unidade de cálculo de nitidez 35 corresponde ao dispositivo de detecção de fonte de luz, dispositivo de configuração de área de imagem de referência, dispositivo de extração de informação de contorno, dispositivo de cálculo de nitidez de referência, e dispositivo de cálculo de nitidez de sujeito da presente invenção.

LISTA DE SINAIS DE REFERÊNCIA 1, 1a:dispositivo de detecção de objeto tridimensional 10:câmera 20: sensor de velocidade 30, 30a: computador 31:unidade de conversão de ponto de visualização 32:unidade de alinhamento 33, 33a:unidade de detecção de objeto tridimensional 34:unidade de configuração de valor limite de diferença 35:unidade de cálculo de nitidez 36:unidade de cálculo de diferença de luminância 37:unidade de detecção de linha de borda 38:unidade de configuração de valor limite de borda a:ângulo de visualização A1, A2:área de detecção CP:ponto de cruzamento DP:pixels de diferença DWt, DWt':forma de onda de diferença DWt1 a DWm, DWm+k a DWtn:áreas pequenas L1, L2:linha de solo La, Lb:linha na direção na qual o objeto tridimensional desmonta PBt;Imagem de visualização aérea PDt:imagem de diferença V1:veículo hospedeiro V2:veículo adjacente

Claims

REIVINDICAÇÕES

1. Dispositivo de detecção de objeto tridimensional, CARACTERIZADO pelo fato de compreender: uma câmera disposta para capturar imagens atrás de um veículo hospedeiro equipado com o dispositivo de detecção de objetos tridimensional; e um computador; o computador sendo programado para configurar uma área de detecção para detectar um objeto tridimensional atrás do veículo hospedeiro; o computador sendo programado para converter um ponto de visualização das imagens obtidas pela câmera para criar imagens de visualização aérea; o computador sendo programado para detectar a presença de um objeto tridimensional dentro da área de detecção na qual as imagens de visualização aérea obtidas em momentos diferentes estão alinhadas, e a informação de forma de onda de diferença é gerada através da contagem e criação de uma distribuição de frequência de um número de pixels que indica uma diferença predeterminada tendo um valor limite de diferença ou maior em uma imagem de diferença das imagens de visualização aérea alinhadas que foram alinhadas para detectar a presença do objeto tridimensional dentro da área de detecção; o computador sendo programado para configurar, como uma área de imagem de referência, uma área de imagem que é diferente da área de detecção e na qual a extração da informação de contorno de um sujeito é prevista; o computador sendo programado para extrair a informação de contorno de um sujeito na área de imagem de referência e na área de detecção; o computador sendo programado para calcular uma quantidade de brilho de uma imagem na área de imagem de referência como uma nitidez de referência, com base na informação de contorno extraída na área de imagem de referência; e o computador sendo programado para calcular uma quantidade de brilho de uma imagem na área de detecção como uma nitidez de sujeito, com base na informação de contorno extraída na área de detecção; o computador calculando uma nitidez final com base na nitidez de referência e na nitidez de sujeito, e configurando o valor limite de diferença com base na nitidez final que foi calculada.

2. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o computador define uma área correspondente a uma imagem de uma imagem de um para-choque do veículo hospedeiro, um invólucro para fixar a câmara no veículo hospedeiro e uma placa de veículo do veículo hospedeiro como a área de imagem de referência.

3. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o computador configura uma área correspondente a uma imagem que contém um horizonte terrestre ou um horizonte aquático como área de imagem de referência.

4. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que ainda compreende: o computador sendo programado para detectar uma fonte de luz presente atrás do veículo hospedeiro, com base nas imagens obtidas pela câmera, o computador configurando uma área contendo uma imagem da fonte de luz detectada como a área de imagem de referência.

5. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que o computador detecta a área de imagem que contém a fonte de luz a partir das imagens obtidas pela câmera como tendo um tamanho de uma área de superfície predeterminada ou maior e uma diferença em luminância em relação às áreas circundantes com uma diferença de luminância predeterminada ou maior.

6. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que compreende ainda: o computador sendo programado para calcular uma extensão de névoa nas lentes de uma câmera com base na nitidez final; e o computador sendo programado para melhorar a detecção da fonte de luz através da redução de pelo menos uma das diferenças de luminância predeterminadas e da área de superfície predeterminada à medida que a extensão de névoa nas lentes se torna maior.

7. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o computador extrai informação de borda do sujeito como a informação de contorno do sujeito, o computador calcula a nitidez de referência com base na intensidade de borda da informação de borda extraída na área de imagem de referência, e o computador calcula a nitidez de sujeito com base em uma intensidade de borda da informação de borda extraída na área de detecção.

8. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o computador extrai um componente de frequência específico obtido a partir de uma imagem com base nas imagens obtidas pela câmera como a informação de contorno do sujeito, o computador calcula a nitidez de referência com base no componente de frequência extraído na área de imagem de referência, e o computador calcula a nitidez de sujeito com base no componente de frequência extraído na área de detecção.

9. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que o computador detecta uma área tendo uma luminância de um valor predeterminado ou maior como uma área de alta luminância e extrai uma inclinação de luminância nas proximidades da área de alta luminância como a informação de contorno do sujeito, o computador calcula a nitidez de referência com base na inclinação de luminância nas proximidades da área de alta luminância extraída na área de imagem de referência, e o computador calcula a nitidez de sujeito com base na inclinação de luminância na periferia da área de alta luminância extraída na área de detecção.

10. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o computador calcula como nitidez final um valor maior da nitidez de referência e da nitidez de sujeito como resultado de uma comparação da nitidez de referência e da nitidez de sujeito e define o valor limite de diferença como sendo o maior de forma proporcional à maior nitidez final.

11. Dispositivo de detecção de objeto tridimensional, CARACTERIZADO pelo fato de compreender: uma câmera disposta para capturar uma imagem da traseira de um veículo hospedeiro equipado com o dispositivo de detecção de objeto tridimensional; e um computador; o computador sendo programado para configurar uma área de detecção para detectar um objeto tridimensional atrás do veículo hospedeiro; o computador sendo programado para converter um ponto de visualização da imagem obtida pela câmera para criar uma imagem de visualização aérea; o computador sendo programado para detectar a presença de um objeto tridimensional dentro da área de detecção predeterminada pelo processamento de detecção de direção de largura de veículo com base em informação de borda tendo um valor limite de borda predeterminado ou maior em informação de contorno obtida a partir de um contorno de um sujeito na imagem de visualização aérea; o computador sendo programado para configurar, como uma área de imagem de referência, uma área de imagem que é diferente da área de detecção e na qual a extração de informação de contorno de um sujeito é prevista; o computador sendo programado para extrair informação de contorno de um sujeito na área de imagem de referência e na área de detecção; o computador sendo programado para calcular uma quantidade de brilho de uma imagem na área de imagem de referência como uma nitidez de referência, com base na informação de contorno extraída na área de imagem de referência; e o computador sendo programado para calcular uma quantidade de brilho de uma imagem na área de detecção como uma nitidez de sujeito, com base na informação de contorno extraída na área de detecção, o computador calculando uma nitidez final com base na nitidez de referência e na nitidez de sujeito e configurando o valor limite de borda com base na nitidez final que foi calculada.

12. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de: o computador calcular como a nitidez final o maior valor da nitidez de referência e da nitidez de sujeito como resultado de uma comparação da nitidez de referência e da nitidez de sujeito, e configurar o valor limite de borda para ser maior à medida que a nitidez final se torna maior.

13. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o computador define uma área correspondente a uma imagem de uma imagem de um para-choque do veículo hospedeiro, um invólucro para fixar a câmera no veículo hospedeiro e uma placa de veículo do veículo hospedeiro como a área de imagem de referência.

14. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o computador configura uma área correspondente a uma imagem que contém um horizonte terrestre ou um horizonte aquático como a área de imagem de referência.

15. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que ainda compreende: o computador sendo programado para detectar uma fonte de luz presente atrás do veículo hospedeiro, com base na imagem obtida pela câmera, o computador configurando uma área contendo uma imagem da fonte de luz detectada como a área de imagem de referência.

16. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de que o computador detecta a área de imagem que contém a fonte de luz a partir da imagem obtida pela câmera como tendo um tamanho de uma área de superfície predeterminada ou maior e uma diferença na luminância em relação às áreas circundantes com uma diferença de luminância predeterminada ou maior.

17. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de que compreende ainda: o computador sendo programado para calcular uma extensão de névoa nas lentes de uma câmera com base na nitidez final; e o computador sendo programado para melhorar a detecção da fonte de luz através da redução de pelo menos uma das diferenças de luminância predeterminadas e da área de superfície predeterminada à medida que a extensão de névoa nas lentes se torna maior.

18. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o computador extrai informação de borda do sujeito como a informação de contorno do sujeito, o computador calcula a nitidez de referência com base em uma intensidade de borda da informação de borda extraída na área de imagem de referência, e o computador calcula a nitidez de sujeito com base em uma intensidade de borda da informação de borda extraída na área de detecção.

19. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o computador extrai um componente de frequência específico obtido a partir de uma imagem com base na imagem obtida pela câmera como a informação de contorno do sujeito, o computador calcula a nitidez de referência com base no componente de frequência extraído na área de imagem de referência, e o computador calcula a nitidez de sujeito com base no componente de frequência extraído na área de detecção.

20. Dispositivo de detecção de objeto tridimensional, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de que o computador detecta uma área tendo uma luminância de um valor predeterminado ou maior como uma área de alta luminância e extrai uma inclinação de luminância nas proximidades da área de alta luminância como a informação de contorno do sujeito, o computador calcula a nitidez de referência com base na inclinação de luminância nas proximidades da área de alta luminância extraída na área de imagem de referência, e o computador calcula a nitidez de sujeito com base na inclinação de luminância na periferia da área de alta luminância extraída na área de detecção.