BR112015028772B1

BR112015028772B1 - Sistema de processamento de imagens

Info

Publication number: BR112015028772B1
Application number: BR112015028772-7A
Authority: BR
Inventors: Ryosuke Kasahara; Koichiro Nakamura
Original assignee: Ricoh Company, Ltd
Priority date: 2013-05-15
Filing date: 2014-05-08
Publication date: 2021-12-07
Also published as: EP2997726A1; KR20150142055A; BR112015028772A2; JP2015109625A; CN105247847A; JP6417666B2; CN105247847B; US20160094771A1; WO2014185479A1; US9674459B2; EP2997726B1; KR101710295B1; EP2997726A4

Abstract

sistema de processamento de imagens. um sistema de processamento de imagens inclui uma unidade de sobreposição de polarização de brilho 20. a unidade de sobreposição de polarização de brilho 20 sobrepõe, em uma imagem de brilho, informação de polarização de uma imagem imp, que inclui a informação de polarização, como uma alteração no brilho de cada pixel. o sistema de processamento de imagens tem uma função de emissão de uma imagem obtida por sobreposição pela unidade de sobreposição de polarização de brilho como uma imagem de saída imo.

Description

Campo Técnico

[0001] A presente invenção refere-se a um sistema de processamento de imagens e, especificamente, a um sistema de processamento de imagens que processa uma imagem incluindo informação de polarização.

Antecedentes da Invenção

[0002] É conhecido que a informação de polarização é usada para o processamento de imagens (Publicação de Patente Japonesa Aberta à Inspeção Pública N°. 2011-29903, Patente Japonesa N°. 4563513, Publicação de Patente Japonesa Aberta à Inspeção Pública N°. 2012-185602, Publicação de Patente Japonesa Aberta à Inspeção Pública N°. 2002-286862 e semelhantes).

[0003] Por exemplo, é conhecido que, em um dispositivo de captura de imagens, tal como uma câmera, “um filtro de polarização dividido em áreas” é disposto em um elemento de captura de imagens e a direção de polarização da luz obtida por um pixel é alterada para captar uma imagem.

[0004] Além disso, é conhecido um método de geração de “uma fotografia” pela utilização de informação de brilho obtida como uma imagem de brilho e utilização da informação de polarização obtida como informação de cores.

[0005] Por exemplo, a Publicação de Patente Japonesa Aberta à Inspeção Pública N°. 2011-29903 descreve um método, que inclui a obtenção de “uma imagem incluindo informação de polarização” pela utilização do filtro de polarização e geração da imagem considerando um vetor normal da informação de polarização como a direção de uma seta.

[0006] A Publicação de Patente Japonesa Aberta à Inspeção Pública N°. 2011-29903 também descreve um método, que inclui a determinação de um espectro de raio visível, de acordo com um ângulo de polarização, e “a reconstrução de cada pixel por codificação de cores”, de acordo com o ângulo de polarização.

[0007] No método descrito na Publicação de Patente Japonesa Aberta à Inspeção Pública N°. 2011-29903, a informação de polarização da imagem de saída é expressa com “a seta e a cor”. Dessa forma, quando a informação de polarização é utilizada, é impossível utilizar “um processo geral na imagem de brilho”.

[0008] Por exemplo, mesmo que se pretenda utilizar a imagem que inclui a informação de polarização de uma câmera montada em veículo para “reconhecimento de uma faixa branca na superfície de uma estrada”, é impossível executar um processo com base em “um algoritmo para o reconhecimento de faixa branca utilizando brilho”.

[0009] Em outras palavras, é necessário desenvolver um novo “processamento de reconhecimento de faixa branca utilizado para a informação de polarização expressa como cor”.

Sumário da Invenção Problema Técnico

[0010] Sob as circunstâncias acima descritas, existe a necessidade de prover um novo sistema de processamento de imagens que torne possível utilizar informação de polarização, empregando um processo em uma imagem de brilho. Solução para o Problema

[0011] Um sistema de processamento de imagens, de acordo com a presente invenção, inclui: uma unidade de sobreposição de polarização de brilho, que sobrepõe informação de polarização de uma imagem, que inclui a informação de polarização, em uma imagem de brilho como uma alteração no brilho de cada pixel. O sistema de processamento de imagens tem uma função de geração de uma imagem obtida por sobreposição pela unidade de sobreposição de polarização de brilho como uma imagem de saída.

Efeitos Vantajosos da Invenção

[0012] De acordo com o sistema de processamento de imagens de uma concretização, a informação de polarização é sobreposta na imagem de brilho como alteração no brilho de cada pixel e é gerada como uma imagem de saída.

[0013] Dessa forma, o processamento geral de imagens na imagem de brilho pode ser realizado na imagem de saída a ser gerada.

Breve Descrição dos Desenhos

[0014] A figura 1 é um diagrama ilustrando uma concretização de um sistema de processamento de imagens;

[0015] A figura 2 é um diagrama ilustrando um modelo de reflexão por um objeto;

[0016] A figura 3 é um diagrama ilustrando outra concretização do sistema de processamento de imagens;

[0017] As figuras 4A e 4B são vistas ilustrando um exemplo da imagem de brilho e de uma imagem sobreposta de polarização de brilho do mesmo objeto a ser capturado;

[0018] As figuras 5A e 5B são vistas ilustrando outro exemplo da imagem de brilho e da imagem sobreposta de polarização de brilho do mesmo objeto a ser capturado;

[0019] As figuras 6A e 6B são diagramas ilustrando ainda outro exemplo da imagem de brilho e da imagem sobreposta de polarização de brilho do mesmo objeto a ser capturado;

[0020] A figura 7 é um fluxograma para obtenção do grau de saturação da imagem de brilho;

[0021] A figura 8 é um diagrama ilustrando o sistema de processamento de imagens utilizado para controlar um veículo; e

[0022] A figura 9 é um diagrama ilustrando um exemplo de hardware do sistema de processamento de imagens.

Descrição de Concretizações

[0023] Concretizações da presente invenção serão descritas abaixo.

[0024] A figura 1(a) é um diagrama conceitual ilustrando uma concretização de um sistema de processamento de imagens.

[0025] Na figura 1(a), o número de referência 10 indica uma “unidade de captura de imagens”, o número de referência 20 indica a “unidade de sobreposição de polarização de brilho”, e o número de referência 30 indica uma “unidade de processamento de imagens/reconhecimento de imagens”.

[0026] Entre a unidade de captura de imagens 10, a unidade de sobreposição de polarização de brilho 20 e a unidade de processamento de imagens/reconhecimento de imagens 30, a unidade de sobreposição de polarização de brilho 20 é essencial para o sistema de processamento de imagens da presente invenção.

[0027] Em outras palavras, a unidade de sobreposição de polarização de brilho 20 sozinha pode constituir o sistema de processamento de imagens da presente invenção.

[0028] A unidade de captura de imagens 10 pode ser combinada com a unidade de sobreposição de polarização de brilho 20, separadamente do sistema de processamento de imagens da presente invenção, ou pode constituir uma parte do sistema de processamento de imagens.

[0029] Da mesma forma, a unidade de processamento de imagens/reconhecimento de imagens 30 pode também ser separada do sistema de processamento de imagens da presente invenção ou pode constituir uma parte do sistema de processamento de imagens.

[0030] A unidade de captura de imagens 10 captura “uma imagem que inclui a informação de polarização” para a qual processamento por sobreposição é executado pela unidade de sobreposição de polarização de brilho 20. Um símbolo IMP na figura 1(a) indica “uma imagem que inclui a informação de polarização”.

[0031] A imagem IMP é denominada uma “imagem de polarização IMP” abaixo.

[0032] A unidade de captura de imagens 10 pode utilizar uma assim denominada “câmera de polarização”, provida independentemente do sistema de processamento de imagens. Nesse caso, a imagem de polarização IMP pode ser obtida como uma “imagem capturada” da câmera de polarização.

[0033] Um exemplo da configuração da unidade de captura de imagens 10 será descrito com referência às figuras 1(a), 1(b) e 1(c).

[0034] Como ilustrado na figura 1(a), a unidade de captura de imagens 10 inclui uma lente 11, um elemento de captura de imagens 12 e um filtro óptico 13.

[0035] A figura 1(c) ilustra como o elemento de captura de imagens 112 e o filtro óptico 13 são vistos lateralmente.

[0036] No elemento de captura de imagens 12, pixels são bidimensionalmente dispostos em um substrato ST. No exemplo descrito, os pixels são dispostos de acordo com uma matriz quadrada.

[0037] No filtro óptico 13, um filtro de polarização 132 é colocado entre um substrato transparente 131 e uma camada compactada 133.

[0038] A figura 1(c) ilustra o filtro óptico 13 e o elemento de captura de imagens 12 como se fossem separados um do outro. Na realidade, porém, o filtro óptico 13 é estreitamente ligado a um elemento de captura de imagens 12.

[0039] Especificamente, uma seção proximal entre o filtro de polarização 132 e o elemento de captura de imagens 12 é preenchida com a camada compactada 133 servindo como um “adesivo”. Como resultado, o filtro óptico 13 e o elemento de captura de imagens 12 são integrados.

[0040] O filtro de polarização 132 é um assim denominado “filtro de polarização dividido em áreas”. Especificamente, diferentes tipos de elementos de filtro de polarização, cada um tendo uma direção de polarização diferente, são bidimensionalmente dispostos de acordo com os pixels do elemento de captura de imagens 12.

[0041] Na figura 1(b), quatro pixels limítrofes PC1, PC2, PC3 e PC4 são sobrepostos com elementos de filtro de polarização correspondentes POL1, POL2, POL3 e POL4, respectivamente.

[0042] Dois tipos de elementos de filtro de polarização são utilizados para o filtro de polarização 132. Um primeiro tipo de elemento de filtro de polarização transmite polarização P. Um segundo tipo de elemento de filtro de polarização transmite polarização S.

[0043] Os dois tipos de elementos de filtro de polarização são na forma de um retângulo. Uma direção longitudinal do elemento de filtro de polarização corresponde a uma direção longitudinal (direção da coluna de matriz linha-coluna bidimensional) da matriz de pixels do elemento de captura de imagens 12 na figura 1(b).

[0044] Os elementos de filtro de polarização tendo a forma retangular são alternadamente dispostos em uma direção lateral (direção de linha).

[0045] Como ilustrado na figura 1(b), os pixels PC1 e PC2 são dispostos na direção longitudinal. Os elementos de filtro de polarização POL1 e POL2 que transmitem a polarização S são dispostos na direção longitudinal. Dessa forma, os elementos de filtro de polarização POL1 e POL2 correspondem aos pixels PC1 e PC2, respectivamente.

[0046] Da mesma forma, os pixels PC3 e PC4 são dispostos na direção longitudinal. Os elementos de filtro de polarização POL3 e POL4, que transmitem a polarização P, são dispostos na direção longitudinal. Dessa forma, os elementos de filtro de polarização POL3 e POL4 correspondem aos pixels PC3 e PC4, respectivamente.

[0047] Uma imagem de um objeto capturado pela unidade de captura de imagens 10 é formada no filtro de polarização 132. A imagem passa através de cada elemento de filtro de polarização para se tornar polarização P ou S, que é, então, recebida pelo elemento de captura de imagens 12.

[0048] Dessa maneira, uma imagem da polarização P ou da polarização S é capturada pelo elemento de captura de imagens 12 para cada pixel.

[0049] A imagem assim capturada é “uma imagem que inclui informação de polarização” e é gerada como uma imagem de polarização IMP, como ilustrado na figura 1.

[0050] Como informação na imagem, a imagem de polarização IMP inclui “a imagem de brilho e a informação de polarização”.

[0051] A imagem de polarização IMP é inserida na unidade de sobreposição de polarização de brilho 20.

[0052] A unidade de sobreposição de polarização de brilho 20 fisicamente inclui uma CPU e um microcomputador. Através de programação de computador com base em um algoritmo descrito posteriormente, a imagem de brilho e a informação de polarização são sobrepostas.

[0053] Como descrito, como informação na imagem, a imagem de polarização IMP inclui “a imagem de brilho e a informação de polarização”, e a “imagem de brilho” e a “informação de polarização” são extraídas da imagem de polarização IMP.

[0054] A informação de polarização assim extraída é sobreposta na imagem de brilho. Especificamente, a informação de polarização da imagem de polarização IMP é “sobreposta na imagem de brilho como uma alteração no brilho de cada pixel”.

[0055] A imagem de brilho e a informação de polarização são sobrepostas dessa maneira, e então geradas como uma imagem de saída IMO ilustrada na figura 1(a).

[0056] A imagem obtida por sobreposição da imagem de brilho e da informação de polarização é denominada “uma imagem sobreposta de polarização de brilho”.

[0057] Para a imagem de saída IMO, um “processo de imagem de brilho geral na técnica relacionada”, tal como “um processo em LDW e AHB” é possível para montagem em um veículo.

[0058] Como descrito acima, o processo de imagem de brilho da técnica relacionada pode ser realizado na imagem de saída IMO. Em um exemplo da figura 1(a), a imagem de saída IMO é inserida na unidade de processamento de imagens/reconhecimento de imagens 30.

[0059] Ao receber a entrada da imagem de saída IMO, a unidade de processamento de imagens/reconhecimento de imagens 30 executa o processamento de imagens e o processamento de reconhecimento de imagens desejado.

[0060] Por exemplo, se o sistema de processamento de imagens 1, ilustrado na figura 1(a), for montado “com a finalidade de controle de veículo”, a unidade de processamento de imagens/reconhecimento de imagens 30 executa, por exemplo, um processo de extração de um objeto reconhecido.

[0061] A unidade de controle de veículo que recebeu o resultado do processo acima executa o controle de veículo, tal como assistência da operação de frenagem e direção do veículo.

[0062] A imagem de saída IMO pode ser processada pelo “processo de imagem de brilho da técnica relacionada”. Dessa forma, não é necessário “desenvolver novo processamento de imagens ou processamento de reconhecimento de imagens para a imagem de polarização”.

[0063] Através da utilização do sistema de processamento de imagens da figura 1, uma taxa de reconhecimento pode ser melhorada e falsas detecções podem ser reduzidas.

[0064] Descrição adicional é ligeiramente feita para a unidade de captura de imagens 10. A unidade de captura de imagens 10, ilustrada na figura 1, inclui o filtro de polarização 132.

[0065] O filtro de polarização 132 é o “filtro de polarização dividido em áreas” obtido por disposição bidimensional “do elemento de filtro de polarização que transmite a polarização P e o elemento de filtro de polarização que transmite a polarização S”.

[0066] A “unidade de captura de imagens” não é limitada a uma tendo a estrutura acima descrita.

[0067] Por exemplo, a unidade de captura de imagens pode ter uma estrutura descrita no Pedido de Patente Japonês Aberto à Inspeção Pública N°. 2011-29903, em que “uma placa polarizadora, obtida por combinação de polarizadores da pluralidade de direções de polarização, é provida em frente a uma lente e uma imagem é capturada enquanto a placa polarizadora é girada”.

[0068] Alternativamente, o “filtro de polarização que transmite a polarização S” pode ser combinado com qualquer uma de duas câmeras de captação de imagens, e o “filtro de polarização que transmite a polarização P” pode ser combinado com a outra câmera de captura de imagens.

[0069] Especificamente, uma das câmeras captura “informação de imagem que inclui a informação de polarização S” e a outra câmera captura “informação de imagem que inclui a informação de polarização P”. Em seguida, a informação de imagem de cada câmera é combinada para obter a imagem de polarização.

[0070] Como descrito, para a “imagem de polarização” obtida por várias unidades de captura de imagem, é possível realizar o processamento de imagens por “sobreposição da informação de polarização na imagem de brilho” como na presente invenção.

[0071] Observe que o filtro de polarização 132 acima descrito pode ter, por exemplo, uma “estrutura de ondas lentas (SWS)”.

[0072] No exemplo acima, um “sensor de imagem em preto e branco” é considerado o elemento de captura de imagens 12. Alternativamente, um sensor de imagens coloridas pode também ser adotado.

[0073] Em uma área do elemento de captura de imagens 12 formada com o filtro de polarização 132, imagens de polarização de P e S das áreas P e S são formadas, respectivamente.

[0074] Como descrito posteriormente, as imagens de polarização de P e S são usadas para detectar vários tipos de informação como “uma imagem que inclui a informação de polarização e a imagem de brilho”.

[0075] A base da informação de polarização e sobreposição da mesma na imagem de brilho será descrita abaixo.

[0076] Uma propriedade refletora da superfície de um objeto é expressa por uma função de distribuição de refletância bidirecional (doravante referida como “BRDF”).

[0077] A “BRDF em um certo ponto” na superfície do objeto depende de ambas uma direção incidente e uma direção de reflexão, e é definida como uma razão entre a intensidade de luz refletida em uma direção de observação e a intensidade de luz incidente de uma direção de iluminação.

[0078] Vários modelos de reflexão que descrevem “fenômenos de polarização” foram propostos.

[0079] Um “modelo de Torrance Sparrow” é utilizado como um componente de reflexão especular e um “modelo de Lambert” é utilizado como um componente de reflexão difusa abaixo.

[0080] A figura 2 ilustra um modelo de reflexão por um objeto OB. Na figura 2, “N” indica um “vetor normal externo” em uma posição de reflexão do objeto OB.

[0081] “L” indica um vetor direcionado para uma fonte de luz a partir da posição de reflexão e denominado “vetor de fonte de luz”. “V” indica um vetor direcionado para uma posição de observação a partir da posição de reflexão e denominado um “vetor do ponto de visão”.

[0082] “H” indica um vetor de uma direção de redução pela metade de um ângulo formado entre o vetor de fonte de luz “L” e o vetor do ponto de visão “V”. Tal vetor é simplesmente chamado de “vetor de direção de redução pela metade”.

[0083] Cada um dos vetores N, L, V e H é posicionado no “mesmo plano”.

[0084] No mesmo plano, os ângulos , L, , i e são definidos conforme ilustrado na figura 2.

[0085] A “BRDF de polarização S: S(,)” pelo objeto OB é dada como segue.

[0086] Da mesma forma, a “BRDF de polarização P: p(,)” é dada como segue.

[0087] Um primeiro termo no lado direito nas fórmulas (A) e (B) é um termo de modelo de reflexão especular (Modelo de Torrance Sparrow) e um segundo termo no lado direito é um termo de modelo de reflexão difusa (modelo de Lambert).

[0088] Nas fórmulas (A) e (B), “ks” indica um coeficiente de reflexão especular da polarização S, “kP” indica um coeficiente de reflexão especular da polarização P e “kd” indica um coeficiente de reflexão difusa.

[0089] “Rs(i) e RP(i)” são “Refletância de Fresnel” relativa à polarização S e à polarização P, respectivamente, e dada pela seguinte fórmula. Rs(i) = {(nicosθi — n2cosθi’)/(nicosθi + n2cosθi’)}2 RP(i) = {(nicosθi’ — n2cosθi)/(nicosθi’ + n2cosθi)}2 em que n1 e n2 são índices de refração de ar e do objeto OB, respectivamente.

[0090] Um ângulo θi’ tem a seguinte relação com o ângulo θi e os índices de refração n1 e n2.sinθi’ = (n1/n2)sinθi

[0091] Dessa forma, θi’= arcsin{(n1/n2)sinθi} se aplica.

[0092] Pelo termo da refletância de Fresnel, a propriedade de dependência de polarização é refletida como um comportamento de um modelo de reflexão.

[0093] “D”, nas fórmulas acima (A) e (B), é um “termo de distribuição normal” de uma pequena área na posição de reflexão.

[0094] The termo de distribuição normal D é expresso como segue. D = exp(-2/2a2) em que “” é um valor central de coordenadas de uma função de distribuição e corresponde a um parâmetro de ângulo “” na figura 2. Além disso, “” é um desvio padrão na função de distribuição.

[0095] Observe que “” é um “parâmetro em distribuição de ângulo” da pequena área. O termo de distribuição normal D é distribuição gaussiana que representa distribuição normal.

[0096] A seguir, a informação de polarização sobreposta na imagem de brilho será descrita. Vários tipos de informação de polarização podem ser considerados. Abaixo, os seguintes três tipos de informação de polarização serão descritos.

[0097] Especificamente, os três tipos de informação de polarização são “grau de polarização”, “grau de polarização diferencial” e “razão de polarização”.

[0098] O “grau de polarização” é a quantidade definida pela utilização dos parâmetros de Stokes bem conhecidos S0, S1, S2 e S3 relativos a um fenômeno de polarização, e, doravante, o grau de polarização é denominado “DOP”.

[0099] O DOP é definido pela seguinte fórmula utilizando os parâmetros de Stokes S0 a S3. DOP = {(S12 + S22 + S32)}/S0

[0100] O “grau de polarização diferencial (Sub-DOP)” é a quantidade definida como segue utilizando os parâmetros de Stokes S0 e S1. Doravante, o Sub-DOP é denominado “SDOP”. SDOP = S1/S0 = {I(0,) - I(90,)}/{I(0,)+I(90,)} em que I(0,) é a “intensidade de luz passando através do filtro de polarização” sob 0 grau de um ângulo axial, e I(90,) é a intensidade de luz passando através do filtro de polarização sob 90 graus de um ângulo axial.

[0101] No exemplo do “filtro de polarização dividido em áreas” descrito acima, I(0,) é a intensidade de recepção de luz do pixel que recebeu luz que passou através do componente S.

[0102] Da mesma forma, I(90,) é a intensidade de recepção de luz do pixel que recebeu luz que passou através do componente P.

[0103] No caso dos parâmetros de Stokes S2 = S3 = 0, a seguinte relação se aplica. DOP = |SDOP|

[0104] Dessa forma, o SDOP, nesse caso, é também denominado “grau de polarização”.

[0105] A “razão de polarização” é a razão entre os acima I(0,) e I(90,) e é definida como segue.

[0106] A razão de polarização = I(0,)/I(90,).

[0107] Como descrito acima, a razão de polarização é a “razão entre I(0,) e I(90,)”. Dessa forma, a razão de polarização pode ser expressa como segue em vez do acima.

[0108] A razão de polarização = I(90,)/I(0,)

[0109] Em seguida, os três tipos de informação de polarização acima definidos, isto é, DOP, SDOP e qualquer razão de polarização são sobrepostos na imagem de brilho. Consequentemente, a imagem de saída IMO acima descrita pode ser obtida.

[0110] A “imagem de brilho” pode ser obtida como segue. Na concretização descrita acima, o filtro de polarização 132 na unidade de captura de imagens 10 é o “filtro de polarização dividido em áreas”.

[0111] Ou seja, o filtro de polarização 132 é obtido dispondo bidimensionalmente o elemento de filtro de polarização que transmite a polarização P e o elemento de filtro de polarização que transmite a polarização S.

[0112] Aqui, a área de captação de imagens do elemento de captura de imagens 12 é expressa por coordenadas bidimensionais (x, y) e cada intensidade da polarização S e polarização P recebida por um pixel na posição (x,y) é expressa como “Is(x,y), IP(x,y)”.

[0113] Se a intensidade for usada, a imagem de brilho Ibright(x,y) pode ser expressa pela seguinte fórmula (C) para fácil compreensão.

[0114] Assumindo que “o cálculo de sobreposição” é expresso pelo símbolo (SPI), a sobreposição da imagem de brilho e da informação de polarização pode ser expressa como segue.Ibright(x,y)[SPI](informação de polarização)

[0115] Como informação de polarização, qualquer um dos acima descritos “DOP, SDOP e razão de polarização” pode ser utilizado.

[0116] Vários tipos de cálculo de sobreposição podem ser considerados, dentre os quais o cálculo simples engloba os seguintes dois tipos.

[0117] Especificamente, um dos dois tipos é um método executado por uma “soma linear” e é expresso como segue. Ibright(x,y)[SPI](informação de polarização) = Ibright(x,y) + {K x (informação de polarização)}

[0118] O outro tipo é um método executado por uma “multiplicação” e é expresso como segue. Ibright(x,y)[SPI](informação de polarização) = Ibright(x,y) x {K x (informação de polarização)}

[0119] Observe que a informação de polarização é “sobreposta na imagem de brilho como uma alteração no brilho de cada pixel”.

[0120] Dessa forma, no lado direito de cada fórmula do cálculo de sobreposição, os pixels adicionados ou multiplicados têm coordenadas iguais (x,y).

[0121] Na fórmula de sobreposição acima, “K” no lado direito é uma constante que expressa o grau de sobreposição e pode ser adequadamente definida dependendo da condição de sobreposição específica.

[0122] A concretização do sistema de processamento de imagens ilustrada na figura 1 é configurada como segue.

[0123] Especificamente, o sistema de processamento de imagens inclui a unidade de sobreposição de polarização de brilho 20 que sobrepõe a informação de polarização, incluída na imagem IMP, na imagem de brilho como uma alteração no brilho de cada pixel.

[0124] Além disso, o sistema de processamento de imagens tem uma função de gerar a imagem de saída IMO obtida por sobreposição pela unidade de sobreposição de polarização de brilho 20.

[0125] O sistema de processamento de imagens ilustrado na figura 1 inclui a unidade de captura de imagens 10. A unidade de captura de imagens 10 captura a imagem IMP que inclui a informação de polarização e deve ser submetida a processamento por sobreposição pela unidade de sobreposição de polarização de brilho 20.

[0126] A unidade de sobreposição de polarização de brilho 20 sobrepõe a informação de polarização e a imagem de brilho. A sobreposição pode ser executada como a soma linear ou a multiplicação.

[0127] A informação de polarização sobreposta pode ser o grau de polarização (DOP), o grau de polarização diferencial (SDOP) ou a “razão de polarização”.

[0128] O sistema de processamento de imagens pode incluir uma unidade de redução de ruído que remove ruído da informação de polarização antes da sobreposição na imagem de brilho.

[0129] Com o modelo de reflexão descrito acima, a polarização da luz refletida pode ser expressa por variáveis, tais como a qualidade do material do objeto OB (índice de refração, condição da superfície e coeficiente de dispersão interna), um ângulo formado entre a fonte de luz e o objeto, e um ângulo formado entre o objeto e um ponto de observação.

[0130] Em outras palavras, a polarização acima descrita pode ser expressa pela seguinte fórmula (D). Polarização = F(condição da fonte de luz, qualidade do material e ângulo) (D) em que F indica uma função.

[0131] Nessa fórmula, cada variável é como segue. Condição de fonte de luz = distribuição de ângulo de Qualidade do material = kS, kP, kd, n2 e semelhantes Ângulo =

[0132] A fórmula (D) associa a “informação de polarização” do lado esquerdo com o “material da fonte de luz, qualidade do material e ângulo” do lado direito.

[0133] Dessa forma, entre “a fonte de luz, a qualidade do material e o ângulo” do lado direito, se quaisquer dois elementos são determinados, o elemento remanescente é determinado.

[0134] De acordo com a descrição feita acima referindo-se à figura 1, assume-se que “a fonte de luz é invariável”.

[0135] Dessa forma, a concretização acima descrita é efetiva para sobreposição da imagem de polarização obtida pela captura de uma imagem em “uma sala onde a iluminação é invariável”.

[0136] No modelo de reflexão descrito acima, o termo (termo de Rs e Rp) que expressa a “luz especular pela reflexão regular” na superfície do objeto OB é uma importante quantidade que caracteriza a polarização.

[0137] Se o objeto OB a ser observado forma o mesmo ângulo com a unidade de captura de imagens 10 e com a fonte de luz, a luz especular é dificilmente retornada. Como resultado, a “informação de polarização pode não ser obtida”.

[0138] Tal dificuldade está presente quando a fonte de luz não pode ser controlada. Dessa forma, se o sistema de processamento de imagens deve ser aplicado a um caso, tal como a montagem em veículo, em que a fonte de luz não pode ser fixa, a consideração abaixo é necessária.

[0139] A polarização tem relação conforme indicado na fórmula (D). Dessa forma, com a câmera montada em veículo que não projeta a luz de irradiação, a “informação de polarização incluída na imagem de polarização” muda dependendo da condição da fonte de luz.

[0140] Por exemplo, mesmo quando “a superfície da estrada e a faixa branca formada de diferentes materiais” são distinguidas, a informação de polarização (por exemplo, SDOP) muda dependendo da condição da fonte de luz.

[0141] Embora a informação de polarização mude também dependendo do ângulo, se a “unidade de captura de imagens estiver fixa em uma posição predeterminada do veículo e o objeto na superfície da estrada tendo o mesmo ângulo” for capturado, a alteração da informação de polarização causada pelo ângulo pode ser ignorada.

[0142] Quando o “objeto é reconhecido” utilizando a imagem de saída IMO obtida por sobreposição da imagem de brilho na informação de polarização, é necessário reconhecer o objeto utilizando algum tipo de “quantidade característica” que caracterize o objeto.

[0143] Nesse caso, se somente a polarização pelo objeto é considerada a quantidade característica, a quantidade característica é “influenciada pela condição da fonte de luz”.

[0144] Em tal caso, é necessário adotar a “quantidade característica que utiliza a polarização” sem depender da condição da fonte de luz.

[0145] De acordo com as fórmulas (A) e (B) acima descritas, a magnitude da intensidade de reflexão da polarização S e da polarização P é alterada pela altura da fonte de luz (determinada pelo ângulo ou pelo ângulo L na figura 2).

[0146] Observe que a magnitude da intensidade de reflexão da polarização P é sempre maior do que a da polarização S.

[0147] Além disso, quanto maior a reflexão da superfície (em outras palavras, quanto menor a dispersão interna), maior a “diferença na intensidade de reflexão” entre a polarização S e a polarização P.

[0148] Quando o sistema de processamento de imagens é realmente montado em um veículo, considera-se que “em caso de captação de imagem com luz direta, quase todos os objetos a serem capturados recebem iluminação por luz direta”.

[0149] Inversamente, considera-se que “em caso de captação de uma imagem com luz de fundo, quase todos os objetos a serem capturados recebem iluminação por luz de fundo”.

[0150] Em vista dos fatos acima, considera-se que, quando vários objetos são capturados, a informação de polarização, tal como o SDOP acima descrito (grau de polarização diferencial), é submetida a, em média, “desvio de valores entre a luz direta e a luz de fundo”.

[0151] Considerando tais circunferências, a “quantidade característica” pode ser preferencialmente selecionada com base nas instruções descritas abaixo.

[0152] (1) A influência da condição da fonte de luz, tal como a luz direta e a luz de fundo, é quase cancelada por remoção do “deslocamento na informação de polarização, tal como o SDOP da tela inteira”.

[0153] O “deslocamento” é o “desvio de valores causado entre a luz direta e a luz de fundo” na informação de polarização.

[0154] (2) Em um estado de luz direta, em outras palavras, em um caso em que um ângulo formado entre a unidade de captura de imagens e o objeto e um ângulo formado entre a fonte de luz e o objeto são similares, originalmente, a “informação de polarização torna-se pequena”.

[0155] Dessa forma, em tal caso, estima-se que “não existe informação de polarização”. Somente quando a informação de polarização está disponível, a informação de polarização é adicionada à quantidade característica.

[0156] Como resultado, quando a informação de polarização está disponível, a sobreposição da informação de polarização torna possível “reconhecer de forma mais favorável uma imagem do que no caso de utilização da imagem de brilho normal”.

[0157] (3) De acordo com as fórmulas (A) e (B) acima descritas, na captação de uma imagem pela luz direta, I(0,) é igual a I(90,) e, dessa forma, “SDOP = 0” deve se aplicar. No entanto, de acordo com o resultado de medição real, o SDOP não é zero.

[0158] O SDOP também difere dependendo da qualidade do material do objeto de reflexão.

[0159] Em vista desse fato, “um coeficiente que permite que o SDOP contribua para a quantidade característica” torna-se ajustável entre o caso de luz direta e o caso de luz de fundo.

[0160] Para “determinar se luz direta ou luz diferente da luz direta”, o SDOP (grau de polarização) da tela inteira é utilizado.

[0161] (4) A “quantidade característica é próxima ao brilho”, tal que um algoritmo utilizando informação de brilho normal pode ser adotado.

[0162] Em termos gerais, como grau de polarização, “somente a quantidade relativa” é considerada em vez da quantidade absoluta.

[0163] Sem depender da condição da fonte de luz, “informação sobre a magnitude da reflexão de superfície do objeto (magnitude de difusão)” é adicionada à informação de brilho dependendo da condição de uso para, assim, obter a quantidade característica.

[0164] O SDOP (grau de polarização) varia amplamente dependendo do ângulo da fonte de luz.

[0165] No entanto, em relação aos ângulos i e L na figura 2, quando vista em certos ângulos i1 e L1, a relação de magnitude do SDOP entre a qualidade do material A e a qualidade do material B pode ser A > B. Nesse caso, mesmo quando vista em outros ângulos i2 e L2, a relação de magnitude do SDOP é geralmente A > B.

[0166] Um caso será descrito abaixo em que “se a relação de magnitude do SDOP entre a qualidade do material A e a qualidade do material B for A > B quando vista em certos ângulos, a relação de magnitude do SDOP é A > B também quando vista em outros ângulos”.

[0167] Exemplos de parâmetros que representam a qualidade do material incluem os acima descritos kP, ks, kd n2 e a.

[0168] Dessa forma, a seguinte condição é derivada: quando os parâmetros se alteram, a direção do valor muda (isto é, o aumento ou diminuição do valor do SDOP não depende do ângulo).

[0169] Como descrito, o “SDOP” pode ser expresso como segue.SDOP = S1/S0 = {I(0,) - I(90,)}/{I(0,) + I(90,)}

[0170] Se essa fórmula for expressa pela utilização dos acima descritos n1, n2, i, i’, L, ks, kd, e a, a fórmula é como segue. SDOP = [ks{(nicosθi — n2cosθi’)/(nicosθi - n2cosθi’)}exp{(- 2)/2a2}+kdcosL - ks{(nicosθi — n2cosθi’)/(nicosθi + n2cosθi’)}exp{(- 2)/2a2}-kdcosθL / ks{(nicosθi — n2cosθi’)/(nicosθi - n2cosθi’)}exp{(- 2)/2a2}+kdcosθL + ks{(nicosθi — n2cosθi’)/(nicosθi + n2cosθi’)}exp{(- 2)/2a2}-kdcosL (4-1)

[0171] Para simplificação das descrições, o “termo de amortecimento geométrico” é ignorado.

[0172] A seguir, sob a premissa de que o feixe é “incidente através do ar”, na refletância de Fresnel acima descrita: Rs(θi) = {(nicosθi — n2cosθi’)/(nicosθi + n2cosθi’)}2 Rp(θi) = {(nicosθi’ — n2cosθi)/(nicosθi’ + n2cosθi)}2, ni = 1 é satisfeito. Para Rs da refletância de Fresnel nesse momento, “Rs(n2)” se aplica e, para Rp, “Rp(n2)” se aplica.

[0173] Em seguida, o acima é como segue. Rs(n2) = {(cosθi — n2cosθi’)/(cosθi + n2cosθi’)}2 Rp(n2) = {(cosθi’ — n2cosθi)/(cosθi’ + n2cosθi)}2

[0174] Utilizando Rs(n2) e Rp(n2), a fórmula (4-i) acima se torna como segue. sDOp = [ksexp{(-α2)/2a2}{Rs(n2) - Rp(n2)} /[ksexp{(-α2)/2a2}HRs(n2)+ Rp(n2)} + 2kdCθsθL] (4-2)

[0175] A fórmula (4-2) é a “fórmula teórica do sDOp” no modelo acima descrito.

[0176] Aqui, um parâmetro k = ks/kd, que indica “a razão entre o componente de reflexão especular e o componente de reflexão difusa, é introduzido. Utilizando o parâmetro k, a fórmula (4-2) se torna como segue. SDOP = [k exp{(-α )/2a }HR(n ) - Rp(n2)} /[kexp{(-α2)/2a2}HRs(n2)+ Rp(n2)} + 2COS0L] (4-3)

[0177] A fórmula (4-3) inclui k, n2 e A como parâmetros associados com a qualidade do material do objeto de reflexão. A alteração do SDOP causada pela alteração dos parâmetros é observada.

[0178] Para essa finalidade, primeiro, a fórmula (43) é parcialmente diferenciada pelo parâmetro k.

[0179] Adicionalmente, observe que o parâmetro k na descrição é diferente do “coeficiente de sobreposição da informação de polarização k” descrito posteriormente.

[0180] Para simplificação, os seguintes símbolos são introduzidos. fl = exp-{(α2)/2a2}.{Rs(n2)-Rp(n2)} g1 = 2cosθL hl = exp{(- α2)/2a2}{Rs(n2)+ Rp(n2)}

[0181] Utilizando os símbolos, a fórmula (4-3) se torna como segue. SDOP = k*f1/[k*h1 + g1]

[0182] Dessa forma, o seguinte se aplica. Diferenciação parcial por k do SDOP: {SDOP}/k = d{k*f1/[k*h1 + g1]}/5k = (h1/f1)[(g1/f1/{(g1/f1) + k}2] (4-4)

[0183] O ângulo θL é compreendido na faixa de -2/π < θL < 2/π. Dessa forma, qualquer um dos acima f1, g1 e h1 pode somente ter um valor positivo dentro da faixa de flutuação de θL.

[0184] Dessa forma, a fórmula (4-4) se torna 5{SDOP}/5k 0.

[0185] A seguir, o SDOP é parcialmente diferenciado pelo parâmetro a.

[0186] Para simplificação da fórmula, os seguintes símbolos são introduzidos também nessa fórmula. f2 = k{Rs(n2) - Rp(n2)} g2 = k{Rs(n2) + Rp(n2)} h2 = 2cosθL

[0187] Em seguida, o seguinte se aplica: 5{SDOP}/5a = = 5{exp{(-2)/2a2}/[exp{(-2)/2a2} + h2]}/5a = (f2/g2)[(h2/g2)2exp{(-2)/2a2}/{a3{exp{(-2)/2a2} + h2/g2)}) (4-5).

[0188] Nesse caso também, f2, g2 e h2 somente têm valores positivos. Além disso, “a” é um desvio padrão na função de distribuição e, dessa forma, é positivo.

[0189] Consequentemente, o lado direito da fórmula (4-5) é sempre positivo.

[0190] Da mesma forma, o SDOP é parcialmente diferenciado pelo parâmetro A.

[0191] Nesse caso também, para simplificação da fórmula, os seguintes símbolos são introduzidos. f3 = kexp{(-α2)/2a2} g3 = 2cosL

[0192] Após, o seguinte se aplica: {SDOP}/n2 = [{f3{Rs(n2)-Rp(n2)}/{f3{Rs(n2)+ Rp(n2)} + g2}]n2 = [{(g3/f3) + 2RP(n2)}{Rs{n2)n2} - {(g3/f3) + 2Rs(n2)}{ RP(n2)/n2}]/[RS(n2) + RP(n2) + (g3/f3)] (4-6).

[0193] Considerando um caso de G3/f3 >> 2RP(n2) e G3/f3 >> 2RS(n2), o numerador da fórmula (4-6)se torna como segue. H(g3/f3WRs(n2)/3n2} - Hg3/f3WRp(n2)/5n2} ]

[0194] Além disso, considera-se que entre Rs(n2)/n2 e RP(n2)/n2, a seguinte relação se aplica: Rs(n2)/n2 > RP(n2)/n2.

[0195] Dessa forma, quando ambos G3/f3 >> 2Rp(n2) e G3/f3 >> 2RS(n2) se aplicam, (SDOP)/n2 sempre se torna positivo.

[0196] Aqui, g3/f3 = 2cosθL/kexp{(-α2)/2a2} = 2kdCθsθL/ksexp{{-α2)/2a2} se aplica. O numerador indica o “componente de reflexão difusa” e o denominador indica o componente especular (incluindo a distribuição por micro facetas).

[0197] Além disso, considerando que Rp(n2) d 1 e RS(n2) < 1, e quando o componente difuso tem uma certa quantidade ou mais em relação ao componente especular, ambos são aproximados.

[0198] Em outras palavras, (SDOP)/n2 0 se aplica.

[0199] Em outras palavras, quando o componente difuso tem uma certa quantidade ou mais em relação ao componente especular, para a alteração dos parâmetros k, A e n2, o coeficiente diferencial parcial do SDOP é positivo.

[0200] Dessa forma, para a alteração dos parâmetros k, A e n2, a alteração do SDOP é sempre igual e não depende dos ângulos θi e θL.

[0201] Geralmente, “o componente difuso é grande em relação ao componente especular” em um “objeto com uma superfície diferente da superfície especular”, e existem muitos de tais objetos que satisfazem a condição acima.

[0202] Dessa forma, se a relação de magnitude do SDOP entre a qualidade do material A e a qualidade do material B for A > B quando vista em certos ângulos θi1 e θL1, a relação de magnitude do SDOP é geralmente A > B, mesmo quando vista em outros ângulos i2 e L2.

[0203] O SDOP depende amplamente da qualidade do material kd e “da magnitude de kd” do objeto a ser capturado.

[0204] Por exemplo, ao trazer o deslocamento para 0 com o SDOP da qualidade do material A como referência, se o SDOP da qualidade do material B se torna positivo ou negativo, geralmente, não depende do ângulo da fonte de luz.

[0205] Nesse ponto de vista, ao remover o deslocamento do SDOP da tela inteira, “somente a relação relativa para cada qualidade do material” pode ser recuperada sem depender do ângulo da fonte de luz.

[0206] De acordo com a teoria do modelo de reflexão pelas fórmulas (A) e (B), quanto mais perto a condição de captação de imagens estiver da luz direta, mais próximo o SDOP está de zero.

[0207] Dessa forma, se o SDOP for utilizado como a informação de polarização, quanto mais perto a condição de fonte de luz estiver da luz direta, menor o SDOP na teoria. Como resultado, não existe mais “contribuição para a quantidade característica da polarização”.

[0208] No entanto, de acordo com o resultado experimental real, os valores do SDOP variam mesmo à luz direta dependendo da qualidade do material.

[0209] A relação de magnitude da flutuação dos valores do SDOP à luz direta é diferente da “relação de magnitude à luz de fundo”. Dessa forma, à luz direta, a flutuação é detectada e o coeficiente que permite que a informação de polarização contribua para a quantidade característica torna-se variável.

[0210] Além disso, a “tendência do SDOP para alteração dependendo do ângulo da fonte de luz ” é similar, mesmo embora a qualidade do material de um objeto a ser capturado seja diferente.

[0211] Em seguida, com base na suposição de que a tela inteira de captação de imagens recebe a “fonte de luz do mesmo ângulo”, é determinado se a luz direta se aplica ou se a luz de fundo se aplica, utilizando o valor do SDOP da tela inteira.

[0212] Considerando as instruções acima, a “quantidade característica” usada para o reconhecimento de imagem é determinada como segue.

[0213] A imagem de brilho Ibright(x,y) é obtida pela unidade de captura de imagens 10, que inclui o filtro de polarização 13 descrito com referência à figura 1. A imagem de brilho é expressa pela fórmula (C) acima descrita.

[0214] A “imagem de brilho de polarização S IS(x,y)” e a “imagem de brilho de polarização P IP(x,y)” da imagem de brilho Ibright(x,y) são como descritas acima.

[0215] Primeiro, a quantidade característica Ibright(x,y)(imagem de saída), à qual a informação de polarização é adicionada, é determinada como a “Fórmula Matemática 1” abaixo.

Na Fórmula Matemática 1, o “SDOP(x,y)” é definido pela fórmula a seguir. SDOP(x,y) = {Is(x,y) - IP(x,y)}/{Is(x,y) + IP(X,y)}

[0216] A figura 3 ilustra um exemplo de configuração da unidade de sobreposição de polarização de brilho 20 quando o processamento de informação é executado nesse caso.

[0217] Observe que, para simplificação, o número de referência 20, como na figura 1, é dado à unidade de sobreposição de polarização de brilho.

[0218] A imagem de polarização IMP obtida de uma unidade de captura de imagens (não ilustrada; similar à unidade de captura de imagens 10 na figura 1) é inserida na unidade de separação 21 da unidade de sobreposição de polarização de brilho 20.

[0219] A unidade de separação 21 separa a imagem de polarização de entrada IMP na imagem de brilho e na informação de polarização.

[0220] A imagem de brilho é a informação de imagem expressa pela fórmula (C) acima descrita e é inserida em uma unidade de sobreposição 23.

[0221] Por outro lado, a informação de polarização separada pela unidade de separação 21 é qualquer um dos acima descritos “DOP, SDOP e razão de polarização”. Aqui, assume- se que a informação de polarização seja o “SDOP”.

[0222] O “SDOP”, que é a informação de polarização, é inserido a unidade de remoção de deslocamento 22 e, ao mesmo tempo, inserido em uma unidade de determinação de luz direta/luz de fundo 24.

[0223] A função da “unidade de determinação de luz direta/luz de fundo 24” será descrita posteriormente.

[0224] Para a informação de polarização (SDOP) de entrada, a unidade de remoção de deslocamento 22 executa o cálculo do “segundo termo entre parênteses” do segundo termo do lado direito da “Fórmula Matemática 1” acima.

[0225] O resultado do cálculo é subtraído da informação de polarização (SDOP) de entrada.

[0226] O “segundo termo entre parênteses” do lado direito de Fórmula Matemática 1 dá uma “média do SDOP” em “um intervalo de área específico”, determinado por X, Y na imagem.

[0227] Qualquer método de seleção é aplicável para o “intervalo de área” determinado por X, Y.

[0228] No exemplo descrito, como descrito acima, a “influência da condição da fonte de luz é cancelada utilizando a tela inteira”.

[0229] A área de imagem determinada por X, Y corresponde a uma área obtida pela remoção “da área de céu da tela inteira”.

[0230] A média do SDOP calculada como acima para tal área de imagem é o “deslocamento” e a unidade de remoção de deslocamento 22 subtrai o deslocamento.

[0231] A “informação de polarização assim obtida por remoção do deslocamento” é inserida à unidade de sobreposição 23 a ser sobreposta com a imagem de brilho. Observe que, algumas vezes, a “imagem de brilho” é denominada “informação de brilho” abaixo.

[0232] Como ilustrado no lado direito da Fórmula Matemática 1, essa sobreposição é executada na imagem de brilho Ibright(x,y) obtendo a soma linear da “quantidade em parênteses do lado direito de Fórmula Matemática 1” obtida por remoção do deslocamento.

[0233] Nesse momento, o coeficiente k antes dos parênteses do segundo termo no lado direito da Fórmula Matemática 1 é multiplicado pela “quantidade nos parênteses” a ser adicionada. O coeficiente k é denominado “coeficiente de sobreposição de informação de polarização”.

[0234] O coeficiente de sobreposição de informação de polarização k é determinado como a Fórmula Matemática 2 e Fórmula Matemática 3 abaixo dependendo de se a iluminação é “luz direta” ou “luz diferente da luz direta”.

[0235] A unidade de determinação de luz direta/luz de fundo 24 calcula para determinar “um valor de k” da Fórmula Matemática 2 e Fórmula Matemática 3. A unidade de determinação de luz direta/luz de fundo 24 é uma “unidade de determinação de luz direta/luz de fundo”.

[0236] Aqui, k1 e k2 são os “coeficientes de sobreposição de informação de polarização”.

[0237] “TH” é um “valor de limiar” e é definido, tal que “a luz direta pode ser reconhecida”.

[0238] Como descrito acima, de acordo com a teoria do modelo de reflexão pelas fórmulas (A) e (B), quanto mais perto a condição de captação de imagens estiver da luz direta, mais próximo o SDOP está de zero.

[0239] Dessa forma, quanto mais perto a condição de captação de imagens estiver da luz direta, menor a quantidade de deslocamento que é o “valor médio do SDOP na área de imagem predeterminada”.

[0240] Em seguida, a relação de magnitude entre o valor de limiar TH e a quantidade de deslocamento é determinada. Se a quantidade de deslocamento for menor do que o valor de limiar TH, é determinado que a condição de fonte de luz (condição de captação de imagens) é a luz direta.

[0241] Inversamente, se a quantidade de deslocamento for maior do que o valor de limiar TH, é determinado que a condição de fonte de luz “não é luz direta”, tal como a luz de fundo.

[0242] Em outras palavras, quando o “deslocamento” acima descrito for menor do que o valor de limiar TH, a unidade de determinação de luz direta/luz de fundo 24 determina que a condição de fonte de luz é a luz direta e define o coeficiente de sobreposição de informação de polarização k para k2.

[0243] Inversamente, quando o “deslocamento” acima descrito for maior do que o valor de limiar TH, a unidade de determinação de luz direta/luz de fundo 24 determina que a condição de fonte de luz não é a luz direta e define o coeficiente de sobreposição de informação de polarização k para k1.

[0244] A média no cálculo do deslocamento é tirada para a “área de imagem por X, Y”. A área de imagem pode ser a tela inteira que inclui a área de céu.

[0245] No entanto, no céu, o “estado de polarização difere dependendo da posição do sol”. Portanto, é preferível remover a área de céu a fim de obter um melhor resultado.

[0246] Por exemplo, se o sistema de processamento de imagens for utilizado com a finalidade de detectar a “faixa branca na superfície da estrada”, quando a luz é outra que não a luz direta, a reflexão da superfície da faixa branca é menor do que aquela da superfície da estrada e o SDOP da faixa branca se torna menor.

[0247] Nesse caso, portanto, ajustando o “coeficiente de sobreposição de informação de polarização k1 para ser negativo”, a diferença de brilho entre a faixa branca e o asfalto (o brilho do qual é menor do que o da faixa branca) pode ser “mais enfatizada”.

[0248] Quando a luz é a luz direta, “a relação de SDOP entre a faixa branca e o asfalto” é inversa. Dessa forma, é desejável que o “coeficiente de sobreposição de informação de polarização k2 seja um valor positivo ou zero”.

[0249] Se k2 é ajustado para zero, “sobreposição da informação de polarização não é executada”.

[0250] No acima, o SDOP é utilizado como a informação de polarização. Desnecessário dizer, o DOP e a razão de polarização acima descritos podem ser utilizados em vez do “SDOP” na Fórmula Matemática 1 e na Fórmula Matemática 3.

[0251] A fim de obter a informação de polarização, “subtração e divisão” são usadas. Dessa forma, o ruído é facilmente amplificado.

[0252] Dessa forma, é preferível executar processamento de redução de ruído, tal como média ponderada e um filtro médio ou um “filtro ” à imagem que indica a “informação de polarização obtida, tal como o SDOP”.

[0253] Por exemplo, a imagem de polarização obtida pode ter uma “área de saturação”.

[0254] Após a quantidade de luz a ser recebida exceder um certo nível, mesmo se a quantidade de luz aumentar para além desse ponto, a emissão do valor de saída por cada pixel do elemento de captura de imagens é constante e não muda.

[0255] Portanto, se IS(x, y) e IP(x, y) são “um valor máximo exprimível ou mais, ou um valor mínimo significativo ou menos”, a informação de polarização correta não pode ser obtida por cálculo.

[0256] Em tal caso, é preferível ajustar o valor do coeficiente de sobreposição de informação de polarização k para zero ou “emitir uma constante predeterminada” porque o cálculo é impossível, a fim de impedir “sobreposição na área”.

[0257] Observe que, na concretização da figura 3, a unidade de determinação de luz direta/luz de fundo 24 pode ser omitida e o coeficiente de sobreposição de informação de polarização k a ser multiplicado pelos parênteses do lado direito de Fórmula Matemática 1 pode ser fixo.

[0258] A concretização desse caso (sistema de processamento de imagens) inclui a unidade de sobreposição de polarização de brilho 20 que sobrepõe a informação de polarização, incluída na imagem IMP, na imagem de brilho como a alteração no brilho de cada pixel.

[0259] Além disso, o sistema de processamento de imagens tem uma função de geração de uma imagem obtida por sobreposição pela unidade de sobreposição de polarização de brilho 20 como a imagem de saída IMO.

[0260] Em relação ao valor médio da informação de polarização da imagem IMP em um intervalo predeterminado na imagem como a quantidade de deslocamento, a unidade de sobreposição de polarização de brilho 20 subtrai o valor da informação de polarização.

[0261] Consequentemente, a imagem de saída IMO da qual o deslocamento foi removido pode ser obtida.

[0262] De acordo com essa concretização do sistema de processamento de imagens, a influência da condição de fonte de luz, tal como a luz direta e a luz de fundo, pode ser quase cancelada por “remoção do deslocamento da informação de polarização da tela inteira”.

[0263] Dessa forma, a informação de polarização pode ser usada com a propriedade de dependência de fonte de luz efetivamente reduzida.

[0264] De acordo com a concretização acima descrita, a unidade de remoção de deslocamento 22 considera o grau de polarização diferencial (SDOP) da imagem, que inclui a informação de polarização como a informação de polarização e executa o processamento de imagens com base no cálculo da Fórmula Matemática 1 à Fórmula Matemática 3.

[0265] No entanto, como descrito acima, como a informação de polarização para calcular a quantidade de deslocamento, o grau de polarização (DOP) e a “razão de polarização” podem também ser utilizados sem limitação para o grau de polarização diferencial.

[0266] A unidade de remoção de deslocamento 22 adota uma área, obtida por remoção da área de céu da área inteira da imagem, como o “intervalo predeterminado” para o qual o valor médio da informação de polarização da imagem é calculado.

[0267] No entanto, sem ser limitado pelo acima, o “intervalo predeterminado” pode ser a “área inteira da imagem que inclui a informação de polarização”.

[0268] A concretização do sistema de processamento de imagens foi descrita acima e o sistema de processamento de imagens inclui a unidade de determinação de luz direta/luz de fundo 24 como a “unidade de determinação de luz direta/luz de fundo”.

[0269] A unidade de determinação de luz direta/luz de fundo 24 utiliza a informação de polarização da imagem para determinar se a condição de captação de imagens é a luz direta ou a luz de fundo.

[0270] De acordo com a concretização acima descrita, a unidade de determinação de luz direta/luz de fundo 24 utiliza a valor médio do grau de polarização diferencial (SDOP) para determinar se a condição de captação de imagens é a luz direta ou a luz de fundo.

[0271] No entanto, sem ser limitado pelo acima, se a condição de captação de imagens é a luz direta ou a luz de fundo pode ser determinado pela utilização de um valor médio do grau de polarização (DOP) ou um valor médio da razão de polarização.

[0272] Ao determinar que a condição de captação de imagens é a luz direta, a unidade de determinação de luz direta/luz de fundo 24 altera a quantidade de sobreposição (k) da informação de polarização na imagem de brilho.

[0273] Nesse caso, ao determinar que a condição de captação de imagens é a luz direta, a unidade de determinação de luz direta/luz de fundo 24 pode alterar a quantidade de sobreposição da informação de polarização na imagem de brilho para zero.

[0274] Como descrito acima, é preferível realizar cada cálculo como resultado da execução do processamento de redução de ruído para a imagem de polarização.

[0275] Exemplos específicos serão descritos abaixo.

“Exemplo específico 1”

[0276] As figuras 4A e 4B ilustram a imagem de brilho Ibright(x, y) e a imagem sobreposta de polarização de brilho Ibright_por (X, y).

[0277] As imagens são calculadas pela utilização da Fórmula Matemática 1, e o valor de limiar TH na Fórmula Matemática 2 e Fórmula Matemática 3 para cálculo do coeficiente de sobreposição de informação de polarização k é “TH = -”.

[0278] Em relação a cada um dos coeficientes k1 e k2 calculados pela Fórmula Matemática 2 e Fórmula Matemática 3, k1 = -300 e k2 = 0 são satisfeitos.

[0279] Em outras palavras, ajustando o valor de limiar TH para -, qualquer valor médio da informação de polarização (SDOP) que excede o valor de limiar e o valor médio menor do que o valor de limiar TH não está presente.

[0280] Dessa forma, k2 = 0 se aplica.

[0281] Em outras palavras, no Exemplo específico 1, não é determinado se a condição de captação de imagens é “a luz direta ou luz diferente da luz direta”.

[0282] A figura 48 ilustra a imagem de brilho Ibright(x, y) nesse momento. A figura 4A ilustra a imagem sobreposta de polarização de brilho Ibright_por(x, y).

[0283] No cálculo da imagem sobreposta de polarização de brilho Ibright_por(x, y), não é determinado se a luz é “a luz direta ou luz diferente da luz direta, e cada um do coeficiente k1 (luz diferente da luz direta) e coeficiente K2 (luz é a luz direta) é constante.

[0284] Como descrito acima, k1 = -300 e k2 = 0 se aplicam. Dessa forma, o coeficiente de sobreposição de informação de polarização k é considerado k1 na Fórmula Matemática 1, e sempre a mesma quantidade do grau de polarização (SDOP) é sobreposta na imagem de brilho.

[0285] Na imagem de brilho Ibright(x, y) da figura 4B, a “faixa branca” na superfície da estrada não é vista.

[0286] No entanto, na imagem sobreposta de polarização de brilho Ibright_por(x, y) ilustrada na figura 4A, a “faixa branca” é claramente vista e pode ser reconhecida dentro da imagem.

[0287] Além disso, o “limite entre o asfalto e a neve” no acostamento é também claramente reconhecido.

[0288] Como ilustrado na figura 4A, por sobreposição da informação de polarização na imagem de brilho, o contraste da extremidade da estrada e o contraste da parte tracejada são melhorados e a reflexão desnecessária pela superfície da pista molhada é removida.

[0289] Além disso, o “objeto, tal como geada transparente, que é invisível a olho nu”, é também detectado.

[0290] Dessa forma, em comparação com o dispositivo de captura de imagens geral, esse sistema pode lidar com uma condição mais severa.

[0291] O “algoritmo do estágio subsequente, tal como o reconhecimento de faixa branca” para a imagem de saída sobreposta de polarização de brilho pode ser utilizado sem alterar o “algoritmo para a imagem de brilho” da técnica relacionada.

[0292] No exemplo acima, como a “soma linear (Fórmula Matemática 1) da informação de polarização e da imagem de brilho”, a imagem sobreposta de polarização de brilho é gerada. No entanto, existe também um método de geração da imagem sobreposta de polarização de brilho como a “multiplicação da informação de polarização e da imagem de brilho”.

[0293] Como um exemplo desse caso, por exemplo, se o SDOP (x,y) acima descrito for utilizado como a informação de polarização, o cálculo de sobreposição se torna a seguinte Fórmula Matemática 4.

[0294] Em seguida, a imagem sobreposta de brilho de polarização Ibright_por(x,y), que é a quantidade característica (imagem) à qual a polarização é adicionada, é obtida.

[0295] Em outras palavras, a quantidade em parênteses do lado direito da Fórmula Matemática 4 é considerada a “informação de polarização”. Tal informação de polarização é sobreposta na imagem de brilho Ibright(x,y) utilizando o coeficiente de sobreposição de polarização de brilho k.

[0296] O cálculo é executado para cada pixel, e a multiplicação é executada com o “pixel das mesmas coordenadas” SDOP(x, y) e Ibright(x, y).

[0297] Como descrito abaixo, na área de imagem por X, Y, o “valor de limiar TH que pode distinguir entre quando a luz é a luz direta e quando a luz é outra que não a luz direta para o valor médio da razão de polarização” é definido em relação ao coeficiente de sobreposição de polarização de brilho k.

[0298] Utilizando esse valor de limiar, k é definido de acordo com Fórmula Matemática 5 e a Fórmula Matemática 6 abaixo.

[0299] Nesse exemplo, é determinado se a luz é a luz direta ou a “luz diferente da luz direta (tal como a luz de fundo)” com base na magnitude do “valor médio da razão de polarização” em vez do SDOP.

[0300] Em relação à condição de captação de imagens, as “condições de fonte de luz” são diferentes entre o dia e a noite.

[0301] Em outras palavras, o dia está em um estado de iluminação pelos raios solares e a noite está em um estado de iluminação pelo farol de veículos e as lâmpadas de rua.

[0302] Nesse ponto de vista, é preferível que os valores de “coeficientes de sobreposição de polarização de brilho k1 e k2 sejam alterados entre o dia e a noite”.

[0303] A determinação do dia e da noite pode ser feita a partir da informação liga/desliga do interruptor do farol e, quando controle de exposição automático é feito, pela detecção do brilho ambiente com base na quantidade de exposição.

[0304] Adicionalmente, dependendo de se a condição, tal como “sob a exposição da luz do dia direta ou nublado”, a comutação dos valores de k1 e k2 pode render um melhor efeito.

[0305] Sob a luz do dia direta, a intensidade de iluminação de um alvo é alta. Dessa forma, quando o controle de exposição automático é feito, é possível determinar se a “iluminação é sob a luz do dia direta ou nebulosidade” com base na detecção da quantidade de exposição.

[0306] De acordo com a concretização descrita com referência às figuras 3 e 4, o sistema de processamento de imagens inclui a unidade de captura de imagens (não ilustrada na figura 3). A unidade de captura de imagens captura uma imagem que inclui a informação de polarização para a qual o processamento por sobreposição é executado pela unidade de sobreposição de polarização de brilho 20.

[0307] Além disso, o sistema de processamento de imagens inclui uma unidade de determinação da condição de fonte de luz 24. A unidade de determinação da condição de fonte de luz 24 faz uma “determinação presumindo a condição de fonte de luz.

[0308] A unidade de sobreposição de polarização de brilho 20 altera um método de sobreposição da informação de polarização na imagem de brilho dependendo da saída de uma unidade de determinação da informação de fonte de luz 24.

[0309] Além disso, o sistema de processamento de imagens pode incluir uma “unidade de determinação de dia/noite”. A unidade de determinação de dia/noite faz uma determinação presumindo se o momento de captação da imagem pela unidade de captura de imagens é de dia ou à noite.

[0310] A unidade de sobreposição de polarização de brilho pode alterar um método de sobreposição da informação de polarização na imagem de brilho dependendo da saída da unidade de determinação de dia/noite.

[0311] A unidade de determinação de dia/noite pode utilizar uma unidade para obtenção da “informação liga/desliga o interruptor do farol” e, quando o controle de exposição automático é feito, uma unidade para detectar o brilho do ambiente com base na quantidade de exposição.

[0312] Além disso, os valores do coeficiente de sobreposição de polarização de brilhos k1 e k2 pode ser comutado dependendo do tempo, tal como sob a luz do dia direta ou sob nebulosidade, para assim alterar o método de sobreposição.

[0313] A “unidade de determinação da informação de fonte de luz”, nesse caso, pode fazer uma determinação com base na detecção da quantidade de exposição no controle de exposição automático.

[0314] De acordo com a concretização ilustrada nas figuras 3 e 4, o sistema de processamento de imagens inclui a unidade de remoção de deslocamento 22 como a “unidade de remoção de deslocamento de informação de polarização”.

[0315] O deslocamento é removido pela subtração, a partir da informação de polarização, do “valor médio da informação de polarização no intervalo predeterminado” da imagem que inclui a informação de polarização.

[0316] A “informação de polarização da qual o deslocamento foi removido” é sobreposta na imagem de brilho.

[0317] A unidade de remoção de deslocamento de informação de polarização divide, pelo grau de polarização ou pelo grau de polarização diferencial, o valor médio do grau de polarização ou do grau de polarização diferencial no intervalo predeterminado da imagem que inclui a informação de polarização.

[0318] O “intervalo predeterminado para obtenção do valor médio da informação de polarização” pode ser a área inteira da imagem que inclui a informação de polarização e também pode ser a “área obtida por remoção da área de céu da área inteira da imagem que inclui a informação de polarização”.

[0319] Além disso, o sistema de processamento de imagens pode incluir uma unidade de determinação de luz direta/luz de fundo. A unidade de determinação de luz direta/luz de fundo estima e determina se a condição de captação de imagens da imagem, que inclui a informação de polarização, é a luz direta ou a luz de fundo com base na informação da imagem capturada.

[0320] Essa “unidade de determinação de luz direta/luz de fundo” pode determinar a condição de captação de imagens com base no grau de polarização ou no grau de polarização diferencial da imagem capturada, que inclui a informação de polarização (Fórmula Matemática 2 e Fórmula Matemática 3 acima).

[0321] A unidade de determinação de luz direta/luz de fundo pode determinar se a captação da imagem foi realizada sob a luz direta ou a luz de fundo com base no “valor médio da razão de polarização da tela inteira” da imagem, que inclui a informação de polarização (Fórmula Matemática 5 e Fórmula Matemática 6).

[0322] Como descrito acima, quando a unidade de determinação de luz direta/luz de fundo determina que a condição de captação de imagens é a luz direta, é preferível alterar a quantidade de sobreposição da informação de polarização na imagem de brilho para zero.

[0323] Quando a unidade de determinação de luz direta/luz de fundo determina que a condição de captação de imagens é a luz direta, é possível alterar a quantidade de sobreposição da informação de polarização na imagem de brilho.

[0324] Como na concretização abaixo, a unidade de sobreposição de polarização de brilho pode determinar se um valor com base na imagem de brilho é emitido ou se um valor fixo é emitido, com base no valor de cada área da imagem, que inclui a informação de polarização.

[0325] Nesta concretização, a informação de polarização é sobreposta na imagem de brilho com base em um algoritmo diferentes do algoritmo acima descrito.

[0326] Se um “objeto desnecessário, que não um objeto a ser reconhecido, pode ser removido” quando vários tipos de processamento de reconhecimento de objeto são realizados, falsos reconhecimentos podem ser reduzidos.

[0327] Dessa maneira, são possíveis melhorias no desempenho do processamento de reconhecimento de objeto e na “redução da quantidade de processamento”.

[0328] Com o “algoritmo de sobreposição de polarização de brilho”, nesse caso, “a imagem de brilho com um valor da informação de polarização, tal como o SDOP estando dentro de um intervalo predeterminado é emitida”.

[0329] Fórmulas para realização desse método utilizando SDOP(x, y) como a informação de polarização são indicadas abaixo.

[0330] Entre as fórmulas (E) a (G), SDOP(x, y), Ibright_por(x, y) e Ibright(x, y) são como definidos acima.

[0331] O valor de limiar TH é definido, tal que “o objeto, que não o objeto detectado, é removido da imagem de saída utilizando a informação de polarização” e, dependendo da relação de magnitude entre SDOP(x, y) e TH, o coeficiente de sobreposição de informação de polarização k é comutado.

[0332] Observe que, a fim de remover a influência da fonte de luz, utilizando previamente a “unidade de remoção de deslocamento de informação de polarização”, o resultado obtido pela execução da “subtração do deslocamento”, foi descrita com base na Fórmula Matemática 1, pode ser utilizado.

[0333] Conforme acima, se a informação de polarização após subtração do deslocamento for usada para calcular as fórmulas (E) a (G) acima, a possibilidade de receber a “influência do ângulo da fonte de luz” é reduzida.

[0334] Dessa forma, quando uma imagem for capturada ao ar livre, a “influência da posição do sol” pode ser reduzida.

[0335] No cálculo das fórmulas (E) a (G), o SDOP foi utilizado como a informação de polarização, mas, obviamente, o DOP e a razão de polarização acima descritos podem ser utilizados.

[0336] É preferível executar o cálculo com base no resultado obtido pela execução do processamento de redução de ruído, tal como a média ponderada e o filtro médio ou o filtro para a “imagem que indica a informação de polarização”, tal como o SDOP.

[0337] Quando existe uma “área de saturação na imagem obtida”, a fim de “interromper a sobreposição” para a área, é preferível definir o valor de k para zero ou emitir uma constante predeterminada presumindo que o cálculo é impossível.

[0338] Um exemplo específico da concretização descrita acima será descrito abaixo.

"Exemplo Específico 2”

[0339] O Exemplo específico 2 indica que, nas fórmulas de cálculo (E) a (G) acima, k1 = 0, k2 = 1 e TH = 0,15 se aplicam.

[0340] Em outras palavras, nesse exemplo, a “imagem de brilho em si” é emitida do pixel em que o SDOP se torna menor do que o valor de limiar TH.

[0341] No pixel em que o SDOP se torna maior do que o valor de limiar TH, “sobreposição da informação de polarização” não é executada.

[0342] Esse exemplo presume “um caso de contagem do número de veículos” na estrada.

[0343] As figuras 5A e 58 ilustram a imagem de brilho e a imagem sobreposta de polarização de brilho obtidas.

[0344] A figura 5A ilustra a imagem sobreposta de polarização de brilho e a figura 58 ilustra a imagem de brilho.

[0345] Na imagem de brilho ilustrada na figura 58, a luz do veículo e a luz refletida pela superfície da estrada são “obstáculos da detecção de veículo”.

[0346] A “luz do veículo e a luz refletida pela superfície da estrada” são tipos de luz de fundo. Na imagem de polarização para o objeto a ser capturado, o “SDOP” é grande.

[0347] No pixel em que o SDOP é grande o suficiente para exceder o valor de limiar TH, a emissão da imagem de brilho é ajustada zero.

[0348] No pixel em que o SDOP é menor do que o valor de limiar TH, k2 = 1 se aplica, e a “imagem de brilho em si” é emitida.

[0349] No “pixel em que o SDOP está em um intervalo constante (TH < 0,15)”, dessa maneira, a imagem de brilho é multiplicada pelo coeficiente de sobreposição de polarização de brilho k2 (= 1).

[0350] Em outras palavras, o valor de limiar TH é definido para uma constante apropriada. Consequentemente, “pela utilização da informação de polarização, o objeto, que não o objeto detectado”, pode ser removido da imagem de saída.

[0351] Na imagem sobreposta de polarização de brilho ilustrada na figura 5A, a luz na imagem de brilho e a luz refletida pela superfície da estrada são favoravelmente removidas pelo cálculo utilizando o SPOD.

[0352] Como descrito acima, se o cálculo (Fórmula E) para a imagem de brilho for executado “com o SDOP estando somente dentro de um intervalo predeterminado (TH < 0,15)”, é possível excluir o objeto detectado desnecessário “antes de utilizar o algoritmo de reconhecimento para o cálculo”.

[0353] Consequentemente, é possível reduzir os “falsos reconhecimentos do objeto a ser reconhecido”.

[0354] Outro exemplo específico será descrito.

“Exemplo específico 3”

[0355] O Exemplo específico 3 presume um caso, em que, como parâmetros de cálculo nas fórmulas de cálculo (E) a (G), k1 = 0, k2 = 5 e TH = 0,05 se aplicam. As figuras 6A e 6B ilustram as imagens desse caso.

[0356] Em outras palavras, nesse exemplo, o valor de limiar TH é definido tão baixo quanto 0,05. Para o pixel com o SDOP que excede o valor de limiar TH, o coeficiente de sobreposição de polarização de brilho k1 a ser multiplicado pela informação de brilho é definido para zero.

[0357] Além disso, para o pixel com o SDOP que não excede o valor de limiar TH, o coeficiente de sobreposição de polarização de brilho k2 a ser multiplicado pela informação de brilho é definido tão grande quanto 5.

[0358] A figura 6A ilustra a imagem sobreposta de polarização de brilho e a figura 6B ilustra a imagem de brilho.

[0359] A imagem de brilho da figura 6B apresenta “muitos objetos incluindo os anteriores, outros que não o veículo a ser detectado”.

[0360] Independentemente se a pintura do veículo é branca ou preta, “como o objeto a ser detectado, o veículo é considerado o mesmo”. No entanto, na imagem de brilho, a imagem é amplamente diferente.

[0361] Em outras palavras, “o veículo escuro” no lado mais próximo na imagem de brilho tem baixo brilho e facilmente leva à “dificuldade no reconhecimento do objeto”.

[0362] Dessa forma, se o “brilho” da imagem de brilho for utilizado como está para a detecção como a quantidade característica, é difícil melhorar a precisão da detecção.

[0363] Como é óbvio a partir da imagem de brilho da figura 6B, a condição de captação de imagens não é a luz de fundo. Dessa forma, o SDOP, que é a informação de polarização, é pequeno independentemente da cor da pintura do veículo.

[0364] Com um pixel em que o SDOP se torna pequeno, portanto, a informação na imagem de brilho é enfatizada com o coeficiente de sobreposição de polarização de brilho k2 (= 5). Consequentemente, a imagem pode ser expressa como a “imagem que tem alto brilho”.

[0365] Na “imagem sobreposta de polarização de brilho” ilustrada na figura 6A, pela sobreposição de polarização de brilho utilizando o SDOP, “muitas partes, que não as do veículo”, podem ser excluídas.

[0366] Ambos o veículo preto e o veículo branco são “da mesma forma mostrados em branco”. O valor do brilho em si na imagem sobreposta de polarização de brilho pode ser utilizado como a “quantidade característica para detecção”.

[0367] Quando usada para a detecção do veículo, a unidade de sobreposição de polarização de brilho determina se um valor com base na imagem de brilho é emitido ou um valor fixo é emitido, de modo que luz diferente da luz refletida do veículo seja removida.

[0368] No exemplo descrito acima, a unidade de sobreposição de polarização de brilho pode determinar (Fórmulas (F) e (G)) se o valor com base na imagem de brilho é emitido ou se o valor fixo é emitido, com base no valor de cada área da imagem que inclui a informação de polarização.

[0369] Além disso, com base no valor do grau de polarização diferencial (SDOP) de cada área, a unidade de sobreposição de polarização de brilho determina se o valor com base na imagem de brilho é emitido ou se o valor fixo é emitido.

[0370] No entanto, sem limitação ao acima, a unidade de sobreposição de polarização de brilho pode determinar se o valor com base na imagem de brilho é emitido ou se o valor fixo é emitido com base no grau de polarização (DOP) e na razão de polarização.

[0371] Como no exemplo específico 3, a unidade de sobreposição de polarização de brilho pode determinar se “o valor com base na imagem de brilho é emitido, de modo que a luz refletida seja removida” ou o valor fixo seja emitido.

[0372] Quando usada para a detecção do veículo, a unidade de sobreposição de polarização de brilho pode determinar se o brilho com base na imagem de brilho é emitido, de modo que luz diferente da luz refletida do veículo seja removida ou o valor fixo seja emitido.

[0373] Em cada concretização descrita acima, o sistema de processamento de imagens pode incluir “uma unidade de determinação de área de saturação que determina a área de saturação na imagem de brilho”.

[0374] Nesse caso, a unidade de sobreposição de polarização de brilho pode alterar o método de sobreposição em relação à área de saturação e pode definir a quantidade de sobreposição da informação de polarização para zero em relação à área de saturação.

[0375] Alternativamente, em relação à área de saturação, a unidade de sobreposição de polarização de brilho pode “emitir uma constante para a área correspondente da imagem de saída”.

[0376] A unidade de captura de imagens 10 descrita com referência à figura 1 inclui o filtro de polarização 132 dividido em áreas no elemento de captura de imagens 12.

[0377] Dessa forma, com base em cada concretização descrita acima, é possível realizar “um método de processamento de imagens, em que para a imagem que inclui a informação de polarização, a informação de polarização é sobreposta na imagem de brilho como a alteração no brilho de cada pixel, e a imagem sobreposta é emitida como a imagem de saída”.

[0378] De acordo com a descrição acima, quando a luz incidente ao elemento de captura de imagens excede um intervalo de captação de imagens do elemento de captura de imagens (quando o valor de saída do pixel está saturado), a informação de polarização não é sobreposta na imagem de brilho.

[0379] No entanto, na imagem de brilho obtida a partir da imagem de polarização, não apenas a área de saturação, mas também uma “área em que a saturação não é alcançada, mas está próxima de ser alcançada”, está presente.

[0380] Se a informação de polarização é sobreposta na imagem de brilho da “área em que a saturação está próxima de ser alcançada”, é considerado impossível obter uma imagem sobreposta de polarização de brilho apropriada.

[0381] A fim de lidar com tal condição, a seguinte medida é efetiva para a “área em que saturação não é alcançada, mas está próxima de ser alcançada” acima.

[0382] Em outras palavras, o “grau de saturação” da área é determinado junto com a área em que a saturação está próxima de ser alcançada.

[0383] Na área em que a saturação está próxima de ser alcançada, “com base no grau de saturação, a razão na sobreposição entre a imagem de brilho e a informação de polarização é alterada, tal que quanto mais próxima à saturação, maior a razão da imagem de brilho”.

[0384] Como descrito acima, a imagem de brilho Ibright(x, y) é dada pela fórmula (C) a seguir.Ibright(x,y) = {IS(x, y) + IP(x, y)}/2 (C)

[0385] Em outras palavras, a imagem de brilho Ibright x, y) é especificada pelo brilho do pixel especificado pela posição (x, y).

[0386] Em seguida, para cada pixel, é determinado se Ibright(x, y) é saturado ou próximo de ser saturado e, além disso, o grau de saturação é determinado.

[0387] Para simplificação da descrição, o valor quando o brilho Ibright(x, y) do pixel na posição (x, y) é saturado é definido para “1”. Assume-se que Ibright(x, y) altera entre 0 e 1.

[0388] A área de “Ibright(x, y) 0,95” é considerada a “área em que a saturação está muito próxima de ser alcançada”.

[0389] A área de “Ibright(x, y) 0,85” é considerada a “área em que a saturação está próxima de ser alcançada”.

[0390] A área de “Ibright(x, y) < 0,85” é considerada a “área em que a saturação não é alcançada”.

[0391] Com referência à figura 7, após o INÍCIO, é primeiro determinado na etapa S1 se “o pixel”, ou seja, o pixel na posição (x, y) é saturado.

[0392] Se “Ibright(x, y) = 1” se aplica, o pixel é saturado.

[0393] Se o pixel é saturado, o processo avança para a etapa S3, em cujo caso “naquele pixel, a sobreposição da informação de polarização” não é executada.

[0394] Se o pixel não é saturado, o processo avança para a etapa S2, em que é determinado se “o pixel” é a “área em que saturação está muito próxima de ser alcançada”.

[0395] Se “1 > Ibright(x, y) 0,95” se aplica, o pixel é a “área em que a saturação está muito próxima de ser alcançada”. Nesse caso também, o processo avança para a etapa S3, e nessa área (pixel) também, a “sobreposição da informação de polarização” não é executada.

[0396] Se “Ibright(x, y) < 0,95” se aplica, o processo avança para a etapa 4, em que é determinado se o pixel é a “área em que saturação está próxima de ser alcançada”.

[0397] Se “Ibright(x, y) < 0,85” se aplica, é determinado que o pixel “não é a área em que a saturação está próxima de ser alcançada”. Em seguida, o processo avança para a etapa S5 e a “sobreposição da informação de polarização” é executada.

[0398] Se “0,95 > Ibright (X, y) 0,85” se aplica, o pixel é determinado como sendo a “área em que a saturação está próxima de ser alcançada”.

[0399] Nesse caso, o processo avança para a etapa S6, e altera a razão de sobreposição da informação de polarização.

[0400] Em outras palavras, a razão de sobreposição é alterada, tal que quanto mais perto o valor de Ibright(x, y) ao limite superior 0.95, maior a razão da imagem de brilho.

[0401] Um exemplo de alteração da “razão de sobreposição” pela fórmula de cálculo será descrito.

[0402] Primeiro, se for determinado que o pixel não é a “área em que a saturação está próxima de ser alcançada”, como descrito acima, a sobreposição da informação de polarização é executada.

[0403] Em outras palavras, a Saída(x, y) emitida como a imagem de polarização de brilho no pixel, nesse caso, é “Ibright_por(x, y)”, que é dado no lado direito da Fórmula Matemática 1.

[0404] Se o pixel é a “área de saturação” ou a “área em que a saturação está muito próxima de ser alcançada”, como descrito acima, a “sobreposição da informação de polarização” não é executada.

[0405] Dessa forma, a Saída(x, y) emitida no pixel correspondente, nesse caso, é “Ibright_por(x, y)”.

[0406] Quando o pixel é a “área em que a saturação está próxima de ser alcançada”, a razão de sobreposição é alterada, tal que quanto mais perto o valor de Ibright(x, y) ao limite superior 0,95, maior a razão da imagem de brilho.

[0407] A fim de executar o acima, por exemplo, a seguinte razão de função (x, y) é definida. Razão(x,y) = {Ibright(x,y) - a}/b

[0408] A saída(x, y) emitida é determinada sendo calculada conforme abaixo. Saída(x, y) = razão (x,y)»Ibright(x,y) + {1 - razão(x,y)}»Ibright_por(x, y)

[0409] Os a e b acima são “constantes que definem a saturação pelo brilho do pixel”.

[0410] Quanto maiores os valores de “a e b”, menor a saturação. Inversamente, quanto menores os valores de “a e b”, maior a saturação.

[0411] “a e b” são definidos de acordo com Ibright(x, y) no intervalo de “0,95 > Ibright(x, y) 0,85” e, como descrito acima, a “razão de sobreposição” é alterada.

[0412] Como descrito acima, para cada pixel, a unidade de determinação de área de saturação pode determinar o “grau de saturação (se o pixel é saturado, se está muito próximo de ser saturado ou se está próximo de ser saturado)”.

[0413] A unidade de sobreposição de polarização de brilho 20 na figura 1 tem a função acima.

[0414] A descrição foi dada acima para um caso em que o coeficiente de sobreposição de informação de polarização k na Fórmula Matemática 1 é alterado de acordo com o ambiente, por exemplo, o coeficiente é comutado entre quando a luz é a luz direta e quando a luz é a luz de fundo.

[0415] No entanto, é, algumas vezes, preferível “alterar o coeficiente de sobreposição de informação de polarização k de acordo com tipos de um objeto”, em vez do ambiente.

[0416] Por exemplo, é importante que uma câmera montada em veículo e semelhantes detecte a superfície da estrada e o sinal.

[0417] Para o “objeto que inclui a faixa branca que tem a propriedade de dependência de polarização”, tal como a superfície da estrada, é preferível aumentar o coeficiente de sobreposição de informação de polarização k mesmo embora o ruído seja um pouco aumentado.

[0418] Inversamente, em relação ao objeto que não tem a propriedade de dependência de polarização, tal como o sinal, é preferível reduzir o coeficiente de sobreposição de informação de polarização k porque o ruído é preferencialmente reduzido.

[0419] Como um tipo de medida para executar isso, o coeficiente de sobreposição de informação de polarização k é alterado de acordo com a “posição na tela em que cada objeto está tipicamente presente”.

[0420] Considerando os exemplos acima descritos da superfície da estrada e do sinal, na imagem capturada pela unidade de captura de imagens, a superfície da estrada está geralmente presente em uma “porção inferior da imagem”.

[0421] Dessa forma, por exemplo, na “porção inferior da imagem”, em que a superfície da estrada está presente, o coeficiente de sobreposição de informação de polarização k é definido para ser grande, e na porção superior da tela, o coeficiente de sobreposição de informação de polarização k é definido para ser pequeno.

[0422] Dispondo conforme acima, na área de superfície da estrada necessária, a informação de polarização pode ser efetivamente usada. Em outras áreas onde a informação de polarização não faz sentido, a informação de polarização não é usada, mas a imagem de brilho pode ser usada como está.

[0423] Dispondo conforme acima, é possível obter a “imagem com menos ruído”.

[0424] Nesse exemplo, o coeficiente de sobreposição de informação de polarização k é alterado entre a porção superior e a porção inferior da imagem capturada. No entanto, obviamente, a área de alteração do coeficiente de sobreposição de informação de polarização k não é limitada ao acima.

[0425] Através da “alteração contínua do coeficiente de sobreposição de informação de polarização k” na imagem, é possível evitar a influência da descontinuidade no limite da alteração.

[0426] A figura 8 ilustra uma concretização em que um sistema de processamento de imagens 100 é montado em um veículo 500 para executar o controle do veículo.

[0427] O sistema de processamento de imagens 100 inclui a “unidade de captura de imagens, unidade de sobreposição de polarização de brilho e unidade de processamento de imagens/reconhecimento de imagens” acima descritas e executa o reconhecimento de imagem como descrito acima.

[0428] A unidade de captura de imagens do sistema de processamento de imagens 100 é provida em uma posição fixa do veículo 500 para capturar uma imagem da condição da estrada.

[0429] A informação de brilho capturada pela unidade de captura de imagens é sobreposta na informação de polarização como descrito acima. Com base no resultado assim obtido, a unidade de processamento de imagens/reconhecimento de imagens executa uma operação de reconhecimento predeterminada.

[0430] O resultado do reconhecimento pela unidade de processamento de imagens/reconhecimento de imagens é entregue a uma unidade de controle de veículo 200 que serve como uma unidade de controle de dispositivo.

[0431] Com base no resultado de reconhecimento de entrada, a unidade de controle de veículo 200 executa o controle de veículo, tal como assistência das operações de frenagem e direção do veículo 500.

[0432] Observe que a “unidade de processamento de imagens/reconhecimento de imagens” pode ser integralmente formada com o sistema de processamento de imagens, ou pode ser provida separadamente do sistema de processamento de imagens.

[0433] Se a “unidade de processamento de imagens/reconhecimento de imagens” é provida separadamente do sistema de processamento de imagens, a unidade de processamento de imagens/reconhecimento de imagens recebe um sinal IMO do sistema de processamento de imagens para executar o processamento de imagens/reconhecimento de imagens necessário, e emite o resultado obtido para a unidade de controle de veículo 200.

[0434] A figura 8 ilustra um caso em que um sistema de processamento de captação de imagens é utilizado para o controle de veículo. No entanto, o uso do sistema de processamento de captação de imagens não é limitado ao acima, e é aplicável a, por exemplo, objetos móveis que não o veículo (por exemplo, um robô móvel, um navio e um avião), um robô para automação industrial (FA) e um sistema agrícola.

[0435] A figura 9 é um diagrama de blocos ilustrando um exemplo de um sistema de computador, que é um hardware para implementação do sistema de processamento de imagens.

[0436] Um sistema de computador 1000 inclui um barramento 110, uma CPU 120, uma ROM 130, uma RAM 140, um disco rígido (HDD) 150 e uma E/S 160.

[0437] Qualquer um dentre a CPU 120, a ROM 130, a RAM 140, o HDD 150 e a E/S 160 é conectado ao barramento 110 e a informação é transmitida/recebida através do barramento 110.

[0438] A unidade de captura de imagens 10 ilustrada na figura 1 é conectada à E/S 160.

[0439] A RAM 140 é usada como uma área de trabalho da CPU 120. A ROM 130 (incluindo uma regravável) é usada como uma área de gravação de informações fixas, tais como vários programas de controle, tabelas e parâmetros.

[0440] Um “programa de processamento de imagens” implementa funções da unidade de sobreposição de polarização de brilho 20, unidade de processamento de imagens/reconhecimento de imagens 30 e unidade de controle de veículo 200 acima descritas. Um meio de gravação, tal como um DVD-ROM, é definido para um dispositivo de drive óptico (não ilustrado), e o programa de processamento de imagens é uma vez armazenado em um HDD 250 e, em seguida, carregado para a RAM 140 sempre que necessário.

[0441] A imagem a ser submetida a processamento de imagens é inserida na E/S 160 da unidade de captura de imagens 10.

[0442] Como descrito, de acordo com a presente invenção, o “sistema de processamento de imagens” e o “método de processamento de imagens”, como descrito abaixo, podem ser providos.

[0443] [1-1] Um sistema de processamento de imagens incluindo: uma unidade de sobreposição de polarização de brilho, que sobrepõe informação de polarização de uma imagem na imagem de brilho como uma alteração no brilho de cada pixel, em que o sistema de processamento de imagens tem uma função de geração de uma imagem obtida por sobreposição pela unidade de sobreposição de polarização de brilho como uma imagem de saída.

[0444] [1-2] O sistema de processamento de imagens, de acordo com 1-1, incluindo uma unidade de captura de imagens que captura a imagem, que inclui a informação de polarização e deve ser submetida a processamento por sobreposição pela unidade de sobreposição de polarização de brilho.

[0445] [1-3] O sistema de processamento de imagens, de acordo com 1-1 ou 1-2, em que a unidade de sobreposição de polarização de brilho executa sobreposição como uma soma linear da informação de polarização e da imagem de brilho.

[0446] [1-4] O sistema de processamento de imagens, de acordo com 1-1 ou 1-2, em que a unidade de sobreposição de polarização de brilho executa sobreposição como multiplicação da informação de polarização e da imagem de brilho.

[0447] [1-5] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-4, em que a informação de polarização sobreposta na imagem de brilho pela unidade de sobreposição de polarização de brilho é o grau de polarização ou o grau de polarização diferencial.

[0448] [1-6] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-4, em que a informação de polarização sobreposta na imagem de brilho pela unidade de sobreposição de polarização de brilho é a razão de polarização.

[0449] [1-7] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-6, que inclui uma unidade de redução de ruído que remove ruído da informação de polarização antes da sobreposição na imagem de brilho.

[0450] [1-8] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-7, que inclui:a unidade de captura de imagens que captura a imagem, que inclui a informação de polarização e deve ser submetida a processamento por sobreposição pela unidade de sobreposição de polarização de brilho; e unidade de determinação da condição de fonte de luz, que estima e determina uma condição de fonte de luz na captação de uma imagem pela unidade de captura de imagens, em que a unidade de sobreposição de polarização de brilho altera um método de sobreposição da informação de polarização na imagem de brilho, dependendo de uma emissão da unidade de determinação da informação de fonte de luz.

[0451] [1-9] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-8, que inclui: a unidade de captura de imagens que captura a imagem, que inclui a informação de polarização e deve ser submetida a processamento por sobreposição pela unidade de sobreposição de polarização de brilho; e unidade de determinação de dia/noite que estima e determina se o momento de captação de uma imagem pela unidade de captura de imagens é de dia ou à noite, em que a unidade de sobreposição de polarização de brilho altera o método de sobreposição da informação de polarização na imagem de brilho dependendo de uma emissão da unidade de determinação de dia/noite.

[0452] [1-10] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-10, que inclui uma unidade de remoção de deslocamento de informação de polarização, que remove deslocamento pela subtração, a partir da informação de polarização, de um valor médio da informação de polarização em um intervalo predeterminado da imagem que inclui a informação de polarização,em que a informação de polarização, a partir da qual o deslocamento foi removido pela unidade de remoção de deslocamento de informação de polarização, é sobreposta na imagem de brilho.

[0453] [1-11] O sistema de processamento de imagens, de acordo com 1-10, em que a unidade de remoção de deslocamento de informação de polarização divide, pelo grau de polarização ou pelo grau de polarização diferencial, o valor médio do grau de polarização ou do grau de polarização diferencial no intervalo predeterminado na imagem que inclui a informação de polarização.

[0454] [1-12] O sistema de processamento de imagens, de acordo com 1-10 ou 1-11, em que o intervalo predeterminado, onde o valor médio da informação de polarização é obtido, é uma área inteira da imagem que inclui a informação de polarização.

[0455] [1-13] O sistema de processamento de imagens, de acordo com 1-10 ou 1-11, em que o intervalo predeterminado, onde o valor médio da informação de polarização é obtido, é uma área obtida pela remoção de uma área de céu da área inteira da imagem que inclui a informação de polarização.

[0456] [1-14] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-13, incluindo uma unidade de determinação de luz direta/luz de fundo que estima e determina se a imagem que inclui a informação de polarização foi capturada em luz direta ou luz de fundo, com base na informação da imagem capturada.

[0457] [1-15] O sistema de processamento de imagens, de acordo com 1-14, em que a unidade de determinação de luz direta/luz de fundo determina se a captação da imagem foi realizada na luz direta ou na luz de fundo, com base no grau de polarização ou no grau de polarização diferencial da imagem capturada que inclui a informação de polarização.

[0458] [1-16] O sistema de processamento de imagens, de acordo com 1-14, em que a unidade de determinação de luz direta/luz de fundo determina se a captação da imagem foi realizada na luz direta ou na luz de fundo, com base em um valor médio da razão de polarização de uma tela inteira da imagem capturada que inclui a informação de polarização.

[0459] [1-17] O sistema de processamento de imagens, de acordo com qualquer um de 1-14 a 1-16, em que, quando a unidade de determinação de luz direta/luz de fundo determina que a captação da imagem foi executada na luz direta, a quantidade de sobreposição da informação de polarização na imagem de brilho é ajustada zero.

[0460] [1-18] O sistema de processamento de imagens, de acordo com qualquer um de 1-14 a 1-16, em que, quando a unidade de determinação de luz direta/luz de fundo determina que a captação da imagem foi realizada na luz direta, a quantidade de sobreposição da informação de polarização na imagem de brilho é alterada.

[0461] [1-19] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-18, em que a unidade de sobreposição de polarização de brilho determina, com base em um valor de cada área da imagem que inclui a informação de polarização, se emite um valor com base na imagem de brilho ou se emite um valor fixo.

[0462] [1-20] O sistema de processamento de imagens, de acordo com 1-19, em que a unidade de sobreposição de polarização de brilho determina, com base em um valor do grau de polarização de cada área, se emite o valor com base na imagem de brilho ou se emite o valor fixo.

[0463] [1-21] O sistema de processamento de imagens, de acordo com 1-19, em que a unidade de sobreposição de polarização de brilho determina, com base em um valor do grau de polarização diferencial de cada área, se emite o valor com base na imagem de brilho ou se emite o valor fixo.

[0464] [1-22] O sistema de processamento de imagens, de acordo com 1-19, em que a unidade de sobreposição de polarização de brilho determina, com base em um valor da razão de polarização de cada área, se emite o valor com base na imagem de brilho ou se emite o valor fixo.

[0465] [1-23] O sistema de processamento de imagens, de acordo com 1-19, em que a unidade de sobreposição de polarização de brilho determina se emite o valor com base na imagem de brilho ou se emite o valor fixo, de tal forma que a luz refletida seja removida.

[0466] [1-24] O sistema de processamento de imagens, de acordo com 1-19, utilizado para detecção de um veículo, em que a unidade de sobreposição de polarização de brilho determina se emite o valor com base na imagem de brilho ou se emite o valor fixo, de tal forma que luz diferente da luz refletida do veículo seja removida.

[0467] [1-25] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-24, que inclui uma unidade de determinação de área de saturação que determina uma área de saturação na imagem de brilho,em que a unidade de sobreposição de polarização de brilho altera o método de sobreposição em relação à área de saturação.

[0468] [1-26] O sistema de processamento de imagens, de acordo com 1-25, em que, em relação à área de saturação, a unidade de sobreposição de polarização de brilho define a quantidade de sobreposição da informação de polarização para zero.

[0469] [1-27] O sistema de processamento de imagens, de acordo com 1-25, em que, em relação à área de saturação, a unidade de sobreposição de polarização de brilho emite uma constante para a área correspondente da imagem de saída.

[0470] [1-28] O sistema de processamento de imagens, de acordo com qualquer um de 1-25 a 1-27, em que a unidade de determinação de área de saturação tem uma função de determinar, além da área de saturação na imagem de brilho, uma área em que saturação está próxima de ser alcançada e o grau de saturação na área em que a saturação está próxima de ser alcançada, e na área em que saturação está próxima de ser alcançada, a razão de sobreposição entre a imagem de brilho e a informação de polarização é alterada de acordo com o grau de saturação, tal que quanto mais próximo à saturação, maior a razão da imagem de brilho.

[0471] [1-29] O sistema de processamento de imagens, de acordo com qualquer um de 1-10 a 1-28, que inclui a unidade de captura de imagens que captura a imagem que inclui a informação de polarização e deve ser submetida a processamento por sobreposição pela unidade de sobreposição de polarização de brilho,em que a unidade de sobreposição de polarização de brilho altera o método de sobreposição da informação de polarização na imagem de brilho, de acordo com a posição da imagem capturada pela unidade de captura de imagens.

[0472] [1-30] O sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-29, que inclui a unidade de captura de imagens que captura a imagem que inclui a informação de polarização e deve ser submetida a processamento por sobreposição pela unidade de sobreposição de polarização de brilho,em que a unidade de captura de imagens inclui um filtro de polarização dividido em áreas em um elemento de captura de imagens.

[0473] [1-31] Um método de processamento de imagens a ser executado pela utilização do sistema de processamento de imagens, de acordo com qualquer um de 1-1 a 1-30, o método incluindo: sobreposição, para uma imagem que inclui informação de polarização, da informação de polarização na imagem de brilho como uma alteração no brilho de cada pixel; e emissão da imagem sobreposta como uma imagem de saída.

[0474] [2-1] Um sistema de processamento de imagens, que inclui: uma unidade de sobreposição de polarização de brilho que sobrepõe informação de polarização de uma imagem em uma imagem de brilho como uma alteração no brilho de cada pixel, em que o sistema de processamento de imagens tem uma função de geração de uma imagem obtida por sobreposição pela unidade de sobreposição de polarização de brilho como uma imagem de saída, e a unidade de sobreposição de polarização de brilho inclui uma unidade de remoção de deslocamento que remove deslocamento pela subtração de uma quantidade de deslocamento da informação de polarização, a quantidade de deslocamento sendo um valor médio da informação de polarização em um intervalo predeterminado na imagem que inclui a informação de polarização.

[0475] [2-2] O sistema de processamento de imagens, de acordo com 2-1, em que a unidade de remoção de deslocamento subtrai a quantidade de deslocamento da informação de polarização, com o grau de polarização ou o grau de polarização diferencial da imagem que inclui a informação de polarização sendo a informação de polarização e o valor médio da informação de polarização no intervalo predeterminado na imagem sendo a quantidade de deslocamento.

[0476] [2-3] O sistema de processamento de imagens, de acordo com 2-1, em que a unidade de remoção de deslocamento subtrai a quantidade de deslocamento da informação de polarização, com a razão de polarização da imagem que inclui a informação de polarização sendo a informação de polarização e o valor médio da informação de polarização no intervalo predeterminado na imagem sendo a quantidade de deslocamento.

[0477] [2-4] O sistema de processamento de imagens, de acordo com qualquer um de 2-1 a 2-3, em que a unidade de remoção de deslocamento considera uma área inteira da imagem, que inclui a informação de polarização, como o intervalo predeterminado e considera a valor médio da informação de polarização como a quantidade de deslocamento.

[0478] [2-5] O sistema de processamento de imagens, de acordo com qualquer um de 2-1 a 2-3, em que a unidade de remoção de deslocamento considera uma área obtida por remoção de uma área de céu da área inteira da imagem, que inclui a informação de polarização, como o intervalo predeterminado e considera a valor médio da informação de polarização como a quantidade de deslocamento.

[0479] [2-6] O sistema de processamento de imagens, de acordo com qualquer um de 2-1 a 2-6, que inclui uma unidade de determinação de luz direta/luz de fundo que determina se uma condição de captação de imagens é luz direta ou luz de fundo utilizando a informação de polarização da imagem.

[0480] [2-7] O sistema de processamento de imagens, de acordo com 2-6, em que a unidade de determinação de luz direta/luz de fundo determina se a condição de captação de imagens é a luz direta ou a luz de fundo utilizando o valor médio do grau de polarização ou do grau de polarização diferencial.

[0481] [2-8] O sistema de processamento de imagens, de acordo com 2-6, em que a unidade de determinação de luz direta/luz de fundo determina se a condição de captação de imagens é a luz direta ou a luz de fundo, utilizando o valor médio da razão de polarização.

[0482] [2-9] O sistema de processamento de imagens, de acordo com qualquer um de 2-6 a 2-8, em que, quando a unidade de determinação de luz direta/luz de fundo determina que a condição de captação de imagens é a luz direta, a quantidade de sobreposição da informação de polarização na imagem de brilho é alterada.

[0483] [2-10] O sistema de processamento de imagens, de acordo com 2-9, em que, quando a unidade de determinação de luz direta/luz de fundo determina que a condição de captação de imagens é a luz direta, a quantidade de sobreposição da informação de polarização na imagem de brilho é ajustada zero.

[0484] [2-11] O sistema de processamento de imagens, de acordo com qualquer um de 2-1 a 2-10, que inclui uma unidade de captura de imagens, que captura a imagem que inclui a informação de polarização e deve ser submetida a processamento por sobreposição pela unidade de sobreposição de polarização de brilho,em que a unidade de captura de imagens inclui um filtro de polarização dividido em áreas em um elemento de captura de imagens.

[0485] [2-12] Um método de processamento de imagens a ser executado pela utilização do sistema de processamento de imagens, de acordo com qualquer um de 2-1 a 22-11, o método incluindo:sobreposição, para uma imagem que inclui informação de polarização, da informação de polarização em uma imagem de brilho como uma alteração no brilho de cada pixel; e emissão da imagem sobreposta como uma imagem de saída.

[0486] Além disso, pela utilização do sistema de processamento de imagens e do método de processamento de imagens, é possível implementar um sistema de controle de dispositivo e um método de controle de dispositivo que executa o “controle de veículo” acima descrito.

[0487] Embora a invenção tenha sido descrita em relação a concretizações específicas para uma divulgação completa e clara, as reivindicações anexas não devem ser assim limitadas, mas devem ser interpretadas como incorporando todas as modificações e construções alternativas que podem ocorrer a um versado na técnica, as quais estejam razoavelmente inseridas no ensinamento básico aqui estabelecido.

Claims

1. Sistema de processamento de imagem compreendendo: uma unidade de sobreposição de polarização de brilho (20) configurada para sobrepor informações de polarização de uma imagem que inclui a informação de polarização (IMP), em uma imagem de brilho como uma variação de brilho de cada pixel, em que o sistema de processamento de imagem é configurado para produzir de uma imagem obtida por sobreposição pela unidade de sobreposição de polarização de brilho como uma imagem de saída (IMO), caracterizado pelo fato de que o sistema de processamento de imagem compreende ainda: uma unidade de captura de imagem (10) configurado para capturar a imagem que inclui as informações de polarização (IMP) e é para ser submetido ao processamento de sobreposição pela unidade de sobreposição de polarização de brilho (20); e uma unidade de determinação de condição de fonte de luz (24) configurada para estimar e determinar uma condição de fonte de luz na imagem capturada pela unidade de captura de imagem, em que a unidade de sobreposição de polarização de brilho (20) é configurada para alterar um método de sobreposição de polarização de informações de polarização na imagem de brilho dependendo em uma saída da unidade de determinação de condição de fonte de luz (24).

2. Sistema de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de sobreposição de polarização de brilho (20) é configurada para executar a sobreposição como uma soma linear das informações de polarização e a imagem de brilho.

3. Sistema de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de sobreposição de polarização de brilho (20)é configurada para executar a sobreposição como a multiplicação das informações de polarização e a imagem de brilho.

4. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que a informação de polarização sobreposto nas imagem do brilho pela unidade de sobreposição de polarização de brilho (20) é um certo grau de polarização, um grau de polarização diferencial, ou uma relação de polarização.

5. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que compreende unidade de remoção de deslocamento informações de polarização (22) configurada para remover deslocamento por subtração, a partir da informação de polarização, um valor médio das informações de polarização em uma gama pré-determinada da imagem, que inclui a informação de polarização, em que a informação de polarização, a partir da qual o deslocamento foi removido pela unidade de remoção de informações de deslocamento de polarização, é sobreposta sobre a imagem de brilho.

6. Sistema de processamento de imagem, de acordo com a reivindicação 5, caracterizado pelo fato de que o intervalo predeterminado, em que o valor médio da informação de polarização é obtido, é uma área inteira da imagem que inclui a informação de polarização.

7. Sistema de processamento de imagem, de acordo com a reivindicação 5, caracterizado pelo fato de que o intervalo predeterminado, no qual o valor médio da informação de polarização é obtida, é uma área obtida através da remoção de uma área superior a partir de toda a área da imagem que inclui a informação de polarização.

8. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que compreende unidade de determinação de luz direta / luz de retorno configurada para estimar e determinar se a imagem que inclui a informação de polarização foi capturada na luz direta ou luz de retorno com base na informação da imagem capturada.

9. Sistema de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que a unidade de determinação de luz direta / luz de retorno configurada para determinar se a captura de imagens foi realizada à luz direta ou à luz de retorno com base num grau de polarização ou no grau de polarização diferencial da imagem capturada que inclui a informação de polarização.

10. Sistema de processamento de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que a unidade de determinação luz direta / luz de retorno configurada para determinar se a captura de imagens foi realizada à luz direta ou à luz de retorno com base num valor médio de uma relação de polarização de uma tela inteira da imagem capturada que inclui a informação de polarização.

11. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 9 a 10, caracterizado pelo fato de que, quando a unidade de determinação de luz direta / luz de retorno determina que a captura de imagem foi realizada à luz direta, uma quantidade de sobreposição da informação de polarização da imagem de brilho é mudado.

12. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 1 a 12, caracterizado pelo fato de que a unidade de sobreposição de polarização de brilho (20) configurado para determinar, com base num valor de uma área da imagem que inclui as informações de polarização, se liberar um valor com base na imagem de brilho ou liberar um valor fixo.

13. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 1 a 12, caracterizado pelo fato de que compreende uma unidade de determinação da área de saturação que configurada para determinar uma área de saturação na imagem de brilho, em que a unidade de sobreposição polarização de brilho configurada para alterar um método de sobreposição em relação à área de saturação.

14. Sistema de processamento de imagem, de acordo com a reivindicação 13, caracterizado pelo fato de que, em relação à área de saturação, a unidade de sobreposição de polarização de brilho configurada para definir uma quantidade de sobreposição da informação de polarização para zero.

15. Sistema de processamento de imagem, de acordo com a reivindicação 13, caracterizado pelo fato de que, em relação à área de saturação, a unidade de sobreposição de polarização de brilho (20) configurada para produzir uma constante para uma área correspondente da imagem de saída.

16. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 13 a 15, caracterizado pelo fato de que a unidade de determinação da área de saturação configurada para determinar, além da área da saturação na imagem de brilho, uma área onde a saturação está perto de ser alcançada e um grau de saturação na área, e na área onde a saturação está próxima de ter sido atingida, uma proporção sobreposição entre a imagem de brilho e a informação de polarização é configurada para alterar de acordo com o grau de saturação de tal modo que quanto mais perto da saturação, maior é a razão entre a imagem de brilho.

17. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 1 a 16, caracterizado pelo fato de que compreende a unidade de captura de imagem (10) que configurada para capturar a imagem, que inclui a informação de polarização (IMP) e é para ser submetida ao processamento de sobreposição pela unidade de sobreposição de polarização de brilho (20), em que a unidade de sobreposição de polarização de brilho é configurada para alterar o método de sobreposição da informação de polarização sobre a imagem de brilho de acordo com uma posição na imagem capturada pela unidade de captura de imagem (10).

18. Sistema de processamento de imagem, de acordo com qualquer uma das reivindicações 1 a 17, caracterizado pelo fato de que compreende a unidade de captura de imagem (10) configurada para capturar a imagem, que inclui a informação de polarização (IMP) e é para ser submetida ao processamento de sobreposição pela unidade de sobreposição de polarização de brilho (20), em que a unidade de captura de imagem (10) inclui um filtro de polarização (132) dividido em áreas em um elemento de captura de imagem.