BRPI1007119B1 - método e dispositivo para estender uma área de visibilidade - Google Patents

método e dispositivo para estender uma área de visibilidade Download PDF

Info

Publication number
BRPI1007119B1
BRPI1007119B1 BRPI1007119A BRPI1007119A BRPI1007119B1 BR PI1007119 B1 BRPI1007119 B1 BR PI1007119B1 BR PI1007119 A BRPI1007119 A BR PI1007119A BR PI1007119 A BRPI1007119 A BR PI1007119A BR PI1007119 B1 BRPI1007119 B1 BR PI1007119B1
Authority
BR
Brazil
Prior art keywords
virtual image
image
basic
vehicle
points
Prior art date
Application number
BRPI1007119A
Other languages
English (en)
Inventor
Large Frédéric
Original Assignee
Peugeot Citroen Automobiles Sa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peugeot Citroen Automobiles Sa filed Critical Peugeot Citroen Automobiles Sa
Publication of BRPI1007119A2 publication Critical patent/BRPI1007119A2/pt
Publication of BRPI1007119B1 publication Critical patent/BRPI1007119B1/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/30—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

método e dispositivo para estender uma zona de visibilidade para estender uma zona de visibilidade por meio de uma câmara montada em um veículo, o método compreende uma etapa (108) de imagem virtual elementar (l 2v) na qual um conjunto de pixels (imagens digitais) de imagem virtual básica sendo correlata com um conjunto de pixels de uma imagem real (iir) capturada pela câmara, levando-se em conta que o conjunto de pixels da imagem real reproduz uma superfície plana do mundo real, e uma etapa (115) de construção de uma imagem virtual cumulativa (bv) na qual ao menos uma parte da imagem virtual básica (l 2v) é superposta coincidindo com os pontos de interesse da imagem virtual básica (b) com os ponto de interesse da imagem virtual cumulativa (13v).

Description

“MÉTODO E DISPOSITIVO PARA ESTENDER UMA ÁREA DE VISIBILIDADE”
A invenção se refere à um método para estender uma área de visibilidade obtido por meio de uma câmeramontada em um veículo, notadamente um veículo automotivo.
Particularmente, o campo da invenção compreende os sistemas de auxílio visual no recuo (AVR), utilizando uma ou várias câmaras. O objetivo dos referidos sistemas é de auxiliar o condutor durante manobras em baixa velocidade, lhe exibindo uma representação visual intuitiva do ambiente próximo em torno do veículo.
O Documento EP1094337 divulga um sistema destinado à assistir um condutor durante uma manobra de estacionamento alertando-o da presença de um objeto tridimensional detectado por meio de um único aparelho de filmagem. O sistema divulgado tem por objetivo determinar a distância que separa o objeto do veículo à partir de duas ações sucessivas de imagens que são utilizadas para criar uma vista estereoscópica em função do deslocamento do veículo calculado à partir dos sensores.
Esse tipo de construção requer uma grande precisão dos sensores. Além disso, durante os deslocamentos em baixa velocidade como sendo geralmente o caso no curso de uma manobra, a pequena distância percorrida pelo veículo entre duas imagens tomadas, causa dificuldades para um reconstrução da imagem tridimensional visto que ela equivale à um sistema estereoscópico tendo uma base muito curta. Lançar imagens até obter uma distância percorrida suficiente, causa o problema da dinâmica do ambiente. Um objeto em movimento na cena não poderá ser reconstruído. Uma reconstrução suficientemente precisa nos obstáculos, exige uma potência de cálculo onerosa. Enfim, como desvantagens não menos importantes, somente os objetos que se encontram no campo da câmeradurante duas filmagens sucessivas, poderão ser reconstruídas.
Para remediar os inconvenientes conhecidos do estado da técnica, um objetivo da invenção é um método para estender uma área de visibilidade obtida por meio de uma câmerainstalado no veículo, compreendendo:
- uma etapa de criação de uma imagem virtual básica na qual um conjunto de pixels (imagens digitais) de imagem virtual básica é posto em correspondência com um conjunto de pixels de uma imagem real capturada pela câmera, se
Petição 870160016272, de 28/04/2016, pág. 17/39
2/15 considerando que o conjunto de pixels de imagem real reproduzirá uma superfície plana do mundo real;
- uma etapa de caracterização da imagem virtual básica na qual um conjunto de pontos de interesse da imagem virtual básica é gerado;
- uma etapa de construção de uma imagem virtual cumulativa básica sendo superposta em ao menos uma parte da imagem virtual cumulativa fazendo-se coincidir os pontos de interesse da imagem virtual básica com os pontos de interesses da imagem virtual cumulativa.
Vantajosamente, a etapa de construção é reiterada para cada nova imagem virtual básica suficientemente diferente em termos de distância entre os pontos de interesse.
Particularmente, o método compreende uma etapa de diferenciação na qual se opera uma diferença em termos de componentes da cor de cada pixel da nova imagem virtual básica e um pixel correspondente da antiga imagem virtual básica e na qual se atribui ao referido pixel da nova imagem virtual básica, um nível de transparência em função da referida diferença.
Vantajosamente ainda, na etapa de criação, o conjunto de pixels da imagem virtual básica é posto em correspondência com o conjunto de pixel da imagem real por uma tabela de correspondência.
Vantajosamente ainda, o método compreende uma etapa de fixação na qual a imagem virtual básica é superposta em tempo real sobre a imagem virtual cumulativa para gerar uma imagem instantânea de fixação.
Particularmente, na etapa de fixação, uma imagem de síntese é superposta à imagem virtual cumulativa.
Mais particularmente, a imagem de síntese é aquela de uma roda do veículo.
Mas particularmente ainda, a etapa de fixação é ativada diretamente após a etapa de caracterização da imagem virtual básica para cada nova imagem virtual básica equivalente à uma antiga imagem virtual básica em termos de distância entre os pontos de interesse.
De preferência, a superfície plana é aquela do solo.
Mais precisamente, a câmerautilizada compreende um plano da retina oblíqua com relação à referida superfície plana do mundo real.
Petição 870160016272, de 28/04/2016, pág. 18/39
3/15
Um objetivo da invenção é também um dispositivo compreendendo uma câmerainstalada em um veículo, caracterizado por ser disposto para empregar o método de acordo com a invenção.
Outras características e vantagens da invenção se tornarão mais aparentes à partir da descrição detalhada da mesma, com relação aos desenhos em anexo, apresentados em caráter exemplificativo e não limitativo, nos quais:
- A Figura 1 é uma vista em perspectiva de um veículo em fase de manobra;
- A Figura 2 é uma vista superior do veículo da Figura 1;
- A Figura 3 mostra as etapas do método conforme a invenção;
- A Figura 4 é um esquema explicativo das propriedades físicas utilizadas;
- A Figura 5 é uma vista esquemática do dispositivo conforme a invenção.
A Figura 1 mostra um veículo 50 em fase de manobra na proximidade de um veículo 60.
A Figura 2 mostra o veículo 50 equipado com uma câmeral 0 na traseira.
O método será agora explanado com referência à Figura 3, à partir de uma etapa inicial 100 na qual o sistema quando é acionado, aguarda até que a velocidade V do veículo seja superior à uma velocidade limiar Vs. Com efeito, o método e o sistema de acordo com a invenção são previstos para assistir o condutor à manobrar, não sendo necessariamente útil seu funcionamento quando o veículo estiver circulando.
À partir da etapa 100, uma detecção de velocidade V acima da velocidade limiar Vs valida uma transição 101 que ativa uma etapa 102.
A etapa 102 consiste em capturar uma imagem real I-ir do espaço coberto pelo campo da câmeral 0 na traseira do veículo 50, de modo a criar por projeção, uma vista acima do solo situada atrás do veículo no campo da câmara.
Na Figura 4, se representa um sistema ótico 11 e um plano de retina 1 da câmera real 10 na qual se forma uma imagem real hR do solo 3. Um eixo Δ perpendicular ao plano da retina 1, passa pelo centro ótico do sistema ótico 11. Um sinal de referência OiXiyiZi ligado ao plano retiniano 1, em seu eixo z^ paralelo ao eixo Δ orientado para o solo 3 e sua origem Oi à uma altura Ai acima do solo de valor constante que resulta da montagem da câmera 10 no veículo 50. Um sinal de referência OXYZ ligado ao veículo, tem sua origem O ao nível do solo na vertical da origem 0i,seu eixo X paralelo ao eixo Xi horizontal e seu eixo
Petição 870160016272, de 28/04/2016, pág. 19/39
4/15
Y horizontalmente perpendicular ao eixo X. O eixo Δ faz um ângulo α com o plano do solo.
As coordenadas homogêneas do sinal de referência OiXiyiZi à Zt = 0, são ligadas às coordenadas Ui, Vi os pontos da imagem real no plano da retina pelo coeficiente de proporcionalidade Wi. Se aplicando à câmera 10, o modelo pinhole, as coordenadas homogêneas ννψι, wt de cada ponto de imagem correspondente à um ponto ao nível do solo das coordenadas X, Y, 0 no sinal de referência OXYZ sendo dados por uma transformação do tipo conhecida:
Ί 0 0 01
Fiu <7UV clu ή 0 0 θ| 0 -sina -cosa 0 Y
,WsVj = 0 rb clv 0 f, 0 0 0 cosa -sina -AJ 0
wj [o 0 11° 0 1 °- o 0 0 1 J Ib
Nesta transformação, os coeficientes Tiu e T1v são os fatores de crescimento e de imagem. Se poderá atribuir um valor nulo ao coeficiente Õuv quando as linhas e as colunas de células elétricas fotosensíveis que compõem o sensor da câmera, são ortogonais. As coordenadas Ciu e Civ da projeção do centro ótico da câmera no plano da imagem são aquelas da intersecção do eixo Δ com o plano retiniano 1. O coeficiente fi representa a distância focal da câmera 10. A câmera é fixada ao veículo com um ângulo de visão constante para o solo de maneira a dar os valores constantes aos coeficientes de transformação.
Se multiplicando as três matrizes acima, a transformação poderá ainda ser descrita como:
mi«x miuY mlu2 mlu 1γ
WiVj — mlvX ΠΙίνΥ Hlb.z mlv 0
l Wl > mlwY miwZ m!w V,
Ao desenvolver os cálculos, o valor do coeficiente de proporcionalidade W! é dado pela fórmula:
W-i = Ycosa - Ai
Em cada ponto das coordenadas u-ι, Vi na imagem real I-ir corresponde então um e um só ponto das coordenadas X, Y no plano do solo.
Na Figura 4, também é representado um sistama ótico 21 e um plano retiniano (da retina) 2 de uma câmera virtual 20, na qual é formada uma imagem virtual l2v do solo 3. Um eixo perpendicular ao plano retiniano 2 e ao plano do solo 3,
Petição 870160016272, de 28/04/2016, pág. 20/39
5/15 passa pelo centro ótico do sistema ótico 21.0 sinal de referência o2x2y2Z2 ligado ao plano retiniano 2, em seu plano z2=0 paralelo ao plano do solo 3 e sua origem o2 à uma altura A2 acima do solo de valor constantes de modo a abranger a mesma superfície do solo que a câmera 10.
Como a câmera real 10, as coordenadas homogêneas w2u2, w2v2. w2 em um plano projetivo do sinal de referência o2x2y2z2 à z2=0, são ligados às coordenadas u2, v2 dos pontos da imagem virtual no plano retiniano pelo coeficiente de proporcionalidade w2. Se aplicando também à câmera do modelo pinhole, as coordenadas homogêneas w2u2, w2v2,w2 de cada ponto de imagem correspondente à um ponto ao nível do solo das coordenadas X, Y, 0 no sinal de referência OXYZ, são dados por uma transformação semelhante àquela precedentemente explicada:
X'
m2uX m2uZ Άη Y
W2V2 ΓΠ,νΧ líljvY [ 0
ç W2 > m2wX m2wY ®2wZ m2w_ . 1
Ao desenvolver os cálculos, 0 valor do coeficiente de proporcionalidade W1 é dado pela fórmula:
W2 = -a2
Em cada ponto das coordenadas X, Y no plano do solo correspondendo então à um e um só ponto das coordenadas u2y2 na imagem virtual l2v.
Por transitividade das bijecções, para cada ponto das coordenadas u-ι, Vi na imagem real I-ir corresponde então à um e um só ponto das coordenadas u2, v2 na imagem virtual l2v e reciprocamente.
Assim, cada componente de cor de uma superfície básica dS2 constituída de pontos das coordenadas planas u2, v2 na imagem virtual l2v, sendo igual ao mesmo componente de cor de uma superfície básica dSi constituído de pontos das coordenadas planas Ui, Vi correspondentes na imagem real hR.
Quando os recursos de cálculo permitirem, os pontos das coordenadas planas U1, vi correspondentes são calculados à partir das transformações precedentemente explicadas e cada componente de cor integrado na superfície
Petição 870160016272, de 28/04/2016, pág. 21/39
6/15 básica dSi compreendendo esses pontos, sendo atribuída à superfície básica dS2 constituída de pontos das coordenadas u2, v2 na imagem virtual l2v.
Se notará que os parâmetros das câmeras sendo fixas, as correspondências entre os pontos da imagem virtual l2v e da imagem real Hr serão constantes.
De maneira vantajosa, a invenção prevê uma tabela de correspondência para uma entrada indexada pelas coordenadas lineares k2 dos pixels da imagem virtual l2v. Será lembrado que, a imagem virtual l^ compreendendo H2 linhas de L2 pixels por linha, um pixel de índice j, na linha de índice i, sendo referenciada por uma coordenada linear k2 , de modo que:
k2 = iU + j
Em cada entrada indexada por k2 é associada a coordenada linear k! de um pixel de imagem real Nr compreendendo o ponto das coordenadas planas u·,, vt que correspondem ao ponto das coordenadas planas u2, v2 nas quais é centrado o pixel da coordenada linear k2.
Essa tabela de correspondência permite economia em termos de recursos materiais e em termos de execução. Em termos de recursos materiais, a tabela de correspondência poderá residir em um local de memória compreendendo simplesmente L*H casos memoriais para as coordenadas lineares k2 e L*H casos memoriais para as coordenadas lineares k-ι associadas. Em temos de recursos de execução, uma simples varredura de entradas da tabela de correspondência suficiente para definir os pixels da imagem virtual com referência aos pixels da imagem real correspondentes, sedo notavelmente rápida.
À partir da etapa 102 representada pela Figura 3, a obtenção da imagem virtual l2v valida uma transição 103 que ativa uma etapa 104.
A etapa 104 consiste em determinar os pontos de interesse que caracterizam a imagem virtual l2v. Diferentes métodos poderão ser utilizados para determinar os pontos de interesse. Se conhece por exemplo, os pontos de interesse de tipo Harris que são ligados aos pontos singulares da imagem, tal como por exemplo, uma esquina. O algoritmo de Harris e Stephen tem o mérito de ser simples e rápido. Outros algoritmos mais complexos tem o mérito de serem mais robustos oferecendo uma melhor imunidade aos ruídos, às variações de iluminação e às variações bruscas de enquadramento.
Petição 870160016272, de 28/04/2016, pág. 22/39
7/15
À título de exemplo puramente ilustrativo e não limitativo, se poderá citar os métodos de detecção de heterogeneidade local (detecção em ângulos) que se dividem em métodos diferenciais e em métodos para locais extremos. Considerando um componente de cor tendo o valor F (U2, V2) para um pixel das coordenadas u2, v2, e um filtro gaussien de valor G (U2,v2,õ) dado por uma fórmula do tipo:
Na qual õ é um fator de graduação, 0 sistema gerando uma representação tridimensional para duas dimensões espaciais e para uma dimensão graduada L(u2,V2,õ), dada pelo produto de convolução :
L(u2, v2, õ) : = G (u2,v2 õ) * F (u2, v2)
O sistema memoriza em seguida as coordenadas U2, V2, de cada pixel e o fator . _ . . a?L(u2,V2zr) , â2L(u2»V2/r)
AL(u2,V2,a).
graduado õ que corresponde à um local extremo do Laplaciano Δ (L) de L.
A etapa 104 produz assim uma lista de pontos de interesse da imagem virtual compreendendo os pixels das coordenadas U2, V2, com o fator de graduação correspondente à um extrema Lapcliano, ou seja, um máximo ou mínimo, até mesmo um máximo em uma direção e um mínimo em outra direção.
Na etapa 105 que se segue, uma imagem virtual l3v é criada na memória. A imagem virtual l3v é destinada à representar uma vista superior do ambiente do veículo que vai além da superfície coberta pela imagem virtual instantânea kv· Inicialmente, a imagem virtual l3v compreende simplesmente a primeira imagem virtual instantânea l2v que virá ser calculada.
De acordo com a invenção, a imagem virtual kv irá ser construída nas etapas seguintes à medida do deslocamento do veículo.
As etapas seguintes 108 à 112 são executadas em tempo real, sob o controle de uma transição 107, de maneira que a velocidade V do veículo seja inferior à velocidade limiar Vs e devendo ser entendido que 0 método é ativado. O método é por exemplo desativado pela retirada da chave do contato.
Uma detecção de velocidade V superior à velocidade limiar, valida uma transição 106 que reativa a etapa 100, remetendo assim 0 sistema em estado de vigília.
Petição 870160016272, de 28/04/2016, pág. 23/39
8/15
Uma detecção da velocidade V inferior ou igual à velocidade limiar, valida a transição 107 que ativa uma etapa 108.
Em cada execução da etapa 108, uma nova imagem real Iir é capturada por meio da câmera 10. Uma nova imagem virtual l2v do solo em vista superior é produzida à partir da imagem real hR como explicado acima na etapa 102.
À partir da etapa 108 representada na Figura 3, a obtenção da imagem virtual l2v valida uma transição 109 que ativa uma etapa 110.
A etapa 110 consiste em determinar os pontos de interesse que caracterizam a nova imagem virtual l2v, como explanado acima, na etapa 104. A nova imagem virtual l2v é comparada à uma antiga imagem virtual l2v @l2v- A antiga imagem virtual @l2v é a última imagem virtual l2v que foi integrada na imagem virtual l3v durante a execução da etapa 105 ou durante uma execução precedente de uma etapa 115 explicada acima. A nova imagem virtual l2v é considerada equivalente à antiga imagem virtual @l2v de maneira que a distância entre cada ponto de interesse da antiga imagem virtual @|2v e o ponto de interesse correspondente na nova imagem virtual l2v e inferior à um valor limiar predeterminado. A distância poderá se referir à uma distância euclidiana na situação dos pixels no plano da imagem. A distância poderá assim relatar uma diferença do nível entre um composto da cor do ponto de interesse da antiga imagem virtual @l2v e o mesmo componente da cor do ponto de interesse correspondente na nova imagem virtual l2v. A nova imagem virtual l2v é considerada diferente da antiga imagem virtual @l2v desde que a diferença entre um ou vários pontos de interesse correspondente na nova imagem virtual l2v seja superior ao valor limiar predeterminado.
Uma transição 11,validada quando a nova imagem l2v for equivalente à antiga imagem @l2v, ativa ma etapa 112. As imagens virtuais são equivalentes de modo que o veículo não poderá ser deslocado.Será conveniente então não levar em conta a nova imagem virtual visto que modificações frágeis ao fluxo provocarão o risco de provocar um desvio por acúmulo de erros sucessivos.
Uma transição 113, validada quando a nova imagem virtual l2v for diferente da antiga imagem @l2v ativa uma etapa 114. Tipicamente, as imagens virtuais são bastante diferentes quando o veículo estiver suficientemente avançado, recuado ou fixo.
Petição 870160016272, de 28/04/2016, pág. 24/39
9/15
A etapa 114 consiste em avaliar a diferença entre a nova imagem virtual l2v θ a antiga imagem virtual @l2v de modo à sobrepor um maior número possível de pontos de interesse da nova imagem virtual l2v nos pontos de interesse correspondentes da antiga imagem virtual @l2v. Por exemplo os deslocamentos dos pontos de interesse na imagem virtual ao longo de uma direção comum com os valores comuns, denotam um movimento do veículo de translado em um sentido oposto àquele dos pontos de interesse na nova imagem virtual.
Por exemplo também, os deslocamentos dos pontos de interesse na imagem virtual seguindo direções diferentes com os calores diferentes, denota um movimento do veículo em rotação em um arco de curva em um sentido oposto àquele dos pontos de interesse na nova imagem virtual.
Para calcular a transformação afim que passa a antiga imagem virtual @l2v na nova imagem virtual l2v, se considera que os pontos de interesse pertencem à uma cena plana que é rígida. Em outros termos, um ponto de interesse que pertença à uma parte da nova imagem virtual l2v que se sobrepõe à antiga imagem virtual @l2v, tem um ponto de interesse combinado na antiga imagem virtual @l2v e os dois pontos de interesse sendo posicionados em um mesmo elemento da cena. Entretanto, face aos ruídos, os pontos de interesse que não verificam as hipóteses da cena plana de outros fenômenos, um ponto de interesse de uma imagem virtual poderá não ter um ponto de interesse combinado em outra imagem virtual que corresponde à um elemento do solo ou à um mesmo elemento. Dos referidos pontos de interesse considerados aberrantes (outliers em Inglês) não são levados em conta para a superposição das duas imagens virtuais.
Após a sobreposição da nova imagem virtual na antiga imagem virtual de maneira a coincidir os pontos de interesse, se distingue uma primeira parte da nova imagem virtual que está fora do escopo da antiga imagem virtual que recupera parcialmente a antiga imagem virtual. Essa recuperação parcial resulta do deslocamento do veículo. A primeira parte servirá para ampliar o alcance da imagem virtual cumulativa Lv· Os pixels da primeira pare não correspondente à nenhum pixel da antiga imagem virtual @l2v e poderão ser incorporados na imagem virtual cumulativa hv.
Petição 870160016272, de 28/04/2016, pág. 25/39
10/15
Cada pixel da segunda parte da nova imagem virtual l2v se sobrepõe em um pixel da antiga imagem virtual @l2v, idealmente com os componentes de cor RVB ou de tom e luminosidade de valor idêntico.
No entanto, a realidade poderá se afastar da situação ideal por várias razões. Uma primeira razão é a hipótese de um solo perfeitamente plano atrás do veículo, no qual se baseia a construção da imagem virtual l2v, não sendo sempre verificado. Um obstáculo que exceda o solo ou se crave no solo, não verifica a transformação para a solução única resultando em Z nulo. Um mesmo ponto deste obstáculo aparece com as coordenadas não consistentes nas duas imagens virtuais. Reciprocamente um pixel, correspondente à um ponto considerado no plano então que sai do plano do solo em uma imagem virtual, correspondendo à um outro ponto na outra imagem virtual.
Para considerar esse tipo de heterogeneidade, uma solução possível consiste em avaliar a distância que separa os dois pixels em termos de componentes de cor, de tem ou de luminosidade. A distância entre dois pixels sobrepostos, poderá ser medida em um espaço à uma dimensão dos níveis da cor cinzenta ou em um espaço tridimensional de cores RVB (vermelho, verde, azul(, TSV (tom, saturação, valor de brilho) ou outro.
Uma segunda razão é que mesmo para os pixels representativos dos pontos no plano do solo, os pixels amenizam uma discrição fazendo com que os dois pixels representativos de um mesmo ponto, não se sobreponham perfeitamente quando o veículo estiver em movimento entre dois pontos de vista, correspondentes à um número inteiro de pixels, o que raramente ocorre. Para responder à essa segunda razão e por conseqüência, à primeira razão evocada acima, a invenção prevê vantajosamente a medição de correlação entre uma primeira janela centrada no pixel na antiga imagem virtual e uma segunda janela centrada no pixel sobreposto na segunda imagem virtual. A correlação é então representativa do pixel em seum ambiente.
A fim de ganhar tempo de tratamento, a diferença baseada no coeficiente de correlação entre as duas janelas é calculada por uma aproximação de multiresolução, ainda denominada piramidal. A analogia com uma pirâmide é a seguintes para cada imagem virtual. Na base da pirâmide se encontra a imagem virtual com sua resolução original. Em cada nível superior, a resolução da
Petição 870160016272, de 28/04/2016, pág. 26/39
11/15 imagem é diminuída. Geralmente o número de pixel é dividido por dois no comprimento e por dois na largura da imagem.
A distância assim calculada entre dois pixels, é um valor numérico cujo mínimo e máximo são fixados. A faixa de valores definidos por esses mínimo e máximo é em seguida reproduzido é colocado em uma escala e limiares de valores altos, para uma faixa de valores compreendidos entre 0 na ausência de diferença e 255 para uma diferença total. O valor assim calculado, é utilizado como valor de transparência de cada pixel em vista de sua adição à imagem virtual cumulativa l3v sob forma de mosaico. Um pixel, no sentido em que ele é definido no presente métOdo, é caracterizado por sua posição na imagem, sua cor e sua transparência, nula por defeito que se aplica à um pixel opaco. A codificação da transparência é puramente convencional sem incidência em seu tratamento. No exemplo da aplicação da invenção, ora descrita, um pixel cujo valor de transparência máxima seja 255, será totalmente transparente e não aparecendo quando for sobreposto em outro pixel, um pixel cujo valor de transparência mínimo seja 0, será perfeitamente opaco e escondendo o pixel no qual ele for sobreposto. As convenções poderão ser diferentes, ou até invertidas como mo caso do método « Mistura Alfa ».
Após a etapa 114, uma etapa 115 consiste em sobrepor as partes sobrepostas da nova imagem virtual l2v nas partes correspondentes da imagem virtual cumulativa ou mosaico l3v. A transparência afetada á cada pixel da nova imagem virtual kv, permite memorizar o pixel na altura de seu grau de opacidade. O nível de transparência pelo pixel permite ocultar os pixels detectados diferentes entre dois momentos de captura de imagem real por causo do ruído ou de correspondência à um obstáculo. A etapa 115 realiza assim a filtragem temporal natural em não memorizando cumulativamente no mosaico constituído pela imagem virtual l3v, que os pixels mais confiáveis do ponto de vista de sua participação são aqueles do plano do solo.
Assim, quando o veículo avança lentamente para a frente para se preparar à uma manobra, uma planta (vista) do plano do solo do tipo mosaico é progressivamente criada na parte traseira do veículo. O sistema poderá os sensores de velocidade do veículo ou de rotação do volante de direção, uma vez que os pontos de interesse que são gerados permitem detectar os
Petição 870160016272, de 28/04/2016, pág. 27/39
12/15 deslocamentos no translado e na rotação do veículo no plano do solo. O sistema detecta naturalmente que o veículo para quando os pontos de interesse permanecem imobilizados e o veículo altera o sentido de deslocamento em função do sentido de deslocamento dos pontos de interesse. Quando o veículo recua, ele percorre o sentido inverso do plano do solo precedentemente examinado. As partes da imagem virtual cumulativa hv, precedentemente à traseira do veículo passam progressivamente sob e sobre as laterais do veículo até se encontrar com a frente do veículo, reproduzindo assim uma vista acima de uma ambiente ao redor do veículo. De idêntica sorte, o veículo em marcha traseira penetra virtualmente e progressivamente na imagem virtual evoluindo em seguida quando ele vira ou parte para a frente.
A etapa 112 é ativada em seguida da etapa 115 para criar uma visualização l5v à partir da imagem virtual cumulativa hv que é construída sob a forma de mo saico. A vista anunciada (visualização) hv não é armazenada na memória. A visualização hv é criada adicionando uma imagem I4 em sobreposição na imagem virtual l3v·
A imagem l4 compreende notadamente um exemplo da nova imagem virtual hv, sem coeficiente de transparência, de modo a permitir ao condutor do veículo, um controle visual direto da cena, notadamente se um ser vivo passar atrás do veículo no campo da câmara real 10.
A ativação da etapa 112 diretamente pela transição 111 ou indiretamente pela transição 113 passando pela etapa 115, atualizando em tempo real a vista da interface homem máquina (IHM) com a vista tida da câmera de recuo. Isto garante que 0 condutor possa ter um permanente controle visual sobre sua manobra.
Um deslocamento do veículo muito lento, não poderá ser exatamente aproximado com precisão pelo algoritmo. Devido a este lento deslocamento, a última imagem virtual l2v é pressionada no mosaico precedente tendo como hipótese que 0 veículo não se moveu. Ao contrário,o mosaico não á atualizado, face aos muito lentos deslocamento acumulados que poderão levar à desvios. Por essa razão, será necessário aguardar que a imagem atual a presente suficiente diferenças com a antiga imagem para estimar com suficiente precisão o deslocamento e retomar corretamente a última imagem com 0 mosaico. Em
Petição 870160016272, de 28/04/2016, pág. 28/39
13/15 outros termos, se o veículo não se move ou se move lentamente para que seu movimento possa ser estimado com suficiente precisão pelo algoritmo, o usuário continua tendo uma vista re-atualizada que leva em conta a presença de um pedestre ou qualquer obstáculo móvel passando no campo da câmera real, mas o mosaico sendo mantido inalterado. Uma vez que o movimento do veículo é perceptível pelo usuário e por conseqüência pelo algoritmo, o mosaico é atualizado e retomado.
Na entrada dos dados do veículo como suas avaliações, dimensões, forma e sua cor, sob forma de parâmetros no sistema no momento de sua instalação no veículo, será possível fixar um diagrama do veículo no plano do solo.
A imagem L compreende opcionalmente uma imagem de síntese 3D de objetos fora do plano do solo que poderão constituir obstáculos à manobra. A imagem de síntese poderá ser construída por estereoscopia temporal à partir de duas imagens reais lm sucessivas suficientemente distantes entre si.
A utilização dos sensores ultra-sônicos completando 0 sistema, permite indicar a proximidade de um obstáculo na zona coberta por cada sensor. A distribuição dos sensores no perímetro do veículo, por exemplo, ao nível dos pára-choques dianteiro e traseiro, permitem reconstruir um mapa sumário da proximidade dos obstáculos eventuais em torno do veículo.
A informação fornecida pelos sensores ultra-sônicos é utilizada pelo sistema de diferentes maneiras:
- de maneira passiva, as zonas associadas à cada sensor por ultra-som, sendo sobrepostas geograficamente acima da imagem do solo. O usuário dispõe então simultaneamente de informação visual do solo em torno do veículo, e de informação visual de presença de obstáculo retornado pelos sensores ultra-sônicos;
- de maneira ativa, a presença de obstáculo deduzido das transparências que podem ser comparados ao mapa de obstáculos que é retornado pelos sensores ultra-sônicos. Essas informações poderão então ser fundidas para maior precisão;
- de maneira combinada ativa e passiva, a visualização do mapa de obstáculos fornecida pelos sensores ultra-sônicos sendo sobreposta à imagem do solo, no quadro de uma indicação visual passiva. Além disso, a presença de um obstáculo próximo que é detectado pelos sensores ultra-sônicos, é explorada
Petição 870160016272, de 28/04/2016, pág. 29/39
14/15 para adaptar a vista fixada de modo a re-orientar nesta área, realizando assim uma área adaptada ativa.
No que se refere à manipulação da interface homem máquina (IHM) várias variantes soa previstas entre as quais se indica uma utilização de telas sensíveis ao toque, uma utilização de um selecionador do tipo roseta previsto para selecionar a vista ativa entre um conjunto de escolhas predefinidas, uma utilização de dados de entradas exteriores como o zoom adaptado em função dos obstáculos detectados pelos ultra-sons.
Pós um recuo suficiente do veículo, o método permite conhecer o plano do solo sob o veículo o sobre as laterais do veículo. Assim se torna possível reproduzir facilmente uma imagem tridimensional de síntese de uma roda em um plano perpendicular ao plano do solo do ambiente. Uma roda dianteira poderá ser representada com seu ângulo de direçáo quando a informação pertinente está disponível, por exemplo, à partir do programa de gestão de correio eletrônico do veículo ou de um cálculo da rotação do veículo em torno de um eixo perpendicular ao plano que resulta nos deslocamentos dos pontos característicos nas imagens virtuais básicas hvA Figura 5 representa esquematicamente um sistema para acionar o método a seguir explicado.
A câmera 10 instalada na traseira do veículo compreende um plano reticular oblíquo em relação ao plano do solo como visto acima com referência à Figura
4.
O plano reticular poderá seguir até se tornar perpendicular ao plano do solo, mas então a superfície visualizada do solo na vizinhança do veículo é falha. A diferença das vistas aéreas ou de uma câmera colocada embaixo de um avião permite ter uma vista do plano do solo conseqüente face à altitude na quão o avião sobrevoa o solo, uma câmera colocada em baixo do veículo ou na traseira do veículo com um plano reticular paralelo à superfície do solo, não abrangendo um espaço relativamente restrito. O plano reticular da câmera não paralela ao plano do solo permite cobrir uma superfície que se estende consideravelmente mais longe da traseira e das laterais do veículo.
Cada imagem e vídeo capturada pela câmera 10 é transmitida para um módulo 51 para a cadência de restauração em tempo real. O módulo 51 é destinado a
Petição 870160016272, de 28/04/2016, pág. 30/39
15/15 corrigir as distorções provocadas pelo sistema ótico da câmera, notadamente na presença de objetivo de uma distância focal curta, ainda chamada de grande ângulo, permitindo ter uma área de visibilidade estendida da base de maneira apreciável para a traseira e laterais do veículo.
As imagens reais que são tratadas pelo módulo 51, são transmitidas à um módulo 52 que calcula uma vista superior, como explicado acima. O módulo 52 é essencialmente destinado a executar as etapas 102 e 108 do método. Se notará que os recursos particularmente econômicos, da simples tabela de correspondência com entrada única, permitem integrar facilmente os módulos 51 e 52 na câmera 10. Opcionalmente, é previsto transmitir as imagens reais que são tratadas pelo módulo 51, para um módulo 56 e/ou à um molde 58.
O módulo 56 é destinado a construir objetos em três dimensões que serão integrados na imagem fixada em uma tela 55 através de um modulo de visualização 54. Os objetos poderão se construídos à partir de imagens recebidas do módulo 51 e dos algoritmos de segmentação ou à partir de dados geométricos e colorimétricos emitidos de uma base de dados que descreve por exemplo a carroceria do veículo ou a montagem das rodas.
O módulo 58 é também destinado a construir objetos em três dimensões que serão integrados na imagem fixada na tela 55 através do módulo de visualização/exibição 54. Os objetos poderão ser aqui construídos à partir de sinais recebidos de um sensor 57 ultra-sônico e eventualmente das imagens recebidas do módulo 51.
As imagens virtuais básicas geradas pelo módulo 52, são transmitidas à um módulo 53 destinado essencialmente a executar as etapas 104, 105, 110 e 115 do método, de modo a construir a imagem virtual acumulada que estende a visibilidade do solo abaixo e em torno do veículo.
A imagem virtual construída no módulo 52, é transmitida ao módulo de exibição 54 essencialmente destinado a executar a etapa 112.

Claims (11)

  1. REIVINDICAÇÕES
    1 “MÉTODO PARA ESTENDER UMA ÁREA DE VISIBILIDADE”, obtido por meio de uma câmera instalado em um veículo, caracterizado por compreender uma etapa (1080 de criação de uma imagem virtual básico (l2v) na qual um conjunto de pixels de imagem virtual básica é posto em correspondência com um conjunto de pixels de uma imagem real (I-ir) capturada pela câmera, se considerando que o conjunto de pixels de imagem real reproduz uma superfície plana do mundo real, uma etapa (110) de caracterização de imagem virtual básica (l2v) na qual um conjunto de pontos de interesse da imagem virtual básica (l2v) é gerado, uma etapa (115) de construção de uma imagem virtual cumulativa (l3v) na qual ao menos uma parte da imagem virtual básica (l2v) é sobreposta ao menos uma parte da imagem virtual cumulativa (l3v) coincidindo os pontos de interesse da imagem virtual básica (l2v) com os pontos de interesse da imagem virtual cumulativa (l3v).
  2. 2. “MÉTODO”, de acordo com a reivindicação 1, caracterizado por a etapa (115) de construção ser reiterada para cada nova Imagem virtual básica (l2v) suficientemente diferente de uma antiga imagem virtual básica (@l2v) ©m termos de distância entre os pontos de interesse.
  3. 3. “MÉTODO” , de acordo com a reivindicação 2, caracterizado por compreender uma etapa (114) de diferenciação na qual se opera uma diferença em termos de componentes de cor entre cada pixel da nova imagem virtual básica (l2v) θ um pixel correspondente da antiga imagem virtual básica (@l2v) θ na qual se atribui ao referido pixel da nova imagem virtual básica (l2v), um nível de transparência em função da referida diferença.
  4. 4. “MÉTODO”, de acordo com as reivindicações 1, 2 e 3, caracterizado por na etapa (108) de criação, o conjunto de pixels de imagem virtual básica ser posto em correspondência com o conjunto de pixels de imagem real por uma tabela de correspondência.
  5. 5. “MÉTODO”, de acordo com as reivindicações 1, 2, 3 e 4,caracterizado por compreender uma etapa (112) de visualização na qual a imagem virtual básica tal como resultando na etapa de criação (108) ser sobreposta em tempo real na imagem virtual cumulativa (l3v) para gerar uma imagem instantânea de visualização (l5v.
    Petição 870160016272, de 28/04/2016, pág. 32/39
    2/2
  6. 6. “MÉTODO”, de acordo com a reivindicação 5, caracterizado por na etapa (112) de visualização, uma imagem de síntese ser sobreposta na imagem virtual cumulativa (l3v).
  7. 7. “MÉTODO”, de acordo com a reivindicação 6, caracterizado por a imagem de 5 síntese ser aquela da roda do veículo.
  8. 8. “MÉTODO”, de acordo com as reivindicações 5, 6 e 7, caracterizado por a etapa (112) de visualização ser ativada diretamente após a etapa (110) de caracterização de imagem virtual básica (l2v) para cada nova imagem virtual básica (l2v) equivalente à uma antiga imagem virtual básica (@l2v) srn termos de
    10 distâncias entre os pontos de interesse.
  9. 9. “MÉTODO”, de acordo com as reivindicações 1, 2, 3, 4, 5, 6, 7 e 8, caracterizado por a superfície plana ser aquela do solo.
  10. 10. “MÉTODO”, de acordo com as reivindicações 1, 2, 3, 4, 5, 6. 7, 8 e 9, caracterizado por a câmara utilizada compreender um plano retiniano com
    15 relação à referida superfície plana do mundo real.
  11. 11. “DISPOSITIVO”, de acordo com as reivindicações 1,2, 3, 4, 5, 6, 7, 8, 9 e 10, compreendendo uma câmera instalada em um veículo, caracterizado por ser destinado a acionar o método da presente invenção.
BRPI1007119A 2009-05-18 2010-05-10 método e dispositivo para estender uma área de visibilidade BRPI1007119B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0953271A FR2945491A1 (fr) 2009-05-18 2009-05-18 Procede et dispositif pour etendre une zone de visibilite
PCT/FR2010/050900 WO2010133785A1 (fr) 2009-05-18 2010-05-10 Procede et dispositif pour etendre une zone de visibilite

Publications (2)

Publication Number Publication Date
BRPI1007119A2 BRPI1007119A2 (pt) 2019-01-02
BRPI1007119B1 true BRPI1007119B1 (pt) 2019-10-22

Family

ID=41507940

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1007119A BRPI1007119B1 (pt) 2009-05-18 2010-05-10 método e dispositivo para estender uma área de visibilidade

Country Status (7)

Country Link
US (1) US8860810B2 (pt)
EP (1) EP2432660B1 (pt)
CN (1) CN102458923B (pt)
BR (1) BRPI1007119B1 (pt)
ES (1) ES2410807T3 (pt)
FR (1) FR2945491A1 (pt)
WO (1) WO2010133785A1 (pt)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2985350B1 (fr) * 2012-01-04 2014-01-24 Peugeot Citroen Automobiles Sa Procede de traitement d'image d'une camera embarquee sur un vehicule et dispositif de traitement correspondant
US9524575B2 (en) * 2014-12-17 2016-12-20 Facebook, Inc. Systems and methods for combining multiple frames to produce media content with simulated exposure effects
DE102015209391A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
GB2559759B (en) * 2017-02-16 2020-07-29 Jaguar Land Rover Ltd Apparatus and method for displaying information
CN110728625B (zh) * 2019-10-14 2023-06-30 北京金山数字娱乐科技有限公司 一种图像推理的方法及装置
CN113450441B (zh) * 2021-06-23 2023-03-21 网易（杭州）网络有限公司 三维虚拟模型的渲染方法、装置和电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1094337B1 (en) * 1999-10-21 2004-03-17 Matsushita Electric Industrial Co., Ltd. Parking assistance system
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
WO2004114224A1 (ja) * 2003-06-20 2004-12-29 Nippon Telegraph And Telephone Corporation 仮想視点画像生成方法及び３次元画像表示方法並びに装置
DE102005013920B4 (de) * 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
GB0422504D0 (en) * 2004-10-11 2004-11-10 Delphi Tech Inc Obstacle recognition system for a motor vehicle
US7916932B2 (en) * 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP5013773B2 (ja) * 2006-08-18 2012-08-29 パナソニック株式会社 車載画像処理装置及びその視点変換情報生成方法
DE102007033735A1 (de) * 2007-02-26 2008-08-28 Volkswagen Ag Verfahren und Vorrichtung zur Detektion von nachfolgenden Fahrzeugen in einem Kraftfahrzeug
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
US20090232415A1 (en) * 2008-03-13 2009-09-17 Microsoft Corporation Platform for the production of seamless orthographic imagery

Also Published As

Publication number Publication date
FR2945491A1 (fr) 2010-11-19
EP2432660A1 (fr) 2012-03-28
ES2410807T3 (es) 2013-07-03
US8860810B2 (en) 2014-10-14
CN102458923A (zh) 2012-05-16
WO2010133785A1 (fr) 2010-11-25
BRPI1007119A2 (pt) 2019-01-02
CN102458923B (zh) 2014-12-17
EP2432660B1 (fr) 2013-05-01
US20120062739A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
BRPI1007119B1 (pt) método e dispositivo para estender uma área de visibilidade
US20170339397A1 (en) Stereo auto-calibration from structure-from-motion
US9214013B2 (en) Systems and methods for correcting user identified artifacts in light field images
CN104185010B (zh) 在前方路缘观察系统中的增强的立体视图生成
KR101339121B1 (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
CN104185009A (zh) 前方路缘观察系统中的增强的俯瞰视图生成
DE102014116140A1 (de) Einparkhilfsvorrichtung und Einparkhilfsverfahren für ein Fahrzeug
JP2008541860A (ja) 連続的にガイドされた内視鏡検査法への適用を伴う高速２ｄ−３ｄ画像重ね合わせ方法
CN109948398A (zh) 全景泊车的图像处理方法及全景泊车装置
CN105100600A (zh) 用于全景可视系统中的自动校准的方法和装置
DE102013206435A1 (de) Visualisierungssystem und Vorrichtung zur Generierung und Anzeige eines virtuellen Abbilds einer Fahrzeugumgebung
US20170035268A1 (en) Stereo display system and method for endoscope using shape-from-shading algorithm
JP2010287029A (ja) 周辺表示装置
JP2017016431A5 (pt)
CN105530503A (zh) 深度图建立方法与多镜头相机系统
CN103093460A (zh) 基于平行视差的移动相机虚拟阵列标定方法
CN105335959B (zh) 成像装置快速对焦方法及其设备
TW201605247A (zh) 影像處理系統及方法
DE112014006493T5 (de) Bestimmen eines Massstabs dreidimensonaler Informationen
KR101289386B1 (ko) 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치
US10708493B2 (en) Panoramic video
KR101435611B1 (ko) 3차원 집적영상의 가려짐 문제 해결방법
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
JP2009211254A (ja) 画像処理ユニット、複眼撮像装置、画像処理方法、および画像処理プログラム
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법

Legal Events

Date Code Title Description
B12F Other appeals [chapter 12.6 patent gazette]
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06T Formal requirements before examination [chapter 6.20 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: B60R 1/00 , B62D 15/02 , G01S 11/12 , G06K 9/00 , G06T 7/20

Ipc: G06K 9/20 (1980.01), B60R 11/04 (1968.09), G01S 5/

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 10/05/2010, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: EXTINTA A PATENTE, NOS TERMOS DO ARTIGO 86, DA LPI, E ARTIGO 10 DA RESOLUCAO 113/2013, REFERENTE AO NAO RECOLHIMENTO DA 7A A 10A RETRIBUICAO ANUAL, PARA FINS DE RESTAURACAO CONFORME ARTIGO 87 DA LPI 9.279, SOB PENA DA MANUTENCAO DA EXTINCAO CASO NAO SEJA RESTAURADA DENTRO DO PRAZO LEGAL, CONFORME O DISPOSTO NO ARTIGO 78, INCISO IV, DA LPI E ARTIGO 12 DA RESOLUCAO 113/2013.

B24D Patent annual fee: restoration after fee payment