BR112016010089B1 - dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento - Google Patents

dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento Download PDF

Info

Publication number
BR112016010089B1
BR112016010089B1 BR112016010089-1A BR112016010089A BR112016010089B1 BR 112016010089 B1 BR112016010089 B1 BR 112016010089B1 BR 112016010089 A BR112016010089 A BR 112016010089A BR 112016010089 B1 BR112016010089 B1 BR 112016010089B1
Authority
BR
Brazil
Prior art keywords
edge
image
moving body
distance
evaluation value
Prior art date
Application number
BR112016010089-1A
Other languages
English (en)
Other versions
BR112016010089A2 (pt
Inventor
Shinya Tanaka
Original Assignee
Nissan Motor Co. Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co. Ltd. filed Critical Nissan Motor Co. Ltd.
Publication of BR112016010089A2 publication Critical patent/BR112016010089A2/pt
Publication of BR112016010089B1 publication Critical patent/BR112016010089B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

DISPOSITIVO DE ESTIMAÇÃO DE POSIÇÃO DE CORPO EM MOVIMENTO E MÉTODO DE ESTIMAÇÃO DE POSIÇÃO DE CORPO EM MOVIMENTO. A invenção diz respeito a uma unidade de calculo de valor de avaliação (15) que compara uma imagem de borda e uma imagem virtual para cada partícula, atribui um valor de avaliação mais alto se existirem mais bordas se sobrepondo entre as imagens, e atribui um valor de avaliação mais alto se existirem mais bordas que não são bordas se sobrepondo e para as quais uma distância de borda para borda, a qual é uma distância entre uma borda na imagem de borda e uma borda na imagem virtual, é menor ou igual a um valor prescrito. Uma unidade de estimação de posição e orientação (16) estima a posição de um veículo baseada no valor de avaliação para cada partícula

Description

Campo Técnico
[001]A presente invenção se relaciona a um dispositivo de estimação de posição de corpo em movimento e com um método de estimação de posição de corpo em movimento.
Técnica de Fundamento
[002]No Documento de Patente 1, uma correspondência das bordas entre uma imagem de borda gerada a partir de uma imagem capturada por uma câmera e uma imagem virtual gerada por um mapa tridimensional conhecido utilizando um filtro particular é realizada para cada partícula, e uma posição de um corpo em movimento é estimado estocasticamente a partir de uma distribuição de probabilidade, na qual a probabilidade é aumentada, à medida que a quantidade de bordas sobrepostas é aumentada, e a probabilidade é diminuída, à medida que a quantidade de bordas sobrepostas é diminuída. Documentos da Técnica Anterior Documentos de Patente Documento de Patente 1: Pedido de Patente Japonesa Exposto 2010-60451.
Sumário da Invenção Problemas a serem Resolvidos pela Invenção
[003]Entretanto, na técnica anterior descrita acima, desde que a probabilidade é calculada baseada no grau de sobreposição das bordas, mesmo se o parâmetro da partícula estiver próximo da posição verdadeira do corpo em movimento, se o parâmetro da posição da partícula estiver mesmo levemente deslocado da posição verdadeira, existe o problema de que a probabilidade da partícula é extremamente reduzida, causando com que a estimação se torne instável.
[004]O objetivo da presente invenção é proporcionar um dispositivo de estimação de posição de corpo em movimento e um método de estimação de posição de corpo em movimento que possam estimar estavelmente a posição de um corpo em movimento. Meios para Solucionar o Problema
[005]Na presente invenção, uma imagem de borda e uma imagem virtual para cada partícula são comparadas, um valor de avaliação mais alto é atribuído se existem mais bordas sobrepostas entre as imagens, e um valor de avaliação mais alto é atribuído se existirem mais bordas que não estão se sobrepondo e para a quais uma distância de borda para borda, a qual é a distância entre uma borda na imagem de borda e uma borda na imagem virtual, é menor ou igual a um valor predeterminado.
Efeito da Invenção
[006]Portanto, a posição de um corpo em movimento pode ser estimado estavelmente.
Breve Descrição dos Desenhos
[007]A Figura 1 é um diagrama em blocos de um dispositivo de estimação de posição de corpo em movimento de acordo com uma primeira concretização.
[008]A Figura 2 é um diagrama em blocos de Controle de uma estimação de auto-posição no computador 3 da primeira concretização.
[009]A Figura 3 é uma vista explicativa ilustrando o método de dispersão de partículas pelo dispositivo de estimação de posição de corpo em movimento da primeira concretização.
[010]A Figura 4 é uma vista explicativa ilustrando o método de calculo para o valor de correção de avaliação correspondendo ao número de pixels da primeira concretização.
[011]A Figura 5 é uma vista explicativa ilustrando o método de cálculo para o valor de correção de avaliação correspondendo a distância real da primeira concretização.
[012]A Figura 6 é um fluxograma ilustrando a fluxo das etapas do computador 3 da primeira concretização.
[013]A Figura 7 é um fluxograma ilustrando o fluxo das etapas de estimação de auto-posição da primeira concretização.
[014]A Figura 8 é um diagrama ilustrando o efeito de estimação de auto posição da primeira concretização.
[015]A Figura 9 é um vista explicativa ilustrando o método de calculo do valor de correção de avaliação correspondendo à densidade da borda da segunda concretização 1 Veículo 2 Câmera (Dispositivo de captura de imagem) 3 Computador 4 Unidade de armazenamento (Dispositivo de armazenamento) 11 Unidade de extração de características (Dispositivo de geração de imagem de borda) 12 Unidade de processamento de inicialização 13 Unidade de geração de candidatos de posição e orientação 14 Unidade de geração de imagem virtual (Dispositivo de geração de imagem virtual) 15 Unidade de cálculo valor de avaliação (Dispositivo de cálculo de valor de avaliação) 15a Unidade de cálculo de valor de correção de avaliação 16 Unidade de estimação de posição e orientação (Dispositivo de estimação de posição e orientação) 17 Unidade de determinação de inicialização Concretizações para realizar a invenção Primeira Concretização
[016]A Figura 1 é uma vista em blocos do dispositivo de estimação de posição de corpo em movimento da primeira concretização.
[017]Um veículo 1 inclui uma câmera (dispositivo de captura de imagem) 2, um computador 3, e uma unidade de armazenamento (dispositivo de armazenamento) 4.
[018]A câmera 2 está conectada em uma parte da extremidade frontal do veículo 1, em uma altura h, em θ graus para baixo a partir da horizontal, e captura imagens da região do lado frontal do veículo 1.
[019]O computador 3 realiza uma etapa de correspondência entre os dados de mapa armazenados na unidade de armazenamento 4 e as imagens capturadas pela câmera 2, e estima a posição e a orientação do veículo 1.
[020]A unidade de armazenamento 4 armazena dados de um mapa tridimensional compreendendo informação de borda e informação de posição de estruturas existindo nos arredores do veículo 1.
[021]A Figura 2 é uma vista de blocos de controle da estimação de auto- posição no computador 3 da primeira concretização. A lente da câmera 2 é uma lente comum sem nenhuma distorção, mas, por exemplo, pode ser uma lente olho de peixe para capturar uma amplitude grande. No último caso, a auto-posição do veículo pode ser estimada pela mesma estrutura por configurar o modelo de câmera utilizado na unidade de geração de imagem virtual 14 descrito abaixo como sendo uma câmera olho de peixe. Adicionalmente, se uma lente olho de peixe for montada de modo a capturar uma amplitude mais ampla ao redor do veículo, várias câmeras podem ser montadas no carro.
[022]Uma unidade de extração de características (dispositivo de geração de imagem de borda) 11 extrai bordas a partir da imagem capturada pela câmera 2 e gera uma imagem de borda. Um método conhecido para detectar uma borda, tal como o método de Canny, pode ser utilizado para extrair a borda. Obviamente, dependendo do problema, estar apto a detectar a borda com um método tal como o filtro de Sobel é adequado, e, em resumo, estar apto a observar uma borda na imagem que seja suficientemente precisa para associar com um parâmetro de alguma dada orientação e com a orientação a partir dos dados do mapa e uma imagem virtual gerada a partir do modelo da câmera 2, é adequado.
[023]Uma unidade de processamento de inicialização 12 realiza uma etapa de Inicialização de um filtro de partícula utilizado para estimar a posição e a orientação do veículo. Na primeira concretização, uma inicialização dos parâmetros (posição e orientação) das partículas dentro da faixa esperada da orientação de posição e de orientação de um veículo é realizada. Aqui, desde que o problema é estimar a posição e a orientação do veículo dentro de uma seção limitada, o numero total de graus de liberdade deve ser seis, os quais são os três degraus de liberdade (x, y, z) representando a posição do veículo e os três degraus de liberdade (guinada, arfagem, rolagem) representando a orientação do veículo (referindo-se a Figura 3). No caso da primeira concretização em que a auto-posição é estimada utilizando dados de um mapa, uma faixa de posições brutas pode ser estabelecida utilizando um GPS de modo a estabelecer a faixa para inicialização. Adicionalmente, o número de partículas precisa ser estabelecido neste momento, o qual pode ser estabelecido para um número apropriado de acordo com o problema. Desde que o filtro de partícula é um método conhecido, detalhes são omitidos.
[024]Uma unidade de geração de candidatos à posição e orientação 13 estabelece um parâmetro de partículas do momento vigente a partir do parâmetro de posição e de orientação das partículas de um momento único anterior, utilizando um modelo do sistema do veiculo estabelecido com antecedência (imediatamente após sair da unidade de processamento de Inicialização, o parâmetro do momento vigente é estabelecido a partir do valor inicializado). A estrutura acima está na categoria de filtros de partículas, de modo que os detalhes são omitidos, mas na primeira concretização, o modelo do sistema deve ser uma marcha aleatória (o movimento do veiculo é assumido aleatoriamente dentro de uma faixa predeterminada). Obviamente, de acordo com o problema, o modelo do sistema pode ser um modelo de movimento linear de velocidade constante, ou coisa parecida. Por exemplo, como ilustrado na Figura 3, a partícula P e as partículas circundantes P1 até P5 do ângulo de posição e de orientação do veículo V (t1) estimados uma repetição anterior pela quantidade do hodômetro, e a faixa de distribuições de existência das partículas é estabelecida e corrigida. Então as partículas P10 até P15 são estabelecidas para estimar um novo ângulo de posição e de orientação do veículo V (t2).
[025]Uma unidade de geração de imagem virtual 14 (dispositivo de geração de imagem virtual) faz referência à unidade de armazenamento 4, e gera uma imagem virtual utilizando os parâmetros de posição e de orientação estabelecidos para algumas partículas na unidade de geração de candidatos à posição e orientação 13 descrita previamente e o modelo de câmera da câmera 2. Em geral, se os parâmetros de posição e de orientação do veículo forem fornecidos, o modelo de câmera da câmera 2 é conhecido (medir antecipadamente é adequado; alternativamente, um valor de projeto é adequado), e os dados tridimensionais da unidade de armazenamento 4 forem conhecidos, os dados de mapa tridimensionais podem ser convertidos em uma imagem bidimensional (chamada de imagem virtual).
[026]Na primeira concretização, a correspondência entre uma borda da imagem virtual gerada pela unidade de geração de imagem virtual 14 em uma unidade de calculo de valor de avaliação 15 que irá ser descrita abaixo e uma borda na imagem extraída pela unidade de extração de característica 11 a partir da imagem capturada pela câmera é realizada. Portanto, na unidade de geração de imagem virtual 14, projetar somente a informação de borda do mapa tridimensional correspondendo ao componente que é extraído como uma borda a partir da imagem capturada pela unidade de extração de característica 11 é suficiente. Especificamente, projetar somente a parte de borda de construções no mapa, linhas brancas sobre a superfície da estrada, e outros, é o suficiente, e a projeção de informação tal como a textura ou cor das construções e a superfície da estrada não é requerida.
[027]Como foi descrito acima, o número de partículas pode ser ajustado de acordo com o problema na unidade de geração de candidatos à posição e orientação 13 descrita previamente, mas se 100 partículas fossem para serem geradas, as etapas seriam repetidas 100 vezes.
[028]A unidade de calculo de valor de avaliação (dispositivo de calculo de valor de avaliação) 15 realiza a correspondência entre a imagem de borda emitida a partir da unidade de extração de característica 11 e o componente de borda da imagem virtual emitido a partir da unidade de geração de imagem virtual 14 para avaliar o grau de sobreposição entre as duas, em que um valor de avaliação mais alto (probabilidade) e, é calculado, à medida que o grau de sobreposição é aumentado. No método de calculo de valor de avaliação convencional, se duas imagens forem digitalizadas e ambos os pixels de interesse (xi, yi) possuírem uma borda, um valor de avaliação é adicionado (Eval (xi, yi) = 1), e se não, o valor não é adicionado (Eval (xi, yi) = 0), deste modo sendo estabelecido de modo que o valor de avaliação seja aumentado à medida que a sobreposição é aumentada, ao passo que, na primeira concretização, o objetivo é aprimorar a precisão e estabilização do método de estimação de posição e de orientação que utiliza um filtro particular, e quando o valor de avaliação é calculado, mesmo se as bordas não se sobreporem, se a distância entre as bordas mais próximas (distância de borda para borda) for próxima (menor ou igual que uma distância predeterminada), um valor de correção de avaliação correspondendo à proximidade das duas bordas é adicionado. O calculo do valor de correção de avaliação é realizado por uma unidade de calculo de valor de correção de avaliação 15a na unidade de calculo de valor de avaliação 15.
[029]O valor de correção de avaliação pode ser estabelecido de acordo com o número de pixels (número de pixels) entre a borda na imagem virtual e a borda da imagem de borda. Por exemplo, com respeito à borda na imagem virtual, o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels do pixel (xi, yi) na imagem de borda que é deslocada um ou dois pixels é estabelecido para 0,5, o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels do pixel (xi, yi) que é deslocado três ou quatro pixels é estabelecido para 0,25, e o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels do pixel (xi, yi) que é deslocado cinco ou mais pixels é estabelecido para 0,0. A saber, em uma imagem virtual tal como esta da Figura 4 (a), por proporcionar uma região de vizinhança de borda de quatro pixels em ambos os lados da borda, como ilustrado na Figura 4(b), a largura da borda na imagem virtual é virtualmente espessada, e quando a borda da imagem de borda sobrepõe a região de vizinhança da borda, um valor de correção de avaliação ep(xi, yi) correspondendo à distância de borda para borda é fornecido.
[030]Como outro exemplo, o valor de correção de avaliação pode ser calculado utilizando a distância tridimensional no espaço real, e não simplesmente o número de pixels. Quando a distância predeterminada é definida baseada no número de pixels como descrito acima, a distância no espaço real correspondendo a um pixel varia de acordo com a distância de profundidade a partir do veículo, a saber, devido às resoluções vertical e horizontal por pixel serem diferentes entre um objeto tridimensional posicionado na frente e um objeto tridimensional posicionado na traseira. Por exemplo, na imagem virtual ilustrada na Figura 5 (a), o objeto tridimensional envolvido por uma linha tracejada é do mesmo tamanho na superfície frontal e na superfície traseira no espaço real, mas o tamanho do mesmo projetado na imagem virtual altera de acordo com a profundidade. Portanto, quando refletindo o espaço real, da mesma maneira como no método na unidade de geração de imagem virtual 14, utilizando dados de mapa cuja informação tridimensional é conhecida, como ilustrado na Figura 5 (b), uma região de vizinhança de borda é proporcionada levando em conta a distância real, e um valor de correção de avaliação ed(xi, yi) correspondendo a distância real é obtido.
[031]O valor de correção de avaliação Ed (xi, yi) correspondendo a distância
Figure img0001
real é obtido a partir da seguinte formula.
[032]Aqui, alfa é um parâmetro de ajuste, e d(xi, yi) é a distância mais curta a partir da borda de quando a coordenada (xi, yi) é projetada de forma tridimensional. Quando a distância acima é igual ou maior do que o valor predeterminado (a borda está longe), ed(xi, yi) pode ser estabelecido para zero.
[033]Na unidade de calculo de valor de correção de avaliação 15a, as etapas acima são repetidas quantas vezes for o número de partículas estabelecido na unidade de geração de candidatos à posição e orientação 13.
[034]A unidade de calculo de valor de avaliação 15 calcula a valor de avaliação para cara pixel baseada na seguinte fórmula. (1) Quando um valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixel é estabelecido
Figure img0002
Eval(xi, yi) = 1 (sobreposição de bordas) Eval(xi, yi) = 0 (bordas não se sobrepõem (caso contrário)) (11) Quando um valor de correção de avaliação ed(xi, yi) correspondendo a distância real é estabelecido
Figure img0003
Eval(xi, yi) = 1 (sobreposição de bordas) Eval(xi, yi) = 0 (bordas não se sobrepõem (caso contrário))
[035]Por conseqüência, quando um valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixel é estabelecido, para as partes onde o número de pixels entre a borda na imagem virtual e a borda na imagem de borda é até dois pixels, metade dos pontos originais são adicionados, e para partes até quatro pixels, um quarto dos pontos originais é adicionado. Por outro lado, quando um valor de correção de avaliação ed(xi, yi) correspondendo à distância real é estabelecido, se o recíproco da distância for adicionado na hora da adição, um valor mais alto será adicionado, à medida que a distância entre a borda na imagem virtual e a borda na imagem de borda é diminuída.
[036]Também, na unidade de cálculo de valor de avaliação 15, da mesma maneira, as etapas devem ser repetidas quantas vezes for o número de partículas estabelecido na unidade de geração de candidatos à posição e orientação 13.
[037]No exemplo acima, o valor de correção de avaliação é calculado de acordo com o número de pixels ou com a distância real entre a borda na imagem virtual e a borda na imagem de borda, com a borda na imagem virtual como uma referência, mas os mesmos resultados serão obtidos mesmo se o valor de correção de avaliação for calculado de acordo com o número de pixels ou com a distância real entre a borda na imagem de borda e a borda na imagem virtual, com a borda na imagem de borda como uma referência.
[038]Uma unidade de estimação de posição e de orientação (dispositivo de estimação de posição) 16 estima a posição e a orientação de um veículo baseada no valor de avaliação para cada partícula estabelecida na unidade de calculo de valor de avaliação 15. A própria etapa é uma estrutura de um filtro de partícula, mas uma ponderação maior é estabelecida à medida que o valor de avaliação é aumentado. Por exemplo, uma posição predita e um candidato a ângulo de orientação com a maior probabilidade mais alta são calculados como a posição e orientação reais do veículo. Adicionalmente, a probabilidade de cada posição predita e candidato a ângulo de orientação é utilizada para obter a média ponderada das posições e ângulos de orientação preditos, e o valor obtido pode ser estabelecido como a posição e o ângulo de orientação finais do veículo.
[039]Na unidade de estimação de posição e de orientação 16, a posição e a orientação são estimadas na estrutura de um filtro de partícula, e um valor de avaliação nos parâmetros estimados (posição e orientação) é calculado (Como uma etapa, a unidade de geração de candidatos à posição e orientação 13 e a unidade de calculo de valor de avaliação 15 são executadas. Nas etapas descritas até agora, as series de fluxo acima precisam ser executadas tantas vezes quanto for o número de partículas, mas, aqui, somente o fluxo para um parâmetro do resultado de estimação será executado). O valor de avaliação acima é emitido para uma unidade de determinação de inicialização 17 em uma etapa subseqüente, e é utilizado para uma etapa de Inicialização de quando a estimação está errada.
[040]A unidade de determinação de inicialização 17 determina se a posição e a orientação estimadas são ou não detecções errôneas. Se uma determinação de uma detecção errônea for feita, um ordem de inicialização é enviada para a unidade de processamento de Inicialização 12, e as etapas são executadas novamente. Como um método de determinação, quando o valor de avaliação baseado no resultado de estimação emitido a partir da unidade de estimação de posição e de orientação 16 for menor do que um valor limite estabelecido antecipadamente, uma determinação de uma detecção errônea é feita.
[Etapas Gerais]
[041]A Figura 6 é um fluxograma ilustrando o fluxo de todas as etapas do computador 3 da primeira concretização.
[042]Na Etapa S1, uma etapa de Inicialização do filtro de partícula é realizada na unidade de processamento de Inicialização 12. As etapas acima satisfazem para ser executadas uma por vez no momento da ativação do sistema. Entretanto, na Etapa S5, se uma reinicialização for determinada como sendo requerida na unidade de determinação de inicialização 17, as partículas são inicializadas novamente.
[043]Na Etapa S2, uma imagem à frente do veículo é capturada pela câmera 2.
[044]Na Etapa S3, bordas são extraídas a partir da imagem adquirida com a câmera 2 na unidade de extração de característica 11.
[045]Na Etapa S4, uma etapa de estimação de auto-posição é realizada. Detalhes serão descritos abaixo.
[046]Na Etapa S5, se a posição e a orientação estimadas são ou não uma detecção errônea, de modo que uma inicialização é novamente requerida, é determinado, na unidade de determinação de inicialização 17. Se SIM, as etapas prosseguem para a Etapa S1, e se NÃO, as etapas prosseguem para a Etapa S6.
[047]Na Etapa S6, é determinado se um desligamento do sistema foi ou não informado pelas mãos do usuário; se SIM, as etapas são terminadas, e se NÃO, as etapas prosseguem para a Etapa S2.
[Etapas de estimação de auto-posição]
[048]A Figura 7 é um fluxograma ilustrando o fluxo das etapas de estimação de auto-posição da primeira concretização.
[049]Na Etapa S41, na unidade de geração de candidatos à posição e orientação 13, um parâmetro das partículas do momento atual (os seis graus de liberdade de posição e orientação) é estabelecido a partir do parâmetro de posição e de orientação das partículas de um momento único anterior, utilizando um modelo de sistema do veiculo estabelecido antecipadamente.
[050]Na Etapa S42, na unidade de geração de imagem virtual 14, uma imagem virtual é gerada baseada nos parâmetros de posição e de orientação estabelecidos para a partícula.
[051]Na Etapa S43, na unidade de calculo de valor de correção de avaliação 15a da unidade de calculo de valor de avaliação 15, um valor de correção de avaliação (ep ou ed) correspondendo à quantidade deslocada (número de pixels ou a distância real) entre a borda na imagem de borda e a borda na imagem virtual é calculado.
[052]Na Etapa S44, na unidade de calculo de valor de avaliação 15, o grau de sobreposição entre a imagem de borda e a imagem virtual é avaliado. Neste momento, o valor de avaliação é calculando, levando em conta o valor de correção de avaliação (ep ou ed).
[053]Na Etapa S45, na unidade de calculo de valor de avaliação 15, é determinado se o cálculo de valor de avaliação está ou não completado para todas as partículas geradas na unidade de processamento de Inicialização 12; se SIM, as etapas prosseguem para a Etapa S46, e se NÃO, o processo prossegue para a Etapa S41.
[054]Na Etapa S46, na unidade de estimação de posição e de orientação 16, é calculado a ponderação para o valor de avaliação de cada partícula, e a posição e a orientação do momento atual são estimadas. A seguir, os efeitos irão ser descritos.
[055]No dispositivo de estimação de posição do corpo em movimento convencional, mesmo se o parâmetro da partícula estiver próximo da verdadeira posição do veículo hospedeiro, se o parâmetro da posição for até mesmo levemente deslocado a partir da verdadeira posição e orientação, existe o problema de que a probabilidade da partícula seja extremamente reduzida, causando com que a estimação da posição e da orientação do veículo hospedeiro do se torne instável, como ilustrado na Figura 8 (a).
[056]Em contraste, na primeira concretização, a probabilidade (valor de avaliação) é aumentada, à medida que o número de pixels para o qual uma distância de borda para borda, a qual é a distância entre uma borda na imagem de borda e uma borda na imagem virtual, é menor ou igual a um valor previsto é aumentado. Conseqüentemente, como ilustrado na Figura 8 (b), uma diminuição extrema de probabilidade pode ser suprimida, para partículas com uma pequena quantidade de mudança dos parâmetros de posição e de orientação com respeito às verdadeiras posição e orientação do veículo hospedeiro. Em outras palavras, mesmo se uma pequena mudança ocorrer entre os parâmetros de posição e de orientação das partículas e a verdadeira posição e orientação do veículo hospedeiro, uma probabilidade é fornecida, e, portanto, uma posição e orientação próximas da verdadeira posição e orientação do veículo hospedeiro do veículo podem ser estimadas.
[057]Portanto, a posição e a orientação do veículo hospedeiro podem ser estimadas de forma segura.
[058]Na primeira concretização, quando a distância de borda para borda é menor ou igual do que uma distância predeterminada, a probabilidade é aumentada à medida que a distância de borda para borda é diminuída. Conseqüentemente, desde que a probabilidade das partículas com uma quantidade de deslocamento menor dos parâmetros de posição e de orientação com respeito à verdadeira posição e orientação do veículo hospedeiro é aumentada, a região próxima da verdadeira posição e orientação na distribuição de probabilidade do espaço de parâmetros pode ser compactada. Portanto, uma probabilidade mais adequada pode ser obtida, e a precisão e estabilidade da estimação de posição e de orientação podem ser aprimoradas.
[059]Na primeira concretização, a distância predeterminada é o número predeterminado de pixels. Conseqüentemente, a faixa na qual aumentar o valor de avaliação pode estabelecida para um número de pixels que o projetista estabelece com antecedência. Portanto, a faixa do número de pixels a partir da borda na qual a probabilidade da partícula é avaliada mais alta pode ser estabelecida de acordo com o problema.
[060]Na primeira concretização, a distância predeterminada é a distância tridimensional no espaço real. Conseqüentemente, a faixa na qual aumentar o valor de avaliação pode ser estabelecida para distância no espaço real que o projetista estabelece com antecedência. Portanto, a faixa da distância no espaço real a partir da borda na qual a probabilidade da partícula é avaliada mais alta pode ser estabelecida de acordo com o problema. A primeira concretização manifesta os efeitos listados abaixo. (12) O dispositivo compreende: uma câmera 2 a qual captura à frente do veículo hospedeiro para adquirir uma imagem capturada, uma unidade de extração de característica 11 a qual extrai uma borda a partir da imagem capturada para gerar uma imagem de borda, uma unidade de armazenamento 4 para armazenar dados de um mapa compreendendo informação de borda e informação de posição de estruturas existentes ao redor do veículo hospedeiro, uma unidade de geração de imagem virtual 14 que estabelece várias partículas as quais são assumidas posições e orientações do veículo hospedeiro, e converte a informação de borda dos dados de mapa de cada partícula para uma imagem virtual capturada a partir da orientação e posição assumidas, um unidade de calculo de valor de avaliação 15 a qual compara a imagem de borda e a imagem virtual para cada partícula, e atribui um valor de avaliação mais alto se existem mais bordas se sobrepondo entre as imagens, e atribui um valor de avaliação mais alto se existirem mais bordas que não estão se sobrepondo e para as quais uma distância de borda para borda, a qual é a distância entre uma borda na imagem de borda e uma borda na imagem virtual, for menor ou igual a um valor predeterminado, e uma unidade de estimativa de posição e de orientação 16 que estima a posição do veículo hospedeiro baseada no valor de avaliação para cada partícula.
[061]Portanto, a posição e a orientação do veículo hospedeiro pode ser estimada de forma segura. (13) A unidade de calculo de valor de avaliação 15, quando a distância de borda para borda é menor ou igual do que uma distância predeterminada, aumenta o valor de estimação, à medida que a distância de borda para borda é diminuída.
[062]Portanto, uma probabilidade mais adequada pode ser obtida, e a precisão e estabilidade da estimação de posição e de orientação do veículo hospedeiro podem ser aprimoradas. (14) A distância predeterminada é o número predeterminado de pixels.
[063]Portanto, a faixa de número de pixels a partir da borda na qual a probabilidade da partícula é avaliada mais alta pode ser estabelecida de acordo com o problema. (15) A distância predeterminada é a distância tridimensional no espaço real.
[064]Portanto, a faixa das distâncias no espaço real a partir da borda na qual a probabilidade da partícula é avaliada mais alta pode ser estabelecida de acordo com o problema. (16) O dispositivo captura à frente do veículo hospedeiro para adquirir uma imagem capturada, extrai uma borda a partir da imagem capturada para gerar uma imagem de borda, estabelece várias partículas que são posições e orientações assumidas do veículo hospedeiro, converte a informação de borda de dados de um mapa compreendendo informação de borda e informação de posição de estruturas existindo nos arredores do veículo hospedeiro para cada partícula para uma imagem virtual capturada a partir da posição e orientação assumidas, compara a imagem de borda e a imagem virtual de cada partícula, atribui um valor de avaliação mais alto se existem mais bordas sobrepostas entre as imagens e, atribui um valor de avaliação mais alto se existem mais bordas que não estão se sobrepondo e para as quais uma distância de borda para borda, a qual é a distância entre uma borda na imagem de borda e uma borda na imagem virtual, é menor ou igual a um valor predeterminado, e estima a posição do veículo hospedeiro baseado no valor de avaliação para cada partícula.
[065]Portanto, a posição e a orientação do veículo hospedeiro pode ser estimada de forma segura.
[Segunda Concretização]
[066]A seguir, o dispositivo de estimação de posição de corpo em movimento de acordo com a segunda concretização será descrito com referencia aos desenhos.
[067]A Figura 9 é uma vista explicativa ilustrando o método de calculo do valor de correção de avaliação correspondendo à densidade de borda.
[068]Entretanto, as outras configurações são as mesmas como na primeira concretização, assim, são dados os mesmos códigos, e as descrições dos mesmos são omitidas.
[069]A Figura 9 (a) é uma imagem de borda gerada por extrair uma borda a partir de uma imagem capturada pela câmera 2, na unidade de extração de característica (dispositivo de geração de imagem de borda) 11. Na imagem de borda apresentada na Figura 9 (a), desde que existe um acostamento 9b na vizinhança paralelo a uma pista 9a, devido à posição e orientação da partícula, a borda da pista na imagem virtual e a borda do acostamento 9b na imagem de borda se tornam um estado próximo (um estado no qual a densidade de borda é alta), e o valor de avaliação é aumentado parcialmente.
[070]Desse modo, na segunda concretização, quando a distância entre as bordas mais próximas (distância de borda para borda) é próxima (menor ou igual a uma distância predeterminada), em uma região onde a densidade de borda da imagem de borda é alta, a distância predeterminada para determinação é diminuída.
[071]Por exemplo, em uma região onde a densidade da borda da imagem de borda é baixa, como na primeira concretização, com respeito às bordas na imagem virtual, o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels dos pixels (xi, yi) na imagem de borda que é deslocado um ou dois pixels é estabelecido para 0,5, o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels dos pixels (xi, yi) que é deslocado três ou quatro pixels é estabelecido para 0,25, e o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels dos pixels (xi, yi) que é deslocado cinco ou seis pixels é estabelecido para 0,0.
[072]Por outro lado, em uma região onde a densidade de borda da imagem de borda é alta, com respeito à borda na imagem virtual, o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels dos pixel (xi, yi) na imagem de borda que é deslocado um pixel é estabelecido para 0,5, o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels do pixel (xi, yi) que é deslocado dois pixels é estabelecido para 0,25, e o valor de correção de avaliação ep(xi, yi) correspondendo ao número de pixels do pixel (xi, yi) que é deslocado 3 ou mais pixels é estabelecido para 0,0.
[073]A saber, em uma imagem de borda tal como esta da Figura 9 (a), por proporcionar uma região de vizinhança de borda de dois pixels em ambos os lados da borda da pista 9a, a qual é uma região onde a densidade de borda das imagem de borda é alta, como ilustrado na Figura 9 (b), a região de vizinhança de borda pode ser estreitada comparada com outras regiões, e o aumento do valor de correção de avaliação devido a borda do acostamento 9b pode ser suprimido.
[074]A segunda concretização manifesta os seguintes efeitos, em adição aos efeitos 1 até 5 da primeira concretização. (17) A unidade de calculo de valor de avaliação 15 diminui a distância predeterminada, à medida que a densidade de borda da imagem de borda é aumentada.
[075]Portanto, a aumento errôneo do valor de correção de avaliação em regiões onde a densidade de borda é mais alta pode ser suprimido, e a precisão e estabilidade da estimação de posição e orientação do veículo hospedeiro podem ser aprimoradas.
(Outras concretizações)
[076]Uma concretização preferida da presente invenção foi descrita acima baseada em uma concretização, mas configurações especificas da presente invenção não estão limitadas pela concretização, e alterações para o projeto feito sem afastamento do escopo da invenção também são incluídas na presente invenção.
[077]Por exemplo, na concretização, uma função de avaliação é estabelecida (problema de maximização) de modo que o valor de avaliação aumenta, à medida que a quantidade de bordas se sobrepondo entre a imagem de borda e a borda na imagem virtual é aumentada, mas a função de avaliação pode ser estabelecida de modo que o erro seja reduzido, à medida que a quantidade de bordas se sobrepondo é aumentada (problema de minimização).
[078]A presente invenção é aplicável para a estimação da posição relativa (posição lateral) de um veículo, com respeito as linhas brancas esquerda e direita do caminho de deslocamento. Neste caso, os parâmetros posição e orientação são o um grau de liberdade da posição lateral como o parâmetro de posição, e os dois degraus de liberdade da arfagem e guinada como o parâmetro de orientação; um total de três graus de liberdade. Entretanto, desde que a largura das linhas brancas varia de lugar para lugar, a largura das linhas brancas pode ser adicionado como um parâmetro de estimação.

Claims (6)

  1. (1) Dispositivo de estimação de posição de corpo em movimento CARACTERIZADO pelo fato de compreender: um dispositivo de captura de imagem o qual captura os arredores de um corpo em movimento para adquirir a imagem capturada; um dispositivo de geração de imagem de borda o qual extrai uma borda a partir da imagem capturada para gerar uma imagem de borda; um dispositivo de armazenamento para armazenar dados de um mapa compreendendo informação de borda e informação de posição de estruturas existindo nos arredores do corpo em movimento; um dispositivo de geração de imagem virtual que estabelece várias partículas as quais são posições e orientações assumidas do corpo em movimento e converte a informação de borda dos dados de mapa de cada partícula para um imagem virtual capturada a partir de posições e orientações assumidas; um dispositivo de cálculo de valor de avaliação o qual compara a imagem de borda e imagem virtual para cada partícula, e atribui um valor de avaliação mais elevado se existem mais bordas se sobrepondo entre as imagens, e, atribui um valor de avaliação mais elevado se existem mais bordas que não estão se sobrepondo e para as quais uma distância de borda para borda, a qual é a distância entre uma borda na imagem de borda e uma borda na imagem virtual, é menor ou igual a uma distância predeterminada; um dispositivo de estimação de posição e orientação o qual estima a posição do corpo em movimento baseado no valor de avaliação para cada partícula.
  2. (2) Dispositivo de estimação de posição do corpo em movimento, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o dispositivo de calculo de valor de avaliação aumenta o valor de avaliação à medida que a distância de borda para borda é diminuída, quando a distância de borda para borda é menor ou igual à uma distância predeterminada.
  3. (3) Dispositivo de estimação de posição do corpo em movimento, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que o dispositivo de calculo de valor de avaliação reduz a distância predeterminada à medida que uma densidade de borda da imagem de borda é aumentada.
  4. (4) Dispositivo de estimação de posição do corpo em movimento, de acordo com a reivindicação 2 ou 3, CARACTERIZADO pelo fato de que a distância predeterminada é um número predeterminado de pixels.
  5. (5) Dispositivo de estimação de posição do corpo em movimento, de acordo com a reivindicação 2 ou 3, CARACTERIZADO pelo fato de que a distância predeterminada é um distância tridimensional no espaço real.
  6. (6) Método de estimação de posição de corpo em movimento, CARACTERIZADO pelo fato de compreender: arredores de um corpo em movimento são capturados para adquirir uma imagem capturada; uma borda é extraída a partir da imagem capturada para gerar uma imagem de borda; várias partículas, as quais são orientações e posições assumidas para o corpo em movimento, são estabelecidas, e a informação de borda dos dados de mapa para cada partícula é convertida para uma imagem virtual capturada a partir da posição e orientação assumidas; a imagem de borda e a imagem virtual para cada partícula são comparadas, e um valor de avaliação mais alto é atribuído se existem mais bordas se sobrepondo entre as imagens e um valor de avaliação mais alto é atribuído se existirem mais bordas que não estão se sobrepondo e para as quais uma distância de borda para borda, a qual é a distância entre uma borda na imagem de borda e uma borda na imagem virtual, é menor ou igual a uma distância predeterminada; a posição do corpo em movimento sendo estimada baseada no valor de avaliação para cada partícula.
BR112016010089-1A 2013-11-13 2014-09-05 dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento BR112016010089B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013234516 2013-11-13
JP2013-234516 2013-11-13
PCT/JP2014/073432 WO2015072217A1 (ja) 2013-11-13 2014-09-05 移動体位置推定装置および移動体位置推定方法

Publications (2)

Publication Number Publication Date
BR112016010089A2 BR112016010089A2 (pt) 2020-11-10
BR112016010089B1 true BR112016010089B1 (pt) 2021-06-08

Family

ID=53057162

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112016010089-1A BR112016010089B1 (pt) 2013-11-13 2014-09-05 dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento

Country Status (8)

Country Link
US (1) US9424649B1 (pt)
EP (1) EP3070430B1 (pt)
JP (1) JP6112221B2 (pt)
CN (1) CN105723180B (pt)
BR (1) BR112016010089B1 (pt)
MX (1) MX355313B (pt)
RU (1) RU2621480C1 (pt)
WO (1) WO2015072217A1 (pt)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9849591B2 (en) * 2015-10-02 2017-12-26 X Development Llc Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment
EP3360023A4 (en) * 2015-10-09 2018-10-10 SZ DJI Technology Co., Ltd. Salient feature based vehicle positioning
US10013617B2 (en) * 2015-12-03 2018-07-03 Gm Global Technology Operations Snow covered path of travel surface condition detection
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
JP6782903B2 (ja) * 2015-12-25 2020-11-11 学校法人千葉工業大学 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
JP6795379B2 (ja) * 2016-03-10 2020-12-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 運転制御装置、運転制御方法及び運転制御プログラム
JP6552448B2 (ja) * 2016-03-31 2019-07-31 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP6929183B2 (ja) * 2017-09-29 2021-09-01 株式会社デンソーテン レーダ装置および物標検出方法
GB2568286B (en) * 2017-11-10 2020-06-10 Horiba Mira Ltd Method of computer vision based localisation and navigation and system for performing the same
US11531354B2 (en) * 2017-12-05 2022-12-20 Sony Corporation Image processing apparatus and image processing method
CN109935108A (zh) * 2017-12-18 2019-06-25 姜鹏飞 一种基于准确位置的交通安全预警方法及装置
US20200311455A1 (en) * 2019-03-27 2020-10-01 GM Global Technology Operations LLC Methods and systems for correcting sensor information
RU2769918C1 (ru) * 2021-05-18 2022-04-08 Общество с ограниченной ответственностью "ЭвоКарго" Способ позиционирования наземного транспортного средства
WO2024185134A1 (ja) * 2023-03-09 2024-09-12 日本電気株式会社 カメラ姿勢推定装置、カメラ姿勢推定方法、及びコンピュータ読み取り可能な記録媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8350850B2 (en) * 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
JP5111210B2 (ja) * 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
JP5297727B2 (ja) 2008-09-04 2013-09-25 トヨタ自動車株式会社 ロボット装置及び物体の位置姿勢推定方法
US8385591B1 (en) * 2009-04-28 2013-02-26 Google Inc. System and method of using images to determine correspondence between locations
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
JP5512258B2 (ja) * 2009-12-25 2014-06-04 本田技研工業株式会社 向き計測装置、向き計測システム、向き計測方法、及び向き計測プログラム
EP2606472A2 (en) * 2010-06-11 2013-06-26 Estill, James A. System and method for manipulating data having spatial coordinates
JP5703801B2 (ja) * 2011-02-04 2015-04-22 富士通株式会社 ロボット、位置推定方法及びプログラム
JP2012243051A (ja) * 2011-05-19 2012-12-10 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
CN103154666B (zh) * 2011-06-14 2015-03-18 日产自动车株式会社 距离测量装置以及环境地图生成装置
US8704882B2 (en) * 2011-11-18 2014-04-22 L-3 Communications Corporation Simulated head mounted display system and method
WO2013133129A1 (ja) * 2012-03-06 2013-09-12 日産自動車株式会社 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP5867176B2 (ja) 2012-03-06 2016-02-24 日産自動車株式会社 移動物体位置姿勢推定装置及び方法
EP2662828B1 (en) * 2012-05-11 2020-05-06 Veoneer Sweden AB A vision system and method for a motor vehicle
JP6079076B2 (ja) * 2012-09-14 2017-02-15 沖電気工業株式会社 物体追跡装置及び物体追跡方法
JP6197388B2 (ja) * 2013-06-11 2017-09-20 富士通株式会社 距離測定装置、距離測定方法、およびプログラム
JPWO2015159547A1 (ja) * 2014-04-18 2017-04-13 Necソリューションイノベータ株式会社 情報処理システム、制御方法、及びプログラム記録媒体

Also Published As

Publication number Publication date
CN105723180A (zh) 2016-06-29
MX2016005904A (es) 2016-07-13
RU2621480C1 (ru) 2017-06-06
US9424649B1 (en) 2016-08-23
EP3070430A1 (en) 2016-09-21
US20160239973A1 (en) 2016-08-18
JPWO2015072217A1 (ja) 2017-03-16
EP3070430A4 (en) 2017-01-11
WO2015072217A1 (ja) 2015-05-21
JP6112221B2 (ja) 2017-04-12
CN105723180B (zh) 2017-08-15
EP3070430B1 (en) 2019-08-14
BR112016010089A2 (pt) 2020-11-10
MX355313B (es) 2018-04-16

Similar Documents

Publication Publication Date Title
BR112016010089B1 (pt) dispositivo de estimação de posição de corpo em movimento e método de estimação de posição de corpo em movimento
CN111024040B (zh) 距离估计方法和设备
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN108475433B (zh) 用于大规模确定rgbd相机姿势的方法和系统
US8711206B2 (en) Mobile camera localization using depth maps
US8326025B2 (en) Method for determining a depth map from images, device for determining a depth map
JP6491517B2 (ja) 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置
Wedel et al. Realtime depth estimation and obstacle detection from monocular video
US20140294289A1 (en) Image processing apparatus and image processing method
KR102455632B1 (ko) 스테레오 매칭 방법 및 장치
US11132530B2 (en) Method for three-dimensional graphic reconstruction of a vehicle
JP5834933B2 (ja) 車両位置算出装置
US10482615B2 (en) Image processing device and image processing method
CN111753638B (zh) 一种基于rgbd图像的行人跟踪方法及系统
EP2924612A1 (en) Object detection device, object detection method, and computer readable storage medium comprising object detection program
CN106530328A (zh) 一种基于视频图像对运动目标检测和平滑跟随的方法
CN112700486A (zh) 对图像中路面车道线的深度进行估计的方法及装置
Hayakawa et al. Ego-motion and surrounding vehicle state estimation using a monocular camera
JP2006285358A (ja) エッジトラッキング方法及びそのコンピュータプログラム
JP5891802B2 (ja) 車両位置算出装置
JP5903901B2 (ja) 車両位置算出装置
KR101980899B1 (ko) 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법
Brown et al. Self-calibration from vehicle information
JP2020027328A (ja) 信号機推定装置、信号機推定方法およびプログラム
KR102055276B1 (ko) 사람계수 장치 및 방법

Legal Events

Date Code Title Description
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 05/09/2014, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 10A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2791 DE 02-07-2024 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.