BR112013006124B1 - aparelho de estimativa de percurso - Google Patents

aparelho de estimativa de percurso Download PDF

Info

Publication number
BR112013006124B1
BR112013006124B1 BR112013006124-3A BR112013006124A BR112013006124B1 BR 112013006124 B1 BR112013006124 B1 BR 112013006124B1 BR 112013006124 A BR112013006124 A BR 112013006124A BR 112013006124 B1 BR112013006124 B1 BR 112013006124B1
Authority
BR
Brazil
Prior art keywords
vehicle
route
section
course
points
Prior art date
Application number
BR112013006124-3A
Other languages
English (en)
Other versions
BR112013006124A2 (pt
Inventor
Akihiro Watanabe
Takahiro Kojo
Theerawat Limpibunterng
Yoshiaki Tsuchiya
Original Assignee
Toyota Jidosha Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Jidosha Kabushiki Kaisha filed Critical Toyota Jidosha Kabushiki Kaisha
Publication of BR112013006124A2 publication Critical patent/BR112013006124A2/pt
Publication of BR112013006124B1 publication Critical patent/BR112013006124B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/77Determining position or orientation of objects or cameras using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

APARELHO E PROGRAMA DE ESTIMATIVA DE PERCURSO. A presente invenção refere-se a uma seção de extração de ponto característico que adquire uma imagem capturada de um dispositivo de captura de imagem e extrai pontos característicos a partir da imagem capturada, de um seção de seleção de ponto de limite da pista do veículo que seleciona pontos limites da pista do veículo que indicam pistas do veículo a partir dos pontos característicos extraídos, de uma seção de determinação de distribuição que determina a distribuição dos pontos de limite da pista do veículo, e de uma seção de estimativa de parâmetro de percurso que se forma estável prediz os parâmetros do percurso baseada nos pontos de limite de pista do veículo, nos resultados de estimativa passada e no ruído do sistema que foi estabelecido.

Description

Campo Técnico
[0001] A presente invenção se relaciona com um aparelho e pro grama de estimativa de percurso, e em particular, com um aparelho e programa de estimativa de percurso que estima parâmetros do percurso baseado em uma imagem capturada por um aparelho de captura de imagem.
Técnica Antecedente
[0002] Convencionalmente, têm sido propostos aparelhos de reco nhecimento de percurso do veículo que detectam sinalizações horizontais de estrada em uma imagem de entrada capturada em frente de um veículo por uma câmera CCD, e baseados nos resultados da detecção das sinalizações horizontais da estrada, calculam parâmetros de modelo da estada utilizando um filtro de Kalman de modo a representam o formato da estrada à frente do veículo (veja o Pedido de Patente Japonês Exposto (JP-A) No 2002-109695). NO aparelho de reconhecimento de percurso da JP-A No 2002-109695, alterações nos parâmetros de modelo da estrada são tratados como possuindo uma natureza probabilística, e um modelo de rota aleatório orientado por um ruído branco Gaussiano fixo é definido.
DESCRIÇÃO DA INVENÇÃO Problema Técnico
[0003] A precisão da estimativa de cada um dos parâmetros a ser estimado é afetada pela distribuição dos valores de observação, entretanto, existe um problema com a tecnologia da JP-A No 2002-109695 pelo fato de que o ruído do sistema expressando o grau de variação nos parâmetros do modelo da estrada é estabelecido independente dos valores de observação, de modo que a estimativa estável do parâmetro do modelo da estrada não é possível.
[0004] A presente invenção endereça o problema acima, e um ob jetivo é proporcionar um aparelho e programa de estimativa de percurso que possa estimar de forma estável parâmetros do percurso.
Solução para o Problema
[0005] De modo a alcançar o objetivo acima, o aparelho de esti mativa de percurso da presente invenção inclui: uma seção de aqui-sição para adquirir uma imagem capturada de uma periferia de um veículo; uma seção de extração para extrair, a partir da imagem cap-turada adquirida pela seção de aquisição, pontos característicos indi-cando as pistas do veículo; uma seção de estabelecimento para, ba-seada em uma distribuição dos pontos característicos extraídos pela seção de extração, estabelecer o ruído do sistema expressando a variação dos parâmetros do percurso quando estimando os parâme-tros do percurso relacionados com uma posição ou com um ângulo do próprio veículo com respeito a um percurso para deslocamento pelo próprio veículo e relacionado com um formato ou com um tamanho do percurso; e uma seção de estimativa para estimar os parâmetros do percurso pelo processamento do sinal de probabilidade utilizando um sinal de tempo separado baseado nos pontos característicos extraídos pela seção de extração, em um resultado anterior da estimativa dos parâmetros do percurso e no ruído do sistema estabelecido pela seção de estabelecimento.
[0006] De acordo com o aparelho de estimativa de percurso da presente invenção, a seção de aquisição adquire uma imagem que foi capturada de uma periferia do veículo, e a seção de extração extrai pontos característicos indicando as pistas do veículo a partir da ima-gem adquirida pela seção de aquisição. A extração dos pontos carac-terísticos indicando as pistas do veículo é executada por primeiramente extrair pontos de borda a partir da imagem capturada, e então, selecionando os pontos característicos que indicam as pistas do veículo dentre os pontos de borda baseado em fatores tais como o formato e a continuidade dos pontos de borda.
[0007] A seguir, a seção de estabelecimento estabelece o ruído do sistema expressando a variação dos parâmetros do percurso quando estimando os parâmetros do percurso relacionados com a posição ou com mo ângulo do próprio veículo com respeito a um percurso para deslocamento pelo próprio veículo e ao formato ou ao tamanho do percurso baseado em uma distribuição dos pontos característicos ex-traídos pela seção de extração. A seção de estimativa então estima os parâmetros do percurso por processamento de sinal de probabilidade utilizando o sinal de tempo separado baseada nos pontos característicos extraídos pela seção de extração, no resultado de estimativa passada dos parâmetros de percurso, e no ruído do sistema que foi estabelecido pela seção de estabelecimento.
[0008] Por consequência, é possível estimar de forma estável os parâmetros do percurso desde que o ruído do sistema é estabelecido correspondendo a cada um dos parâmetros do percurso para estimativa baseada na distribuição de pontos característicos que indicam as pistas do veículo extraídas a partir da imagem capturada, em outras palavras, baseado na distribuição de valores de observação.
[0009] Pode ser feita a configuração de modo que os parâmetros do percurso relacionados com a posição e com o ângulo do próprio veículo com respeito ao percurso incluam uma posição lateral do próprio veículo com respeito ao percurso, um ângulo de guinada com respeito a uma linha central do percurso e um ângulo de inclinação com respeito a um plano do percurso, e onde os parâmetros do percurso relacionados com o formato e o tamanho do percurso incluem um raio de curvatura do percurso e uma pista do veículo do percurso.
[00010] Pode ser feita configuração de modo que: quando os pontos característicos somente são distribuídos em uma região distante na imagem capturada, a seção de estabelecimento diminui o ruído do sistema correspondendo ao raio de curvatura do percurso, à largura da pista do veículo do percurso, e à posição lateral do próprio veículo com respeito ao percurso; quando os pontos característicos são somente distribuídos em uma região próxima na imagem capturada, a seção de estabelecimento diminui o ruído do sistema correspondendo ao raio de curvatura do percurso; quando os pontos característicos estão em uma distribuição somente expressando limite do lado esquerdo da pista do veículo ou somente expressando um limite do lado direito da pista do veículo, a seção de estabelecimento diminui ruído do sistema correspondendo à largura da pista do veículo e do ângulo de inclinação com respeito ao plano do percurso; e quando o número de pontos característicos presentes é o mesmo ou menor do que um número específico predeterminado, a seção de estabelecimento diminui o ruído do sistema correspondendo a todos os parâmetros do percurso.
[00011] Adicionalmente, o programa de estimativa de percurso da presente invenção é um programa que causa que um computador execute as funções de: uma seção de aquisição para adquirir uma imagem capturada de uma periferia de um veículo; uma seção de ex-tração para extrair, a partir da imagem capturada adquirida pela seção de aquisição, pontos característicos indicando as pistas do veículo; uma seção de estabelecimento para, baseada em uma distribuição dos pontos característicos extraídos pela seção de extração, estabelecer o ruído do sistema expressando a variação dos parâmetros do percurso quando estimando os parâmetros do percurso relacionados com uma posição ou com um ângulo do próprio veículo com respeito a um percurso para deslocamento pelo próprio veículo e relacionado com um formato ou com um tamanho do percurso; e uma seção de estimativa para estimar os parâmetros do percurso pelo processamento do sinal de probabilidade utilizando um sinal de tempo separado ba- seado nos pontos característicos extraídos pela seção de extração, em um resultado anterior da estimativa dos parâmetros do percurso e no ruído do sistema estabelecido pela seção de estabelecimento. Efeitos Vantajosos da Invenção
[00012] De acordo com o aparelho e programa de estimativa de percurso da presente invenção como descrito acima, é obtido o efeito vantajoso de estar apto a de forma estável estimar parâmetros do percurso, devido ao estabelecimento do ruído do sistema correspondendo a cada parâmetro do percurso que é para ser estimado baseado na distribuição de pontos característicos que indicam as pistas do veículo extraídas a partir de uma imagem capturada, a saber, baseado na distribuição de valores de observação.
BREVE DESCRIÇÃO DOS DESENHOS
[00013] A Fig. é um diagrama de blocos apresentando partes rele-vantes de um sistema elétrico de um aparelho de estimativa de per-curso de acordo com uma concretização da presente invenção.
[00014] A Fig. 2A é um diagrama esquematicamente ilustrando os parâmetros do percurso a serem estimados (posição lateral, ângulo de guinada, largura da pista do veículo).
[00015] A Fig. 2B é um diagrama esquematicamente ilustrando um parâmetro do percurso a ser estimado (raio de curvatura).
[00016] A Fig. 2C é um diagrama esquematicamente ilustrando um parâmetro do percurso a ser estimado (ângulo de inclinação).
[00017] A Fig. 3 é um diagrama de blocos apresentando uma confi-guração funcional de um aparelho de estimativa de percurso de acordo com uma concretização da presente invenção.
[00018] A Fig. 4A é um diagrama explicativo para ilustrar a extração dos pontos característicos.
[00019] A Fig. 4B é um diagrama explicativo para ilustrar a extração de pontos característicos.
[00020] A Fig. 4C é um diagrama explicativo para ilustrar a extração de pontos característicos.
[00021] A Fig. 5 é um diagrama explicativo para ilustrar a seleção de pontos limite da pista do veículo.
[00022] A Fig. 6 é um diagrama explicativo para ilustrar uma região distante e uma região próxima.
[00023] A Fig. 7A é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00024] A Fig. 7B é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00025] A Fig. 7C é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00026] A Fig. 7D é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00027] A Fig. 7E é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00028] A Fig. 7F é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00029] A Fig. 7G é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00030] A Fig. 7H é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00031] A Fig. 7I é um diagrama apresentando um padrão de distri-buição dos pontos de limite da pista do veículo.
[00032] A Fig. 7J é um diagrama apresentando um padrão de distri-buição dos pontos de limite da pista do veículo.
[00033] A Fig. 7K é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00034] A Fig. 7L é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00035] A Fig. 7M é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00036] A Fig. 7N é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00037] A Fig. 7O é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00038] A Fig. 7P é um diagrama apresentando um padrão de dis-tribuição dos pontos de limite da pista do veículo.
[00039] A Fig. 8 é uma tabela apresentando um exemplo de parâ metros de ruído do sistema para cada parâmetro do percurso de acordo com a distribuição dos pontos de limite da pista do veículo.
[00040] A Fig. 9 é um fluxograma apresentando o conteúdo de uma rotina de processamento de estimativa de percurso de um aparelho de estimativa de percurso de acordo com uma concretização da presente invenção.
[00041] A Fig. 10 é um diagrama explicativo ilustrando um exemplo empregando um filtro de partícula.
MELHOR MODO PARA REALIZAR A INVENÇÃO
[00042] A seguir é dada a explicação detalhada com respeito a uma concretização ilustrativa da presente invenção com referência aos desenhos.
[00043] Como apresentado na Fig. 1, um aparelho de estimativa de percurso 10 da presente concretização ilustrativa inclui um dispositivo de captura de imagem 12 para sucessivamente capturar imagens de uma região na frente de um veículo, e um computador 16 para executar processamento para estimar parâmetros do percurso.
[00044] O dispositivo de captura de imagem 12 inclui uma seção de captura de imagem (não apresentada nos desenhos) para capturar uma imagem de uma região alvo na frente de um veículo e gerar um sinal de imagem, uma seção conversora A/D (não apresentada nos desenhos) para converter o sinal de imagem analógico gerado pela seção de captura de imagem para um sinal digital, e uma memória de imagem (não apresentada nos desenhos) para temporariamente armazenar o sinal de imagem convertido A/D.
[00045] O computador 16 é configurado incluindo uma CPU 20 que executa controles gerais do aparelho de estimativa de percurso 10; a ROM 22 servindo como um meio de armazenamento na qual vários programas são armazenados, tal como um programa para uma rotina de processamento de estimativa de percurso, descrito posteriormente; a RAM 24 que serve como uma área de trabalho para temporariamente armazenar dados; uma memória 26 servindo como uma seção de armazenamento armazenada com vários tipos de dados; uma porta de entrada-saída (E/S) 28; e um barramento que interconecta as seções acima. O dispositivo de captura de imagem 12 é conectado com a porá de E/S 28.
[00046] O aparelho de estimativa de percurso 10 da presente con-cretização ilustrativa extrai pontos característicos indicando as pistas do veículo (pontos de limite da pista do veículo) a partir de imagens capturadas pelo dispositivo de captura de imagem 12, e estima parâ-metros do percurso utilizando estes pontos característicos como valores de observação por empregar um filtro de Kalman.
[00047] Os parâmetros de percurso se relacionando com a posição e o ângulo do próprio veículo em relação ao percurso no qual o próprio veículo está se deslocando, e os parâmetros de percurso se relacionando com o formato e o tamanho do percurso no qual o próprio veículo está se deslocando são estimados como parâmetros do percurso. Mais especificamente, os parâmetros do percurso se relacionando com a posição e com o ângulo do próprio veículo em relação ao percurso são pegos como: uma posição lateral ek|k do próprio veículo em relação a uma pista do veículo como indicado pelo limite lateral es- querdo do percurso, uma pistas do veículo como indicada pelo limite lateral direito, e uma linha central; um ângulo de guinada θk|k relativo à linha central do percurso, e um ângulo de inclinação Φk|k relativo a um plano do percurso. Os parâmetros do percurso se relacionando com o formato e o tamanho do percurso são pegos como o raio de curvatura ck|k do percurso e a largura da pista do veículo wk|k do percurso. Quando estes 5 parâmetros são referidos coletivamente como parâmetros do percurso eles são chamados de parâmetros do percurso xk|k (xk|k = (ek|k θk|k Φk|k ck|k Wk|k)). A Fig. 2A até a Fig. 2C esquematicamente ilustram a posição lateral, ângulo de guinada, ângulo de inclinação, raio de curvatura (formato do percurso) e largura das pistas do veículo que são para ser estimados como parâmetros do percurso.
[00048] Se o computador 16 para executar tal processamento for descrito em termos de blocos funcionais divididos por cada seção de execução para cada função determinada por hardware e software, como apresentado na Fig. 3, o computador 16 então pode ser repre-sentado como uma configuração incluindo: uma seção de extração de ponto característico 30 para adquirir uma imagem capturada que foi capturada pelo dispositivo de captura de imagem 12 e extrair pontos característicos a partir da imagem capturada; uma seção de seleção de ponto de limite da pista do veículo 32 para selecionar pontos de limite da pista do veículo indicando pistas do veículo a partir dos pontos característicos extraídos; uma seção de determinação de distribuição 34 para determinar a distribuição dos pontos de limite da pista do veículo; uma seção de estabelecimento de ruído do sistema 36 para estabelecer os respectivos ruídos do sistema baseada na distribuição dos pontos de limite da pista do veículo; e uma seção de estimativa de parâmetro do percurso 38 para estimar os parâmetros do percurso baseada nos pontos de limite da pista do veículo, nos resultados passados de estimativa e nos ruídos do sistema que foram estabelecidos.
[00049] A seção de extração de ponto característico 30, por exemplo, extrai como pontos característicos a partir de uma imagem captu-rada, tal como esta apresentada na Fig. 4A, pontos de borda que são pontos onde o brilho de cada pixel se altera quando da varredura em uma direção horizontal, como apresentado na Fig. 4B. Um exemplo de pontos característicos extraídos é esquematicamente ilustrado na Fig. 4C.
[00050] A seção de seleção de ponto de limite da pista do veículo 32 seleciona a partir dos pontos característicos extraídos pela seção de extração de ponto característico 30 ponto de limite da pista do ve-ículo ilustrando pistas do veículo por determinar fatores tais como o formato, a largura e a cor dos pontos de borda que estão alinhados em uma fileira contínua. Quando existem várias pistas do veículo presentes, os pontos de limite da pista do veículo representando o par mais interno esquerdo e direito são selecionados. A Fig. 5 es-quematicamente ilustra um exemplo dos pontos de limite da pista do veículo selecionados.
[00051] A seção de extração de ponto característico 30 e a seção de seleção de ponto de limite da pista do veículo 32 são exemplos de uma seção de extração da presente invenção.
[00052] A seção de determinação de distribuição 34 determina qual tipo de distribuição os pontos de limite da pista do veículo extraídos pela seção de seleção de ponto de limite da pista do veículo 32 faz. Na presente concretização ilustrativa, é feita uma determinação quanto a se os pontos de limite da pista do veículo são distribuídos tanto em uma região distante como em uma região próxima, se eles são distribuídos somente em uma região distante, ou se eles são distribuídos somente em uma região próxima. Também é feita uma determinação quanto a se esta é uma distribuição na qual existem presentes tanto os pontos de limite da pista do veículo expressando um limite do lado es- querdo como pontos de limite da pista do veículo expressando um limite do lado direito, se esta é uma distribuição na qual somente pontos de limite da pista do veículo expressando um limite do lado esquerdo estão presentes, ou se esta é uma distribuição na qual somente pontos de limite da pista do veículo expressando um limite do lado direito estão presentes. Também é feita uma determinação quanto a se o número total de pontos de limite da pista do veículo selecionados é ou não o mesmo ou menor do que um número específico predeterminado. Distribuições nas quais o número total de pontos de limite da pistas do veículo é o número específico ou menos são referidas como distribuições de valor de observação nulo.
[00053] A explicação a seguir diz respeito à determinação de se existem ou não pontos de limite da pista do veículo presentes em uma região distante e/ou em uma região próxima. Primeiro, como apresentado na Fig. 6, um eixo geométrico x na direção horizontal e um eixo geométrico y na direção vertical são determinados com suas origens no pixel no canto superior esquerdo da imagem capturada. A posição do ponto de fuga é estabelecida na coordenada y ya, e o va-lor máximo da coordenada y da imagem capturada é estabelecida em yb, e uma coordenada y yc é estabelecida de modo que yc = ya + k (yb - ya). Observe que k é um valor de modo que 0 < k < 1, e pode, por exemplo, ser estabelecido em 1/3. Pode ser feita a configuração na qual yc é estabelecido em consideração a fatores tais como o ân-gulo de montagem do dispositivo de captura de imagem 12 como a coordenada y na imagem capturada correspondendo a uma posição que é, por exemplo, 20 m distante do dispositivo de captura de ima-gem 12. Uma região distante é então estabelecida como uma faixa na qual as coordenadas y são a partir de ya até yc, e uma região próxima é estabelecida como uma faixa na qual as coordenadas y são a partir de yc até yb.
[00054] Então, é feita uma determinação sobre se existem pontos de limite da pista do veículo presentes em uma região distante do lado esquerdo quando o valor mínimo LF das coordenadas y para os pon-tos de limite da pista do veículo expressando o limite do lado esquerdo satisfaz Lf < yc. É feita uma determinação de se existem pontos de limite da pista do veículo presentes em uma região próxima do lado esquerdo quando o valor máximo LN das coordenadas y dos pontos de limite da pista do veículo expressando o limite do lado esquerdo é LN > yc. De forma similar, o valor mínimo RF e o valor máximo RN das coordenadas y nos pontos de limite da pista do veículo expressando o limite do lado direito são comparados com yc para determinar se existem pontos de limite da pista do veículo presentes na região distante do lado direito ou na região próxima do lado direito. Observe que pode ser feita a configuração na qual os valores de limite da coordenada y Tf e Tn são proporcionados para respectivamente determinar se os pontos de limite da pista do veículo estão ou não presentes na região distante ou na região próxima. Então, é determinado que existem pontos de limite da pista do veículo presentes na região distante quando Lf (Rf) < Tf, e determinado que existem pontos de limite da pista do veículo presentes na região próxima quando LN > tN.
[00055] Como descrito acima, de modo a determinar se os pontos de limite da pista do veículo são uma distribuição na região distante ou na região próxima, e se os pontos de limite da pista do veículo são uma distribuição no lado esquerdo ou no lado direito, padrões da distribuição dos pontos de limite da pista do veículo são categorizados em padrões, tais como estes ilustrados nas Fig. 7A até a Fig. 7P. A Fig. 7P é uma distribuição de valor de observação nulo.
[00056] Baseado na distribuição dos pontos de limite da pista do veículo determinados pela seção de determinação de distribuição 34, a seção de estabelecimento de ruído do sistema 36 então estabelece o ruído do sistema correspondendo a cada um dos parâmetros do per-curso xk|k a ser estimado. O ruído do sistema indica a variação no pa-râmetro do percurso quando um parâmetro do percurso é estimado no momento corrente pela variação do resultado da estimativa do tempo anterior baseado na observação corrente.
[00057] A estimativa estável pode ser alcançada para todos os pa-râmetros do percurso xk|k quando os pontos de limite da pista do veículo são de uma distribuição tanto na região distante como na região próxima, e em ambos os lados esquerdo e direito. Entretanto, quando, por exemplo, os pontos de limite da pista do veículo são somente distribuídos na região distante, os resultados da estimativa se tornam instáveis devido a uma redução na precisão da estimativa dos parâmetros do percurso tal como a posição lateral ek|k do próprio veículo e a largura da pista do veículo wk|k. Por consequência, o ruído do sistema é estabelecido de acordo com cada um dos parâmetros do percurso após primeiro determinar as condições de observação baseado na distribuição dos pontos de limite da pista do veículo.
[00058] Fig. 8 ilustra um exemplo dos métodos de estabelecimento do ruído do sistema. Os parâmetros fornecidos podem ser comparati-vamente de forma estável estimados sob as seguintes condições: a posição lateral ek|k quando os pontos de limite da pista do veículo são distribuídos na região próxima; o ângulo de guinada θk|k quando existe o número específico ou maios de pontos de limite da pista do veículo presentes (um valor de observação válido); o ângulo de inclinação Φk|k quando os pontos de limite da pista do veículo são distribuídos em ambos os lados esquerdo e direito; o raio de curvatura ck|k quando os pontos de limite do pistas do veículo são distribuídos a partir da região próxima até a região distante; e a largura da pistas do veículo wk|k quando os pontos de limite da pista do veículo são distribuídos em ambos os lados esquerdo e direito da região próxima. Por consequên- cia, o padrão da distribuição dos pontos de limite da pista do veículo determinado pela seção de determinação de distribuição 34 é determinada pela determinação de em qual de qualquer uma das classificações seguintes a distribuição se encaixa: "próximo, distante, esquerdo e direito" na qual existe pontos de limite da pista do veículo presentes em todas as regiões; "somente distante" na qual existem pontos de limite da pista do veículo presentes somente na região distante; "somente próxima" na qual existem pontos de limite da pista do veículo presentes somente na região próxima; "esquerda e direita" na qual existem tanto pontos de limite da pista do veículo expressando um limite do dado esquerdo como pontos de limite da pista do veículo expressando um limite do lado direito presentes; "somente um lado" na qual existem pontos de limite da pista do veículo expressando somente um lado dentre o limite do lado esquerdo ou o limite do lado direito presentes; "valor de observação nulo" na qual o número total de pontos de limite da pista do veículo é o número específico ou menor. Os códigos de alfabeto na linha de baixo dos nomes de classificação da distribuição da Fig. 8 correspondem aos nomes dos respectivos padrões de distribuição da Fig. 7A até a Fig. 7P. Os padrões da Fig. 7A, da Fig. 7F e da Fig. 7J não estão contidos em "esquerda e direita". Os padrões das Figs. 7H e da Fig. 7N correspondem tanto a "somente distante" como "somente um lado". Os padrões das Figs. 7L e da Fig. 7O correspondem tanto a "somente próximo" como a "somente um lado".
[00059] Além disso, como apresentado na Fig. 8, um método de estabelecimento do ruído do sistema correspondendo a cada um dos parâmetros de percurso é determinado separadamente para cada uma das classificações de distribuição. Por exemplo, para "somente distante", o ruído do sistema correspondendo à posição lateral ek|k, ao raio de curvatura ck|k, e à largura da pista do veículo wk|k é determinado como sendo "ruído baixo". Para casos de "ruído baixo", o ruído do sistema é estabelecido baixo (por exemplo, para "0"), e para casos diferentes de "ruído baixo", o ruído do sistema é estabelecido de acordo com um método convencional. O estabelecimento do ruído do sistema para baixo significa tornar a variação pequena quando estimando o parâmetro do percurso, e inclui um estabelecimento de modo que o parâmetro do percurso em questão não seja atualizado. O parâmetro do percurso é mais sujeito a variar quanto maior o ruído do sistema, e à medida que o ruído do sistema fica mais baixo a variação é menos sujeita de ocorrer, resultados de estimativa estáveis podem ser obtidos.
[00060] A seção de determinação de distribuição 34 e a seção de estabelecimento de ruído do sistema 36 são exemplos de uma seção de estabelecimento da presente invenção.
[00061] A seção de estimativa de parâmetro de percurso 38 estima os parâmetros do percurso xk|k de acordo com os filtros de Kalman apresentados abaixo.
Figure img0001
[00062] Onde: Xk|k é o estado interno (parâmetro do percurso) no tempo k, yk é um valor de observação (coordenada dos pontos de limite da pista do veículo) expresso por -Vk 'yk 1;) fk é uma fun ção de transição de estado, hk é uma função de observação, Fk é uma matriz de transição de estado no tempo k, Gk é uma matriz de orienta- ção no tempo k, Hk é uma matriz de observação, ∑k|k é a matriz de co- variância de erro predito no tempo k, ∑wk é uma matriz de covariância de ruído do sistema no tempo k, e ∑vk é a matriz de covariância de ruído de observação no tempo k. O ruído do sistema estabelecido pela seção de estabelecimento de ruído do sistema 36 é ∑wk da Equação (5). Os parâmetros do percurso xk|k são estimados pela inserção das coordenadas do ponto de limite da pista do veículo como o valor de observação yk.
[00063] A seguir, se que a explicação, com referência à Fig. 9, com respeito à rotina de processamento de estimativa de percurso execu-tada pelo computador 16 do aparelho de estimativa de percurso 10 de acordo com a presente concretização ilustrativa. A presente rotina é executada pela CPU 20 executando um programa de estimativa de percurso armazenado na ROM 22.
[00064] Na etapa 100, uma imagem que foi capturada com o dis-positivo de captura de imagem 12 é adquirida, então na etapa 102, pontos de borda que são pontos onde existe uma alteração no brilho de cada pixel da imagem capturada são extraídos como pontos característicos.
[00065] Então, na etapa 104, pontos de limite da pista do veículo indicando pistas do veículo são selecionados pela determinação a partir dos pontos característicos extraídos na etapa 102 do formato, largura e cor dos pontos de borda alinhados em uma fileira contínua.
[00066] Então, na etapa 106, é feita uma determinação de que tipo de distribuição é adotada pelos pontos de limite da pista do veículo selecionados na etapa 104. Primeiro, é feita a determinação quanto a se o número total de pontos de limite da pista do veículo é ou não o número específico ou menor, então, é feita uma determinação de que a distribuição é o padrão de valor de distribuição nulo da Fig. 7P. Então, se o valor mínimo LF da coordenada y dos pontos de limite da pista do veí- culo indicando o limite do lado esquerdo satisfazer LF < vc, é feita de-terminação de que existem pontos de limite da pista do veículo presentes na região distante do lado esquerdo. Se o valor máximo LN da coordenada y dos pontos de limite da pista do veículo indicando o limite do lado esquerdo satisfazer LN > yc, então é feita a determinação de que existem pontos de limite da pista do veículo presentes na região próxima do lado esquerdo. De forma similar, yc é comparado com as coordenadas y do valor mínimo RF e do valor máximo RN dos pontos de limite da pista do veículo indicando o limite do lado direito para determinar se existem ou não pontos de limite da pista do veículo presentes na região distante do lado direito ou na região próxima do lado direito. Estas determinações são empregadas para determinar qual dos padrões de ponto de limite da pista do veículo da Fig. 7A até a Fig. 7 corresponde à distribuição. Por exemplo, quando existem pontos de limite da pista do veículo presentes em todas as regiões incluindo a região distante do lado direito, a região próxima do lado esquerdo, a região distante do lado direito e a região próxima do lado direito, então, a distribuição é de-terminada como sendo o padrão da Fig. 7A. Ou, quando os pontos de limite da pista do veículo somente estão presentes na região distante do lado esquerdo e na região distante do lado direito, a distribuição é determinada como sendo o padrão da Fig. 7F.
[00067] Então, na etapa 108, o ruído do sistema correspondendo a cada um dos parâmetros do percurso xk|k é estabelecido para estimativa baseado na distribuição dos pontos de limite da pista do veículo determinada na etapa 106. Como apresentado na Fig. 8, o estabelecimento do ruído do sistema que foi associado com o padrão da distribuição de pontos de limite da pista do veículo é lido com referência às associações predeterminadas entre os pontos de limite da pista do veículo e os ruídos do sistema, e ∑wk da Equação (5) é estabelecido. Por exemplo, quando a distribuição dos pontos de limite da pista do veícu- lo é determinada na etapa 106 como sendo o padrão da Fig. 7F, então a classificação da distribuição é "somente distante", e assim, o ruído do sistema correspondendo à posição lateral dos parâmetros do percurso ek|k, o raio de curvatura ck|k e a largura da pista do veículo wk|k é estabelecido baixo. Quando a distribuição dos pontos de limite da pista do veículo é o padrão da Fig. 7N, a classificação de distribuição é "somente distante" e "somente um lado", e assim, em adição aos parâmetros do percurso acima, o ruído do sistema correspondendo ao ângulo de guinada θk|k também é estabelecido baixo.
[00068] Então, na etapa 110, as coordenadas dos pontos de limite da pista do veículo selecionadas na etapa 104 são substituídas como os valores de observação yk e os parâmetros do percurso xk|k são es-timados de acordo com a Equação (1) e a Equação (5) e os resultados da estimativa emitidos. Os resultados da estimativa emitidos podem por consequência ser exibidos em um dispositivo de vídeo, não apre-sentado nos desenhos, e empregados como dados de entrada, tal co-mo para um veículo de controle de movimento do veículo para controlar o movimento do veículo.
[00069] Como explicado acima, de acordo com o aparelho de esti-mativa de percurso da presente concretização ilustrativa, baseado na distribuição dos pontos de limite da pista do veículo, a saber, a distribuição dos valores de observação, é feita uma determinação quanto a se as condições de observação são ou não de modo que a precisão de estimativa para cada um dos parâmetros do percurso deve ser reduzida. A estimativa estável do parâmetro de percurso pode desse modo ser obtida pela diminuição do ruído do sistema correspondendo aos parâmetros de percurso de modo a reduzir a precisão da estimativa.
[00070] Na concretização ilustrativa acima, é dada explicação de um caso no qual os parâmetros do percurso são estimados utilizando um filtro de Kalman, entretanto, pode ser feita configuração na qual outro filtro é empregado baseado em tratamento de processamento de sinal de probabilidade (estatística) de um sinal de tempo separado. Um filtro de partícula pode, por exemplo, ser empregado. Em tais casos, como apresentado na Fig. 10, (1) a probabilidade de um parâmetro do percurso ser expresso como um tamanho (ponderação) de uma partícula, e (2) o parâmetro do percurso no próximo tempo ser estimado. Tal caso considera um modelo dinâmico do veículo no qual, por exemplo, a posição lateral do próximo tempo também se desloca quando o veículo está em um ângulo com respeito à pista do veículo. Então, (3) as probabilidades do parâmetro do percurso são difusas. A difusão é feita através de uma ampla faixa onde existe uma grande variância, e a difusão é feita através de uma faixa estreita onde existe pequena variância. A largura de difusão corresponde ao ruído do sistema da presente invenção. (4) Então, a ponderação é aplicada utilizando as probabilidades dos valores de cada parâmetro do percurso e os valo-res de observação (pontos limite da pista do veículo), e (5) uma distribuição de probabilidade de parâmetros do percurso renovados é então calculada para os valores de observação.
[00071] Apesar de a explicação na presente concretização ilustrativa ser de um caso no qual é feita determinação quanto a se a distri-buição dos pontos de limite da pista do veículo possui pontos presentes em uma região distante e/ou uma região próxima, e no lado esquerdo e/ou no lado direito, não existe limitação em tais casos. A determinação da distribuição pode ser feita em divisões de região mais refinadas, a determinação pode somente ser se existem pontos presentes na região distante e/ou na região próxima, e qualquer determinação capaz de determinar a distribuição das linhas limite da pista do veículo, as quais são as pistas do veículo, pode ser empregada de acordo com as características dos parâmetros do percurso a serem estimados.
[00072] O programa da presente invenção pode ser proporcionado armazenado em um meio de armazenamento, ou pode ser adotado um modo no qual o programa da presente invenção é proporcionado via dispositivos de comunicação com fios ou sem uso de fios. Também não existe limitação para a implementação através de uma configuração de software, e a implementação pode ser feita através de uma configuração de hardware, ou de uma combinação de uma configuração e software com uma configuração de hardware. Explicação dos Números de Referência 10 APARELHO DE ESTIMATIVA DE PERCURSO 12 DISPOSITIVO DE CAPTURA DE IMAGEM 16 COMPUTADOR 30 SEÇÃO DE EXTRAÇÃO DE PONTO CARACTERÍSTICO 32 SEÇÃO DE SELEÇÃO DE PONTO LIMITE DA PISTA DO VEÍCULO 34 SEÇÃO DE DETERMINAÇÃO DE DISTRIBUIÇÃO 36 SEÇÃO DE ESTABELECIMENTO DE RUÍDO DO SISTEMA 38 SEÇÃO DE ESTIMATIVA DE PARÂMETRO DE PERCURSO

Claims (3)

1. Aparelho de estimativa de percurso (10), caracterizado pelo fato de que compreende: uma seção de aquisição (12) para adquirir uma imagem capturada de uma periferia de um veículo; uma seção de extração (30) para extrair, a partir da imagem capturada adquirida pela seção de aquisição (12), pontos característicos indicando as pistas do veículo; uma seção de estabelecimento (36) para, baseada em uma distribuição dos pontos característicos extraídos pela seção de extra-ção, estabelecer o ruído do sistema expressando a variação dos pa-râmetros do percurso quando estimando os parâmetros do percurso relacionados com uma posição ou com um ângulo do próprio veículo com respeito a um percurso para deslocamento pelo próprio veículo e relacionados com um formato ou com um tamanho do percurso; e uma seção de estimativa (38) para estimar os parâmetros do percurso pelo processamento do sinal de probabilidade utilizando um sinal de tempo separado baseado nos pontos característicos extraídos pela seção de extração, em um resultado anterior da estimativa dos parâmetros do percurso e no ruído do sistema estabelecido pela seção de estabelecimento (36).
2. Aparelho de estimativa de percurso (10), de acordo com a reivindicação 1, caracterizado pelo fato de que os parâmetros do percurso relacionados com a posição e com o ângulo do próprio veículo com respeito ao percurso incluem uma posição lateral do próprio veículo com respeito ao percurso, um ângulo de guinada com respeito a uma linha central do percurso e um ângulo de inclinação com respeito a um plano do percurso, e em que os parâmetros do percurso relacionados com o formato e o tamanho do percurso incluem um raio de curvatura do percurso e uma pista do veículo do percurso.
3. Aparelho de estimativa de percurso (10), de acordo com a reivindicação 2, caracterizado pelo fato de que: quando os pontos característicos somente são distribuídos em uma região distante na imagem capturada, a seção de estabeleci-mento (36) diminui o ruído do sistema correspondendo ao raio de curvatura do percurso, à largura da pista do veículo do percurso, e à posição lateral do próprio veículo com respeito ao percurso; quando os pontos característicos são somente distribuídos em uma região próxima na imagem capturada, a seção de estabeleci-mento (36) diminui o ruído do sistema correspondendo ao raio de curvatura do percurso; quando os pontos característicos estão em uma distribuição somente expressando limite do lado esquerdo da pista do veículo ou somente expressando um limite do lado direito da pista do veículo, a seção de estabelecimento (36) diminui ruído do sistema correspondendo à largura da pista do veículo do percurso e ao ângulo de inclinação com respeito ao plano do percurso; e quando o número de pontos característicos presentes é o mesmo ou menor do que um número específico predeterminado, a seção de estabelecimento (36) diminui o ruído do sistema correspondendo a todos os parâmetros do percurso.
BR112013006124-3A 2010-09-24 2011-09-26 aparelho de estimativa de percurso BR112013006124B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010214025A JP5258859B2 (ja) 2010-09-24 2010-09-24 走路推定装置及びプログラム
JP2010-214025 2010-09-24
PCT/JP2011/071898 WO2012039496A1 (ja) 2010-09-24 2011-09-26 走路推定装置及びプログラム

Publications (2)

Publication Number Publication Date
BR112013006124A2 BR112013006124A2 (pt) 2016-05-31
BR112013006124B1 true BR112013006124B1 (pt) 2021-03-09

Family

ID=45873975

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112013006124-3A BR112013006124B1 (pt) 2010-09-24 2011-09-26 aparelho de estimativa de percurso

Country Status (6)

Country Link
US (1) US8948455B2 (pt)
EP (1) EP2620930B1 (pt)
JP (1) JP5258859B2 (pt)
CN (1) CN103098111B (pt)
BR (1) BR112013006124B1 (pt)
WO (1) WO2012039496A1 (pt)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378186B2 (ja) 2004-02-06 2009-12-02 キヤノン株式会社 有機el素子アレイ
JP5970811B2 (ja) 2011-12-28 2016-08-17 セイコーエプソン株式会社 発光素子、発光装置および電子機器
CN104854637B (zh) * 2012-12-12 2016-08-24 日产自动车株式会社 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法
WO2015045578A1 (ja) * 2013-09-27 2015-04-02 日産自動車株式会社 情報提示システム
JP6046666B2 (ja) * 2014-06-24 2016-12-21 トヨタ自動車株式会社 走路境界推定装置及び走路境界推定方法
KR20160059376A (ko) * 2014-11-18 2016-05-26 엘지전자 주식회사 전자 기기 및 그 제어방법
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
KR20180122691A (ko) * 2016-03-24 2018-11-13 닛산 지도우샤 가부시키가이샤 주로 검출 방법 및 주로 검출 장치
CN106092121B (zh) * 2016-05-27 2017-11-24 百度在线网络技术(北京)有限公司 车辆导航方法和装置
JP6293213B2 (ja) * 2016-08-01 2018-03-14 三菱電機株式会社 車線区画線検知補正装置、車線区画線検知補正方法、及び自動運転システム
JP6637399B2 (ja) * 2016-09-30 2020-01-29 株式会社デンソー 領域認識装置及び領域認識方法
JP2019011971A (ja) * 2017-06-29 2019-01-24 株式会社東芝 推定システムおよび自動車
US10916135B2 (en) 2018-01-13 2021-02-09 Toyota Jidosha Kabushiki Kaisha Similarity learning and association between observations of multiple connected vehicles
US10963706B2 (en) 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
US10586118B2 (en) * 2018-01-13 2020-03-10 Toyota Jidosha Kabushiki Kaisha Localizing traffic situation using multi-vehicle collaboration
CN112733874B (zh) * 2020-10-23 2023-04-07 招商局重庆交通科研设计院有限公司 基于知识图谱推理的可疑车辆判别方法
KR102371849B1 (ko) * 2020-10-29 2022-03-11 주식회사 드림티엔에스 차선추출 방법
CN112465831B (zh) * 2020-11-16 2023-10-20 北京中科慧眼科技有限公司 基于双目立体相机的弯道场景感知方法、系统和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3288566B2 (ja) * 1994-11-10 2002-06-04 株式会社豊田中央研究所 走行レーン認識装置
JP3538476B2 (ja) * 1995-05-12 2004-06-14 本田技研工業株式会社 車両の走行路区分線などの認識装置
EP1383100A3 (en) * 1996-08-28 2005-02-02 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus and method therefor
JPH1123291A (ja) * 1997-07-04 1999-01-29 Nissan Motor Co Ltd 車両用画像処理装置
JP3319399B2 (ja) * 1998-07-16 2002-08-26 株式会社豊田中央研究所 走行路認識装置
JP3521860B2 (ja) 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
JP3695315B2 (ja) * 2000-11-14 2005-09-14 日産自動車株式会社 車両用表示装置
JP4086759B2 (ja) * 2002-11-05 2008-05-14 ダイハツ工業株式会社 道路モデルの推定装置及びその推定方法
US7660436B2 (en) * 2003-06-13 2010-02-09 Sarnoff Corporation Stereo-vision based imminent collision detection
JP3864945B2 (ja) 2003-09-24 2007-01-10 アイシン精機株式会社 路面走行レーン検出装置
JP4390631B2 (ja) * 2004-06-02 2009-12-24 トヨタ自動車株式会社 境界線検出装置
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
CN100535954C (zh) * 2005-08-30 2009-09-02 珠海金联安软件有限公司 多功能行车、停车引导报警系统
CN100403332C (zh) * 2006-11-02 2008-07-16 东南大学 用于车道偏离报警的车道线鲁棒识别方法
JP2009154647A (ja) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd マルチ画面表示装置及びそのプログラム
JP5058002B2 (ja) * 2008-01-21 2012-10-24 株式会社豊田中央研究所 物体検出装置
JP2010191661A (ja) * 2009-02-18 2010-09-02 Nissan Motor Co Ltd 走行路認識装置、自動車及び走行路認識方法

Also Published As

Publication number Publication date
BR112013006124A2 (pt) 2016-05-31
EP2620930B1 (en) 2016-08-31
US8948455B2 (en) 2015-02-03
CN103098111B (zh) 2015-12-16
US20130177211A1 (en) 2013-07-11
WO2012039496A1 (ja) 2012-03-29
JP5258859B2 (ja) 2013-08-07
CN103098111A (zh) 2013-05-08
JP2012068961A (ja) 2012-04-05
EP2620930A4 (en) 2015-09-16
EP2620930A1 (en) 2013-07-31

Similar Documents

Publication Publication Date Title
BR112013006124B1 (pt) aparelho de estimativa de percurso
CN108280450B (zh) 一种基于车道线的高速公路路面检测方法
CN105260713B (zh) 一种车道线检测方法和装置
JP4157620B2 (ja) 移動物体検出装置及びその方法
CN108921089A (zh) 车道线检测方法、装置和系统及存储介质
CN109001757B (zh) 一种基于2d激光雷达的车位智能检测方法
CN108182383B (zh) 一种车窗检测的方法及设备
CN109697860A (zh) 车位检测和跟踪系统及方法及车辆
CN105809149A (zh) 基于最大长度直线的车道线检测方法
US20170178341A1 (en) Single Parameter Segmentation of Images
CN109584294A (zh) 一种基于激光点云的路面点云提取方法和装置
JP6844235B2 (ja) 距離測定装置および距離測定方法
JP4964171B2 (ja) 対象領域抽出方法および装置ならびにプログラム
CN113239733B (zh) 一种多车道车道线检测方法
CN112927283A (zh) 测距方法及装置、存储介质及电子设备
CN114782499A (zh) 一种基于光流和视图几何约束的图像静态区域提取方法及装置
CN104866838B (zh) 一种基于视觉的前方车辆自动检测方法
CN111160132B (zh) 障碍物所在车道的确定方法、装置、电子设备和存储介质
CN112004732B (zh) 铁路轨道识别装置
CN108765456B (zh) 基于直线边缘特征的目标跟踪方法、系统
JP2019218022A (ja) 線路検出装置
JP3605955B2 (ja) 車輌判別装置
CN112017148A (zh) 一种单节骨骼轮廓的提取方法及装置
CN115187545A (zh) 高空间分辨率遥感图像的处理方法、系统及存储介质
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 26/09/2011, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 12A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2741 DE 18-07-2023 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.