BR102022006278A2 - Sistema de espelhos com câmera panorâmica automática incluindo a detecção de um ângulo de reboque com base em imagem - Google Patents

Sistema de espelhos com câmera panorâmica automática incluindo a detecção de um ângulo de reboque com base em imagem Download PDF

Info

Publication number
BR102022006278A2
BR102022006278A2 BR102022006278-1A BR102022006278A BR102022006278A2 BR 102022006278 A2 BR102022006278 A2 BR 102022006278A2 BR 102022006278 A BR102022006278 A BR 102022006278A BR 102022006278 A2 BR102022006278 A2 BR 102022006278A2
Authority
BR
Brazil
Prior art keywords
view
vehicle
field
feature
angle
Prior art date
Application number
BR102022006278-1A
Other languages
English (en)
Inventor
Mohammad Gudarzi
Liang Ma
Troy Otis Cooprider
Original Assignee
Stoneridge, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stoneridge, Inc. filed Critical Stoneridge, Inc.
Publication of BR102022006278A2 publication Critical patent/BR102022006278A2/pt

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

A presente invenção refere-se a método para girar automaticamente uma vista em um veículo comercial, cujo método inclui as etapas de analisar uma porção de uma primeira vista em um primeiro momento, a fim de determinar uma posição de uma característica do veículo dentro da primeira vista, sendo que a primeira vista é um subconjunto de uma segunda vista, estimar uma posição esperada da característica do veículo na primeira vista em um segundo momento subse-qüente ao primeiro momento, definir uma região de interesse centralizada sobre a posição esperada da característica do veículo na segunda vista, e analisar a região de interesse no sentido de determinar uma posição exata da característica do veículo no segundo momento, e determinar um corrente ângulo de reboque com base em uma posição da característica do veículo dentro da segunda vista.

Description

SISTEMA DE ESPELHOS COM CÂMERA PANORÂMICA AUTOMÁTICA INCLUINDO A DETECÇÃO DE UM ÂNGULO DE REBOQUE COM BASE EM IMAGEM CAMPO DA INVENÇÃO
[0001] A presente invenção refere-se a um sistema de espelhos com câmera (CMS) para uso em um caminhão comercial, e em particular a um sistema CMS tendo um recurso de panorâmica automática incluindo a detecção de um ângulo de reboque com base em imagem.
ANTECEDENTES DA INVENÇÃO
[0002] Sistemas de troca de espelho e sistemas de câmera para a suplementação de vistas de espelho são usados em veículos comerciais para aumentar a capacidade de um condutor de veículo de ver um ambiente circundante. Os sistemas de espelhos com câmera (CMS) usam uma ou mais câmeras para fornecer um campo de vista aperfeiçoado a um condutor de veículo. Em alguns exemplos, os sistemas de troca de espelho cobrem um campo de vista maior que um espelho convencional, ou incluem vistas que não são totalmente obteníveis através de um espelho convencional.
[0003] Em certas aplicações, por exemplo, nas manobras de reboque em marcha ré, as vistas estacionárias tais como as fornecidas por um espelho fixo ou por uma câmera de campo de vista fixo podem não fornecer uma vista total da operação, e informações desejáveis que poderiam ser apresentadas ao condutor não são apresentadas ao condutor. Sistemas de panorâmica manuais, nos quais um condutor manualmente ajusta uma câmera física ou ângulo de espelho, podem requerer uma freqüente parada da manobra a fim de ajustar a vista fornecida, e podem fornecer uma granularidade insuficiente para os ajustes.
SUMÁRIO DA INVENÇÃO
[0004] Um método exemplar para girar automaticamente uma vista em um veículo comercial inclui as etapas de analisar uma porção de uma primeira vista em um primeiro momento a fim de determinar uma posição de uma característica do veículo dentro da primeira vista, sendo que a primeira vista é um subconjunto de uma segunda vista, estimar uma posição esperada da característica do veículo na primeira vista em um segundo momento subseqüente ao primeiro momento, definir uma região de interesse centralizada sobre a posição esperada da característica do veículo na segunda vista e analisar a região de interesse no sentido de determinar uma posição exata da característica do veículo no segundo momento, e determinar um corrente ângulo de reboque com base em uma posição da característica do veículo dentro da segunda vista.
[0005] Outro exemplo do método acima descrito para girar automaticamente uma vista em um veículo comercial inclui ainda a etapa de ajustar a primeira vista no segundo momento com base no ângulo de reboque, desta maneira garantindo que pelo menos uma característica adicional do veículo fique dentro da primeira vista.
[0006] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a pelo menos uma característica adicional é uma borda traseira do veículo.
[0007] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a etapa de ajustar a primeira vista compreende pelo menos um dentre girar a primeira vista dentro da segunda vista, ampliar a primeira vista dentro da segunda vista, ou diminuir a primeira vista dentro da segunda vista.
[0008] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a etapa de ajustar a primeira vista compreende girar a segunda vista.
[0009] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a etapa de ajustar a primeira vista dentro da segunda vista compreende manter uma segunda vista inalterada.
[0010] Outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial inclui ainda a iteração contínua do método, desta forma gerando um monitoramento do ângulo de reboque em tempo real.
[0011] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a primeira porção da primeira vista é uma faixa que se estende por um comprimento horizontal total da primeira vista e por menos de uma altura total da primeira vista.
[0012] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a região de interesse é uma porção da faixa.
[0013] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a característica do veículo é pelo menos uma roda.
[0014] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, o método se inicia em resposta ao veículo que inicia uma manobra em marcha ré.
[0015] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a etapa de estimar a posição esperada da característica do veículo na primeira vista no segundo momento se baseia tão somente na posição da característica do veículo dentro da segunda vista determinada pelas anteriores iterações do método.
[0016] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a etapa de estimar a posição esperada da característica do veículo na segunda vista no segundo momento se baseia parcialmente em um dentre uma velocidade do veículo, um ângulo de direção do veículo, uma mudança de direção do reboque, um grau de inclinação do reboque, uma inclinação transversal, ou uma aceleração do veículo 100.
[0017] Em outro exemplo de qualquer um dos métodos acima para girar automaticamente uma vista em um veículo comercial, a primeira vista é uma vista de classe II de um sistema de espelhos com câmera e a segunda vista é uma vista de classe IV de um sistema de espelhos com câmera.
[0018] De acordo com uma modalidade exemplar, um sistema de espelhos com câmera para um veículo inclui uma primeira câmera tendo um primeiro campo de vista, um controlador configurado para receber o primeiro campo de vista e enviar um subconjunto do primeiro campo de vista para uma primeira tela de vídeo, o controlador incluindo um módulo panorâmico automático configurado de modo a determinar um ângulo de reboque bidimensional com base em uma posição de pelo menos uma característica do veículo no primeiro campo de vista, converter o ângulo de reboque bidimensional em um ângulo de reboque do mundo real tridimensional, e ajustar o subconjunto enviado do primeiro campo de vista com base no ângulo de reboque do mundo real tridimensional.
[0019] Em outro exemplo do sistema de espelhos com câmera para um veículo tal como acima descrito, o módulo panorâmico automático determina o ângulo de reboque ao analisar uma porção da primeira vista em um primeiro momento a fim de determinar uma posição de uma característica do veículo dentro da primeira vista, determinando um ângulo bidimensional definido entre uma primeira linha que atravessa a posição da característica e um ponto de engate e uma segunda linha que define um eixo geométrico vertical da imagem, e convertendo o ângulo bidimensional em um ângulo de reboque do mundo real tridimensional, estimar uma posição esperada da característica do veículo na primeira vista em um segundo momento subseqüente ao primeiro momento, definir uma região de interesse centralizada sobre a posição esperada da característica do veículo na primeira vista e analisar a região de interesse no sentido de determinar uma posição exata da característica do veículo no segundo momento, e determinar um novo ângulo de reboque no segundo momento com base em uma posição da característica do veículo dentro da primeira vista.
[0020] Outro exemplo de qualquer um dos sistemas de veículo com espelhos com câmera para um veículo acima descritos inclui ainda uma segunda câmera tendo um segundo campo de vista, o controlador sendo configurado para receber o segundo campo de vista e enviar um subconjunto do segundo campo de vista para a primeira tela de vídeo; e o módulo panorâmico automático sendo configurado de modo a determinar a mudança de ângulo de reboque com base na posição da pelo menos uma característica do veículo em cada qual dentre o primeiro campo de vista e o segundo campo de vista.
[0021] Em outro exemplo de qualquer um dos sistemas de veículo com espelhos com câmera para um veículo tais como acima descritos, o módulo panorâmico automático é ainda configurado de modo a ajustar o subconjunto enviado do primeiro campo de vista com base no determinado ângulo de reboque corrente.
[0022] Em outro exemplo de qualquer um dos sistemas de veículo com espelhos com câmera para um veículo tais como acima descritos, o ajuste do subconjunto enviado do primeiro campo de vista compreende pelo menos girar o subconjunto do primeiro campo de vista.
[0023] Em outro exemplo de qualquer um dos sistemas de veículo com espelhos com câmera para um veículo tais como acima descritos, o primeiro campo de vista é um campo de vista de classe IV, e no qual o subconjunto do primeiro campo de vista é uma vista de classe II.
[0024] Esses e outros aspectos da presente invenção poderão ser mais bem entendidos a partir do presente relatório descritivo e desenhos a seguir, dos quais se faz a seguinte breve descrição.
BREVE DESCRIÇÃO DOS DESENHOS
[0025] A presente invenção poderá ser mais bem entendida com referência à descrição detalhada a seguir quando considerada em conjunto com os desenhos em anexo, nos quais:
[0026] A Figura 1A é uma vista frontal esquemática de um caminhão comercial com um sistema de espelhos com câmera (CMS) que é usado para pelo menos fornecer vistas de classe II e classe IV.
[0027] A Figura 1B é uma vista em elevação superior esquemática de um caminhão comercial com um sistema de espelhos com câmera que fornece vistas de classe II, classe IV, classe V e classe VI.
[0028] A Figura 2 é uma vista em perspectiva superior esquemática de uma cabine de veículo incluindo telas de vídeo e câmeras internas.
[0029] A Figura 3A ilustra um veículo no início de uma manobra de marcha ré, sem nenhum ângulo de reboque.
[0030] A Figura 3B ilustra uma manobra de marcha ré no meio do veículo, com um elevado ângulo de reboque.
[0031] A Figura 4 ilustra um processo com base em imagem para girar automaticamente uma tela de vídeo durante uma manobra em marcha ré.
[0032] A Figura 5 ilustra um campo de vista de classe IV exemplar.
[0033] As modalidades, exemplos e alternativas dos parágrafos precedentes, bem como as reivindicações, ou a descrição a seguir e desenhos, incluindo qualquer um dentre seus vários aspectos ou respectivos aspectos individuais, poderão ser considerados de maneira independente ou em qualquer combinação. Os aspectos descritos com relação a uma modalidade são aplicáveis a todas as modalidades, a menos que tais aspectos sejam incompatíveis.
DESCRIÇÃO DETALHADA DA INVENÇÃO
[0034] Uma vista esquemática de um veículo comercial 10 é ilustrada nas Figuras 1A e 1B. O veículo 10 inclui uma cabine ou trator de veículo 12 para puxar um reboque 14. Embora um caminhão comercial seja contemplado no presente documento, a presente invenção poderá também ser aplicada a outros tipos de veículos. O veículo 10 incorpora um sistema de espelhos com câmera (CMS) 15 (Figura 2) dotado de braços de câmera laterais 16a, 16b para motorista e passageiro montados no lado de fora da cabine do veículo 12. Se desejado, os braços de câmera 16a, 16b podem incluir também espelhos convencionais integrados aos mesmos, embora o sistema CMS 15 possa ser totalmente usado no lugar dos espelhos. Em outros exemplos, cada lado poderá incluir múltiplos braços de câmera, cada braço alojando uma ou mais câmeras e/ou espelhos.
[0035] Cada um dos braços de câmera 16a, 16b inclui uma base que é fixada, por exemplo, à cabine 12. Um braço de pivô é apoiado pela base e pode ser articulado a partir do mesmo. Pelo menos uma câmera virada para trás 20a, 20b é respectivamente disposta no interior dos braços de câmera. As câmeras externas 20a, 20b fornecem, respectivamente, um campo de vista exterior FOVex1, FOVex2 e incluem, cada uma das mesmas, pelo menos uma das vistas de classe II e classe IV (Figura 1B), que são vistas legais previstas na indústria de caminhões comerciais. A vista de classe II em um dado lado do veículo 10 é um subconjunto da vista de classe IV do mesmo lado do veículo 10. Múltiplas câmeras poderão também ser usadas em cada braço de câmera 16a, 16b no sentido de fornecer essas vistas, caso desejado. Cada braço 16a, 16b poderá ainda fornecer um alojamento para abrigar equipamentos eletrônicos configurados de modo a fornecer os vários recursos do sistema CMS 15.
[0036] A primeira e a segunda telas de vídeo 18a, 18b são dispostas em cada um dos lados do motorista e do passageiro e acomodadas dentro da cabine do veículo 12 nos ou próximas aos pilares-A 19a, 19b a fim de exibir vistas de classe II e classe IV em seu respectivo lado do veículo 10, as quais fornecem vistas laterais voltadas para trás ao longo do veículo 10 que são capturadas pelas câmeras externas 20a, 20b.
[0037] Quando imagens de vistas de classe V e classe VI são também desejadas, um alojamento de câmera 16c e de câmera 20c poderá ser disposto na ou próximo à frente do veículo 10 a fim de fornecer essas vistas (Figura 1B). Uma terceira tela de vídeo 18c disposta no interior da cabine 12 próxima ao centro superior do para-brisa poderá ser usada para exibir as vistas de classe V e classe VI, que ficam no sentido da frente do veículo 10, ao motorista.
[0038] Quando imagens de vistas de classe VIII são desejadas, alojamentos de câmera poderão ser dispostos nas laterais ou na parte traseira do veículo 10 a fim de fornecer campos de vista que incluam algumas ou todas as zonas de classe VIII do veículo 10. Em tais exemplos, a terceira tela 18c pode incluir um ou mais quadros que exibem vistas de classe VIII. De maneira alternativa, outras telas poderão ser adicionadas próximas Is primeira, segunda e terceira telas de vídeo 18a, 18b, 18c e fornecer uma tela de vídeo dedicada à provisão de uma vista de classe VIII.
[0039] Ainda com referência às Figuras 1A, 1B e 2, as Figuras 3A e 3B ilustram um veículo 100 no processo de execução de uma manobra em marcha ré. Na posição inicial (Figura 3A), o reboque 110 tem um ângulo inicial de aproximadamente zero grau com relação à cabine 120, ou seja, o mesmo se encontra alinhado à orientação da cabine 120. Esse ângulo pode, em alternativa, ser expresso como 180 graus com relação à cabine 120. Durante o processo de marcha ré, e particularmente ao fazer marcha ré em uma curva, o reboque 110 fica enviesado com relação à cabine 120 (Figura 3B) criando um ângulo de reboque que impacta as manobras em marcha ré. O enviesamento específico mostrado na Figura 3B foi exagerado com relação à maior parte dos ângulos esperados para fins de ilustração.
[0040] A fim de ajudar o motorista na realização de uma manobra em marcha ré, será benéfico garantir que a parte traseira 112 do reboque 110 fique visível ao motorista em pelo menos uma tela de vídeo ao longo da manobra em marcha ré. Em alguns exemplos particulares, será desejável não apenas incluir a parte traseira 112 do reboque 110, mas também centralizar a vista de classe II na parte traseira 112 do reboque 110. No entanto, tal como ilustrado na Figura 3B, uma vista de classe II estática poderá resultar em uma imagem da parte traseira 112 do reboque 110 estendendo-se para além dos limites da vista de classe II, mesmo quando a parte traseira 112 permanece dentro do campo de vista da classe IV. A fim de impedir uma perda de vista da parte traseira 112 do reboque 110 na vista de classe II, ou manter a centralização da vista de classe II sobre a parte traseira 112 do reboque 110, o veículo 10, 100 aqui ilustrado incluirá um recurso de panorâmica automática no interior do sistema de espelhos com câmera. O recurso de panorâmica automática usa uma detecção de ângulo de reboque com base em imagem e gira a vista de classe II dentro do campo de vista da classe IV a fim de fornecer uma visualização contínua da parte traseira 112 do reboque 110 com base no ângulo de reboque detectado sem que seja necessário fazer ajustes físicos ou mecânicos a um ângulo de câmera ou a uma posição de câmera. A fim de fornecer a correta quantidade de inclinação, o sistema de panorâmica automática usa uma estimativa em tempo real do ângulo do reboque com base em uma análise de imagem iterativa a fim de ajustar continuamente a inclinação da vista de classe 11. A estimativa de ângulo de reboque em tempo real é fornecida por um módulo de análise de imagem dentro do sistema CMS e poderá ser realizada totalmente ou em parte com base em uma análise contínua das imagens de classe II e IV recebidas das câmeras.
[0041] A fim de estimar de maneira precisa o ângulo de reboque, o sistema de panorâmica automática identifica uma característica do reboque 110 (por exemplo, uma roda) e rastreia a posição da característica na imagem. Com base na posição da característica dentro da imagem, o sistema de panorâmica automática determina um ângulo bidimensional, que vem a ser o ângulo entre a linha que passa pela posição da roda e o ponto de engate, e um eixo geométrico vertical da imagem. O sistema de panorâmica automática poderá, nesse caso, converter o ângulo bidimensional da imagem em um ângulo de reboque tridimensional em espaço real. No exemplo descrito no presente documento, a detecção de roda é feita em função do formato, do tamanho e da cor distintos das rodas, o que permitirá que a roda seja distinguida com relação às formas e características comuns que podem ocorrer no ambiente. Além disso, as rodas têm um formato, tamanho e cor uniformes com relação a múltiplos tipos de reboque. Embora apresentado no contexto de uma detecção de roda, deve-se apreciar que características alternativas de um reboque poderão ser detectadas e usadas da mesma maneira, e que o processo não se limita a uma detecção com base na roda. A análise do campo total de vista na vista de classe IV para monitorar a posição do reboque 112 é um recurso exaustivo e poderá resultar em atrasos nas operações de panorâmica automática ou de marcha ré abaixo do ideal devido à quantidade de dados contidos em cada imagem.
[0042] Ainda com referência às Figuras 1 a 3B, a Figura 4 ilustra o processo de movimento panorâmico automático do veículo exemplar 100. Inicialmente o processo de movimento panorâmico automático identifica a posição das rodas na vista de classe II em um ângulo de reboque 112 conhecido. Essa detecção define a posição de detecção de roda 210 inicial ou anterior. Nas iterações subseqüentes à iteração inicial, a posição de detecção de roda anterior 210 é uma posição dentro da imagem na qual a roda foi detectada na iteração imediatamente anterior.
[0043] Assim que a posição anterior da roda dentro da imagem de classe II / classe IV é recebida, um processo adaptativo de região de interesse (ROI) 220 determina os limites dentro dos quais a roda provavelmente deverá se encontrar nas novas imagens recebidas do veículo 100. A área dentro dos limites é referida como a região de interesse. A detecção de roda inicial pode ser feita em uma região de interesse limitada, formando uma faixa através da imagem. As subseqüentes iterações poderão diminuir a faixa a um retângulo correspondente à posição de roda esperada, com base no conhecimento da(s) posição(ões) de roda anterior(es). Assim que a região de interesse é estabelecida dentro da imagem recebida, uma unidade de processamento de imagem 240 dentro do sistema CMS analisará apenas a região de interesse no sentido de identificar a posição das rodas dentro da região de interesse.
[0044] Em alguns exemplos, o tamanho e a forma da região de interesse poderão incluir dimensões predefinidas, com essas dimensões predefinidas representando um desvio máximo que a roda supostamente terá de passar entre iterações. A região de interesse será, em seguida, centralizada sobre a posição identificada da roda na imagem anterior, e a identificação da roda será feita. Nesses exemplos, o recurso de panorâmica automática poderá ficar totalmente autocontido dentro do sistema de espelhos com câmera, e nenhum outro dado de sensor será requerido. De acordo com uma modificação do sistema de panorâmica automática totalmente autocontido, o sistema de espelhos com câmera poderá inferir uma direção esperada de movimento da posição de roda a partir de um movimento de roda através das imagens de duas ou mais iterações anteriores, e poderá determinar uma posição esperada da roda a partir dessa inferência. Nesse caso, a região de interesse é centralizada sobre a posição esperada da roda, ao invés de ser centralizada sobre a posição anterior da roda. Em outras implementações, essa inferência poderá ser usada no sentido de aumentar ou reduzir a região de interesse.
[0045] Em outros exemplos, a forma e a posição da região de interesse poderão ser definidas enquanto em movimento, com base em outros fatores incluindo a velocidade do veículo 100, um ângulo de direção do veículo 100, uma mudança de direção do reboque, um grau de inclinação do reboque, uma inclinação transversal, uma aceleração do veículo 100, ou qualquer informação de sensor similar que possa impactar uma posição esperada da característica que é detectada. Nesse exemplo, o sistema de espelhos com câmera usa modelos cinemáticos de veículo em marcha ré combinados com os dados de sensor recebidos de modo a definir um movimento esperado da roda através da imagem. O recurso de panorâmica automática determina onde a roda provavelmente está com base no movimento esperado, e centraliza a região de interesse adaptativa em torno da posição esperada da roda.
[0046] Em um exemplo alternativo específico, o sistema CMS poderá incluir módulos de detecção de movimento com base em imagem que são configurados para detectar porções de uma imagem que se encontra em movimento com relação à câmera e Is porções provenientes da imagem que não se encontram em movimento. Em tal sistema, o sistema CMS define as porções não em movimento da imagem como o "veículo", e as porções em movimento da imagem como o segundo plano. Essa definição permite que uma região de interesse inicial seja definida como o veículo, uma vez que é sabido que aquela característica estará sempre posicionada no veículo. Subseqüente à definição da região de interesse inicial, a região de interesse poderá ser ainda mais reduzida a um subconjunto das porções de veículo detectadas tal como na maneira previamente descrita.
[0047] Assim que o tamanho e posicionamento da região de interesse são determinados, a imagem é processada usando um módulo de processamento de imagem 240 a fim de identificar a roda (ou rodas) dentro da região de interesse. A análise se limita tão somente à região de interesse, deste modo economizando força e tempo de processamento e reduzindo potenciais falsos positivos ao não analisar a maior parte da imagem.
[0048] Assim que a posição 224 da(s) roda(s) na região de interesse 222 é determinada usando o módulo de processamento de imagem 240, o sistema CMS usa a posição conhecida 224 da(s) roda(s) na imagem combinada com a posição conhecida de um engate de reboque a fim de determinar o ângulo bidimensional da imagem, tal como acima descrito. A relação usada para converter o ângulo bidimensional determinado em um ângulo tridimensional do mundo real pode ser determinada com base em uma análise experimental das configurações de veículo específicas, em processos de aprendizagem adaptativos, ou em qualquer processo similar.
[0049] Assim que o novo ângulo de reboque é estimado, o posicionamento da vista de classe II dentro da vista de classe IV é ajustado com base no novo ângulo de reboque a fim de garantir que a borda traseira 112 do reboque 110 seja mantida dentro da vista de classe II. O ajuste ocorre automaticamente, sem uma entrada por parte do motorista, e é referido como um ajuste panorâmico automático.
[0050] Ainda com referência às Figuras 1 a 4, a Figura 5 ilustra um campo de vista de classe IV (IV) ao longo de toda a operação de panorâmica automática acima apresentada. Em uma porção inicial da manobra em marcha ré, uma vista de classe II inicial (II') é exibida na vista de classe II do motorista. Uma posição de roda inicial 224' é detectada dentro de uma faixa de região de interesse 226 através da vista II'. Com base na posição inicial 224', o sistema CMS determina uma posição de roda estimada e centraliza uma região de interesse estreita 222 sobre a posição esperada das rodas.
[0051] A região de interesse 222 é analisada através do sistema de análise de imagem a fim de determinar a posição exata das rodas 224 dentro da região de interesse 222. A posição 224, 224' das rodas dentro da imagem é aplicada a uma relação conhecida a fim de determinar um corrente ângulo de reboque.
[0052] Com base no novo ângulo de reboque, o sistema CMS ajusta a vista de classe II (II, II') de modo a manter uma vista da parte traseira 112 do reboque 110. No exemplo ilustrado, a vista (II) se desloca para a direita, e é ampliada dentro do campo de vista da classe IV.
[0053] Em alguns exemplos, o processo descrito no presente documento se repete aproximadamente a cada 40 milissegundos (ms), embora períodos alternativos entre iterações possam ser usados para efeito similar. Além disso, a alteração específica ilustrada é substancialmente maior que do que seria esperado em uma operação convencional, já que a mesma é exagerada para fins de explicação.
[0054] Embora uma modalidade exemplar tenha sido descrita, uma pessoa com conhecimento simples na técnica poderá reconhecer que certas modificações podem ser incluídas dentro do âmbito de aplicação das reivindicações. Por esse motivo, as reivindicações a seguir devem ser estudadas no sentido de determinar o seu verdadeiro âmbito e conteúdo.

Claims (20)

  1. Método para girar automaticamente uma vista em um veículo comercial, caracterizado pelo fato de que compreende as etapas de:
    • - analisar uma porção de uma primeira vista em um primeiro momento a fim de determinar uma posição de uma característica do veículo dentro da primeira vista, sendo que a primeira vista é um subconjunto de uma segunda vista;
    • - estimar uma posição esperada da característica do veículo na primeira vista em um segundo momento subseqüente ao primeiro momento;
    • - definir uma região de interesse centralizada sobre a posição esperada da característica do veículo na segunda vista e analisar a região de interesse no sentido de determinar uma posição exata da característica do veículo no segundo momento; e
    • - determinar um corrente ângulo de reboque com base em uma posição da característica do veículo dentro da segunda vista.
  2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que ainda compreende a etapa de ajustar a primeira vista no segundo momento com base no ângulo de reboque, desta maneira garantindo que pelo menos uma característica adicional do veículo fique dentro da primeira vista.
  3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a pelo menos uma característica adicional é uma borda traseira do veículo.
  4. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a etapa de ajustar a primeira vista compreende pelo menos um dentre girar a primeira vista dentro da segunda vista, ampliar a primeira vista dentro da segunda vista, ou diminuir a primeira vista dentro da segunda vista.
  5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que a etapa de ajustar a primeira vista compreende girar a segunda vista.
  6. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a etapa de ajustar a primeira vista dentro da segunda vista compreende manter uma segunda vista inalterada.
  7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que ainda compreende a iteração contínua do mesmo, desta forma gerando um monitoramento do ângulo de reboque em tempo real.
  8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira porção da primeira vista é uma faixa que se estende por um comprimento horizontal total da primeira vista e por menos de uma altura total da primeira vista.
  9. Método, de acordo com a reivindicação 8, caracterizado pelo fato de que a região de interesse é uma porção da faixa.
  10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a característica do veículo é pelo menos uma roda.
  11. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que se inicia em resposta ao veículo que inicia uma manobra em marcha ré.
  12. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de estimar a posição esperada da característica do veículo na primeira vista no segundo momento se baseia tão somente na posição da característica do veículo dentro da segunda vista determinada pelas anteriores iterações do método.
  13. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de estimar a posição esperada da característica do veículo na segunda vista no segundo momento se baseia parcialmente em um dentre uma velocidade do veículo, um ângulo de direção do veículo, uma mudança de direção do reboque, um grau de inclinação do reboque, uma inclinação transversal, ou uma aceleração do veículo (100).
  14. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira vista é uma vista de classe II de um sistema de espelhos com câmera, e a segunda vista é uma vista de classe IV de um sistema de espelhos com câmera.
  15. Sistema de espelhos com câmera para um veículo, caracterizado pelo fato de que compreende:
    • - uma primeira câmera tendo um primeiro campo de vista;
    • - um controlador configurado para receber o primeiro campo de vista, e enviar um subconjunto do primeiro campo de vista para uma primeira tela de vídeo; e
    • - o controlador incluindo um módulo panorâmico automático configurado de modo a determinar um ângulo de reboque bidimensional com base em uma posição de pelo menos uma característica do veículo no primeiro campo de vista, converter o ângulo de reboque bidimensional em um ângulo de reboque do mundo real tridimensional, e ajustar o subconjunto enviado do primeiro campo de vista com base no ângulo de reboque do mundo real tridimensional.
  16. Sistema de espelhos com câmera, de acordo com a reivindicação 15, caracterizado pelo fato de que o módulo panorâmico automático determina o ângulo de reboque ao analisar uma porção da primeira vista em um primeiro momento a fim de determinar uma posição de uma característica do veículo dentro da primeira vista, determinando um ângulo bidimensional definido entre uma primeira linha que atravessa a posição da característica e um ponto de engate e uma segunda linha que define um eixo geométrico vertical da imagem, e convertendo o ângulo bidimensional em um ângulo de reboque do mundo real tridimensional, estimar uma posição esperada da característica do veículo na primeira vista em um segundo momento subseqüente ao primeiro momento, definir uma região de interesse centralizada sobre a posição esperada da característica do veículo na primeira vista, e analisar a região de interesse no sentido de determinar uma posição exata da característica do veículo no segundo momento, e determinar um novo ângulo de reboque no segundo momento com base em uma posição da característica do veículo dentro da primeira vista.
  17. Sistema de espelhos com câmera, de acordo com a reivindicação 15, caracterizado pelo fato de que ainda compreende uma segunda câmera tendo um segundo campo de vista, o controlador sendo configurado para receber o segundo campo de vista e enviar um subconjunto do segundo campo de vista para a primeira tela de vídeo; e o módulo panorâmico automático sendo configurado de modo a determinar a mudança de ângulo de reboque com base na posição da pelo menos uma característica do veículo em cada qual dentre o primeiro campo de vista e o segundo campo de vista.
  18. Sistema de espelhos com câmera, de acordo com a reivindicação 15, caracterizado pelo fato de que o módulo panorâmico automático é ainda configurado de modo a ajustar o subconjunto enviado do primeiro campo de vista com base no determinado ângulo de reboque corrente.
  19. Sistema de espelhos com câmera, de acordo com a reivindicação 15, caracterizado pelo fato de que o ajuste do subconjunto enviado do primeiro campo de vista compreende pelo menos girar o subconjunto do primeiro campo de vista.
  20. Sistema de espelhos com câmera, de acordo com a reivindicação 15, caracterizado pelo fato de que o primeiro campo de vista é um campo de vista de classe IV, e pelo fato de que o subconjunto do primeiro campo de vista é uma vista de classe II.
BR102022006278-1A 2021-04-05 2022-03-31 Sistema de espelhos com câmera panorâmica automática incluindo a detecção de um ângulo de reboque com base em imagem BR102022006278A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/222,253 2021-04-05
US17/222,253 US11890988B2 (en) 2021-04-05 2021-04-05 Auto panning camera mirror system including image based trailer angle detection

Publications (1)

Publication Number Publication Date
BR102022006278A2 true BR102022006278A2 (pt) 2022-10-11

Family

ID=80785190

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102022006278-1A BR102022006278A2 (pt) 2021-04-05 2022-03-31 Sistema de espelhos com câmera panorâmica automática incluindo a detecção de um ângulo de reboque com base em imagem

Country Status (4)

Country Link
US (2) US11890988B2 (pt)
EP (1) EP4070996B1 (pt)
CN (1) CN115195604A (pt)
BR (1) BR102022006278A2 (pt)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11634072B2 (en) * 2017-11-29 2023-04-25 Volvo Truck Corporation Camera assembly for an industrial vehicle cab
US11780371B2 (en) * 2021-06-10 2023-10-10 Stoneridge, Inc. Auto panning camera mirror system including weighted trailer angle estimation
EP4190637A1 (en) * 2021-12-02 2023-06-07 Motherson Innovations Company Ltd. Vehicle tracking for a camera wing system
WO2024107690A1 (en) * 2022-11-18 2024-05-23 Stoneridge, Inc. Trailer backup trajectory overlay using trailer camera display system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
DE102011104256A1 (de) 2011-06-15 2012-07-26 Audi Ag Knickwinkelgeber für ein Assistenzsystem eines Kraftfahrzeugs und Verfahren zum Bestimmen eines Knickwinkels
CA2839194C (en) * 2011-06-17 2017-04-18 Leddartech Inc. System and method for traffic side detection and characterization
DE102011113191B4 (de) 2011-09-10 2022-10-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Knickwinkels zwischen einem Fahrzeug und einem Anhänger
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
DE102017130566B4 (de) * 2017-12-19 2021-07-22 Mekra Lang Gmbh & Co. Kg Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
GB201806279D0 (en) 2018-04-17 2018-05-30 Cambridge Entpr Ltd Method and system of articulation angle measurement
US20200317127A1 (en) * 2019-04-03 2020-10-08 GM Global Technology Operations LLC Method and apparatus for articulating mirrors for trailering in a motor vehicle

Also Published As

Publication number Publication date
EP4070996A1 (en) 2022-10-12
CN115195604A (zh) 2022-10-18
US20220314881A1 (en) 2022-10-06
US20240083356A1 (en) 2024-03-14
EP4070996B1 (en) 2024-05-15
US11890988B2 (en) 2024-02-06

Similar Documents

Publication Publication Date Title
BR102022006278A2 (pt) Sistema de espelhos com câmera panorâmica automática incluindo a detecção de um ângulo de reboque com base em imagem
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
US10783657B2 (en) Method and apparatus for vehicle position detection
CN107021015B (zh) 用于图像处理的系统及方法
US20080304705A1 (en) System and method for side vision detection of obstacles for vehicles
US9813619B2 (en) Apparatus and method for correcting image distortion of a camera for vehicle
WO2018036250A1 (zh) 车用辅助显示装置、显示方法以及车辆
WO2022061999A1 (zh) 一种 a 柱成像方法
US20130208118A1 (en) Vehicular infrared night assistant driving system
EP2833096B1 (en) Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle
US10964059B2 (en) Static camera calibration using motion of vehicle portion
CN111277796A (zh) 图像处理方法、车载视觉辅助系统及存储设备
DE102021133638A1 (de) Bildzusammensetzung in multi-view-automobilsystemen und robotersystemen
KR102223852B1 (ko) 영상 디스플레이 시스템 및 방법
CN112849158B (zh) 图像显示方法、车载显示系统以及汽车
DE102013226476A1 (de) Bildverarbeitungsverfahren und -system eines rundumsichtüberwachungssystems
US20120128211A1 (en) Distance calculation device for vehicle
CN108422932A (zh) 驾驶辅助系统、方法和车辆
US20230311771A1 (en) Dynamic longitudinal and lateral adjustment of awareness lines for commercial vehicle camera mirror system
CN111016786A (zh) 基于3d视线估计的汽车a柱遮挡区域显示方法
US20240087331A1 (en) Camera monitoring system including trailer presence detection using optical flow
US11445151B2 (en) Vehicle electronic mirror system
US20240103525A1 (en) Vehicle and control method thereof
BR102022020532A2 (pt) Rastreio de extremidade de reboque em um sistema de monitoramento com câmera
JP2024000502A (ja) 車両の死角地帯の視覚化装置及び方法

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]