BR102023008405A2 - Sistema de monitoramento de câmera panorâmica automática incluindo detecção de ângulo de reboque com base em imagem - Google Patents

Abstract

sistema de monitoramento de câmera panorâmica automática incluindo detecção de ângulo de reboque com base em imagem. a presente invenção refere-se a um método para panorâmica automática de uma visualização para um veículo comercial que inclui receber uma transmissão de vídeo de pelo menos uma câmera definindo um campo de visualização. uma pluralidade de objetos na transmissão de vídeo inclui pelo menos uma roda e pelo menos uma linha, é identificada. uma trajetória de cada objeto na pluralidade de objetos é rastreada através de um plano de imagem da transmissão de vídeo. um ângulo de reboque correspondendo a cada trajetória é identificado, o ângulo de reboque identificado está associado com a trajetória correspondente, desse modo gerando uma pluralidade de medições de ângulo de reboque. a pluralidade de trajetórias é selecionada para baixo para uma única trajetória e identificando uma única medição de ângulo de reboque correspondendo com a única trajetória.

Description

CAMPO TÉCNICO

[001] Esta divulgação se refere a um sistema de monitoramento de câmera (CMS) para uso em um caminhão comercial ou veículo similar, e em particular a um CMS tendo um recurso de panorâmica automática incluindo estimativas de ângulo de reboque com base em imagem.

ANTECEDENTE

[002] Sistemas de substituição de espelho, e sistemas de câmera para suplementar vistas de espelho, são utilizados em veículos comerciais para melhorar a capacidade de um operador de veículo ver um ambiente circundante. Sistemas de monitoramento de câmera (CMS) utilizam uma ou mais câmeras para fornecer um campo de visualização aperfeiçoado para um operador do veículo. Em alguns exemplos, os sistemas de substituição de espelho cobrem um campo de visualização maior que um espelho convencional, ou incluem vistas que não são completamente obtidas por meio de um espelho convencional.

[003] Em certas operações, tais como manobras de ré de reboque, vistas estacionárias, tais como aquelas fornecidas por um espelho fixo ou câmera de campo de visualização fixo, podem não fornecer uma visualização completa da operação, e a informação desejável que poderia ser apresentada ao operador, não é apresentada ao operador. Sistemas de panorâmica manuais, onde o operador ajusta manualmente uma câmera física ou ângulo de espelho, podem exigir interrupção frequente da manobra para ajustar a visualização fornecida e pode fornecer granularidade insuficiente para os ajustes.

[004] Alguns sistemas exemplares tentam minimizar os problemas co panorâmica manual implementando panorâmica automática ou semiautomática. Tais sistemas contam com estimativas de ângulo de reboque que são potencialmente imprecisos, e modelos cinemáticos de operações de veículo, particularmente operações de reversão, podem ter dificuldade em explicar a variabilidade potencial das estimativas de ângulo de reboque.

SUMÁRIO DA INVENÇÃO

[005] Em uma modalidade exemplar, um método para panorâmica automática para uma visualização de um veículo comercial inclui receber um vídeo transmitido por pelo menos uma câmera, em que a câmera define um campo de visualização, identificar uma pluralidade de objetos na transmissão de vídeo, em que a pluralidade de objetos inclui pelo menos uma roda e pelo menos uma linha, rastrear uma trajetória de cada objeto na pluralidade de objetos através de um plano de imagem da transmissão de vídeo, identificar um ângulo de reboque que corresponde com cada trajetória e associar o ângulo de reboque identificado com a trajetória correspondente, desse modo gerando uma pluralidade de medições de ângulo de reboque, e selecionar para baixo a pluralidade de trajetórias para uma única trajetória e identificar uma medição de ângulo de reboque única que corresponde com a única trajetória.

[006] Outro exemplo do método descrito acima para panorâmica automática de uma visualização parar um veículo comercial ainda inclui fornecer uma única medição de ângulo de reboque para um sistema de panorâmica de imagem, a panorâmica da visualização com base pelo menos em parte no ângulo de reboque único e uma operação atual do veículo.

[007] Em outro exemplo, de qualquer um dos métodos descritos acima para a panorâmica automática de uma visualização para uma panorâmica de visualização de veículo comercial inclui manter uma extremidade do reboque na visualização.

[008] Em outro exemplo de qualquer um dos métodos descritos acima para panorâmica automática de uma visualização para panorâmica de um veículo comercial, a visualização inclui manter a extremidade do reboque em um centro aproximado da visualização.

[009] Em outro exemplo de qualquer um dos métodos descritos acima para panorâmica automática de uma visualização para selecionar para baixo um veículo comercial, uma pluralidade de ângulos de reboque inclui para cada pista, determinar um quantificador numérico para cada parâmetro em vários parâmetros da pista, para cada pista, somar os quantificadores numéricos determinados e determinar uma pontuação ponderada correspondente da pista, comparar a pontuação ponderada de cada pista e identificar a pista tendo a pontuação ponderada mais alta, e selecionar o ângulo de reboque correspondendo com a pista tendo a pontuação ponderada mais alta que o ângulo de reboque único.

[0010] Em outro exemplo de qualquer um dos métodos descritos acima para panorâmica automática de uma visualização para um veículo comercial identificar a pluralidade de objetos inclui identificar uma pluralidade de linhas linhas e bordas na imagem usando uma de uma transformação de Hough e uma rede neural profunda.

[0011] Em outro exemplo de qualquer um dos métodos descritos acima para panorâmica automática de uma visualização para um veículo comercial identificar a pluralidade de linhas e bordas inclui identificar um ângulo, ponto de partida, ponto final, de cada linha e borda na pluralidade de linhas e bordas.

[0012] Em outro exemplo de qualquer um dos métodos descritos acima para panorâmica automática de uma visualização para um veículo comercial identificar a pluralidade de objetos inclui identificar uma posição de cada roda na imagem usando uma de uma análise de imagem de transformação de bolha e uma rede neural profunda.

[0013] Outro exemplo de qualquer um dos métodos descritos acima para panorâmica automática de uma visualização para um veículo comercial ainda inclui identificar um ângulo de roda de cada roda usando análise de imagem.

[0014] Em outra modalidade exemplar um sistema de câmera para um veículo inclui pelo menos uma primeira câmera definindo um campo de visualização, um controlador conectado de modo comunicativo a uma primeira câmera, o controlador incluindo um processador e uma memória, a memória armazenando instruções para panorâmica automática de uma visualização para um veículo recebendo uma transmissão de vídeo da primeira câmara no controlador, em que a câmera define um campo de visualização, identificar uma pluralidade de objetos na transmissão de vídeo usando o controlador, em que a pluralidade de objetos inclui pelo menos uma roda e pelo menos uma linha, rastrear uma trajetória de cada objeto na pluralidade de objetos através de um plano de imagem da transmissão de vídeo usando o controlador, identificar um ângulo de reboque correspondendo com cada trajetória, desse modo gerar uma pluralidade de medições de ângulo de reboque usando o controlador, e selecionar para baixo a pluralidade de trajetórias para uma única trajetória, e identificar uma medição de ângulo de reboque correspondendo com a única trajetória usando o controlador.

[0015] Em outro exemplo do sistema de câmera descrito acima para um veículo identificar o ângulo de reboque correspondendo com cada trajetória inclui converter uma de uma detecção de linha e uma detecção de roda de cada objeto em um ângulo de reboque tridimensional e converter o ângulo de reboque tridimensional em um ângulo real do ângulo de reboque com relação a uma cabine.

[0016] Em outro exemplo de qualquer um dos sistemas de câmera descritos acima para um veículo, o controlador é configurado para aplicar filtragem Kalman em cada ângulo de reboque do mundo real, e em que a filtragem Kalman associa o ângulo de reboque do mundo real com a pista correspondente e atualiza pelo menos uma propriedade da pista correspondente.

[0017] Em outro exemplo de qualquer um dos sistemas de câmera descritos acima para um veículo, as propriedades de cada pista incluem pelo menos uma variação, idade, direção e fonte.

[0018] Em outro exemplo de qualquer um dos sistemas de câmera descritos acima para um veículo selecionar para baixo os ângulos de reboque identificados inclui, para cada pista, determinar um quantificador numérico para cada parâmetro em uma pluralidade de parâmetros da pista, para cada pista, somar os quantificadores numéricos determinados e determinar uma pontuação ponderada correspondendo á pista, comparar as pontuações ponderadas correspondendo com cada pista e identificar a faia tendo a maior pontuação ponderada, e selecionar o ângulo de reboque correspondendo com a pista tendo a pontuação ponderada mais alta como o ângulo de reboque único.

BREVE DESCRIÇÃO DOS DESENHOS

[0019] A invenção pode ainda ser entendida por referência à descrição detalhada seguinte quando considerada em conexão com os desenhos anexos, em que:

[0020] A Figura 1A é uma vista dianteira esquemática de um caminhão comercial com um sistema de monitoramento de câmera (CMS) usado para fornecer pelo menos vistas Classe II e Classe IV.

[0021] A Figura 1B é uma vista em elevação de topo esquemática de um caminhão comercial com um sistema de monitoramento de câmera fornecendo vistas Classe II, Classe IV, Classe V e Classe VI.

[0022] A Figura 2 é uma vista em perspectiva de topo esquemática de uma cabine de veículo incluindo displays e câmeras interiores.

[0023] A Figura 3A ilustra um veículo no início de uma manobra de re, sem nenhum ângulo de reboque.

[0024] A Figura 3B ilustra a manobra de ré no meio do veículo, com um ângulo de reboque alto.

[0025] A Figura 4 ilustra um processo para determinar um ângulo de reboque usando análise de imagem.

[0026] A Figura 5 ilustra um sistema para determinar um ângulo de reboque a partir de imagens usando o método da Figura 4, e panorâmica automática do sistema de monitoramento de câmera com base no ângulo determinado.

[0027] As modalidades, exemplos e alternativas dos parágrafos precedentes, as reivindicações, ou a descrição seguinte e desenhos, incluindo qualquer um de seus vários aspectos ou recursos individuais respectivos, podem ser toadas independentemente ou em qualquer combinação. Os recursos descritos em conexão com uma modalidade são aplicáveis a todas as modalidades, a menos que tais recursos sejam incompatíveis.

DESCRIÇÃO DETALHADA

[0028] Uma vista esquemática exterior de um veículo comercial 10 é ilustrada nas Figuras 1A e 1B. Uma vista esquemática interior da cabine do veículo comercial 10 é ilustrada na Figura 2. O veículo 10 inclui uma cabine de veículo ou trator 12 para puxar um reboque 14. Embora um caminhão comercial seja considerado nesta descrição, a invenção pode também ser aplicada a outros tipos de veículos. O veículo 10 incorpora um sistema de monitoramento de câmera (CMS) 15 que tem braços de câmera do lado de motorista e passageiro 16a, 16b montados no exterior da cabine de veículo 12. Se desejado, os barcos de câmera 16a, 16b podem incluir espelhos convencionais integrados com eles também, embora o CMS 15 possa ser usado em alguns exemplos para substituir inteiramente os espelhos. Em exemplos adicionais, cada lado pode incluir múltiplos braços de câmera, cada braço alojando uma ou mais câmeras e/ou espelhos.

[0029] Cada um dos braços de câmera 16a, 16b inclui uma base que, por exemplo, está presa na cabine 12. Um braço pivotante é suportado pela base e pode articular com relação ao mesmo. Pelo menos uma câmera voltada para trás 20a, 20b está disposto respectivamente dentro de braços de câmera. As câmeras exteriores 20a, 20b respectivamente fornecem um campo de visualização exterior FOVEX1, FOVEX2 que incluem pelo menos uma das vistas Classe II e Classe IV (figura 1B), que são vistas prescritas legais na indústria de caminhões comerciais. A vista Classe II em um dado lado do veículo 10 é um subconjunto da vista Classe IV do mesmo lado do veículo 10. Múltiplas câmeras também podem ser usadas em cada braço de câmera 16a, 16b para fornecer estas vistas, se desejado. Cada braço 16a, 16b pode também fornecer um alojamento que encerra eletrônicos que são configurados para fornecer vários recursos do CMS 15.

[0030] Os primeiro e segundo displays de vídeo 18a, 18b são dispostos em cada um dos lados de motorista e passageiro dentro da cabine de veículo 12 em ou perto dos pilares A 19a, 19b para exibir vistas Classe II e Classe IV em seu lado respectivo do veículo 10, que fornecem vistas laterais voltadas para trás ao longo do veículo 10 que são capturadas pelas câmeras exteriores 20a, 20b.

[0031] Se o vídeo de vistas Classe V e Classe VI também é desejado, um alojamento de câmera 16c e a câmera 20c podem estar dispostos em ou perto da frente do veículo 10 para fornecer aquelas vistas (figura 1B). Um terceiro display 18c disposto dentro da cabine 12 perto do centro superior do pára-brisas pode ser usado para exibir as vistas Classe V e Classe VI, que estão na direção da frente do veículo 10, para o motorista.

[0032] Se o vídeo de vistas Classe VIII é desejado, os alojamentos de câmera podem ser dispostos nos lados e parte traseira do veículo 10 para fornecer campos de visualização incluindo algumas ou todas as zonas Classe VIII do veículo 10. Em tais exemplos, o terceiro display 18c pode incluir um ou mais quadros exibindo a vista Classe VIII. Alternativamente, displays adicionais podem ser adicionados perto dos primeiro, segundo e terceiro displays 18a, 18b, 18c e fornecem um display dedicado a fornecer uma vista Classe VIII.

[0033] Com referência continuada às Figuras 1A, 1B e 2, Figuras 3A e 3B ilustram um veículo 100 no processo de executar uma manobra de ré. Na posição inicial (figura 3A) o reboque 110 tem um ângulo inicial de aproximadamente zero grau com relação à cabine 120, significando que o reboque está alinhado com a orientação da cabine 120. Este ângulo pode alternativamente ser expresso como 180 graus com relação à cabine 120. Durante o processo de dar ré, e particularmente ao inverter através de uma curva, o reboque 110 enviesa com relação à cabine 120 (figura 3B) criando um ângulo de reboque que impacta as manobras de ré. Além disso, a velocidade de ré, a guinada do reboque, bem como outros parâmetros de operação têm um impacto na mudança de ângulo de reboque durante a ré. O enviesamento particular da Figura 3B é exagerado com relação aos ângulos mais esperados para propósitos ilustrativos.

[0034] Para auxiliar o motorista na manobra de ré, é benéfico assegurar que a parte traseira 112 do reboque 110 seja visível para o motorista em pelo menos um display através da manobra de ré. Em alguns exemplos particulares, é desejável não somente incluir a parte traseira 112 do reboque 110, mas também centralizar a vista Classe II na parte traseira 112 do reboque 110. No entanto, como ilustrado na Figura 3B, uma vista Classe II estática pode resultar na parte traseira 112 do reboque 110 se estendendo além dos limites da vista Classe II mesmo quando a parte traseira 112 permanece dentro do campo de visualização Classe IV. Para impedir a perda de visualização da parte traseira 112 do reboque 110 na vista Classe II, ou para manter a centralização da vista Classe II na parte traseira 112 do reboque 110, o veículo 10, 100, ilustrado aqui inclui um recurso de panorâmica automática dentro do sistema de monitoramento de câmera.

[0035] O recurso de panorâmica automática usa uma combinação de imagem distinta com base em detecções e ângulo de reboque para determinar o ângulo de reboque com relação ao trator a qualquer momento dado. O sistema identifica múltiplos ângulos de reboque determinados e determina qual dos novos ângulos de reboque é mais preciso usando um processo de seleção para baixo. A detecção de ângulo mais precisa determinada é fornecida a um controlador de veículo e o controlador de veículo utiliza o ângulo com qualquer sistema configurado para usar o ângulo de reboque, incluindo sistemas de panorâmica automática. No exemplo do sistema de panorâmica automática, o controlador de veículo pode gerar panorâmica automática em uma visualização exibida (por exemplo, uma visualização Classe II) dentro do campo de visa inteiro da câmera correspondente para garantir que uma extremidade de reboque é mantida dentro da vista durante uma operação de ré. Em alguns exemplos, a resposta de panorâmica depende do modo de operação atual do veículo, e a visualização pode ser gerada de modo diferente dependendo de se o veículo está se movendo para frente, está em re, e/ou dependendo da taxa em que o veículo está se deslocando, dependendo da posição da roda de direção, ou quaisquer outros fatores. Em alguns exemplos, pode ser ainda vantajoso para garantir que não somente é o reboque mantido na visualização, mas o reboque é mantido em ou perto do centro da visualização. Nestes casos, o sistema de panorâmica automática centraliza a visualização na extremidade do reboque.

[0036] Por meio de exemplo, durante a operação, o sistema de detecção de ângulo de reboque recebe uma sequência de imagens do sistema de substituição de espelho (ou um sistema de monitoramento de câmera similar) e processa as imagens para detecção de linha e detecção de roda. As posições dentro da imagem das linhas, como determinado pelo sistema de detecção de linha, e as posições dentro das imagens das rodas, como determinado pelo sistema de detecção de roda, são rastreadas com o tempo. A trajetória de cada roda detectada e linha através da imagem é referida como uma "pista" e é usada por um modulo controlador de detecção de ângulo para avaliar uma confiabilidade de um ângulo de reboque identificado correspondente.

[0037] O módulo controlador de detecção de ângulo utiliza uma correlação conhecida entre a posição dentro da imagem e o ângulo de reboque para determinar um ângulo de reboque com base em cada objeto identificado, e o ângulo de reboque detectado é correlacionado com a posição corrente e armazenado como uma propriedade da pista. Em alguns casos, o formato de pista pode ser adicionalmente usado para prever os ângulos de reboque em futuro próximo também. Por meio de exemplo, se o formato de pista segue suavemente uma trajetória de ângulo de reboque, a previsão de futuro próximo pode ser que o ângulo de reboque continuará a aumentar na taxa identificada.

[0038] Cada pista tem múltiplas propriedades incluindo ângulo de reboque, variância, idade, direção, fonte e propriedades similares. Adicionalmente, pistas que correspondem com detecção de linha e borda incluem ângulo de linha, interceptam com outros objetos, um ponto de partida de linha e um ponto final de linha e pistas correspondendo com detecção de roda incluem um ângulo da roda com relação ao reboque (alternadamente referido como ângulo de roda). Cada propriedade é quantificada usando um valor numérico (por exemplo, a variância pode receber um valor de 0, significando altamente variante, para 100, significado quase nenhuma variância). Cada valor numérico quantificado é ponderado com base em seu valor relativo em determinar a precisão da previsão de ângulo.

[0039] Uma vez detectado pelo módulo controlador de detecção de ângulo, os múltiplos ângulos detectados são fornecidos a um módulo seletor para baixo. O módulo seletor para baixo compila a pontuação ponderada de cada pista e identifica o ângulo de reboque detectado mais preciso a partir dos ângulos de reboque detectados, determinando qual pista tem a maior pontuação ponderada. O ângulo de reboque determinado é passado para um ou mais sistemas de veículo que é configurado para utilizar o ângulo de reboque selecionado. Em alguns casos, as pistas correspondendo com as detecções de roda podem ainda ser fornecidas para um modulo de detecção de base de roda. O módulo de detecção de base de roda utiliza as pistas de base de roda para determinar uma posição de base de roda estimada e/ou comprimento de base de roda dependendo de que valores o controlador exige para uma dada operação. Além disso, a(s) pista(s) pode(m) ser fornecida(s) com qualquer outro controlador e/ou sistema capaz d utilizar as pistas através da imagem.

[0040] Com referência continuada às Figuras 1-3B, a Figura 4 ilustra um processo 400 para determinar um ângulo de reboque. Enquanto o processo 400 é descrito na Figura 4 com relação às operações dentro de um controlador único, é apreciado que algumas ou todas as etapas podem ser realizadas em controladores separados e/ou usando processadores separados ou tópicos dentro de um controlador em comunicação mútua e funcionam da mesma maneira.

[0041] Inicialmente, o controlador recebe uma imagem de uma transmissão de vídeo em uma etapa "Receber Imagem" 410. A imagem é um único quadro de uma transmissão de vídeo de um sistema de monitoramento de câmera, e o processo 400 é repetido para múltiplas imagens dentro de uma sequência de uma transmissão de vídeo. O controlador executa um processo de detecção de linha na imagem recebida em uma etapa "Executar Detecção de Linha" 420 e um processo de detecção de roa na imagem recebida em uma etapa de "Executar Detecção de Roda" 430. Os processos de detecção de linha e de detecção de roda usam análise de imagem para identificar os elementos correspondentes. As detecções podem ser baseadas em regras, baseadas em rede neural, ou uma combinação das duas. As etapas distintas 420, 430 operam simultaneamente para fornecer as detecções.

[0042] Em um exemplo, o processo de detecção de linha identifica linhas e bordas dentro da imagem usando um processo de transformação de Hough. Em exemplos alternativos, processos de detecção de linha alternativos, tais como redes neurais de aprendizado profundas e sistemas similares podem ser usadas para o mesmo efeito. Além disso, para a posição da linha, o processo de detecção de linha identifica pelo menos o ângulo de linha, intercepta com outros objetos, um ponto de partida de linha e um ponto final de linha. A posição das linhas e bordas identificadas, bem como os pontos de dados correspondentes para cada linha, são salvos e a trajetória através da imagem de cada linha e borda identificada é armazenada em uma memória em uma etapa de "Identificar Pistas" 422. A trajetória através do quadro de imagem com o tempo na transmissão de vídeo é referida como a pista do objeto e cada uma das pistas de borda e linha é continuamente atualizada quando o processo 400 é reiterado.

[0043] Simultaneamente com a detecção de linha, as rodas são detectadas dentro da imagem usando um processo de detecção de bolha em uma etapa de "Executar Detecção de Roda" 430. Em exemplos alternativos, as rodas podem ser detectadas usando sistemas de análise de imagem alternativos tal como redes neurais de aprendizado profundas. Em adição à posição da roda dentro da imagem, a detecção de roda identifica um ângulo da roda com relação ao reboque (alternadamente referida como um ângulo de roda) em cada interação do processo 400. Como com as linhas e bordas, a trajetória de cada roda identificada é rastreada através da transmissão de imagem com o tempo em uma etapa de "Identificar Pistas" 432. Cada roda identificada é rastreada separadamente e uma pista distinta é armazenada para cada uma das rodas.

[0044] Em alguns exemplos, o número de rodas, linhas e bordas que são rastreadas pode ser limitado a 16 para economizar recursos de controlador. Em outros exemplos, objetos de números alternativos podem ser rastreados.

[0045] As pistas de cada uma das etapas de identificar pistas 422, 432 são usadas pelo controlador para determinar um ângulo correspondente do reboque em uma etapa de "Determinar ângulo das Pistas" 440. Inicialmente no ângulo determinado a da etapa de pistas 440, o ângulo bidimensional do reboque é determinado para cada pista com base na posição atual dentro da imagem do elemento sendo rastreado. E.G., para uma pista de roda traseira do lado do motorista, o ângulo bidimensional da roda traseira do lado do motorista é identificado. Após determinar o ângulo bidimensional para cada elemento, os ângulos bidimensionais são convertidos em uma coordenada tridimensional usando um conversor convencional. A coordenada tridimensional é usada para determinar uma medição de ângulo de reboque tridimensional. O ângulo de reboque do mundo real com relação à cabine é referido como um "ângulo de reboque 3D" ou um "ângulo 3D" ou "ângulo de reboque tridimensional".

[0046] Para cada medição de ângulo de reboque com base na medição de ângulo tridimensional, a filtragem Kalman é aplicada para associar o ângulo tridimensional com a pista correspondente e informação de medição é usada para atualizar as propriedades de pista do ângulo (por exemplo, ângulo tridimensional, taxa de ângulo, etc.).

[0047] Depois de ter determinado o ângulo 3D para cada componente, um processo de seleção para baixo é aplicado para identificar que ângulo 3D é o mais preciso. Como descrito acima, cada pista de ângulo inclui múltiplas propriedades, cada uma das quais tem um quantificador numérico ponderado. Os qualificadores numéricos ponderados para cada propriedade de uma dada pista são somados para gerar uma pontuação total para uma dada pista. As pontuações totais são comparadas, e a pista com a pontuação mais alta é selecionada como a estimativa de ângulo de reboque mais precisa. Em exemplos alternativos, os qualificadores numéricos ponderados podem ser mínimos em função, com uma pontuação menor indicando uma precisão maior. Em tais exemplos, a pista com a soma mais baixa seria selecionada como a mais precisa. Cada outro ângulo 3D é descontado, e o ângulo 3D mais preciso é adotado como o ângulo preciso em uma etapa de "Selecionar Ângulos Para Baixo" 450.

[0048] Uma vez determinado, o ângulo selecionado para baixo é relatado para um ou mais sistemas dentro do controlador para ser utilizado na etapa de "Relatar Ângulo Identificado" 460. Em um exemplo, o ângulo identificado é relatado para um sistema de panorâmica automática que gera uma visualização Classe II apresentada ao usuário com base no ângulo de reboque determinado e um ou mais parâmetros de operação atuais.

[0049] Em alguns exemplos, as pistas identificadas correspondendo com as detecções de roda também são fornecidas a um módulo de determinação de base de roda e as detecções de roda são usadas para estimar ou identificar uma posição e/ou comprimento da base de roda do reboque fixado a veículo em uma etapa de "Identificar Base de Roda" 470.

[0050] Com referência continuada à Figura 4, a Figura 5 ilustra esquematicamente um sistema de panorâmica automática exemplar para um veículo 510. Um controlador 520 recebe imagens 512 e outra informação de sensor 514 do veículo 510, e o controlador 520 identifica linhas dentro das imagens recebidas 512 usando um módulo de detecção de linha 522 e identifica posições de roda e ângulos dentro das imagens recebidas 512 usando um modulo de detecção de roda 524. As pistas identificadas pelo módulo de detecção de roda 524 e o módulo de detecção de linha 522 são fornecidos ao módulo de conversão de ângulo 526. Em adição às detecções do módulo de detecção de linha 522 e o módulo de detecção de roda 524, o módulo de conversão de ânulo 526 recebe informação de sensor 514 incluindo taxa de guinada, velocidade de host e outra informação de sensor que é indicativo de ma operação atual do veículo.

[0051] O módulo de conversão de conversão de ângulo 526 correlacionada pista recebida do módulo de detecção de linha 522 e o módulo de detecção de roda 524 co um ângulo de reboque 2D correspondente usando um processo de filtragem Kalman. Como descrito acima, processos alternativos podem ser usados para o mesmo efeito para converter cada pista em uma detecção de ângulo correspondente. O módulo de conversão de ângulo 526 então converte cada ângulo de reboque 2D identificado em um ângulo de reboque 3D correspondente e os ângulos de reboque 3D são fornecidos a um módulo de seleção para baixo 528. O módulo de seleção para baixo 528 seleciona a melhor estimativa de ângulo de reboque único com base na pontuação ponderada descrita acima.

[0052] O ângulo de reboque selecionado único é fornecido a um sistema de panorâmica 530. Enquanto ilustrado nas modalidades exemplares como um controlador distinto, é apreciado que o sistema de panorâmica 530 pode ser incluído dentro do controlador 520 como m módulo de software em exemplos alternativos. Em um exemplo, a panorâmica automática e configurada para assegurar que a borda traseira do reboque é mantida dentro da visualização Classe II através de todas as operações do veículo. Em outras implementações, a panorâmica automática pode manter outros objetos ou partes de objetos na visualização dependendo das necessidades da operação atual do veículo.

[0053] A identificação de múltiplos ângulos de reboque que são selecionados para baixo para um ângulo de reboque preciso único pode ser usado através de múltiplos sistemas, e não são limitados em aplicação para um sistema de panorâmica automática.

[0054] Embora uma modalidade exemplar tenha sido descrita, um trabalhador versado na técnica reconheceria que certas modificações se encontrariam dentro do escopo das reivindicações. Por esta razão, as reivindicações seguintes devem ser estudadas para determinar seu escopo real e conteúdo.

Claims (18)

1. Método para panorâmica automática para uma visualização de um veículo comercial caracterizado pelo fato de que compreende: receber uma transmissão de vídeo de pelo menos uma câmera, em que a câmera define um campo de visualização; identificar uma pluralidade de objetos na transmissão de vídeo, em que a pluralidade de objetos inclui pelo menos uma roda e pelo menos uma linha; rastrear uma trajetória de cada objeto na pluralidade de objetos através de um plano de imagem da transmissão de vídeo; identificar um ângulo de reboque que corresponde a cada trajetória e associar o ângulo de reboque identificado com a trajetória correspondente, desse modo gerando pluralidade de medições de ângulo de reboque; e selecionar para baixo a pluralidade de trajetórias para uma única trajetória e identificar uma medição de ângulo de reboque única que corresponde à única trajetória.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda fornecer uma única medição de ângulo de reboque para um sistema de panorâmica de imagem, a panorâmica da visualização com base pelo menos em parte no ângulo de reboque único e em uma operação atual do veículo.

3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a panorâmica da visualização compreende manter uma extremidade do reboque na visualização.

4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que a panorâmica da visualização compreende manter a extremidade do reboque em um centro aproximado da visualização.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que selecionar para baixo a pluralidade de ângulos de reboque compreende: para cada pista, determinar um quantificador numérico para cada parâmetro em uma pluralidade de parâmetros da pista; para cada pista, somar os quantificadores numéricos determinados e determinar uma pontuação ponderada correspondente da pista; comparar a pontuação ponderada de cada pista e identificar a pista tendo a pontuação ponderada mais alta; e selecionar o ângulo de reboque correspondendo com a pista tendo a pontuação ponderada mais alta que o ângulo de reboque único.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que identificar a pluralidade de objetos compreende identificar uma pluralidade de linhas e bordas na imagem usando uma de uma transformação de Hough e uma rede neural profunda.

7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que identificar a pluralidade de linhas e bordas compreende identificar um ângulo, ponto de partida, ponto final, de cada linha e borda na pluralidade de linhas e bordas.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que identificar uma pluralidade de objetos inclui identificar uma posição de cada roda na imagem usando uma de uma análise de imagem de transformação de bolha e uma rede neural profunda.

9. Método, de acordo com a reivindicação 8, caracterizado pelo fato de que compreende ainda identificar um ângulo de roda de cada roda usando análise de imagem.

10. Sistema de câmera para um veículo caracterizado pelo fato de que compreende: pelo menos uma primeira câmera definindo um campo de visualização; um controlador conectado de modo comunicativo a uma primeira câmera, o controlador incluindo um processador e uma memória, a memória armazenando instruções para panorâmica automática de uma visualização para um veículo por: receber uma transmissão de vídeo da primeira câmara no controlador, em que a câmera define um campo de visualização; identificar uma pluralidade de objetos na transmissão de vídeo usando o controlador, em que a pluralidade de objetos inclui pelo menos uma roda e pelo menos uma linha, rastrear uma trajetória de cada objeto na pluralidade de objetos através de um plano de imagem da transmissão de vídeo usando o controlador; identificar um ângulo de reboque correspondendo a cada trajetória, desse modo gerando uma pluralidade de medições de ângulo de reboque usando o controlador; e selecionar para baixo a pluralidade de trajetórias para uma única trajetória, e identificar uma medição de ângulo de reboque correspondendo à única trajetória usando o controlador.

11. Sistema de câmera, de acordo com a reivindicação 10, caracterizado pelo fato de que identificar o ângulo de reboque correspondendo a cada trajetória compreende converter uma de uma detecção de linha e uma detecção de roda de cada objeto em um ângulo de reboque bidimensional e converter o ângulo de reboque bidimensional em um ângulo do mundo real do ângulo de reboque com relação a uma cabine.

12. Sistema de câmera, de acordo com a reivindicação 11, caracterizado pelo fato de que o controlador é configurado para aplicar filtragem Kalman em cada ângulo de reboque do mundo real, e em que a filtragem Kalman associa o ângulo de reboque do mundo real com a pista correspondente e atualiza pelo menos uma propriedade da pista correspondente.

13. Sistema de câmera, de acordo com a reivindicação 12, caracterizado pelo fato de que as propriedades de cada pista incluem pelo menos uma variação, idade, direção e fonte.

14. Sistema de câmera, de acordo com a reivindicação 10, caracterizado pelo fato de que selecionar para baixo os ângulos de reboque identificados compreende: para cada pista, determinar um quantificador numérico para cada parâmetro em uma pluralidade de parâmetros da pista; para cada pista, somar os quantificadores numéricos determinados e determinar uma pontuação ponderada correspondendo à pista; comparar as pontuações ponderadas correspondendo com cada pista e identificar a faia tendo a maior pontuação ponderada; e selecionar o ângulo de reboque correspondendo com a pista tendo a pontuação ponderada mais alta como o ângulo de reboque único.

15. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que identificar uma pluralidade de objetos compreende identificar uma pluralidade de linhas e bordas na imagem usando uma transformação de Hough.

16. Método, de acordo com a reivindicação 15, caracterizado pelo fato de que identificar a pluralidade de linhas e bordas compreende identificar um ângulo, ponto de partida, ponto final, de cada linha e borda na pluralidade de linhas e bordas.

17. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que identificar a pluralidade de objetos inclui identificar uma posição de cada roda na imagem usando uma análise de imagem de transformação de bolha.

18. Método, de acordo com a reivindicação 17, caracterizado pelo fato de que compreende ainda identificar um ângulo de roda de cada roda usando análise de imagem.