BR102022010050A2

BR102022010050A2 - AUTOMATIC PANORAMIC CAMERA MIRROR SYSTEM INCLUDING WEIGHTED ESTIMATE OF TOWING ANGLE

Info

Publication number: BR102022010050A2
Application number: BR102022010050-0A
Authority: BR
Inventors: Utkarsh SHARMA; Liang Ma; Troy Otis Cooprider
Original assignee: Stoneridge, Inc.
Priority date: 2021-06-10
Filing date: 2022-05-24
Publication date: 2023-06-27

Abstract

A presente invenção refere-se a um método para automaticamente fazer a panorâmica de uma vista para um veículo comercial, inclui determinar uma pluralidade de ângulos de reboque estimados. Cada ângulo de reboque estimado é determinado usando um método de estimativa distinto, e o método atribui um valor de confiança para cada ângulo de reboque estimado na pluralidade de ângulo de reboque estimados. O método determina uma soma ponderada da pluralidade de ângulos de reboque estimados, e automaticamente desloca a vista baseada, pelo menos em parte, na soma ponderada e uma operação de veículo atual.

The present invention relates to a method for automatically panning a view for a commercial vehicle, includes determining a plurality of estimated towing angles. Each estimated tow angle is determined using a separate estimation method, and the method assigns a confidence value to each estimated tow angle in the plurality of estimated tow angles. The method determines a weighted sum of the plurality of estimated towing angles, and automatically pans the view based, at least in part, on the weighted sum and a current vehicle operation.

Description

AUTOMATIC PANORAMIC CAMERA MIRROR SYSTEM INCLUDING WEIGHTED ESTIMATE OF TOWING ANGLE

TECHNICAL FIELD

[0001] A presente invenção refere-se à um sistema de espelho de câmera (CMS) para uso em um caminhão comercial, e em particular a um CMS tendo uma característica panorâmica automática, incluindo estimativas de ângulo de reboque fundido.[0001] The present invention relates to a mirror camera system (CMS) for use in a commercial truck, and in particular to a CMS having an automatic panning feature, including cast trailer angle estimates.

BACKGROUND

[0002] Sistemas de substituição de espelho, e sistemas de câmera para complementar as visões de espelho, são utilizados nos veículos comerciais para intensificar a capacidade de um operador de veículo ver o ambiente circundante. Sistemas de espelho de câmera (CMS) utilizam uma ou mais câmeras, para fornecer um campo de visão intensificado para um operador de veículo. Em alguns exemplos, os sistemas de substituição de espelho cobrem um grande campo de visão maior do que um espelho convencional, ou inclui vistas que não são totalmente obtidas através de um espelho convencional.[0002] Mirror replacement systems, and camera systems to supplement mirror views, are used in commercial vehicles to enhance a vehicle operator's ability to see the surrounding environment. Mirror Camera Systems (CMS) utilize one or more cameras to provide an enhanced field of view for a vehicle operator. In some instances, mirror replacement systems cover a larger field of view than a conventional mirror, or include views that are not fully obtainable through a conventional mirror.

[0003] Em certas operações, tais como manobras de reversão de reboque, vistas estacionárias tais como aquelas fornecidas por um espelho fixo, ou uma câmera de campo de visão fixo, podem não fornecer uma vista total da operação, e a informação desejada que poderia ser apresentada para o operador não é apresentada para o operador. Sistemas panorâmicos manuais, em que o operador ajusta manualmente uma câmera física ou ângulo de espelho, pode requerer parada frequente das manobras, para ajustar uma vista fornecida, e podem fornecer granularidade insuficiente para os ajustes.[0003] In certain operations, such as towing reversal manoeuvres, stationary views such as those provided by a fixed mirror, or a fixed field of view camera, may not provide a full view of the operation, and the desired information that could be presented to the operator is not presented to the operator. Manual panoramic systems, where the operator manually adjusts a physical camera or mirror angle, may require frequent stopping maneuvers to adjust a given view, and may provide insufficient granularity for adjustments.

[0004] Alguns sistemas de exemplo tentam minimizar as questões com panorâmica manual, implementando panorâmica automática ou semiautomática. Tais sistemas confiam em (contam com) estimativas de ângulo de reboque, que são potencialmente imprecisos e os modelos da cinemática de operações de veículo, particularmente em operações de reversão, podem ter um tempo difícil por conta da variabilidade em potencial das estimativas do ângulo de reboque.[0004] Some example systems try to minimize manual panning issues by implementing automatic or semi-automatic panning. Such systems rely on (rely on) tow angle estimates, which are potentially inaccurate, and models the kinematics of vehicle operations, particularly in reversing operations, can have a difficult time because of the potential variability of the tow angle estimates. trailer.

SUMMARY OF THE INVENTION

[0005] Um método exemplar para automaticamente deslocar uma vista para um veículo comercial, inclui determinar uma pluralidade de ângulos de reboque estimados, cada ângulo de reboque estimado sendo determinado usando um método de estimativa distinto, atribuindo um valor de confiança para cada ângulo de reboque estimado, na pluralidade de ângulos de reboque estimados, determinando uma soma ponderada da pluralidade de ângulos de reboque estimados, e automaticamente deslocando a vista com base, pelo menos em parte, na soma ponderada e uma operação atual do veículo.[0005] An exemplary method for automatically shifting a view to a commercial vehicle includes determining a plurality of estimated tow angles, each estimated tow angle being determined using a separate estimation method, assigning a confidence value to each tow angle estimated, on the plurality of estimated tow angles, determining a weighted sum of the plurality of estimated tow angles, and automatically shifting the view based, at least in part, on the weighted sum and a current vehicle operation.

[0006] Outro exemplo do método descrito acima para automaticamente deslocar uma vista para veículos comerciais, ainda inclui adicionar a soma ponderada determinada, para uma lista ordenada de somas ponderadas históricas, e filtrando a passagem baixa da lista ordenada.[0006] Another example of the method described above for automatically shifting a view to commercial vehicles further includes adding the determined weighted sum to an ordered list of historical weighted sums and filtering the low pass of the ordered list.

[0007] Em outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial automaticamente deslocar a vista, é baseado na lista ordenada filtrada.[0007] In another example of any of the above methods, to automatically pan a view for a commercial vehicle automatically pan the view, it is based on the filtered sorted list.

[0008] Outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, ainda inclui descartar quaisquer ângulos de reboque estimados, com um valor de confiança abaixo de um limite pré-determinado, depois de designar o valor de confiança para cada ângulo de reboque estimado, e antes de determinar a soma ponderada.[0008] Another example of any of the above methods, to automatically shift a view to a commercial vehicle, still includes discarding any estimated tow angles, with a confidence value below a predetermined threshold, after assigning the value of confidence for each estimated tow angle, and before determining the weighted sum.

[0009] Em outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, o limite pré-determinado é pelo menos 85%.[0009] In another example of any of the above methods, to automatically shift a view to a commercial vehicle, the predetermined threshold is at least 85%.

[0010] Em outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, a soma ponderada é determinada multiplicando cada ângulo de reboque estimado pelo valor de confiança correspondente, a fim de determinar estimativas ponderadas, somando as estimativas ponderadas, e dividindo as estimativas ponderadas somadas por uma soma dos valores de confiança.[0010] In another example of any of the above methods, to automatically shift a view to a commercial vehicle, the weighted sum is determined by multiplying each estimated tow angle by the corresponding confidence value in order to determine weighted estimates, summing the estimates weighted estimates, and dividing the summed weighted estimates by a sum of the confidence values.

[0011] Em outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, os métodos de estimativa distintos incluem, pelo menos, dois de uma detecção de roda baseada em imagem, uma detecção de ângulo de borda traseira de reboque baseada em imagem, uma detecção do ângulo demarcação do reboque baseada em imagem, uma detecção de ângulo do volante baseada em imagem, uma detecção de desvio da borda da estrada, uma detecção do desvio do marcador de pista, um sensor do ângulo de sensor do ângulo de engate, e um sensor do ângulo de volante.[0011] In another example of any of the above methods to automatically shift a view for a commercial vehicle, the distinct estimation methods include at least two of an image-based wheel detection, a rear edge angle detection image-based towing angle detection, an image-based trailer demarcation angle detection, an image-based steering wheel angle detection, a road edge deviation detection, a lane marker deviation detection, a steering angle sensor engagement angle sensor, and a steering wheel angle sensor.

[0012] Em outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, automaticamente deslocar a vista compreende ajustar uma vista da classe II dentro de uma vista da classe IV.[0012] In another example of any of the above methods, to automatically shift a view for a commercial vehicle, automatically shifting the view comprises fitting a class II view within a class IV view.

[0013] Em outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, automaticamente desviar a vista compreende manter uma borda da estrada do reboque dentro da vista da classe II.[0013] In another example of any of the above methods, to automatically shift a view to a commercial vehicle, automatically shifting the view comprises keeping a trailer roadside within the class II view.

[0014] Outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, ainda inclui continuamente repetir o método, dessa maneira gerando monitoração do ângulo do reboque em tempo real.[0014] Another example of any of the above methods to automatically shift a view to a commercial vehicle further includes continuously repeating the method, thereby generating real-time trailer angle monitoring.

[0015] Em outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, determinando a pluralidade de ângulos de reboque estimados, designando o valor de confiança para cada ângulo do reboque estimado, na pluralidade de ângulos de reboque estimada, e determinar uma média ponderada da pluralidade de ângulos de reboque estimada, é realizada dentro de um controlador do sistema de espelho de câmera do veículo.[0015] In another example of any of the above methods, to automatically shift a view to a commercial vehicle, determining the plurality of estimated tow angles, assigning the confidence value for each estimated tow angle, in the plurality of tow angles estimating, and determining a weighted average of the estimated plurality of tow angles, is performed within a controller of the vehicle's mirror camera system.

[0016] Em outro exemplo de qualquer um dos métodos acima, para automaticamente deslocar uma vista para um veículo comercial, pelo menos uma determinação da pluralidade de ângulos de reboque estimada, designando o valor de confiança para cada ângulo de reboque estimado, na pluralidade de ângulos de reboque estimados, e determinando uma média ponderada da pluralidade de ângulos de reboque estimada, é realizada remota dos sistemas de espelho de câmera do controlador, e transmitida para os sistemas de espelho de câmera do controlador.[0016] In another example of any of the above methods, to automatically shift a view to a commercial vehicle, at least one determination of the plurality of estimated tow angles, designating the confidence value for each estimated tow angle, in the plurality of estimated tow angles, and determining a weighted average of the estimated plurality of tow angles, is performed remote from the controller mirror camera systems, and transmitted to the controller mirror camera systems.

[0017] Em uma modalidade exemplar um sistemas de espelho de câmera para um veículo inclui uma primeira câmera tendo um primeiro campo de visão, um controlador configurado para receber o primeiro campo de visão, e a saída de um subconjunto do primeiro campo de visão para uma primeira exibição, o controlador incluindo um módulo de detecção do ângulo de reboque, configurado para determinar uma pluralidade de estimativas de ângulos de reboque, um módulo do valor de confiança configurado para determinar um valor de confiança de cada estimativa de ângulo de reboque, e um módulo de fusão configurado para fundir uma pluralidade de estimativas de ângulos de reboque e os valores de confiança, em uma única estimativa de ângulo de reboque, e automaticamente deslocando pelo menos uma vista dos sistemas de espelho de câmera com base, pelo menos em parte, em uma única estimativa de ângulo de reboque, de tal maneira que uma característica do reboque é mantida dentro de pelo menos uma vista.[0017] In an exemplary embodiment a camera mirror system for a vehicle includes a first camera having a first field of view, a controller configured to receive the first field of view, and outputting a subset of the first field of view to a first display, the controller including a tow angle detection module configured to determine a plurality of tow angle estimates, a confidence value module configured to determine a confidence value of each tow angle estimate, and a fusion module configured to merge a plurality of tow angle estimates and confidence values, into a single tow angle estimate, and automatically shifting at least one view of the mirror based camera systems, at least in part , into a single tow angle estimate, such that a trailer feature is maintained within at least one view.

[0018] Em outro exemplo do sistema de espelho de câmera para um veículo descrito acima, o módulo de fusão é configurado para determinar um ângulo de reboque de soma ponderada, com base na pluralidade de estimativas de ângulos de reboque, e nos valores de confiança correspondentes.[0018] In another example of the camera mirror system for a vehicle described above, the fusion module is configured to determine a weighted sum towing angle, based on the plurality of towing angle estimates, and the confidence values correspondents.

[0019] Em outro exemplo de qualquer um dos sistemas de espelho de câmera para um veículo descritos acima, o módulo de fusão é ainda configurado para adicionar o ângulo de reboque de soma ponderada, para um conjunto de dados do ângulo de reboque de soma ponderada histórica, e filtrando a passagem baixa do conjunto de dados do ângulo de reboque de soma ponderada histórica.[0019] In another example of any of the one-vehicle camera mirror systems described above, the fusion module is further configured to add the sum-weighted tow angle to a sum-weighted tow angle dataset historical, and low-pass filtering of the historical weighted tow angle dataset.

[0020] Em outro exemplo de qualquer um dos sistemas de espelho de câmera para um veículo descritos acimas, cada estimativa de ângulo de reboque, em uma pluralidade de estimativas de ângulo de reboque, é determinada através de um método de estimativa de ângulo distinto.[0020] In another example of any of the one-vehicle camera mirror systems described above, each tow angle estimate of a plurality of tow angle estimates is determined by a distinct angle estimation method.

[0021] Em outro exemplo de qualquer um dos sistemas de espelho de câmera para um veículo descritos acima, o controlador é ainda configurado para adicionar a estimativa de reboque única, para uma lista ordenada da estimativa de ângulo de reboque histórica, e lista ordenada de filtro de passagem baixa.[0021] In another example of any of the mirror camera systems for a vehicle described above, the controller is further configured to add the single tow estimate, to an ordered list of the historical tow angle estimate, and ordered list of low pass filter.

[0022] Em outro exemplo de qualquer um dos sistemas de espelho de câmera para um veículo descritos acimas, o recurso automático é baseado, pelo menos em parte, na lista ordenada filtrada de passagem baixa.[0022] In another example of any of the one-vehicle camera mirror systems described above, the automatic feature is based, at least in part, on the low-pass filtered sorted list.

BRIEF DESCRIPTION OF THE DRAWINGS

[0023] A divulgação pode ser ainda entendida através de referência à descrição detalhada a seguir, quando considerada em conexão com os desenhos que acompanham em que:[0023] The disclosure can be further understood through reference to the detailed description below, when considered in connection with the accompanying drawings in which:

[0024] A Figura 1A é uma vista esquemática da frente de um caminhão comercial, com um sistema de espelho de câmera (CMS) usando para fornecer pelo menos as vistas da Classe II e Classe IV.[0024] Figure 1A is a schematic view of the front of a commercial truck, with a mirror camera system (CMS) using to provide at least the Class II and Class IV views.

[0025] A Figura 1B é uma elevação de topo esquemática de um caminhão comercial, com um sistema de espelho de câmera fornecendo vistas da Classe II, Classe IV, Classe V e Classe VI.[0025] Figure 1B is a schematic top elevation of a commercial truck, with a camera mirror system providing views of Class II, Class IV, Class V, and Class VI.

[0026] A Figura 2 é uma vista em perspectiva de topo esquemática de uma cabine de veículo, incluindo exibições e câmeras de interior.[0026] Figure 2 is a schematic top perspective view of a vehicle cabin, including interior views and cameras.

[0027] A Figura 3A ilustra um veículo no início de uma manobra inversa, sem ângulo de reboque.[0027] Figure 3A illustrates a vehicle at the beginning of a reverse maneuver, without towing angle.

[0028] A Figura 3B ilustra a manobra de ré no meio do veículo, com um ângulo de reboque alto.[0028] Figure 3B illustrates the reverse maneuver in the middle of the vehicle, with a high towing angle.

[0029] A Figura 4 ilustra um método para obter um ângulo de reboque ponderado estimado.[0029] Figure 4 illustrates a method for obtaining an estimated weighted tow angle.

[0030] A Figura 5 ilustra um sistema para determinar um ângulo de reboque preciso, do ângulo ponderado estimado, e automaticamente um sistema de espelho de câmera panorâmica.[0030] Figure 5 illustrates a system for determining an accurate tow angle, from the estimated weighted angle, and automatically a panoramic camera mirror system.

[0031] As modalidades, exemplos e alternativas dos parágrafos das reivindicações anteriores, ou a descrição e desenhos a seguir, incluindo qualquer um dos vários aspectos ou respectivas características individuais, podem ser tomados independentemente ou em qualquer combinação. As características descritas em conexão com uma modalidade são aplicáveis a todas as modalidades, a menos que tais características sejam incompatíveis.[0031] The embodiments, examples and alternatives of the paragraphs of the preceding claims, or the following description and drawings, including any of the various aspects or respective individual characteristics, may be taken independently or in any combination. Features described in connection with one modality are applicable to all modalities, unless such features are incompatible.

DETAILED DESCRIPTION

[0032] Uma vista esquemática de um veículo comercial 10 é ilustrada nas Figuras 1A e 1B. O veículo 10 inclui uma cabine de veículo ou trator 12, para puxar um reboque 14. Embora um caminhão comercial seja considerado, nesta divulgação, a invenção pode também ser aplicada a outros tipos de veículos. O veículo 10 incorpora um sistema de espelho de câmera (CMS) 15 (Fig. 2), que tem braços de câmera do lado do motorista e do passageiro 16a, 16b, montados para o lado de fora da cabine do veículo 12. Se desejado, os braços da câmera 16a, 16b podem incluir espelhos convencionais integrados com eles também, se bem que o CMS 15 pode ser usado para inteiramente substituir espelhos. Em exemplos adicionais, cada lado pode incluir múltiplos braços de câmera, cada braço alojando uma ou mais câmeras e/ou espelhos.[0032] A schematic view of a commercial vehicle 10 is illustrated in Figures 1A and 1B. Vehicle 10 includes a vehicle or tractor cab 12, for pulling a trailer 14. Although a commercial truck is contemplated in this disclosure, the invention can also be applied to other types of vehicles. Vehicle 10 incorporates a mirror camera system (CMS) 15 (Fig. 2) which has driver and passenger side camera arms 16a, 16b mounted to the outside of vehicle cab 12. If desired , camera arms 16a, 16b can include conventional mirrors integrated with them as well, although the CMS 15 can be used to replace mirrors entirely. In further examples, each side may include multiple camera arms, each arm housing one or more cameras and/or mirrors.

[0033] Cada um dos braços da câmera 16a, 16b inclui uma base que é presa, por exemplo, à cabine 12. Um braço giratório é apoiado pela base, e pode articular em relação a isso. Pelo menos uma câmera voltada para a recompensa 20a, 20b é disposta, respectivamente, dentro dos braços de câmera. As câmeras exteriores 20a, 20b, respectivamente, fornecem um campo de vista exterior FOVEX1, FOVEX2, em que cada um inclui pelo menos uma das vistas da Classe II e Classe IV (Fig. 1B), que são pontos de vista legais prescritos na indústria de caminhões comerciais. A vista de classe II em um dado lado do veículo 10, é um subconjunto de vista da classe IV, do mesmo lado do veículo 10. Múltiplas câmeras podem também ser usadas em cada braço de câmera 16a, 16b a fim de fornecer essas vistas, se desejado. Cada braço 16a, 16b pode também fornecer um alojamento que envolve eletrônicos, que são configurados para fornecer várias características de CMS 15.[0033] Each of the camera arms 16a, 16b includes a base that is attached, for example, to the cabin 12. A swivel arm is supported by the base, and can pivot relative to it. At least one reward facing camera 20a, 20b is disposed respectively within the camera arms. The exterior cameras 20a, 20b, respectively, provide a FOVEX1, FOVEX2 exterior field of view, each of which includes at least one of the Class II and Class IV views (Fig. 1B), which are statutory views prescribed in the industry. of commercial trucks. The class II view on a given side of the vehicle 10 is a subset of the class IV view on the same side of the vehicle 10. Multiple cameras may also be used on each camera arm 16a, 16b in order to provide these views, if desired. Each arm 16a, 16b may also provide a housing that surrounds electronics, which are configured to provide various features of CMS 15.

[0034] A primeira e a segunda exibições de vídeo 18a, 18b são dispostas em cada um dos lados do motorista e do passageiro, dentro da cabine de veículo 12, em ou mais perto dos pilares A- 19a, 19b para exibir vistas de Classe II e Classe IV, nos seus respectivos lados do veículo 10, que fornece vistas laterais voltadas para trás ao longo do veículo 10, que são capturadas pelas câmeras exteriores 20a, 20b.[0034] The first and second video displays 18a, 18b are arranged on each of the driver and passenger sides, inside the vehicle cabin 12, at or closer to the A-pillars 19a, 19b to display Class views II and Class IV, on their respective sides of vehicle 10, which provide rearward facing side views along vehicle 10, which are captured by exterior cameras 20a, 20b.

[0035] Se os vídeos de vistas de Classe V e Classe VI são também desejados, um alojamento da câmera 16c e da câmera 20c pode ser disposto em ou próximo da frente do veículo 10, a fim de fornecer aquelas vistas (Fig. 1B). Uma terceira exibição 18c disposta dentro do cabineine 12, próximo do para-brisa do centro de topo, pode ser usada para exibir as vistas da Classe V e Classe VI, que são voltadas para a frente do veículo 10, para o motorista.[0035] If videos of Class V and Class VI views are also desired, a camera housing 16c and camera 20c can be arranged at or near the front of the vehicle 10 in order to provide those views (Fig. 1B) . A third display 18c disposed within the cabin 12 near the top center windshield can be used to display the Class V and Class VI views which face the front of the vehicle 10 towards the driver.

[0036] Se o vídeo de vistas de classe VIII é desejado, alojamentos de câmera podem ser dispostos nos lados e na traseira do veículo 10, a fim de fornecer campos de vistas, incluindo algumas ou todas as zonas de classe VIII do veículo 10. Em tais exemplos, a terceira exibição 18c pode incluir uma ou mais das estruturas exibindo as vistas da classe VIII. Alternativamente, exibições adicionais podem ser adicionadas próximo da primeira, segunda e terceira exibições 18a, 18b, 18c, e fornecem uma exibição dedicada para fornecer uma vista da classe VIII.[0036] If video of class VIII views is desired, camera housings may be arranged on the sides and rear of vehicle 10 in order to provide fields of views including some or all of vehicle 10's class VIII zones. In such examples, the third display 18c may include one or more of the structures displaying the Class VIII views. Alternatively, additional views can be added next to the first, second and third views 18a, 18b, 18c, and provide a dedicated view to provide a Class VIII view.

[0037] Com referência contínua às Figuras 1A, 1B e 2, Figuras 3A e 3B ilustram um veículo 100, no processo de execução de uma manobra inversa. Na posição inicial (Figura 3A) o caminhão 110 tem um ângulo inicial de aproximadamente zero graus em relação à cabine 120, significando que ele está alinhado com a orientação da cabine 120. Este ângulo pode, alternativamente, ser expresso como 180 graus em relação à cabine 120. Durante o processo de inversão, e particularmente quando invertendo através de um giro, o caminhão 110 inclina em relação à cabine 120 (Figura 3B), criando um ângulo de caminhão que impacta as manobras inversas. A inclinação em particular da Figura 3B é exagerada, em relação aos ângulos mais esperados para os propósitos ilustrativos.[0037] With continued reference to Figures 1A, 1B and 2, Figures 3A and 3B illustrate a vehicle 100 in the process of executing a reverse maneuver. In the initial position (Figure 3A) the truck 110 has an initial angle of approximately zero degrees with respect to the cab 120, meaning that it is aligned with the orientation of the cab 120. This angle can alternatively be expressed as 180 degrees with respect to the cab 120. During the reversing process, and particularly when reversing through a turn, truck 110 tilts relative to cab 120 (Figure 3B), creating a truck angle that impacts reverse maneuvers. The particular tilt of Figure 3B is exaggerated, relative to the most expected angles for illustrative purposes.

[0038] A fim de ajudar o motorista fazer a manobra inversa, é benéfico garantir que a traseira 112 do caminhão 110 é visível para o motorista em, pelo menos, uma exibição através da manobra inversa. Em alguns exemplos em particular, é desejável não somente incluir a traseira 112 do caminhão 110, mas também o centro da vista de classe II na traseira 112 do caminhão 110. Entretanto, como ilustrado na Figura 3B, uma vista estática de classe II pode resultar na traseira 112 do caminhão 110, se estender para além das fronteiras da vista de classe II, mesmo quando a traseira 112 permanece dentro do campo de vista da Classe IV. A fim de evitar a perda de vistas das traseiras 112 do caminhão 110, na vista de classe II, ou para manter a centralização da vista da classe II na traseira 112 do caminhão 112 110, o veículo 10, 100 ilustrada aqui o presente, inclui uma característica panorâmica automática, dentro do sistema de espelho de câmera.[0038] In order to help the driver perform the reverse maneuver, it is beneficial to ensure that the rear 112 of the truck 110 is visible to the driver in at least one view through the reverse maneuver. In some particular examples, it is desirable not only to include the rear 112 of the truck 110, but also the center of the class II view of the rear 112 of the truck 110. However, as illustrated in Figure 3B, a static class II view can result in the rear 112 of the truck 110, extend beyond the boundaries of the Class II view, even when the rear 112 remains within the Class IV field of view. In order to avoid losing views of the rear 112 of the truck 110, in the class II view, or to maintain the centering of the view of the class II on the rear 112 of the truck 112 110, the vehicle 10, 100 illustrated here, includes an automatic panning feature, within the camera mirror system.

[0039] Uma característica panorâmica automática usa uma combinação da estimativa de ângulo de caminhão distinto, e sistemas de detecção para estimar o angulo do caminhão em relação ao trator em qualquer tempo dado. Os ângulos de caminhão estimados são designados um “peso” correspondente a como provavelmente eles são exatos, dadas as condições de operação em curso, e fornecidos para um sistema de fusão dentro do controlador de veículo. A título de exemplo, um sistema baseado em uma alta probabilidade de exatidão (maior do que 90%) em condições de luz do dia, quando uma roda preta se destaca contra o ambiente circundante, e uma baixa probabilidade de exatidão (50-70%) na luz da noite, condições quando as rodas traseiras de misturam com o ambiente escuro. Similarmente, os sistemas de detecção baseados em marcadores de pista, tais como sistemas de detecção de linha reta usando transformadores de Hough, podem ter uma probabilidade menor de exatidão em condições de tempo obscuro (chuva, neve, neblina etc.), e uma probabilidade mais alta de exatidão em condições de tempo claro, e um sistema de detecção de borda inferior pode ter uma alta probabilidade de exatidão com um reboque de recipiente, porém uma baixa probabilidade de exatidão com um reboque de caminhão-tanque.[0039] An automatic panning feature uses a combination of separate truck angle estimation, and detection systems to estimate the angle of the truck relative to the tractor at any given time. The estimated truck angles are assigned a “weight” corresponding to how accurate they are likely to be, given current operating conditions, and provided to a fusion system within the vehicle controller. As an example, a system based on a high probability of accuracy (greater than 90%) in daylight conditions, when a black wheel stands out against the surrounding environment, and a low probability of accuracy (50-70% ) in night light, conditions when the rear wheels blend in with the dark environment. Similarly, detection systems based on track markers, such as straight line detection systems using Hough transformers, may have a lower probability of accuracy in obscure weather conditions (rain, snow, fog, etc.), and a probability higher accuracy in clear weather conditions, and an underedge detection system may have a high probability of accuracy with a container trailer, but a low probability of accuracy with a tanker trailer.

[0040] O controlador de veículo funde as múltiplas estimativas de ângulos de caminhão, usando uma soma ponderada baseada no valor de confiança de cada método de detecção. A soma ponderada é referida como uma estimativa bruta. A estimativa bruta é depois combinada com estimativas históricas, e filtrada usando um filtro passagem baixa para fornecer um ângulo de reboque em transição suave, para a característica panorâmica automática em CMS, como também para qualquer outro sistema de veículo que pode se beneficiar da utilização da estimativa de ângulo de reboque. Em alguns exemplos, o sistema de espelho de câmera pode gerar informações da meta correspondente aos lados do caminhão, e a meta informação pode ser utilizada para evitar falsos positivos, e/ou de outra maneira fornecer confiança adicional para determinados ângulos de reboque. A fim de reduzir o atraso da fase, e desse modo o atraso do relatório, quando determinando a estimativa do ângulo de reboque para níveis insignificantes, o filtro de passagem baixa começa na primeira medição. Isto reduz o atraso da fase, fornecendo um valor inicial atribuído. Embora algum atraso ainda esteja presente em tal sistema, o atraso é minimizado de maneira a não impactar os sistemas de reversão.[0040] The vehicle controller merges the multiple estimates of truck angles, using a weighted sum based on the confidence value of each detection method. The weighted sum is referred to as a rough estimate. The raw estimate is then combined with historical estimates, and filtered using a low pass filter to provide a smoothly transitioning tow angle, for the automatic panning feature in CMS, as well as for any other vehicle system that can benefit from using the tow angle estimation. In some examples, the camera mirror system can generate target information corresponding to the sides of the truck, and the target information can be used to avoid false positives, and/or otherwise provide additional confidence for certain towing angles. In order to reduce the phase delay, and thereby the reporting delay, when determining the tow angle estimate for negligible levels, the low pass filter starts at the first measurement. This reduces phase delay by providing an initial assigned value. Although some delay is still present in such a system, the delay is minimized so as not to impact reversal systems.

[0041] Com referência contínua às Figuras 1-3B, a Figura 4 ilustra um processo para determinar um ângulo de reboque mais preciso. Inicialmente, o processo 300 determina estimativas de ângulos em uma etapa 310 de “Determinar Estimativas de Ângulo”. O número de estimativas de ângulos determinada pode variar, dependendo dos sistemas em particular envolvidos. Em alguns exemplos, pelo menos algumas das estimativas de ângulo são puramente visão baseada, e utilizam características de rastreamento de objetos (por exemplo, rodas, borda traseira, marcações de reboque, e similares) identificadas no vídeo de CM, alimentando para determinar o ângulo de reboque estimado. Similarmente, algumas estimativas de ângulo podem ser determinadas com base no desvio de uma beira de estrada, e/ou detecção de pista, comparação do posicionamento de satélite com os mapas armazenados, sensores de ângulo de engate, detecções de bordas de reboque, detectores de pista, sensores de radar, sensores lidar, e quaisquer outros sistemas de detecção de ângulo de reboque similares.[0041] With continued reference to Figures 1-3B, Figure 4 illustrates a process for determining a more accurate tow angle. Initially, process 300 determines angle estimates in a step 310 of "Determine Angle Estimates". The number of angle estimates given can vary depending on the particular systems involved. In some instances, at least some of the angle estimates are purely view based, and utilize object tracking features (e.g., wheels, rear edge, trailer markings, and the like) identified in the CM video feed to determine the angle. estimated tow. Similarly, some angle estimates can be determined based on roadside deviation, and/or track detection, satellite positioning comparison with stored maps, hitch angle sensors, trailing edge detections, track, radar sensors, lidar sensors, and any other similar trailer angle detection systems.

[0042] Uma vez determinadas as estimativas de ângulo de reboque, o controlador determinando as estimativas do ângulo de reboque atribui um valor de confiança para cada estimativa de ângulo de reboque, em uma etapa 320 de “Determinar Valores de Confiança”. A metodologia para determinar a confiança de cada estimativa, depende de como a estimativa particular é realizada, e pode ser determinada por uma pessoa versada na técnica, usando qualquer técnica apropriada. Em alguns exemplos, os valores de confiança podem ser dependentes das condições de tempo, condições de iluminação, tipo de reboque, dados históricos de precisão, e quaisquer outras características que podem ser relevantes para uma probabilidade de exatidão. Os valores de confiança são expressos como uma percentagem de exatidão (por exemplo, ângulo de reboque de 15 graus Baseado em Roda 15, tem uma chance de 94% de ser exato).[0042] Once the tow angle estimates are determined, the controller determining the tow angle estimates assigns a confidence value to each tow angle estimate, in a step 320 of "Determine Confidence Values". The methodology for determining the confidence of each estimate depends on how the particular estimate is performed and can be determined by a person skilled in the art using any appropriate technique. In some examples, confidence values may be dependent on weather conditions, lighting conditions, type of trailer, historical accuracy data, and any other characteristics that may be relevant to a probability of accuracy. Confidence values are expressed as a percentage of accuracy (eg 15 degree tow angle Based on Wheel 15 has a 94% chance of being accurate).

[0043] Depois de determinar os valores de confiança, o controlador descarta qualquer estimativa abaixo de um limite mínimo de confiança na etapa 330 de “Descartar Ângulos Abaixo do Limite de Confiança”. Em um exemplo, estimativas de confiança abaixo de 85% são consideradas ser errôneas, ou de outra maneira não exatas em alguns sistemas, e são removidas de consideração. Em outro exemplo, estimativas abaixo de uma confiança de 90%, são consideradas ser errôneas. Descartando estimativas abaixo do limite mínimo do valor de confiança, elimina pontos de divergência que podem ocorrer devido aos sensores imprecisos, particularmente más condições para uma dada técnica de estimativa, e quaisquer outras condições similares que resultam em estimativas imprecisas. A eliminação de pontos de divergência extremos aumenta a exatidão da estimativa. Em alguns exemplos, em que um número significativo de estimativas é fornecido para o controlador, e/ou em que um valor de confiança baixo não é indicativo de um erro, descartar os ângulos abaixo do limite pode ser omitido.[0043] After determining the confidence values, the controller discards any guesses below a lower confidence bound in step 330 of “Discard Angles Below Confidence Bound”. In one example, confidence estimates below 85% are considered to be erroneous, or otherwise not accurate in some systems, and are removed from consideration. In another example, estimates below 90% confidence are considered to be erroneous. Dropping estimates below the lower bound of the confidence value eliminates points of divergence that can occur due to inaccurate sensors, particularly poor conditions for a given estimation technique, and any other similar conditions that result in inaccurate estimates. Eliminating extreme points of divergence increases the accuracy of the estimate. In some instances, where a significant number of guesses are provided to the controller, and/or where a low confidence value is not indicative of an error, dropping angles below the threshold can be omitted.

[0044] Depois de todas as estimativas abaixo do limite serem descartadas, ou a etapa 330 ser desviada, um algoritmo de fusão no controlador determina uma soma ponderada de uma estimativa de ângulo, em uma etapa 340 de “Determinar a Soma Ponderada”. Em um exemplo de determinação da média ponderada, uma primeira estimativa de ângulo de reboque de 14 graus tem uma confiança de 98%, uma segunda estimativa de ângulo de reboque de 10 graus tem uma confiança de 86%, e uma terceira estimativa de ângulo de reboque de 15 graus tem uma confiança de 94%. O limite de confiança predefinido é estabelecido em 85%, e todos os três valores são considerados ser aceitáveis. O algoritmo de fusão multiplica cada ângulo pela sua confiança correspondente, soma os resultados, e divide a soma por uma soma total da confiança. No caso exemplar, o algoritmo de fusão resulta nos graus a seguir: ((14*98)+(10*86)+(15*94))/(98+86+94) =13,10. Desse modo, no caso exemplar, o ângulo determinado (alternativamente referido como uma medição bruta) é 13,10 graus, e este ângulo é a saída para um filtro de passagem baixa. O ângulo filtrado de passagem baixa é a saída para os sistemas panorâmico automático. É percebido que implementações práticas podem utilizar, substancialmente, mais do que três estimativas de ângulo, e quanto mais estimativas de ângulo são usadas, mais preciso o valor resultante será.[0044] After all estimates below the threshold are discarded, or step 330 is bypassed, a fusion algorithm in the controller determines a weighted sum of an angle estimate, in a step 340 of "Determine Weighted Sum". In an example of weighted averaging, a first estimate of a tow angle of 14 degrees has a confidence of 98%, a second estimate of a tow angle of 10 degrees has a confidence of 86%, and a third estimate of an angle of 15 degree tow has a confidence of 94%. The default confidence limit is set at 85%, and all three values are considered to be acceptable. The fusion algorithm multiplies each angle by its corresponding confidence, sums the results, and divides the sum by a total confidence sum. In the exemplary case, the merging algorithm results in the following degrees: ((14*98)+(10*86)+(15*94))/(98+86+94) =13.10. Thus, in the exemplary case, the determined angle (alternatively referred to as a raw measurement) is 13.10 degrees, and this angle is output to a low-pass filter. The low-pass filtered angle is the output for automatic panoramic systems. It is realized that practical implementations may use substantially more than three angle estimates, and the more angle estimates that are used, the more accurate the resulting value will be.

[0045] Uma vez que a média ponderada do ângulo estimado foi determinada, o controlador adiciona a média ponderada para um conjunto de dados históricos, incluindo médias ponderadas anteriormente determinadas da operação atual. Em um exemplo, as estimativas de ângulo de reboque são realizadas aproximadamente a cada 200 ms, e os dados históricos estabelecidos incluem cada entrada subsequente em ordem. Um filtro de passagem baixa é aplicado a um conjunto de dados históricos, incluindo a média ponderada recentemente determinada. O filtro de passagem baixa suaviza as transições e elimina transições de ângulo de reboque “inconstantes” ou “abrutas”, fornecendo uma representação mais exata da mudança do ângulo de reboque no decorrer do tempo, e possibilitando os sistemas panorâmicos automáticos, e/ou qualquer outro sistema de veículo, levar em conta mudanças precisas.[0045] Once the weighted average of the estimated angle has been determined, the controller adds the weighted average to a set of historical data, including previously determined weighted averages of the current operation. In one example, tow angle estimates are performed approximately every 200ms, and the established historical data includes each subsequent entry in order. A low-pass filter is applied to a set of historical data, including the newly determined weighted average. The low-pass filter smoothes transitions and eliminates "choppy" or "jerky" tow angle transitions, providing a more accurate representation of changing tow angle over time, and enabling automatic panning systems, and/or any other vehicle system, take into account precise changes.

[0046] Com referência contínua à Figura 4, Figura 5 esquematicamente ilustra um exemplo de sistemas panorâmicos automáticos para um veículo 410. Um controlador 420 recebe imagens e outras informações de sensor do veículo 410, e o controlador 420 determina estimativas de ângulos brutos a partir das imagens recebidas, e informações do sensor usando um módulo de detectar ângulo 424. Ao longo do módulo de detecção de ângulo 424, um módulo de determinação do valor de confiança 422 utiliza os dados recebidos 421, indicativos das condições e de quaisquer outros aspectos que impactam a confiança de cada ângulo detectado. O módulo de determinação do valor de confiança 422, determina a confiança de cada detecção de ângulo de reboque, e os valores de detecção e confiança são fornecidos para um módulo de fusão 426.[0046] With continued reference to Figure 4, Figure 5 schematically illustrates an example of automatic panoramic systems for a vehicle 410. A controller 420 receives images and other sensor information from the vehicle 410, and the controller 420 determines gross angle estimates from of the received images, and information from the sensor using an angle detect module 424. Throughout the angle detection module 424, a confidence value determination module 422 uses the received data 421, indicative of the conditions and any other aspects that impact the confidence of each detected angle. The confidence value determination module 422 determines the confidence of each tow angle detection, and the detection and confidence values are provided to a fusing module 426.

[0047] O módulo de fusão 426 determina a média ponderada dos ângulos de reboque estimados, e funde a média ponderada com os ângulos de reboque anteriores, que é armazenada em uma história de ângulo de reboque 428. O módulo de fusão 426 também aplica um filtro de passagem baixa, para o ângulo de reboque combinado, e dados de um ângulo de reboque histórico para determinar um ângulo de reboque bidimensional. O ângulo de reboque bidimensional é a estimativa precisa do ângulo de reboque atual em um plano bidimensional. O ângulo de reboque bidimensional é convertido para uma posição de reboque tridimensional, com base no ângulo de reboque, e as características geográficas (por exemplo, grau de colinas). O ângulo de reboque tridimensional é depois fornecido para uma característica panorâmica automática, e os sistemas de espelho de câmera deslocam automaticamente pelo menos uma visão da câmera dentro da imagem. Em um exemplo, deslocamento automático é configurado para garantir que a borda traseira do reboque é mantida dentro da visão da classe II, através de operações do veículo. Em outras implementações, o panorama automático pode manter outros objetos ou porções de objetos na visão.[0047] The fusion module 426 determines the weighted average of the estimated tow angles, and merges the weighted average with the previous tow angles, which is stored in a tow angle history 428. The fusion module 426 also applies a low-pass filter, for combined tow angle, and historical tow angle data to determine a two-dimensional tow angle. Two-dimensional tow angle is the accurate estimate of the current tow angle in a two-dimensional plane. The two-dimensional tow angle is converted to a three-dimensional tow position, based on tow angle, and geographic features (eg grade of hills). The three-dimensional tow angle is then provided for an automatic panning feature, and the camera mirror systems automatically shift at least one camera view within the image. In one example, automatic shifting is set up to ensure that the trailing edge of the trailer is kept within Class II vision throughout vehicle operations. In other implementations, auto panning may keep other objects or portions of objects in view.

[0048] A fusão dos múltiplos ângulos estimados de fontes diferentes em um único mais confiável ângulo de reboque, estima que pode ser usado ao longo de múltiplos sistemas. A fusão de múltiplas estimativas de ângulo de reboque em um único valor, também possibilitam o sistema levar em conta a não confiabilidade de certas técnicas de estimativa de ângulo de reboque, para certas condições e/ou certos tipos de reboques, enquanto ainda confiavelmente determinando um panorama para um ângulo de reboque preciso.[0048] The merging of multiple angle estimates from different sources into a single, more reliable angle tow estimate that can be used over multiple systems. The merging of multiple tow angle estimates into a single value also enables the system to take into account the unreliability of certain tow angle estimation techniques, for certain conditions and/or certain types of trailers, while still reliably determining a panorama for a precise towing angle.

[0049] Embora uma modalidade de exemplo tenha sido divulgada, um trabalhador de conhecimento comum nesta técnica deverá reconhecer que certas modificações estariam dentro do escopo das reivindicações. Por este motivo, as reivindicações a seguir devem ser estudadas para determinar seus verdadeiros escopo e conteúdo.[0049] Although an example embodiment has been disclosed, a worker of common knowledge in this art would recognize that certain modifications would be within the scope of the claims. For this reason, the following claims should be studied to determine their true scope and content.

Claims

Method for automatically panning a view to a commercial vehicle, characterized in that it comprises:
determining a plurality of estimated tow angles, each estimated tow angle being determined using a separate estimation method;
assigning a confidence value to each estimated tow angle of the plurality of estimated tow angles;
determining a weighted sum of the plurality of estimated tow angles; It is
automatically, the overview of the view based, at least in part, on the weighted sum and an ongoing vehicle operation.

Method according to claim 1, characterized in that it further comprises adding the determined weighted sum to an ordered list of historical and low-pass weighted sums by filtering the ordered list.

Method according to claim 2, characterized by the fact that automatically panning of a view is based on the sorted filtered list.

Method according to claim 1, characterized in that it further comprises discarding any estimated tow angles with a confidence value below a predetermined threshold, after assigning the confidence value to each estimated tow angle, and before determining the weighted sum.

Method, according to claim 4, characterized in that the predetermined limit is at least 85%.

Method, according to claim 1, characterized in that the weighted sum is determined by multiplying each tow angle estimate by the corresponding confidence value, in order to determine weighted estimates, summing the weighted estimates, and dividing the summed weighted estimates by a sum of the confidence values.

Method according to claim 1, characterized in that the distinct estimation methods include at least two of an image-based wheel detection, an image-based trailer trailing edge angle detection, an image-based image-based towing angle, a roadside deviation detection, a lane marker deviation detection, a hitch angle sensor, and a wheel angle sensor.

Method, according to claim 1, characterized in that automatically panning the view comprises adjusting a class II view within a class IV view.

Method, according to claim 8, characterized by the fact that automatically panning the view comprises keeping a trailing edge of the trailer within the class II view.

Method, according to claim 1, characterized in that it further comprises continuously repeating the method, thereby generating real-time towing angle monitoring.

Method according to claim 1, characterized in that determining the plurality of estimated tow angles, assigning the confidence value for each estimated tow angle in the plurality of estimated tow angles, and determining a weighted average of the plurality of estimated towing angles, is performed within a vehicle's camera mirror controller system.

Method, according to claim 1, characterized in that at least one of determining the plurality of estimated tow angles, assigning the confidence value for each estimated tow angle, in the plurality of estimated tow angles, and determining a weighted average of the plurality of estimated tow angles, is performed remotely to a mirror camera system controller, and transmitted to the mirror camera system controller.

Camera mirror system for a vehicle, characterized in that it comprises:
a first camera that has a first field of view
a controller configured to receive the first field of view, and output a subset of the first field of view to a first display;
the controller including a tow angle detection module configured to determine a plurality of tow angle estimates, a confidence value module configured to determine a confidence value of each tow angle estimate, and a fusion module configured to merge the plurality of tow angle estimates, and the confidence value into a single tow angle estimate; It is
automatically panning of at least one view of the mirror camera system, based at least in part on the single estimate of the trailer angle, such that a trailer feature is maintained within at least one view.

Camera mirror system, according to claim 13, characterized in that the fusion module is configured to determine a sum-weighted tow angle based on the plurality of tow angle estimates and the corresponding confidence value .

Camera mirror system according to claim 14, characterized in that the fusion module is further configured to add the weighted sum tow angle to a historical sum weighted tow data set and filter the low pass of historical weight sum tow angle dataset.

Camera mirror systems according to claim 13, characterized in that each tow angle estimate in the plurality of tow angle estimates is determined by a distinct angle estimation method.

Camera mirror system according to claim 13, characterized in that the controller is further configured to add the single tow estimate to an ordered list of historical tow angle estimates, and filter the low pass from the ordered list. .

Camera mirror system according to claim 17, characterized in that the automatic panning is based, at least in part, on the low-pass filtered sorted list.