BR102022018593A2

BR102022018593A2 - CAMERA MIRROR SYSTEM DISPLAY FOR COMMERCIAL VEHICLES INCLUDING SYSTEM TO IDENTIFY ROAD MARKINGS

Info

Publication number: BR102022018593A2
Application number: BR102022018593-0A
Authority: BR
Inventors: Liang Ma; Yifan Men; Troy Otis Cooprider
Original assignee: Stoneridge, Inc.
Priority date: 2021-10-19
Filing date: 2022-09-16
Publication date: 2023-05-23

Abstract

A presente invenção refere-se a um processo para identificar uma característica de rodovia em uma imagem que inclui receber uma imagem em um controlador, identificando uma região de interesse dentro da imagem e convertendo a região de interesse de vermelhoverde-azul (RGB) para uma única cor usando o controlador. Um conjunto de bordas é detectado dentro da região de interesse, e pelo menos uma linha dentro do conjunto de bordas é identificada usando o controlador. A pelo menos uma linha é comparada com um conjunto de características de marcação de rodovia conhecidas e esperadas, e o conjunto de pelo menos uma primeira linha na pelo menos uma linha é identificado como correspondendo a uma característica de rodovia, em resposta a pelo menos a primeira linha combinando o conjunto de características de marcação de rodovia conhecidas e esperadas.

The present invention relates to a process for identifying a road feature in an image which includes receiving an image into a controller, identifying a region of interest within the image and converting the region of interest from red-green-blue (RGB) to a region of interest. single color using controller. A set of edges is detected within the region of interest, and at least one line within the set of edges is identified using the controller. The at least one line is compared to a set of known and expected road marking features, and the set of at least one first line on the at least one line is identified as corresponding to a road feature in response to at least the first line matching the known and expected set of road marking features.

Description

CAMERA MIRROR SYSTEM DISPLAY FOR COMMERCIAL VEHICLES INCLUDING SYSTEM TO IDENTIFY ROAD MARKINGS

TECHNICAL FIELD

[0001] Esta divulgação refere-se a um sistema de espelho de câmera (CMS) para uso em um caminhão comercial, e a um sistema de visão panorâmica automática para o mesmo.[0001] This disclosure relates to a camera mirror system (CMS) for use in a commercial truck, and an automatic panoramic vision system for the same.

BACKGROUND

[0002] Os sistemas de substituição de espelho, e sistemas de câmera para complementar visões do espelho, são utilizados em veículos comerciais para intensificar a capacidade de um operador de veículo ver um ambiente circundando. O sistema de espelho das câmeras (CMS) utilizam uma ou mais câmeras, para fornecer um campo de visão intensificado para um operador de veículo. Em alguns exemplos, os sistemas de substituição cobrem um maior campo de visão do que um espelho convencional, ou incluem visões que não são totalmente obtidas através de um espelho convencional.[0002] Mirror replacement systems, and camera systems to supplement mirror views, are used in commercial vehicles to enhance a vehicle operator's ability to see a surrounding environment. The Mirror Camera System (CMS) utilizes one or more cameras to provide an enhanced field of view for a vehicle operator. In some instances, replacement systems cover a greater field of view than a conventional mirror, or include views that are not fully obtainable through a conventional mirror.

[0003] Uma característica incluída em alguns sistemas de espelho de câmera é uma característica panorâmica automatizada que automaticamente, ou semiautomaticamente, panoramiza as visualizações da câmera, a fim de manter uma visão da extremidade traseira do reboque. Em algumas implementações a identificação de uma borda do reboque é usada para monitorar parâmetros e características de um reboque, e os parâmetros e características são depois usados para ajudar na identificação da posição da extremidade do reboque.[0003] A feature included in some mirror camera systems is an automated pan feature that automatically, or semi-automatically, pans the camera views in order to maintain a view of the rear end of the trailer. In some implementations identifying a trailer edge is used to monitor parameters and characteristics of a trailer, and the parameters and characteristics are then used to help identify the position of the trailer end.

[0004] Uma dificuldade encontrada pelos sistemas existentes é a diferenciação entre uma borda do reboque, e uma linha visualmente similar dentro do campo de visão e dentro que é apresentada por uma linha de pista (faixa), uma linha de estacionamento, um freio, ou qualquer característica ou marcação de rodovia similar linear.[0004] A difficulty encountered by existing systems is differentiating between a trailer edge, and a visually similar line within the field of view and within that is presented by a lane line (lane), a parking line, a curb, or any similar linear road feature or marking.

SUMMARY OF THE INVENTION

[0005] Em uma modalidade exemplar, um processo para identificar uma característica da estrada em uma imagem inclui receber uma imagem de um controlador, identificando uma região de interesse dentro da imagem, e convertendo a região de interesse de vermelho-verdeazul (RGB) para uma única cor usando o controlador, detectando um conjunto de bordas dentro da região de interesse, e identificando pelo menos uma linha dentro do conjunto de bordas usando o controlador, comparando a pelo menos uma linha com um conjunto de conhecidas e esperadas características de marcação de rodovia para a pelo menos uma linha identificada, e identificando um conjunto de pelo menos uma primeira linha na pelo menos uma linha, como correspondendo a uma característica da rodovia em resposta a pelo menos a primeira linha combinando o conjunto de características conhecidas e esperadas das marcações de rodovias.[0005] In an exemplary embodiment, a process for identifying a road feature in an image includes receiving an image from a controller, identifying a region of interest within the image, and converting the region of interest from red-green-blue (RGB) to a single color using the controller, detecting a set of edges within the region of interest, and identifying at least one line within the set of edges using the controller, comparing at least one line with a set of known and expected color marking characteristics roadway for the at least one identified line, and identifying a set of at least one first line on the at least one line, as corresponding to a road feature in response to at least the first line matching the set of known and expected features of the markings of highways.

[0006] Em outro exemplo do processo descrito acima para identificação de uma característica da rodovia, em uma imagem identificando o conjunto de características de marcação de rodovia conhecidas e esperadas, inclui uma largura esperada de pelo menos uma das linhas de estacionamento e linhas de pistas.[0006] In another example of the process described above for identifying a road feature, an image identifying the set of known and expected road marking features includes an expected width of at least one of the parking lines and lane lines .

[0007] Outro exemplo de qualquer um dos processos descritos acima para identificar uma característica de rodovia em uma imagem, ainda inclui identificar duas linhas no conjunto de, pelo menos, uma primeira linha como correspondendo a uma linha de pista em resposta às duas linhas, sendo aproximadamente paralelas e estando consistentemente espaçadas a parte por entre 4,5 polegadas (11,43 cm) e 6,5 polegadas (16,51 cm).[0007] Another example of any of the processes described above for identifying a roadway feature in an image, further includes identifying two lines in the set of at least one first line as corresponding to a lane line in response to the two lines, being approximately parallel and being consistently spaced apart by between 4.5 inches (11.43 cm) and 6.5 inches (16.51 cm).

[0008] Em outro exemplo de qualquer um dos processos descritos acima para identificar uma caraterística de rodovia em uma imagem, o espaçamento de linhas é uma média das distâncias mais curtas entre as duas linhas aproximadamente paralelas.[0008] In another example of any of the processes described above for identifying a road feature in an image, the line spacing is an average of the shortest distances between two approximately parallel lines.

[0009] Em outro exemplo de qualquer um dos processos descritos acima para identificar uma característica de rodovia em uma imagem, identificando o conjunto de linhas dentro do conjunto de bordas inclui extração das características através da via transformada de Hough.[0009] In another example of any of the processes described above for identifying a road feature in an image, identifying the set of lines within the set of edges includes extracting the features via the Hough transformed road.

[0010] Em outro exemplo de qualquer um dos processos descritos acima, para identificar uma característica de rodovia em uma imagem identificando um conjunto de linhas dentro do conjunto de bordas, ainda inclui filtrar um barulho de fundo de uma saída da extração de características.[0010] In another example of any of the processes described above, to identify a road feature in an image by identifying a set of lines within the set of edges, further includes filtering out background noise from a feature extraction output.

[0011] Em outro exemplo de qualquer um dos processos descritos acima, para identificar uma característica de rodovia em uma imagem, o conjunto de características de marcação de rodovia conhecidas e esperadas, inclui características conhecidas e esperadas das linhas de estacionamento, linhas de pistas, e freios.[0011] In another example of any of the processes described above, to identify a road feature in an image, the set of known and expected road marking features, includes known and expected features of parking lines, lane lines, and brakes.

[0012] Outro exemplo de qualquer um dos processos descritos acima para identificar a característica de rodovia em uma imagem, ainda inclui identificar um conjunto de pelo menos uma segunda linha na pelo menos uma linha, como correspondendo a uma característica de reboque, em resposta a cada linha no conjunto de pelo menos uma segunda linha não combinando o conjunto de características de marcação de rodovia conhecidas e esperadas.[0012] Another example of any of the processes described above for identifying the highway feature in an image, further includes identifying a set of at least a second line in the at least one line, as corresponding to a trailer feature, in response to each line in the set of at least a second line not matching the set of known and expected road marking characteristics.

[0013] Outro exemplo de qualquer um dos processos descritos acima para identificar uma característica de rodovia em uma imagem, ainda inclui remover digitalmente bordas não correspondentes às linhas no conjunto de pelo menos uma segunda linha para criar uma imagem de borda filtrada, e fornecendo a imagem da borda filtrada para um módulo de detecção da característica do reboque de um sistema de espelho da câmera (CMS).[0013] Another example of any of the processes described above for identifying a road feature in an image, further includes digitally removing edges not corresponding to the lines in the set of at least a second line to create a filtered edge image, and providing the edge image filtered to a trailer feature detection module of a mirror camera system (CMS).

[0014] Outro exemplo de qualquer um dos processos descritos acima para identificar a característica de rodovia em uma imagem, ainda inclui identificara uma linha de fundo do reboque usando o módulo de detecção da característica do reboque e determinando um ângulo de reboque pelo menos parcialmente, usando a posição da linha de fundo do reboque dentro da região de interesse.[0014] Another example of any of the processes described above for identifying the road feature in an image, further includes identifying a trailer bottom line using the trailer feature detection module and determining a trailer angle at least partially, using the position of the trailer bottom line within the region of interest.

[0015] Outro exemplo de qualquer um dos processos descritos acima para identificar uma característica de rodovia em uma imagem, ainda inclui uma visão panorâmica de CMS com base, pelo menos parcialmente, no ângulo de reboque determinado de tal maneira que uma extremidade do reboque é mantida com a vista de CMS.[0015] Another example of any of the processes described above for identifying a roadway feature in an image, further includes a CMS bird's-eye view based, at least partially, on the tow angle determined in such a way that one end of the trailer is maintained with the CMS view.

[0016] Em outro exemplo de qualquer um dos processos descritos acima para identificar a característica de rodovia em uma imagem, identificando pelo menos uma linha dentro do conjunto de bordas usando um controlador, é realizado sem usar ajuste de dados polinomiais.[0016] In another example of any of the processes described above to identify the road feature in an image, identifying at least one line within the set of edges using a controller, is performed without using polynomial data fitting.

[0017] Em outro exemplo de qualquer um dos processos descritos acima para identificar uma característica de rodovia em uma imagem, convertendo a região de interesse de vermelho-verde-azul (RGB) para uma única cor usando o controlador, compreende um de converter a região de interesse para a escala cinza, e extraindo o canal verde da região de interesse.[0017] In another example of any of the processes described above for identifying a road feature in an image, converting the region of interest from red-green-blue (RGB) to a single color using the controller, comprises one of converting the region of interest to the gray scale, and extracting the green channel from the region of interest.

[0018] Em outro exemplo de qualquer um dos processos descritos acima para identificar uma característica de rodovia em uma imagem, ainda inclui distinguir entre pelo menos duas características de rodovias correspondentes, identificando uma cor da pelo menos a primeira linha e comparando a cor identificada às cores esperadas das características de rodovias correspondentes.[0018] In another example of any of the processes described above for identifying a road feature in an image, further includes distinguishing between at least two corresponding road features, identifying a color from at least the first line and comparing the identified color to the expected colors of the corresponding road features.

[0019] Em uma modalidade exemplar um sistema de espelho da âmera para um veículo inclui pelo menos uma câmera, definindo um campo de visão incluindo uma vista de um solo, um controlador do sistema de espelho da câmera (CMS) incluindo um processador e uma memória armazenando instruções, para fazer o controlador realizar um processo de detecção baseado em imagem para identificar uma característica de rodovia na imagem, o processo de detecção baseado em imagem, incluindo receber uma imagem de pelo menos uma câmera no controlador, identificando uma região de interesse dentro da imagem, e convertendo a região de interesse de vermelho-verde-azul (RGB) para Cinza usando o controlador, detectando um conjunto de bordas dentro da região de interesse, e identificando pelo menos uma linha dentro do conjunto de bordas usando o controlador, comparando a pelo menos uma linha com um conjunto de características de marcação da rodovia conhecido e esperado para pelo menos uma linha identificada, e identificando um conjunto de pelo menos uma primeira linha na pelo menos uma, como correspondendo a uma característica de rodovia em resposta a pelo menos a primeira linha combinando o conjunto de características de marcação de rodovia conhecidas e esperadas.[0019] In an exemplary embodiment, a camera mirror system for a vehicle includes at least one camera, defining a field of view including a view of a ground, a mirror camera system controller (CMS) including a processor and a memory storing instructions, to cause the controller to perform an image-based detection process to identify a road feature in the image, the image-based detection process, including receiving an image from at least one camera in the controller, identifying a region of interest inside the image, and converting the region of interest from red-green-blue (RGB) to Gray using the controller, detecting a set of edges within the region of interest, and identifying at least one line within the set of edges using the controller , comparing at least one line with a known and expected set of road marking features for at least one identified line, and identifying a set of at least one first line on the at least one as corresponding to a road feature in response to at least the first line matching the known and expected set of road marking characteristics.

[0020] Em outro exemplo do sistema de espelho da câmera descrito acima para um veículo, a pelo menos uma câmera define uma vista da classe II e da classe IV.[0020] In another example of the mirror camera system described above for a vehicle, the at least one camera defines a class II and class IV view.

[0021] Em outro exemplo de qualquer um dos sistemas de espelho da câmera descritos acima para um veículo, comparando a pelo menos uma linha com um conjunto de características de marcação de rodovia conhecidas e esperadas, inclui identificar um conjunto de pelo menos uma segunda linha em pelo menos uma linha como correspondendo a uma característica de reboque, em resposta a cada linha no conjunto de pelo menos uma segunda linha não combinando o conjunto de características de marcação da rodovia conhecidas e esperadas.[0021] In another example of any of the mirror camera systems described above for a vehicle, comparing at least one line with a set of known and expected road marking characteristics, includes identifying a set of at least a second line on at least one line as corresponding to a towing feature, in response to each line in the set of at least a second line not matching the set of known and expected road marking features.

[0022] Em outro exemplo de qualquer um dos sistemas de espelho da câmera descritos acima para um veículo, o controlador ainda inclui um módulo de detectar as características do reboque, e em que o módulo de detectar as características do reboque é configurado para determinar um ângulo de reboque pelo menos parcialmente baseado em uma posição da pelo menos uma segunda linha na imagem.[0022] In another example of any of the mirror camera systems described above for a vehicle, the controller further includes a module detecting trailer characteristics, and wherein the module detecting trailer characteristics is configured to determine a towing angle at least partially based on a position of at least a second line in the image.

[0023] Em outro exemplo de qualquer um dos sistemas de espelho das câmeras descritos acima para um veículo, o controlador é ainda configurado para panoramizar uma vista da classe II apresentada para um operador de veículo com base pelo menos em parte no ângulo de reboque, determinado de tal maneira que a vista da classe II inclui pelo menos uma porção de uma extremidade de reboque.[0023] In another example of any of the mirror camera systems described above for a vehicle, the controller is further configured to pan a Class II view presented to a vehicle operator based at least in part on towing angle, determined such that the class II sight includes at least a portion of a trailer end.

[0024] Estas e outras características da presente invenção podem ser entendidas melhor a partir do relatório e dos desenhos a seguir, dos quais está uma breve descrição.[0024] These and other features of the present invention can be better understood from the following report and drawings, of which is a brief description.

BRIEF DESCRIPTION OF THE DRAWINGS

[0025] A divulgação pode ser ainda entendida por referência à descrição detalhada a seguir, quando considerada em conexão com os desenhos que acompanham, em que:[0025] The disclosure can be further understood by reference to the detailed description below, when considered in connection with the accompanying drawings, in which:

[0026] A Figura 1A é uma visão dianteira esquemática de um caminhão comercial com um sistema de espelho da câmera (CMS), usado para fornecer pelo menos as vistas de Classe II e Classe IV.[0026] Figure 1A is a schematic front view of a commercial truck with a mirror camera system (CMS) used to provide at least Class II and Class IV views.

[0027] A Figura 1B é uma vista esquemática em elevação superior de um caminhão comercial, com um sistema de espelho da câmera fornecendo vistas de Classe II, Classe IV, Classe V e Classe VI.[0027] Figure 1B is a schematic top elevation view of a commercial truck, with a camera mirror system providing Class II, Class IV, Class V, and Class VI views.

[0028] A Figura 2 é uma vista em perspectiva superior esquemática de uma cabine de veículo, incluindo displays e câmeras interiores.[0028] Figure 2 is a schematic top perspective view of a vehicle cabin, including interior displays and cameras.

[0029] A Figura 3 é um fluxograma de um método para identificar marcações de rodovias.[0029] Figure 3 is a flowchart of a method for identifying road markings.

[0030] A Figura 4A ilustra uma vista parcial de CMS, incluindo uma rodovia com uma linha de pista.[0030] Figure 4A illustrates a partial view of CMS, including a highway with a lane line.

[0031] A Figura 4B ilustra a mesma vista parcial de CMS, identificando depois as bordas dentro da imagem.[0031] Figure 4B illustrates the same partial view of CMS, then identifying the edges within the image.

[0032] As modalidades, exemplos e alternativas dos parágrafos anteriores, as reivindicações ou a descrição e desenhos a seguir, incluindo qualquer um de seus vários aspectos ou respectivas características individuais, podem ser levados independentemente ou em qualquer combinação. As características descritas em conexão com uma modalidade são aplicáveis em todas as modalidades, a menos que tais características sejam incompatíveis.[0032] The embodiments, examples and alternatives of the preceding paragraphs, the claims or the following description and drawings, including any of their various aspects or respective individual characteristics, may be taken independently or in any combination. Features described in connection with one embodiment are applicable across all embodiments, unless such features are incompatible.

DETAILED DESCRIPTION

[0033] Uma vista esquemática de um veículo comercial 10 é ilustrada nas Figuras 1A e 1B. O veículo 10 inclui uma cabine de veículo ou trator 12 para puxar um reboque 14. Embora um caminhão comercial seja considerado nesta divulgação, a invenção pode também ser aplicada a outros tipos de veículos. O veículo 10 incorpora um sistema de espelho da câmera (CMS) 15 (Fig. 2), que tem braços de câmera laterais do motorista e do passageiro 16a, 16b, montados para o lado de fora da cabine do veículo 12. Se desejado, os braços de câmera 16a, 16b podem incluir espelhos convencionais integrados com eles também, embora o CMS 15 pode ser usado para substituir totalmente os espelhos. Em exemplos adicionais, cada lado pode incluir múltiplos braços de câmera, cada braço alojando uma ou mais câmeras e/ou espelhos.[0033] A schematic view of a commercial vehicle 10 is illustrated in Figures 1A and 1B. Vehicle 10 includes a vehicle or tractor cab 12 for pulling a trailer 14. Although a commercial truck is contemplated in this disclosure, the invention can also be applied to other types of vehicles. Vehicle 10 incorporates a mirror camera system (CMS) 15 (Fig. 2) which has driver and passenger side camera arms 16a, 16b mounted to the outside of vehicle cab 12. If desired, camera arms 16a, 16b can include conventional mirrors integrated with them as well, although the CMS 15 can be used to replace the mirrors entirely. In further examples, each side may include multiple camera arms, each arm housing one or more cameras and/or mirrors.

[0034] Cada um dos braços de câmera 16a, 16b inclui uma base que é presa, por exemplo, à cabine 12. Um braço de articulação é apoiado pela base e pode articular em relação a esse fim. Pelo menos uma câmera 20a, 20b voltada para recompensa é disposta respectivamente dentro de braços de câmera. As câmeras exteriores 20a, 20b respectivamente fornecem um campo de vista exterior FOVEX1, FOVEX2 em que cada um inclui pelo menos uma das vistas de Classe II e Classe IV (Fig. 1B), que são vistas prescritas legais na indústria de caminhão comercial. Múltiplas câmeras também podem ser usadas em cada braço de câmera 16a, 16b para fornecer estas vistas, se desejado. Cada braço 16a, 16b pode também fornecer um alojamento que inclui aparelhos eletrônicos, que são configurados para fornecer várias características do CMS 15.[0034] Each of the camera arms 16a, 16b includes a base that is attached, for example, to the cabin 12. A pivot arm is supported by the base and can pivot in relation to that end. At least one reward facing camera 20a, 20b is disposed respectively within camera arms. Exterior cameras 20a, 20b respectively provide a FOVEX1, FOVEX2 exterior field of view each including at least one of Class II and Class IV views (Fig. 1B), which are legally prescribed views in the commercial truck industry. Multiple cameras can also be used on each camera arm 16a, 16b to provide these views, if desired. Each arm 16a, 16b can also provide a housing that includes electronics, which are configured to provide various features of the CMS 15.

[0035] O primeiro e o segundo displays de vídeos 18a, 18b são dispostos em cada um dos lados do motorista e do passageiro, dentro da cabine do veículo 12 em ou perto dos pilares -A 19a, 19b para exibir as vistas de Classe II e Classe IV nos seus respectivos lados do veículo 10, que fornecem vistas laterais voltadas para trás ao longo do veículo 10, que são capturadas pelas câmeras exteriores 20a, 20b.[0035] The first and second video displays 18a, 18b are arranged on each of the driver and passenger sides, inside the vehicle cabin 12 at or near the A-pillars 19a, 19b to display Class II views and Class IV on their respective sides of vehicle 10, which provide rearward facing side views along vehicle 10, which are captured by exterior cameras 20a, 20b.

[0036] Se o vídeo de vistas de Classe V e Classe VI são também desejadas, um alojamento da câmera 16c e da câmera 20c pode ser disposto em ou perto da frente do veículo 10, a fim de fornecer essas vistas (Fig. 1B). Um terceiro display 18c disposto dentro da cabine 12 perto do centro superior do para-brisa, pode ser usado para exibir as vistas de Classe V e Classe VI, que são dirigidas para a frente do veículo 10, para o motorista.[0036] If video of Class V and Class VI views are also desired, a camera housing 16c and camera 20c can be arranged at or near the front of the vehicle 10 in order to provide these views (Fig. 1B) . A third display 18c disposed within the cabin 12 near the top center of the windshield can be used to display the Class V and Class VI views which are directed towards the front of the vehicle 10 towards the driver.

[0037] Se o vídeo das vistas de classe VIII é desejado, alojamentos das câmeras podem ser dispostas nos lados e na traseira do veículo 10 para fornecer campos de vista, incluindo algumas ou todas as zonas da classe VIII do veículo 10. Em tais exemplos, o terceiro display 18c pode incluir uma ou mais estruturas exibindo as vistas de classe VIII. Alternativamente, displays adicionais podem ser adicionados perto do primeiro, segundo e terceiro displays 18a, 18b, 18c e fornecem um display dedicado para fornecer uma vista da classe VIII. Os displays 18a, 18b, 18c são voltados para uma região do motorista 24 dentro da cabine 22, onde um motorista está sentado em um assento de motorista 26.[0037] If video of class VIII views is desired, camera housings may be arranged at the sides and rear of vehicle 10 to provide fields of view including some or all of the class VIII zones of vehicle 10. In such examples , the third display 18c may include one or more frames displaying the Class VIII views. Alternatively, additional displays can be added near the first, second and third displays 18a, 18b, 18c and provide a dedicated display to provide a Class VIII view. Displays 18a, 18b, 18c face a driver's region 24 within the cab 22, where a driver is seated in a driver's seat 26.

[0038] Em algumas implementações, o CMS pode incluir uma característica de panorâmica automática, que panoramiza a vista da Classe II dentro da vista da Classe IV com o objetivo de manter uma posição da extremidade do reboque dentro da vista de Classe II, e dessa maneira fornecendo visibilidade intensificada para o operador do veículo. A fim de fornecer esta característica, o CMS inclui um conjunto de algoritmos de detecção de características da imagem, que detecta características do reboque incluindo o ângulo do reboque, usando análise baseada na imagem das vistas de CMS. O ângulo do reboque é detectado, pelo menos parcialmente, com base em uma linha de fundo detectada do reboque dentro da vista de Classe IV. Certas marcações de rodovias, tais como linhas de estacionamento, linhas de pistas, freios, e similares definem longas linhas dentro de vistas de CMS, que podem ser difíceis de distinguir das linhas de borda do reboque, usando sistemas convencionais tais como dados polinominais preenchidos através de uma imagem. Consequentemente, linhas de pista, linhas de estacionamentos, freios e outros elementos similares, posicionados dentro do campo de vistas, podem resultar em grandes erros de detecção de ângulo, quando a detecção do ângulo do reboque inadvertidamente identifica uma marcação ou característica de uma borda de reboque.[0038] In some implementations, the CMS may include an automatic panning feature, which pans the Class II view within the Class IV view in order to maintain a trailer end position within the Class II view, and hence way providing heightened visibility for the vehicle operator. In order to provide this feature, the CMS includes a set of image feature detection algorithms, which detect trailer features including trailer angle, using image based analysis of CMS views. The trailer angle is detected, at least partially, based on a detected trailer bottom line within the Class IV view. Certain road markings, such as parking lines, lane lines, curbs, and the like define long lines within CMS views, which can be difficult to distinguish from trailer edge lines, using conventional systems such as polynomial data filled in through of an image. Consequently, lane lines, parking lines, curbs, and other similar elements, positioned within the field of view, can result in large angle detection errors when Trailer Angle Detection inadvertently identifies a marking or feature on a road edge. trailer.

[0039] A Figura 3 ilustra um método operado por CMS que distingue linhas identificadas dentro de uma imagem, entre uma linha de borda de reboque e marcações de rodovias, sem usar preenchimento de dados polinomiais computacionalmente dispendiosos. Inicialmente o método identifica uma região de interesse e colhe a porção restante da imagem em uma etapa de “Colher Região de Interesse” etapa 310. A região de interesse pode ser identificada usando qualquer metodologia convencional, e reduz a alimentação da imagem para porções incluindo linhas de borda em potencial. A região de interesse é selecionada para minimizar a região analisada, enquanto mantém as características desejadas na região de interesse. Em um exemplo, a região é escolhida de tal maneira que a borda do reboque está sempre presente na região de interesse para todos os ângulos possíveis do reboque. A região é feita menor possível para excluir barulho da imagem, e reduzir erros em potencial induzidos pelo barulho.[0039] Figure 3 illustrates a CMS-operated method that distinguishes identified lines within an image, between a trailer edge line and road markings, without using computationally expensive polynomial data filling. Initially the method identifies a region of interest and harvests the remaining portion of the image in a step of “Collect Region of Interest” step 310. The region of interest can be identified using any conventional methodology, and reduces the image feed to portions including lines potential edge. The region of interest is selected to minimize the analyzed region, while maintaining the desired features in the region of interest. In one example, the region is chosen such that the edge of the trailer is always present in the region of interest for all possible trailer angles. The region is made as small as possible to exclude noise from the image, and to reduce potential noise-induced errors.

[0040] Uma vez semeadas, as imagens vermelhas-verdes-azuis (RGB) capturadas pela câmera de CMS são convertidas para a escala cinza em uma etapa 320 “Converter RGB para Cinza”. Convertendo a(s) imagem(s) para cinza aumenta o contraste em cada borda em potencial, ainda reduzindo o processamento necessário para distinguir boras dentro da região de interesse. Em exemplos alternativos, a conversão para a etapa Cinza pode ser omitida, e o processo de detecção da borda descrito abaixo pode ser realizado em uma única cor (por exemplo, verde) que é extraída da imagem.[0040] Once seeded, the red-green-blue (RGB) images captured by the CMS camera are converted to grayscale in step 320 “Convert RGB to Gray”. Converting the image(s) to gray increases the contrast at each potential edge, yet reduces the processing required to distinguish boras within the region of interest. In alternative examples, the conversion to Gray step can be omitted, and the edge detection process described below can be performed on a single color (for example, green) that is extracted from the image.

[0041] Uma vez semeado e convertido para cinza, um algoritmo de detecção de borda é executado na imagem cinza em uma etapa 350 “Realizar a Detecção da Borda”. Os algoritmos de detecção da borda incluem uma variedade de métodos matemáticos, cujo objetivo identifica pontos em uma imagem digital, na qual o brilho da imagem muda bruscamente ou tem descontinuidades. Os pontos nos quais o brilho da imagem muda bruscamente são organizados em segmentos de linha curva referidos como bordas.[0041] Once seeded and converted to gray, an edge detection algorithm is performed on the gray image in step 350 “Perform Edge Detection”. Edge detection algorithms include a variety of mathematical methods, which aim to identify points in a digital image where the image brightness changes sharply or has discontinuities. The points at which the brightness of the image changes sharply are organized into curved line segments referred to as edges.

[0042] As Figuras 4A e 4B demonstram uma conversão exemplar de uma região de imagem cinza 410 (Figura 4A) para uma borda detectada da imagem 420 (Figura 4B). A região de imagem cinza 410 inclui uma superfície de rodovia 412 incluindo uma marcação de rodovia 414, tal como uma linha de pistas ou uma linha de estacionamento. A marcação da rodovia é uma faixa branca, embora faixas amarelas similares ou de outras cores podem ocorrer, dependendo da região geográfica e da posição na superfície da rodovia. Em adição à marcação de rodovia 414, a superfície da rodovia inclui numerosos amassados, pedras, remendos rígidos, etc. cada um dos quais pode também resultar na presença de uma ou mais bordas dentro da imagem. Depois de realizar uma detecção de borda, a imagem de borda 420 inclui numerosas bordas 422, 424, 426 incluindo as bordas 424, 426 da marcação de rodovia 414, como também bordas 422 resultando de várias rugosidades da rodovia.[0042] Figures 4A and 4B demonstrate an exemplary conversion of a gray image region 410 (Figure 4A) to a detected edge of image 420 (Figure 4B). Gray image region 410 includes a highway surface 412 including a highway marking 414, such as a lane line or a parking line. The road marking is a white band, although similar yellow bands or other colors may occur depending on geographic region and position on the road surface. In addition to the 414 road marking, the road surface includes numerous dents, rocks, hard patches, etc. each of which can also result in the presence of one or more borders within the image. After performing an edge detection, the edge image 420 includes numerous edges 422, 424, 426 including edges 424, 426 of road marking 414, as well as edges 422 resulting from various road roughness.

[0043] A fim de separar as bordas 424, 426 correspondentes às linhas de marcação da rodovia e bordas de reboque da detecção da borda de barulho, o CMS usa uma transformada de Hough para localizar linhas dentro das bordas detectadas em uma etapa 340 “Localizar Linhas m Bordas”. A transformada de Hough é uma técnica de extração característica usada em análise de imagem para descobrir ocasiões imperfeitas de objetos, dentro de uma certa classe de formas por um procedimento de votação. Este procedimento de votação é realizado em um espaço parâmetro, do qual os candidatos objetos são obtidos como máxima local no chamado espaço acumulador, que é explicitamente construído pelo algoritmo para computar a transformada de Hough. Embora descrito aqui no presente como usando o conhecido processo de transformada de Hough, para identificar linhas dentro da imagem de borda 420, é estimado que outras metodologias para detectar linhas dentro de uma imagem de bordas, incluindo rede neural baseada na identificação de linha, podem ser usadas em modalidades alternativas com mínimas modificações para o sistema todo.[0043] In order to separate the edges 424, 426 corresponding to the road marking lines and tow edges from the noise edge detection, the CMS uses a Hough transform to locate lines within the edges detected in a step 340 “Find Lines m Edges”. The Hough transform is a feature extraction technique used in image analysis to discover imperfect occasions of objects within a certain class of shapes by a voting procedure. This voting procedure is performed on a parameter space, from which object candidates are obtained as local maxima in the so-called accumulator space, which is explicitly constructed by the algorithm for computing the Hough transform. Although described herein as using the well-known Hough transform process to identify lines within edge image 420, it is estimated that other methodologies for detecting lines within an edge image, including neural network based line identification, may be used in alternative modalities with minimal modifications to the entire system.

[0044] Depois de identificar cada linha dentro da imagem de borda 420, o CMS usa um módulo distinguindo uma marcação de rodovia, dentro do processo para determinar se as linhas identificadas 424, 426 correspondem às marcações de rodovia em uma etapa 350 “Identificar Marcações de Rodovia”. O módulo distinguindo uma marcação de rodovia armazena características conhecidas e esperadas de marcações de rodovia, e compara as características conhecidas e esperadas armazenadas às linhas identificadas. Quando as características conhecidas e esperadas da característica de rodovia combinam as linhas detectadas pelo CMS, o CMS determina que as linhas correspondam à característica de rodovia. Em um exemplo, as marcações de rodovia (por exemplo, linhas de pista e linhas de estacionamento) resultarão em duas linhas de borda trilhando pelo menos aproximadamente a mesma trajetória, isto pode ser referido como as linhas de borda sendo aproximadamente paralelas. Em outro exemplo, as marcações são caracterizadas pela presença de duas linhas separadas por uma distância padrão, ou separadas por uma faixa de distância padrão. A título de exemplo, as linhas de pista podem ser esperadas estar entre 5 polegadas (12,17 cm) e 6 polegadas (15,24 cm) de largura. Em tal exemplo, o módulo distinguindo procura duas linhas adjacentes que são entre 4,5 polegadas (11,43 cm) e 6,5 polegadas (16,51 cm) separadas, e identifica qualquer conjunto de linhas de borda dentro daquela faixa como correspondendo a uma linha de pista, com as 0,5 polegada em cada borda da faixa sendo incluída por conta das variabilidades que podem resultar devido à impressão imperfeita da linha de pista, linhas de estacionamento superimpostas sobre linhas de pista preexistentes, e variabilidades similares do mundo real.[0044] After identifying each line within the border image 420, the CMS uses a module distinguishing a road marking, within the process to determine whether the identified lines 424, 426 correspond to the road markings in a step 350 "Identify Markings of Highway”. The module distinguishing a road marking stores known and expected features of road markings, and compares the stored known and expected features to the identified lines. When the known and expected characteristics of the road feature match the lines detected by CMS, CMS determines that the lines match the road feature. In one example, road markings (eg lane lines and parking lines) will result in two edge lines taking at least approximately the same path, this can be referred to as the edge lines being approximately parallel. In another example, markings are characterized by the presence of two lines separated by a standard distance, or separated by a standard distance range. By way of example, track lines can be expected to be between 5 inches (12.17 cm) and 6 inches (15.24 cm) wide. In such an example, the distinguishing module looks for two adjacent lines that are between 4.5 inches (11.43 cm) and 6.5 inches (16.51 cm) apart, and identifies any set of border lines within that range as matching to a lane line, with the 0.5 inch at each edge of the lane being included because of the variability that can result due to imperfect lane line printing, superimposed parking lines over pre-existing lane lines, and similar world wide variability real.

[0045] Faixas similares podem ser identificadas e usadas para linhas de estacionamento de 3,5 polegadas (8,89 cm) a 4,5 polegadas (11,43 cm), freios de 5,5 polegadas (13,97 cm) a 6,5 polegadas (16,51 cm), ou qualquer outra marcação de rodovia. Em exemplos alternativos, a distância entre as linhas de borda 424, 426 podem ser medidas em píxeis de imagem em vez de uma distância. Em de tais exemplos, a variação para as linhas de estacionamento e linhas de pista podem ser de 16 a 25 píxeis.[0045] Similar strips can be identified and used for parking lines from 3.5 inches (8.89 cm) to 4.5 inches (11.43 cm), curbs from 5.5 inches (13.97 cm) to 6.5 inches (16.51 cm), or any other road marking. In alternative examples, the distance between edge lines 424, 426 may be measured in image pixels rather than a distance. In such examples, the range for parking lines and lane lines can be from 16 to 25 pixels.

[0046] Em outro exemplo, os dados da cor de cada uma das características de rodovias identificadas, podem ser utilizados para distinguir tipos de características (por exemplo, linha amarela demarcando uma separação entre pistas de direção opostas do tráfego, podem ser diferenciadas de uma linha branca demarcando uma separação entre pistas de direção do tráfego alinhadas).[0046] In another example, the color data of each of the identified road features can be used to distinguish types of features (for example, yellow line demarcating a separation between lanes of opposite direction of traffic, can be differentiated from a white line demarcating a separation between aligned traffic direction lanes).

[0047] Quando o módulo distinguindo determina que as linhas de borda 424, 426 correspondem às marcações da rodovia, as linhas 424, 426 são filtradas para fora junto com as bordas de bico 422 em uma 360 de “Filtrar o Ruído”. Se quaisquer linhas permanecem depois da filtragem do ruído, o processo assume que as linhas correspondem a uma linha de reboque, e fornece a(s) posição(ões) da linha de reboque para um módulo de estimativa da característica de reboque dentro de CMS. O módulo de estimativa da característica de reboque determina se a(s) linha(s) remanescente(s) são extremidades de reboque, bordas do fundo de reboque, ou outras características do reboque, e computa um ângulo de linha no plano da imagem e coordenadas do mundo da linha em uma etapa 370 “Determinar o Ângulo do Reboque”. O ângulo da linha é usado para determinar o ângulo do reboque, de acordo com qualquer processo de determinação de ângulo de reboque conhecido.[0047] When the distinguishing module determines that the edge lines 424, 426 correspond to the road markings, the lines 424, 426 are filtered out along with the peak edges 422 in a “Filter Noise” 360. If any lines remain after noise filtering, the process assumes that the lines correspond to a tow line, and provides the position(s) of the tow line to a tow characteristic estimation module within CMS. The trailer feature estimation module determines whether the remaining line(s) are trailer ends, trailer bottom edges, or other trailer features, and computes a line angle in the image plane and line world coordinates in step 370 “Determine the Tow Angle”. The line angle is used to determine the tow angle according to any known tow angle determination procedure.

[0048] Usando o método de diferenciação descrito acima, o sistema de determinação do ângulo de trailer evita a dependência de dados polinominais cúbicos, apropriados para uma região inteira, e possibilita a detecção de características de rodovias que são perpendiculares ou aproximadamente perpendiculares à borda do reboque, dessa maneira minimizando uma ocorrência de detecções de ângulos de reboque errônea.[0048] Using the differentiation method described above, the trailer angle determination system avoids dependence on cubic polynomial data, appropriate for an entire region, and enables the detection of road features that are perpendicular or approximately perpendicular to the edge of the trailer. trailer, thereby minimizing an occurrence of erroneous trailer angle detections.

[0049] Embora uma modalidade exemplar tenha sido divulgada, um trabalhador (operário) de conhecimento comum nesta técnica deverá reconhecer que certas modificações deverão vir dentro do escopo das reivindicações. Por esse motivo, as reivindicações a seguir devem ser estudadas para determinar seus escopo e conteúdo verdadeiros.[0049] Although an exemplary embodiment has been disclosed, a worker (worker) of common knowledge in this technique should recognize that certain modifications should come within the scope of the claims. For this reason, the following claims should be studied to determine their true scope and content.

Claims

Process for identifying a road feature in an image, characterized in that it comprises: receiving an image into a controller; identify a region of interest within the image and convert the region of interest from red-green-blue (RGB) to a single color using the controller; detecting a set of edges within the region of interest, and identifying at least one line within the set of edges using the controller; comparing at least one line with a set of known and expected road marking features for the at least one identified line, and identifying a set of at least one first line on the at least one line as corresponding to a road feature, in response to at least the first combination of lines from the set of known and expected road marking features.

Process, according to claim 1, characterized in that identifying the set of known and expected road marking characteristics includes an expected width of at least one of the parking lines and lane lines.

Method according to claim 2, characterized in that it further comprises identifying two lines in the set of at least one first line as corresponding to a runway line, in response to the two lines being approximately parallel and being consistently spaced apart by each other. 4.5 inches (11.43 cm) and 6.5 inches (16.51 cm).

Process according to claim 3, characterized in that the line spacing is an average of the shortest distances between the two approximately parallel lines.

Process, according to claim 1, characterized by the fact that identifying the set of lines within the set of edges includes extracting the feature through the Hough transform.

Process, according to claim 5, characterized by the fact that identifying the set of lines within the set of edges also includes filtering the background noise of a feature extraction output.

Process, according to claim 1, characterized in that the set of known and expected road marking characteristics includes known and expected characteristics of parking lines, lane lines and curbs.

Method according to claim 1, characterized in that it further comprises identifying a set of at least one second line in the at least one line as corresponding to a towing characteristic in response to each line in the set of at least one second line. line, not matching the set of known and expected road marking characteristics.

Process according to claim 8, characterized in that it further comprises digitally removing edges that do not correspond to the lines in the set of at least one second line, to create an image of the filtered edge, and providing the image of the filtered edge to a detection module of a trailer feature of a mirror camera system (CMS).

Process according to claim 9, characterized in that it further comprises identifying a tow bottom line using the trailer feature detection module, and determining a tow angle, at least partially, using the position of the tow line. trailer bottom within the region of interest.

Method according to claim 10, characterized in that it further comprises a panoramic view of CMS, based at least partially on the towing angle determined in such a way that one end of the trailer is maintained with the view of CMS.

Process, according to claim 1, characterized by the fact that identifying at least one line within the set of edges using the controller is performed without using polynomial data fitting.

Process according to claim 1, characterized in that converting the region of interest from red-green-blue (RGB) to the single color using the controller comprises one of converting the region of interest to grayscale and extracting a green channel of the region of interest.

Process, according to claim 1, characterized in that it further comprises distinguishing between at least two corresponding road features, identifying a color at least from the first line and comparing the identified color with the expected colors of the corresponding road features.

Mirror camera system for a vehicle, characterized in that it comprises: at least one camera defining a field of view including a view of a ground; a mirror camera system (CMS) controller, including a processor and memory storing instructions for having the controller perform an image-based detection process in order to identify a road feature in the image, the image-based detection process image including: receive an image from at least one camera on the controller; identify a region of interest within the image, and convert the region of interest from red-green-blue (RGB) to Gray using the controller; detecting a set of edges within the region of interest, and identifying at least one line within the set of edges using the controller; comparing at least one line with a set of known and expected road marking features, to the at least one identified line, and identifying a set of at least one first line on the at least one line as corresponding to a road feature, in response to at least the first line matching the set of known and expected road marking characteristics.

Camera mirror system, according to claim 15, characterized in that the at least one camera defines a class II and class IV view.

Camera mirror system according to claim 16, characterized in that comparing the at least one line to a set of known and expected road marking characteristics includes identifying a set of at least a second line in the at least one line as corresponding to a trailer feature, in response to each line in the set of at least one second line not matching the set of known and expected road marking features.

Camera mirror system, according to claim 17, characterized in that the controller further includes a trailer feature detection module, and wherein the trailer feature detection module is configured to determine a trailer angle , at least partially based on a position of at least a second line in the image.

Camera mirror system, according to claim 18, characterized in that the controller is further configured to pan a class II view, presented to a vehicle operator based at least in part on the determined towing angle, from such that the class II sight includes at least a portion of a trailer end.