FR3106560A1 - System for determining the angular position of a vehicle with two pivot points - Google Patents
System for determining the angular position of a vehicle with two pivot points Download PDFInfo
- Publication number
- FR3106560A1 FR3106560A1 FR2000831A FR2000831A FR3106560A1 FR 3106560 A1 FR3106560 A1 FR 3106560A1 FR 2000831 A FR2000831 A FR 2000831A FR 2000831 A FR2000831 A FR 2000831A FR 3106560 A1 FR3106560 A1 FR 3106560A1
- Authority
- FR
- France
- Prior art keywords
- image
- vehicle
- trailer
- tractor
- towing platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 11
- 102220493341 Sodium/calcium exchanger 3_H34A_mutation Human genes 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 102220479948 Alkaline phosphatase, germ cell type_H45A_mutation Human genes 0.000 description 3
- 102220505632 Phospholipase A and acyltransferase 4_H23Q_mutation Human genes 0.000 description 3
- 102220492046 Phospholipid scramblase 1_H12A_mutation Human genes 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000004873 anchoring Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D13/00—Steering specially adapted for trailers
- B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/58—Auxiliary devices
- B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
L’invention propose un système de détermination de la position angulaire d’un véhicule comprenant un tracteur (VT), une plate-forme de remorquage (VP) rotative par rapport au tracteur, et une remorque (VR) rotative par rapport à la plate-forme de remorquage, le système (1) mettant en œuvre les étapes suivantes : - acquisition d’une première image du véhicule, et détection de la position d’un ensemble de points,- acquisition d’une deuxième image du véhicule, et détermination de la position, d’au moins certains des points détectés dans le première image,- détermination de l’angle de rotation (α2) de la remorque par rapport à la plate-forme de remorquage, à partir de la position des points caractéristiques sur la première image, et d’une position théorique desdits points, déterminée à partir de contraintes épipolaires sur les positions des points caractéristiques correspondants détectés dans la deuxième image. Figure 1bThe invention provides a system for determining the angular position of a vehicle comprising a tractor (VT), a towing platform (VP) rotating relative to the tractor, and a trailer (VR) rotating relative to the platform. - towing form, the system (1) implementing the following steps: - acquisition of a first image of the vehicle, and detection of the position of a set of points, - acquisition of a second image of the vehicle, and determination of the position of at least some of the points detected in the first image, - determination of the angle of rotation (α2) of the trailer with respect to the towing platform, from the position of the characteristic points on the first image, and from a theoretical position of said points, determined from epipolar constraints on the positions of the corresponding characteristic points detected in the second image. Figure 1b
Description
La présente demande concerne un système de détermination de la position angulaire d’un véhicule à deux points de pivot, c’est-à-dire comprenant un tracteur, une plate-forme de remorquage montée rotative par rapport au tracteur, et une remorque montée rotative sur la plate-forme de remorquage, la rotation de la remorque par rapport à la plate-forme de remorquage pouvant éventuellement être commandée par la commande d’une rotation des roues de la plate-forme de remorquage. Le système de détermination permet avantageusement de déterminer au moins l’angle de rotation de la remorque par rapport à la plate-forme de remorquage.The present application relates to a system for determining the angular position of a vehicle with two pivot points, that is to say comprising a tractor, a towing platform mounted rotatably relative to the tractor, and a trailer mounted rotating on the towing platform, the rotation of the trailer relative to the towing platform possibly being controlled by controlling a rotation of the wheels of the towing platform. The determination system advantageously makes it possible to determine at least the angle of rotation of the trailer relative to the towing platform.
De nombreuses technologies sont actuellement développées pour aider les conducteurs à la conduite de véhicules, en leur fournissant par exemple des informations supplémentaires sur la configuration du véhicule et sa position par rapport à son environnement. Ces technologies sont également nécessaires dans une perspective de véhicules complètement autonomes. C’est le cas pour les véhicules individuels, mais aussi pour des véhicules de transports, comprenant typiquement un véhicule tracteur et une remorque.Many technologies are currently being developed to help drivers drive vehicles, for example by providing them with additional information on the configuration of the vehicle and its position in relation to its environment. These technologies are also necessary in the perspective of fully autonomous vehicles. This is the case for individual vehicles, but also for transport vehicles, typically comprising a towing vehicle and a trailer.
Pour l’assistance à la conduite de tels véhicules, et notamment pour des manœuvres visant à garer le véhicule, il est critique de connaître avec précision au moins l’angle de lacet de la remorque par rapport au véhicule tracteur.For assistance in driving such vehicles, and in particular for maneuvers aimed at parking the vehicle, it is critical to know precisely at least the yaw angle of the trailer relative to the towing vehicle.
Certaines configurations de véhicules à remorques sont particulièrement complexes, c’est le cas de véhicules présentant deux points de pivots, et qui se composent d’un véhicule tracteur, d’une plate-forme de remorquage montée rotative par rapport au véhicule tracteur au niveau d’un premier point d’ancrage, et d’une remorque montée rotative sur la plate-forme au niveau d’un second point d’ancrage. On connaît notamment des véhicules à deux pivots dans lesquels le véhicule tracteur est un poids lourd de type rigide, où la remorque est montée rigidement au tracteur. De tels véhicules sont parfois appelés «combinaisons nordiques», ou sous le terme anglais de «full trailer». La plate-forme de remorquage est parfois désignée sous le terme anglais de «dolly» et c’est sur cette plateforme qu’une semi-remorque est ensuite attachée.Certain configurations of vehicles with trailers are particularly complex, this is the case of vehicles having two pivot points, and which consist of a towing vehicle, a towing platform mounted rotatably with respect to the towing vehicle at the level a first anchor point, and a trailer rotatably mounted on the platform at a second anchor point. In particular, vehicles with two pivots are known, in which the towing vehicle is a heavy weight of the rigid type, where the trailer is rigidly mounted on the tractor. Such vehicles are sometimes called "Nordic combinations", or under the English term "full trailer". The towing platform is sometimes referred to as a "dolly" and it is on this platform that a semi-trailer is then attached.
Un tel véhicule est particulièrement complexe à manœuvrer du fait de la double rotation entre le tracteur et la remorque. Il serait donc désirable d’assister le conducteur en lui fournissant un contrôle basé sur l’angle réel de la semi-remorque en lieu d’utiliser le volant, ce qui permet de mieux maitriser la trajectoire de l’ensemble du véhicule dans une manœuvre de parking.Such a vehicle is particularly complex to maneuver due to the double rotation between the tractor and the trailer. It would therefore be desirable to assist the driver by providing him with control based on the actual angle of the semi-trailer instead of using the steering wheel, which makes it possible to better control the trajectory of the whole vehicle in a maneuver. of car park.
RésuméSummary
L’invention a pour but de proposer un moyen de détermination de la position d’un véhicule à deux pivots.The object of the invention is to propose a means of determining the position of a vehicle with two pivots.
En particulier, un but de l’invention est de permettre de déterminer au moins l’angle formé par une remorque par rapport à une plate-forme de remorquage qui est elle-même rotative par rapport au tracteur.In particular, an object of the invention is to make it possible to determine at least the angle formed by a trailer relative to a towing platform which is itself rotatable relative to the tractor.
A cet égard, l’invention propose un système de détermination de la position angulaire d’un véhicule du type comprenant un tracteur, une plate-forme de remorquage montée rotative par rapport au tracteur au niveau d’un premier point d’ancrage, et une remorque montée rotative par rapport à la plate-forme de remorquage au niveau d’une second point d’ancrage,
le système comprenant un calculateur et une caméra orientée vers l’arrière du tracteur, caractérisé en ce qu’il est configuré pour mettre en œuvre les étapes suivantes:
- acquisition par la caméra d’une première image dans une position de référence du véhicule, et détection de la position, dans la première image, d’un ensemble de points caractéristiques,
- acquisition par la caméra d’au moins une deuxième image dans une autre position du véhicule, et détermination de la position, dans la deuxième image, d’au moins certains des points caractéristiques détectés dans le première image,
- détermination d’au moins l’angle de rotation de la remorque par rapport à la plate-forme de remorquage, à partir de la position des points caractéristiques sur la première image, et d’une position théorique desdits points, déterminée à partir de contraintes épipolaires sur les positions des points caractéristiques correspondants détectés dans la deuxième image.In this respect, the invention proposes a system for determining the angular position of a vehicle of the type comprising a tractor, a towing platform mounted rotatably relative to the tractor at the level of a first anchoring point, and a trailer rotatably mounted relative to the towing platform at a second anchor point,
the system comprising a computer and a camera facing the rear of the tractor, characterized in that it is configured to implement the following steps:
- acquisition by the camera of a first image in a reference position of the vehicle, and detection of the position, in the first image, of a set of characteristic points,
- acquisition by the camera of at least a second image in another position of the vehicle, and determination of the position, in the second image, of at least some of the characteristic points detected in the first image,
- determination of at least the angle of rotation of the trailer relative to the towing platform, from the position of the characteristic points on the first image, and from a theoretical position of said points, determined from epipolar constraints on the positions of the corresponding characteristic points detected in the second image.
Avantageusement, mais facultativement, le système selon l’invention comprend en outre au moins l’une des caractéristiques suivantes.Advantageously, but optionally, the system according to the invention further comprises at least one of the following characteristics.
Dans un mode de réalisation, le calculateur est configuré pour déterminer la valeur de l’angle de rotation de la remorque par rapport à la plate-forme de remorquage comme étant la valeur minimisant une fonction de coût basée sur la distance entre la position de chaque point caractéristique sur la première image et une ligne épipolaire déterminée à partir de la position du point correspondant sur la deuxième image.In one embodiment, the computer is configured to determine the value of the angle of rotation of the trailer relative to the towing platform as being the value minimizing a cost function based on the distance between the position of each characteristic point on the first image and an epipolar line determined from the position of the corresponding point on the second image.
Dans un mode de réalisation, le calculateur est configuré pour déterminer en outre la longueur de la plate-forme de remorquage ou l’angle de la plate-forme de remorquage par rapport au tracteur par minimisation de la fonction de coût en fonction à la fois de la valeur de l’angle de rotation de la remorque par rapport à la plate-forme de remorquage et de la longueur de la plate-forme de remorquage ou de l’angle de la plate-forme de remorquage par rapport au tracteur.In one embodiment, the calculator is configured to further determine the length of the towing platform or the angle of the towing platform relative to the tractor by minimizing the cost function as a function of both the value of the angle of rotation of the trailer in relation to the towing platform and the length of the towing platform or the angle of the towing platform in relation to the tractor.
Dans un mode de réalisation, la position initiale est une position dans laquelle les angles de la plate-forme de remorquage par rapport au tracteur et l’angle de la remorque par rapport à la plate-forme de remorquage sont nuls.In one embodiment, the initial position is a position in which the angles of the towing platform relative to the tractor and the angle of the trailer relative to the towing platform are zero.
La présente a également pour objet un procédé de détermination de la position d’un véhicule du type comprenant un tracteur, une plate-forme de remorquage montée rotative par rapport au tracteur au niveau d’un premier point d’ancrage, et une remorque montée rotative par rapport à la plate-forme de remorquage au niveau d’un second point d’ancrage, mis en œuvre par un système comprenant un calculateur et une caméra orientée vers l’arrière du tracteur, caractérisé en ce qu’il comprend les étapes suivantes:
- acquisition par la caméra d’une première image dans une position de référence du véhicule, et détection de la position, dans la première image, d’un ensemble de points caractéristiques,
- acquisition par la caméra d’une deuxième image dans une autre position du véhicule, et détermination de la position, dans la deuxième image, d’au moins certains des points caractéristiques détectés dans la première image,
- détermination d’au moins l’angle de rotation de la remorque par rapport à la plate-forme de remorquage, à partir de la position des points caractéristiques détectés sur la deuxième image, et d’une position théorique desdits points déterminée à partir de contraintes épipolaires sur les positions des points caractéristiques correspondants détectés dans la première image.The present also relates to a method for determining the position of a vehicle of the type comprising a tractor, a towing platform mounted rotatably relative to the tractor at the level of a first anchor point, and a trailer mounted rotatable with respect to the towing platform at the level of a second anchoring point, implemented by a system comprising a computer and a camera oriented towards the rear of the tractor, characterized in that it comprises the steps following:
- acquisition by the camera of a first image in a reference position of the vehicle, and detection of the position, in the first image, of a set of characteristic points,
- acquisition by the camera of a second image in another position of the vehicle, and determination of the position, in the second image, of at least some of the characteristic points detected in the first image,
- determination of at least the angle of rotation of the trailer relative to the towing platform, from the position of the characteristic points detected on the second image, and from a theoretical position of said points determined from epipolar constraints on the positions of the corresponding characteristic points detected in the first image.
La présente a également pour objet un produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre d’un procédé de détermination de la position d’un véhicule du type comprenant un tracteur, une plate-forme de remorquage montée rotative par rapport au tracteur au niveau d’un premier point d’ancrage, et une remorque montée rotative par rapport à la plate-forme de remorquage au niveau d’un second point d’ancrage, à partir d’images de la remorque acquises depuis une caméra montée sur le véhicule tracteur, le procédé comprenantles étapes suivantes:
- détection dans une première image de la position d’un ensemble de points caractéristiques d’une remorque,
- détection dans une deuxième image de la position de l’ensemble des points caractéristiques détectés dans la première image, et
- détermination d’au moins l’angle de rotation de la remorque par rapport à la plate-forme de remorquage, à partir de la position des points caractéristiques détectés sur la deuxième image, et d’une position théorique desdits points déterminée à partir de contraintes épipolaires sur les positions des points caractéristiques correspondants détectés dans la première image,
quand il est exécuté par un calculateur.The present also relates to a computer program product, comprising code instructions for implementing a method for determining the position of a vehicle of the type comprising a tractor, a rotatably mounted towing platform relative to the tractor at a first anchor point, and a rotatably mounted trailer relative to the towing platform at a second anchor point, from images of the trailer acquired from a camera mounted on the towing vehicle, the method comprisingthe following steps:
- detection in a first image of the position of a set of characteristic points of a trailer,
- detection in a second image of the position of all the characteristic points detected in the first image, and
- determination of at least the angle of rotation of the trailer relative to the towing platform, from the position of the characteristic points detected on the second image, and from a theoretical position of said points determined from epipolar constraints on the positions of the corresponding characteristic points detected in the first image,
when executed by a computer.
L’invention proposée permet de déterminer l’angle formé par la remorque par rapport à la plate-forme de remorquage à partir du traitement d’au moins deux images de cette remorque acquises par une caméra montée sur le tracteur.The proposed invention makes it possible to determine the angle formed by the trailer relative to the towing platform from the processing of at least two images of this trailer acquired by a camera mounted on the tractor.
L’invention proposée permet aussi de déterminer, si l’un de ces paramètres n’est pas connu, l’angle formé par la plate-forme de remorquage par rapport au tracteur, ou la longueur de la plate-forme de remorquage.The proposed invention also makes it possible to determine, if one of these parameters is not known, the angle formed by the towing platform relative to the tractor, or the length of the towing platform.
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels:Other characteristics, details and advantages will appear on reading the detailed description below, and on analyzing the appended drawings, in which:
Il est maintenant fait référence aux figures 1a et 1b, qui représentent schématiquement un véhicule à deux pivots V, du type comprenant un véhicule tracteur VT, une plate-forme de remorquage VP, et une remorque VR, la plate-forme de remorquage étant montée rotative par rapport au véhicule tracteur par rapport à un premier axe de pivot O1, et la remorque étant montée rotative par rapport à la plate-forme par rapport à deuxième axe de pivot O2. Le véhicule V peut par exemple être un véhicule de type «combinaison nordique», dans lequel le véhicule tracteur est un semi-remorque dont la remorque est montée rigidement au tracteur.Reference is now made to FIGS. 1a and 1b, which schematically represent a vehicle with two pivots V, of the type comprising a tractor vehicle VT, a towing platform VP, and a trailer VR, the towing platform being mounted rotatable relative to the towing vehicle relative to a first pivot axis O1, and the trailer being rotatably mounted relative to the platform relative to the second pivot axis O2. The vehicle V can for example be a vehicle of the “Nordic combination” type, in which the tractor vehicle is a semi-trailer whose trailer is rigidly mounted to the tractor.
Sur la figure 1a, on a représenté le véhicule V dans une première position, correspondant avantageusement à une position de référence, où un angle formé par la direction principale du véhicule tracteur, correspondant à la direction de son déplacement, et la direction principale de la plate-forme de remorquage, correspondant à la direction formée par l’axe des deux pivots O1 et O2, est nul. Également, l’angle formé par la direction principale de la plate-forme de remorquage et la direction principale de la remorque, correspondant à la direction de déplacement de la remorque, est nul.In FIG. 1a, the vehicle V has been shown in a first position, advantageously corresponding to a reference position, where an angle formed by the main direction of the tractor vehicle, corresponding to the direction of its movement, and the main direction of the towing platform, corresponding to the direction formed by the axis of the two pivots O1 and O2, is zero. Also, the angle formed by the main direction of the towing platform and the main direction of the trailer, corresponding to the direction of travel of the trailer, is zero.
Sur la figure 1b, on a représenté une autre position du véhicule V, dans laquelle ces angles sont non-nuls. On note α1 l’axe entre le véhicule tracteur VT et la plate-forme de remorquage, et α2 l’axe entre la plate-forme de remorquage VP et la remorque VR. On note également L la longueur de la plate-forme de remorquage, mesurée entre les deux points de pivots O1et O2.In FIG. 1b, another position of the vehicle V has been shown, in which these angles are non-zero. We note α1 the axis between the towing vehicle VT and the towing platform, and α2 the axis between the towing platform VP and the trailer VR. We also note L the length of the towing platform, measured between the two pivot points O1 and O2.
Sur les figures 1a et 1b, on a également représenté un système de détermination de la position du véhicule V, le système 1 comprenant un calculateur 10 et une mémoire 11 comprenant des instructions de code pour l’exécution du procédé décrit ci-après, quand elles sont exécutées par le calculateur 10. Le calculateur 10 peut être un processeur, microprocesseur, contrôleur, microcontrôleur, FPGA, ou autre.In FIGS. 1a and 1b, a system for determining the position of the vehicle V has also been shown, the system 1 comprising a computer 10 and a memory 11 comprising code instructions for the execution of the method described below, when they are executed by the computer 10. The computer 10 can be a processor, microprocessor, controller, microcontroller, FPGA, or other.
Le système 1 comprend en outre une caméra 12 montée sur le véhicule tracteur, et adaptée pour acquérir des images de la remorque VR. A cet égard, la caméra 12 est avantageusement positionnée à l’arrière du véhicule tracteur VT, en étant dirigée vers l’arrière du véhicule tracteur avec un axe optique sensiblement parallèle à l’axe du tracteur, comme illustré par exemple dans la figure 3. Quand le véhicule circule en ligne droite, l’axe de la caméra est aussi parallèle à la direction de circulation du véhicule et la direction de la remorque. En variante, la caméra peut présenter une autre orientation, et il faut alors réaliser une calibration de la caméra pour connaître cette orientation et en tenir compte pour la détermination des angles du véhicule.The system 1 further comprises a camera 12 mounted on the tractor vehicle, and adapted to acquire images of the VR trailer. In this respect, the camera 12 is advantageously positioned at the rear of the tractor vehicle VT, being directed towards the rear of the tractor vehicle with an optical axis substantially parallel to the axis of the tractor, as illustrated for example in FIG. When the vehicle is traveling in a straight line, the axis of the camera is also parallel to the direction of travel of the vehicle and the direction of the trailer. As a variant, the camera may have another orientation, and it is then necessary to carry out a calibration of the camera in order to know this orientation and to take it into account for the determination of the angles of the vehicle.
Sur la figure 2, on a représenté schématiquement les notations des différents repères utilisés dans la suite. Le repère R1 est celui de la caméra, il est centré sur le centre optique de la caméra. Le repère R2 est centré sur le point de pivot O1 et fixé au véhicule tracteur. Par conséquent sa relation au repère R1 est une translation constante correspondant à la translation entre le point de pivot O1 et le centre optique de la caméra. Le repère R3 est fixé à la plate-forme de remorquage et centré sur le point de pivot O1. Sa relation au repère R2 est une rotation d’angle α1 autour d’un axe perpendiculaire au plan de la route sur lequel se trouve le véhicule, et qui est vertical lorsque le véhicule est sur un plan horizontal. Le repère R4 est fixé à la plate-forme de remorquage et centré sur le point de pivot O2. Sa relation au repère R3 est une translation de longueur L. Enfin le repère R5 est lié à la remorque et centré sur le point de pivot O2. Sa relation au repère R4 est une rotation d’angle α2 autour d’un axe perpendiculaire au plan de la route, et également vertical lorsque le véhicule est sur un plan horizontal.In FIG. 2, the notations of the various references used in the sequel have been represented schematically. The R1 mark is that of the camera, it is centered on the optical center of the camera. The R2 marker is centered on the pivot point O1 and fixed to the towing vehicle. Consequently its relation to the reference R1 is a constant translation corresponding to the translation between the pivot point O1 and the optical center of the camera. The R3 marker is fixed to the towing platform and centered on the pivot point O1. Its relation to the reference R2 is a rotation of angle α1 around an axis perpendicular to the plane of the road on which the vehicle is located, and which is vertical when the vehicle is on a horizontal plane. The R4 marker is fixed to the towing platform and centered on the pivot point O2. Its relation to the reference R3 is a translation of length L. Finally the reference R5 is linked to the trailer and centered on the pivot point O2. Its relation to the reference R4 is a rotation of angle α2 around an axis perpendicular to the plane of the road, and also vertical when the vehicle is on a horizontal plane.
En notant H12 une matrice de changement du repère 1 au repère 2, la matrice H12 est une concaténation d’une matrice de rotation et de translation telle que:
P1=H12*P2
Où P1 sont les coordonnées d’un point P dans le repère 1:
P1=H12*P2
Where P1 are the coordinates of a point P in frame 1:
Enfin, les coordonnées sur l’image acquise par la caméra d’un point P1 du repère 1 rattaché à la caméra sont fournies par (x1/z1, y1/z1).Finally, the coordinates on the image acquired by the camera of a point P1 of the reference 1 attached to the camera are provided by (x1/z1, y1/z1).
Sur la figure 3 sont représentées les principales étapes d’un procédé de détermination de la position du véhicule V mis en œuvre par le système décrit précédemment. Le procédé permet de déterminer au moins l’angle α2 de la remorque par rapport à la plate-forme de remorquage. Dans un mode de réalisation, il permet également de déterminer l’angle α1 de la plate-forme par rapport au tracteur ou la longueur L de la plate-forme.In FIG. 3 are represented the main steps of a method for determining the position of the vehicle V implemented by the system described above. The method makes it possible to determine at least the angle α2 of the trailer relative to the towing platform. In one embodiment, it also makes it possible to determine the angle α1 of the platform relative to the tractor or the length L of the platform.
Le procédé comprend une première étape 100 d’acquisition, par la caméra12, d’une première image dans une position de référence du véhicule, la remorque étant visible sur l’image d’après la position de la caméra indiquée ci-avant. La position de référence est de préférence la position représentée sur la figure 1a où les angles α1 et α2 sont nuls. A cet égard, le véhicule a de préférence circulé sur une ligne droite sur une distance suffisante pour pouvoir adopter cette position de référence.The method comprises a first step 100 of acquisition, by the camera 12, of a first image in a reference position of the vehicle, the trailer being visible on the image according to the position of the camera indicated above. The reference position is preferably the position represented in FIG. 1a where the angles α1 and α2 are zero. In this respect, the vehicle has preferably traveled on a straight line over a sufficient distance to be able to adopt this reference position.
Cette étape comprend en outre la détection d’un ensemble de points caractéristiques sur l’image. Avantageusement, l’ensemble de points caractéristiques comprend des points saillants de la remorque. La détection de ces points peut par exemple être mise en œuvre par le calculateur 10, par application par exemple de la méthode décrite dans l’article de E. Rublee et al., «ORB: an efficient alternative to SIFT or SURF», dans IEEE International Conference on Computer Vision, 2011. Dans l’hypothèse où des points saillants sont détectés qui n’appartiennent pas à la remorque, ces points peuvent être ultérieurement filtrés, car ils ne sont plus visibles dans les images suivantes. A cet égard on peut appliquer un algorithme de type RANSAC.This step also includes the detection of a set of characteristic points on the image. Advantageously, the set of characteristic points comprises salient points of the trailer. The detection of these points can for example be implemented by the computer 10, by applying for example the method described in the article by E. Rublee et al., “ORB: an efficient alternative to SIFT or SURF”, in IEEE International Conference on Computer Vision, 2011. In the event that salient points are detected that do not belong to the trailer, these points can be subsequently filtered out, since they are no longer visible in subsequent images. In this respect, a RANSAC type algorithm can be applied.
Le procédé comprend ensuite une étape 200 d’acquisition, par la caméra 12, d’une deuxième image de la remorque, dans une autre position du véhicule, celui-ci ayant circulé entre les moments où les deux images ont été prises. L’étape 200 comprend en outre la détection d’au moins une partie des points caractéristiques qui ont été détectés dans la première image lors de l’étape 100. Dans un mode de réalisation, chaque point caractéristique détecté dans la première image est associé à un descripteur qui permet de l’identifier dans la deuxième image. En variante, cette détection peut être mise en œuvre en réalisant un suivi de la position des points caractéristiques entre la première et la deuxième image, et peut être mise en œuvre selon la méthode décrite dans l’article de H. Salmane et al, «Object tracking using Harris corner points based optical flow propagation and Kalman filter», dans 14th International IEEE Conference on Intelligent Transportation Systems, 2011.The method then comprises a step 200 of acquisition, by the camera 12, of a second image of the trailer, in another position of the vehicle, the latter having traveled between the times when the two images were taken. Step 200 further comprises detecting at least some of the feature points that were detected in the first image during step 100. In one embodiment, each feature point detected in the first image is associated with a descriptor used to identify it in the second image. As a variant, this detection can be implemented by tracking the position of the characteristic points between the first and the second image, and can be implemented according to the method described in the article by H. Salmane et al, “ Object tracking using Harris corner points based optical flow propagation and Kalman filter”, in 14th International IEEE Conference on Intelligent Transportation Systems, 2011.
Optionnellement, plusieurs images peuvent être acquises lors de l’étape 200 afin d’augmenter la précision sur les valeurs déterminées des paramètres.Optionally, several images can be acquired during step 200 in order to increase the precision on the determined values of the parameters.
Le procédé comprend ensuite une étape 300 de détermination de la position de la remorque par rapport au tracteur, cette étape comprenant au moins la détermination de l’angle α2, si les paramètres L et α1 sont connus par ailleurs, et comprenant la détermination de α2 et l’un de L et α1 si ce dernier paramètre n’est pas connu.The method then comprises a step 300 of determining the position of the trailer relative to the tractor, this step comprising at least the determination of the angle α2, if the parameters L and α1 are known elsewhere, and comprising the determination of α2 and one of L and α1 if this last parameter is not known.
L’étape 300 est mise en œuvre par minimisation d’une fonction d’erreur basée sur une distance entre les positions, sur la deuxième image, de chaque point caractéristique suivi à partir de la première image, et une position théorique correspondante de chaque point sur la deuxième image compte-tenu de contraintes épipolaires entre les deux images, c’est-à-dire de contraintes géométriques liées au fait que chaque point appartient au même objet vu de deux points d’observations différents.Step 300 is implemented by minimizing an error function based on a distance between the positions, on the second image, of each characteristic point tracked from the first image, and a corresponding theoretical position of each point on the second image taking into account epipolar constraints between the two images, that is to say geometric constraints linked to the fact that each point belongs to the same object seen from two different observation points.
Dans la suite on note par un indice A les matrices de changement de repère et les points correspondant à la première position du véhicule, et à la première image acquise dans cette position, et par un indice B les matrices de changement de repère et les points correspondant à la deuxième position du véhicule, et à la deuxième image acquise dans cette position.In the following, we denote by an index A the change of reference matrices and the points corresponding to the first position of the vehicle, and to the first image acquired in this position, and by an index B the change of reference matrices and the points corresponding to the second position of the vehicle, and to the second image acquired in this position.
Dans la position A, au moins les matrices H12A, H23A, H45A sont connues car H12A correspond à la position, connue, de la caméra par rapport au point d’ancrage O1, H23A correspond à une matrice de rotation de l’angle α1, qui est nul, et H45A correspond à une matrice de rotation de l’angle α2, qui est nul. Si la distance L est connue, alors H34A est connue également.In position A, at least the matrices H12A, H23A, H45A are known because H12A corresponds to the known position of the camera with respect to the anchor point O1, H23A corresponds to a rotation matrix of the angle α1, which is zero, and H45A corresponds to a rotation matrix of the angle α2, which is zero. If the distance L is known, then H34A is also known.
Dans la position B, la matrice H12B est connue, la matrice H34B est identique à la matrice H34A, et on cherche à déterminer la matrice H45B.In position B, the H12B matrix is known, the H34B matrix is identical to the H34A matrix, and one seeks to determine the H45B matrix.
Dans le cas où le paramètre L est connu; par exemple parce qu’il a été préalablement paramétré, les matrices H34A et H34B sont connues et on peut déterminer α2 sans connaître α1. H23B est alors inconnue. Dans un autre cas, L est inconnu et α1 est déterminé par un autre moyen, par exemple par l’utilisation d’un capteur mécatronique. Dans ce cas H34A et H34B sont identiques mais inconnues, et H23B est connue. Enfin dans un dernier cas, seule la matrice H45B est inconnue, l’angle α1 ayant été déterminé entre l’étape 200 et l’étape 300 par la méthode citée ci-avant, et la longueur L étant connue.In the case where the parameter L is known; for example because it has been previously parameterized, the matrices H34A and H34B are known and we can determine α2 without knowing α1. H23B is then unknown. In another case, L is unknown and α1 is determined by another means, for example by the use of a mechatronic sensor. In this case H34A and H34B are identical but unknown, and H23B is known. Finally in a last case, only the matrix H45B is unknown, the angle α1 having been determined between step 200 and step 300 by the method cited above, and the length L being known.
Pour un même point de la remorque, on note H1AB la matrice de déplacement du point dans le repère 1 de la caméra entre la position A et la position B: H1AB=H12A*H23A*H34A*H45A*H5AB*H54B*H43B*H32B*H21B.For the same point of the trailer, we denote by H1AB the displacement matrix of the point in reference 1 of the camera between position A and position B: H1AB=H12A*H23A*H34A*H45A*H5AB*H54B*H43B*H32B *H21B.
La matrice H5AB est la matrice identité car la remorque VR est rigide et ne change pas de position dans le repère 5 entre les instants A et B.The H5AB matrix is the identity matrix because the VR trailer is rigid and does not change position in frame 5 between times A and B.
La position d’un point caractéristique ou d’un objet sur une image acquise par la caméra à la position A, est contrainte de se situer sur une ligne de cette image, appelée ligne épipolaire, définie par l’équation suivante: E1AB*[xB,yB,1], où xB et yB correspondent à la position du même point ou objet sur l’image acquise par la caméra à la position B.The position of a characteristic point or of an object on an image acquired by the camera at position A, is constrained to lie on a line of this image, called the epipolar line, defined by the following equation: E1AB*[ xB,yB,1], where xB and yB correspond to the position of the same point or object on the image acquired by the camera at position B.
La matrice E1AB, également appelée matrice essentielle en géométrie épipolaire, dépend des paramètres α1, α2 et L et peut être exprimée comme suit :
Le calculateur minimise ensuite une fonction de coût correspondant à une erreur entre la position des points sur la première image et la ligne épipolaire liée à la position du point correspondant sur la deuxième image, c’est-à-dire en appliquant E1AB à la position du point sur la deuxième image. Cette erreur peut être approximée par l’erreur de Sampson ou distance de Sampson, qui est calculée comme suit:
Dans cette équation, i désigne chaque point caractéristique suivi entre la première et la deuxième image.In this equation, i denotes each feature point tracked between the first and second image.
La matrice H45B à déterminer est uniquement fonction de l’angle α2. Dans le cas où L et α1 sont connus, la fonction D est dans ce cas uniquement une fonction de α2, dont la valeur α2* est déterminée par minimisation de l’erreur:
Dans un mode de réalisation alternatif où l’un de L et de α1 est inconnu, α2 et L ou α1 peuvent être déterminés simultanément par minimisation de D vis-à-vis de ces deux paramètres.In an alternative embodiment where one of L and α1 is unknown, α2 and L or α1 can be determined simultaneously by minimizing D with respect to these two parameters.
En variante, une fois α2 déterminé, la même fonction D peut être à nouveau minimisée vis-à-vis de l’un de α1 ou L, ou de l’un puis .de l’autre, afin d’obtenir une valeur plus précise de ces paramètres, la première valeur utilisée lors de l’estimation de α2 étant une première valeur approximative.As a variant, once α2 has been determined, the same function D can again be minimized with respect to one of α1 or L, or one then .of the other, in order to obtain a value more of these parameters, the first value used during the estimation of α2 being a first approximate value.
Le procédé proposé permet donc de déterminer précisément la position d’un véhicule à deux axes de pivot, car non seulement il permet de déterminer l’angle α2 de la remorque par rapport à la plate-forme de manière précise, mais il permet aussi d’ajuster la connaissance des valeurs de α1 et/ou L selon la même méthode. On peut donc, par exemple, connaître la taille de la plate-forme de remorquage à partir d’un traitement d’images, si le véhicule tracteur est amené à tracter des plates-formes de différents modèles.The proposed method therefore makes it possible to precisely determine the position of a vehicle with two pivot axes, because not only does it make it possible to determine the angle α2 of the trailer relative to the platform in a precise manner, but it also makes it possible to adjust the knowledge of the values of α1 and/or L using the same method. It is therefore possible, for example, to know the size of the towing platform from image processing, if the towing vehicle is required to tow platforms of different models.
Claims (6)
le système (1) comprenant un calculateur (10) et une caméra (12) orientée vers l’arrière du tracteur, caractérisé en ce qu’il est configuré pour mettre en œuvre les étapes suivantes:
- acquisition (100) par la caméra d’une première image dans une position de référence du véhicule, et détection de la position, dans la première image, d’un ensemble de points caractéristiques,
- acquisition (200) par la caméra d’au moins une deuxième image dans une autre position du véhicule, et détermination de la position, dans la deuxième image, d’au moins certains des points caractéristiques détectés dans le première image,
- détermination (300) d’au moins l’angle de rotation (α2) de la remorque par rapport à la plate-forme de remorquage, à partir de la position des points caractéristiques sur la première image, et d’une position théorique desdits points, déterminée à partir de contraintes épipolaires sur les positions des points caractéristiques correspondants détectés dans la deuxième image.System (1) for determining the angular position of a vehicle (V) of the type comprising a tractor (VT), a towing platform (VP) rotatably mounted relative to the tractor at the level of a first point of anchor (O1), and a trailer (VR) rotatably mounted relative to the towing platform (VP) at a second anchor point (O2),
the system (1) comprising a computer (10) and a camera (12) oriented towards the rear of the tractor, characterized in that it is configured to implement the following steps:
- acquisition (100) by the camera of a first image in a reference position of the vehicle, and detection of the position, in the first image, of a set of characteristic points,
- acquisition (200) by the camera of at least one second image in another position of the vehicle, and determination of the position, in the second image, of at least some of the characteristic points detected in the first image,
- determination (300) of at least the angle of rotation (α2) of the trailer relative to the towing platform, from the position of the characteristic points on the first image, and from a theoretical position of said points, determined from epipolar constraints on the positions of the corresponding characteristic points detected in the second image.
- acquisition (100) par la caméra d’une première image dans une position de référence du véhicule, et détection de la position, dans la première image, d’un ensemble de points caractéristiques,
- acquisition (200) par la caméra d’une deuxième image dans une autre position du véhicule, et détermination de la position, dans la deuxième image, d’au moins certains des points caractéristiques détectés dans la première image,
- détermination (300) d’au moins l’angle de rotation (α2) de la remorque par rapport à la plate-forme de remorquage, à partir de la position des points caractéristiques détectés sur la deuxième image, et d’une position théorique desdits points déterminée à partir de contraintes épipolaires sur les positions des points caractéristiques correspondants détectés dans la première image.Method for determining the position of a vehicle (V) of the type comprising a tractor (VT), a towing platform (VP) rotatably mounted relative to the tractor (VT) at the level of a first anchor point (O1), and a trailer (VR) rotatably mounted relative to the towing platform (VP) at the level of a second anchor point (O2), implemented by a system (1) comprising a computer (10) and a camera (12) facing the rear of the tractor, characterized in that it comprises the following steps:
- acquisition (100) by the camera of a first image in a reference position of the vehicle, and detection of the position, in the first image, of a set of characteristic points,
- acquisition (200) by the camera of a second image in another position of the vehicle, and determination of the position, in the second image, of at least some of the characteristic points detected in the first image,
- determination (300) of at least the angle of rotation (α2) of the trailer relative to the towing platform, from the position of the characteristic points detected on the second image, and from a theoretical position of said points determined from epipolar constraints on the positions of the corresponding characteristic points detected in the first image.
- détection dans une première image de la position d’un ensemble de points caractéristiques d’une remorque,
- détection dans une deuxième image de la position de l’ensemble des points caractéristiques détectés dans la première image, et
- détermination d’au moins l’angle de rotation de la remorque par rapport à la plate-forme de remorquage, à partir de la position des points caractéristiques détectés sur la deuxième image, et d’une position théorique desdits points déterminée à partir de contraintes épipolaires sur les positions des points caractéristiques correspondants détectés dans la première image
quand il est exécuté par un calculateur (10).
Computer program product, comprising code instructions for implementing a method for determining the position of a vehicle of the type comprising a tractor, a towing platform rotatably mounted relative to the tractor at the level of a first anchor point, and a trailer mounted rotatably relative to the towing platform at a second anchor point, from images of the trailer acquired from a camera mounted on the towing vehicle , the method comprisingthe following steps:
- detection in a first image of the position of a set of characteristic points of a trailer,
- detection in a second image of the position of all the characteristic points detected in the first image, and
- determination of at least the angle of rotation of the trailer relative to the towing platform, from the position of the characteristic points detected on the second image, and from a theoretical position of said points determined from epipolar constraints on the positions of the corresponding feature points detected in the first image
when it is executed by a computer (10).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2000831A FR3106560B1 (en) | 2020-01-28 | 2020-01-28 | System for determining the angular position of a vehicle with two pivot points |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2000831A FR3106560B1 (en) | 2020-01-28 | 2020-01-28 | System for determining the angular position of a vehicle with two pivot points |
| FR2000831 | 2020-01-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3106560A1 true FR3106560A1 (en) | 2021-07-30 |
| FR3106560B1 FR3106560B1 (en) | 2022-11-18 |
Family
ID=70154712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2000831A Active FR3106560B1 (en) | 2020-01-28 | 2020-01-28 | System for determining the angular position of a vehicle with two pivot points |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3106560B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023066610A1 (en) * | 2021-10-22 | 2023-04-27 | Continental Automotive Gmbh | Method for determining the angular position of a complex vehicle with two axes of rotation, and system configured to implement such a method |
| CN117622322A (en) * | 2024-01-26 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | Corner detection method, device, equipment and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006007805A1 (en) * | 2006-02-17 | 2007-08-30 | Daimlerchrysler Ag | Trailer angle determining method for use between tow vehicle and trailer, involves determining trailer angle based on edge points and object points with less distance to sensor and in acknowledgement to position of towing bar pivot point |
| WO2016119920A1 (en) * | 2015-01-29 | 2016-08-04 | Volkswagen Aktiengesellschaft | Method and device for identifying a trailer |
| WO2019202317A1 (en) * | 2018-04-17 | 2019-10-24 | Cambridge Enterprise Limited | Method and system of articulation angle measurement |
-
2020
- 2020-01-28 FR FR2000831A patent/FR3106560B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006007805A1 (en) * | 2006-02-17 | 2007-08-30 | Daimlerchrysler Ag | Trailer angle determining method for use between tow vehicle and trailer, involves determining trailer angle based on edge points and object points with less distance to sensor and in acknowledgement to position of towing bar pivot point |
| WO2016119920A1 (en) * | 2015-01-29 | 2016-08-04 | Volkswagen Aktiengesellschaft | Method and device for identifying a trailer |
| WO2019202317A1 (en) * | 2018-04-17 | 2019-10-24 | Cambridge Enterprise Limited | Method and system of articulation angle measurement |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023066610A1 (en) * | 2021-10-22 | 2023-04-27 | Continental Automotive Gmbh | Method for determining the angular position of a complex vehicle with two axes of rotation, and system configured to implement such a method |
| FR3128524A1 (en) * | 2021-10-22 | 2023-04-28 | Continental Automotive Gmbh | Method for determining the angular position of a complex vehicle with two axes of rotation and system configured to implement such a method |
| CN117622322A (en) * | 2024-01-26 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | Corner detection method, device, equipment and storage medium |
| CN117622322B (en) * | 2024-01-26 | 2024-04-26 | 杭州海康威视数字技术股份有限公司 | Corner detection method, device, equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3106560B1 (en) | 2022-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR2871737A1 (en) | METHOD FOR ATTACHING A TRAILER TO A MOTOR VEHICLE | |
| FR3046977A1 (en) | METHOD AND SYSTEM FOR DETERMINING DATA FOR DRIVER-FREE DRIVING OF A VEHICLE | |
| FR3106560A1 (en) | System for determining the angular position of a vehicle with two pivot points | |
| FR2969098A1 (en) | METHOD AND DEVICE FOR ASSISTING THE DRIVER OF A VEHICLE | |
| FR3098172A1 (en) | Method of determining an avoidance trajectory of a motor vehicle | |
| FR3048113B1 (en) | DEVICE AND METHOD FOR AIDING THE DRIVING OF A MOTOR VEHICLE | |
| FR3120040A1 (en) | Method for activating an obstacle avoidance system for a motor vehicle | |
| FR3117207A1 (en) | Path calculation method and device for a mobile platform | |
| FR3047589A1 (en) | METHOD AND DEVICE FOR ESTIMATING THE LATERAL POSITION OF A VEHICLE IN A CIRCULATION PATH | |
| FR3120039A1 (en) | Obstacle avoidance method | |
| FR3119817A1 (en) | Method and device for determining a trajectory for an autonomous vehicle | |
| WO2023066610A1 (en) | Method for determining the angular position of a complex vehicle with two axes of rotation, and system configured to implement such a method | |
| EP1910154A2 (en) | Method for real-time parking assistance for a motor vehicle, and corresponding device | |
| FR3092545A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED | |
| WO2021249809A1 (en) | Method for calibrating a camera and associated device | |
| EP4094225B1 (en) | System for determining the angular position of a trailer | |
| EP3300981A1 (en) | Device to assist with the orientation of the wheels of a vehicle | |
| EP3865816B1 (en) | Methods and systems for remotely measuring the angular orientation of a vehicle within a motor vehicle road convoy. | |
| FR3092914A1 (en) | Method for determining the trajectory of a vehicle comprising four steered wheels | |
| FR3142730A1 (en) | Method for detecting a central line of a traffic lane and controlling a motor vehicle | |
| WO2024209137A1 (en) | Method and device for determining a depth by means of a non-parallel stereoscopic vision system | |
| FR3142151A1 (en) | Method for characterizing track edge lines with a view to controlling a motor vehicle | |
| FR3147650A1 (en) | Method and device for determining a depth by a self-supervised vision system. | |
| FR3135048A1 (en) | Method for monitoring at least one lane edge boundary and associated motor vehicle | |
| FR3132487A1 (en) | Method for detecting a center line of a traffic lane |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20210730 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| TP | Transmission of property |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Effective date: 20230424 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |