FR3065695A1 - Procede d'estimation du temps restant avant l'entree en collision d'un vehicule automobile avec un objet - Google Patents

Procede d'estimation du temps restant avant l'entree en collision d'un vehicule automobile avec un objet Download PDF

Info

Publication number
FR3065695A1
FR3065695A1 FR1753720A FR1753720A FR3065695A1 FR 3065695 A1 FR3065695 A1 FR 3065695A1 FR 1753720 A FR1753720 A FR 1753720A FR 1753720 A FR1753720 A FR 1753720A FR 3065695 A1 FR3065695 A1 FR 3065695A1
Authority
FR
France
Prior art keywords
camera
time
displacement vector
relative displacement
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1753720A
Other languages
English (en)
Other versions
FR3065695B1 (fr
Inventor
Boris Lugez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Autonomous Mobility Germany GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Priority to FR1753720A priority Critical patent/FR3065695B1/fr
Priority to PCT/FR2018/050922 priority patent/WO2018197775A1/fr
Publication of FR3065695A1 publication Critical patent/FR3065695A1/fr
Application granted granted Critical
Publication of FR3065695B1 publication Critical patent/FR3065695B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

La présente invention a pour objet un procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant une étape (E0) de génération par la caméra d'un flux d'images, une étape (E1) de détection d'au moins un objet sur ledit flux d'images généré, une étape (E2) de détermination d'au moins deux points remarquables de l'objet détecté, une étape (E6) de détermination du ratio entre un vecteur de déplacement relatif de l'objet détecté et la distance dudit objet à la caméra et une étape (E7) d'estimation du temps restant avant l'entrée en collision du véhicule avec l'objet détecté à partir du vecteur de déplacement déterminé.

Description

Titulaire(s) : CONTINENTAL AUTOMOTIVE FRANCE Société par actions simplifiée, CONTINENTAL AUTOMOTIVE GMBH.
Demande(s) d’extension
Mandataire(s) : CONTINENTAL AUTOMOTIVE FRANCE Société par actions simplifiée.
PROCEDE D'ESTIMATION DU TEMPS RESTANT AVANT L'ENTREE EN COLLISION D'UN VEHICULE AUTOMOBILE AVEC UN OBJET.
FR 3 065 695 - A1 (5/) La présente invention a pour objet un procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant une étape (E0) de génération par la caméra d'un flux d'images, une étape (E1 ) de détection d'au moins un objet sur ledit flux d'images généré, une étape (E2) de détermination d'au moins deux points remarquables de l'objet détecté, une étape (E6) de détermination du ratio entre un vecteur de déplacement relatif de l'objet détecté et la distance dudit objet à la caméra et une étape (E7) d'estimation du temps restant avant l'entrée en collision du véhicule avec l'objet détecté à partir du vecteur de déplacement déterminé.
Génération flux d’images
Détection objet
Détermination points remarquables
I Détermination plan
Détermination du vecteur directeur du plan i
Détermination matrice de rotation
Détermination du ratio T/D
Détermination du temps avant collision
R
RE0
El
E2
E3
E4
E5
E6
E7
Figure FR3065695A1_D0001
L’invention se rapporte au domaine des systèmes d’aide à la conduite d’un véhicule automobile et, plus particulièrement, au calcul du temps restant au véhicule avant d’entrer en collision avec un objet.
De nos jours, il est connu de détecter des objets, notamment des obstacles, situés dans l’environnement d’un véhicule automobile à l’aide d’une caméra embarquée dans le véhicule. Plus précisément, la détection est réalisée en analysant les images capturées par la caméra et sur lesquelles apparaissent lesdits objets.
Une fois un objet détecté, il est connu de déterminer le temps avant que cet objet n’entre en collision avec le véhicule en estimant la distance séparant le véhicule de l’objet à partir desdites images. Il existe différentes méthodes pour déterminer ce temps avant collision.
Une première méthode consiste à effectuer une triangulation de la position de l’objet dans l’espace (c’est-à-dire en trois dimensions) à partir des images afin de déterminer sa position réelle. Puis, à partir de la position réelle de l’objet et de la connaissance de la vitesse de déplacement du véhicule, il est possible de calculer le temps nécessaire au véhicule pour parcourir la distance le séparant dudit l’objet. Cependant, une telle méthode n’est valable que si l’objet est statique.
Une deuxième méthode consiste à calculer, lors du déplacement de l’objet par rapport au véhicule, le changement d’échelle de l’objet sur les images capturées. Autrement dit, on détermine, entre deux images capturées successivement, la modification de la taille de l’objet qui est proportionnelle à sa vitesse de déplacement par rapport au véhicule. Cependant, une telle méthode présente également des inconvénients. Tout d’abord, cette méthode est sensible aux fortes distorsions des images capturées par une caméra grand angle de type « fisheye », généralement embarquée dans un véhicule. De plus, le résultat obtenu est peu précis lorsque le déplacement de l’objet est faible. Aussi, cette méthode est difficilement utilisable pour des objets lointains ou statiques.
Enfin, une troisième méthode consiste à utiliser un modèle de plan de l’espace pour l’objet, c’est à dire un plan défini selon les trois dimensions spatiales, appelé plan 3D. Une telle méthode comprend la détection d’au moins un objet dans un flux d’images capturé par la caméra du véhicule, la détermination de points remarquables de l’objet détecté, la détermination du plan de l’espace auquel appartiennent lesdits points remarquables et la détermination d’un vecteur de déplacement de l’objet détecté à partir des vecteurs de direction du plan de l’espace déterminé. Le temps avant collision est ensuite calculé en résolvant le système linéaire d’équations ainsi obtenu.
Cependant, un faible déplacement de l’objet d’une image à une autre peut se confondre avec le bruit apparaissant de manière standard dans les images, ce qui rend alors l’estimation du temps avant collision peu précis. Il en résulte que cette méthode est difficilement utilisable pour des objets lointains ou statiques.
Une solution serait d’augmenter l’intervalle de temps entre la capture de deux images successives du flux d’images afin d’augmenter le déplacement de l’objet entre ces deux images. Cependant, une telle solution augmenterait le risque qu’un point remarquable soit recouvert, par exemple par un obstacle situé dans l’environnement du véhicule, durant l’intervalle de temps entre lesdites deux images, empêchant alors la détection dudit point remarquable et ainsi la détermination du déplacement de ce point entre les deux images.
Il existe donc le besoin d’une solution permettant de remédier au moins en partie à ces inconvénients.
La présente invention vise à proposer une solution simple, fiable et efficace pour déterminer le temps avant collision d’un objet avec un véhicule automobile, en utilisant notamment un plan de l’espace et des points remarquables.
A cette fin, l’invention a pour objet un procédé d’estimation du temps restant avant l’entrée en collision d’un véhicule automobile avec un objet, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant :
• une étape de génération par la caméra d’un flux d’images représentant l’environnement du véhicule, • une étape de détection d’au moins un objet sur ledit flux d’images généré, • une étape de détermination d’au moins deux points remarquables de l’objet détecté, • une étape de détermination d’un plan de l’espace auquel appartiennent lesdits points remarquables de l’objet, • une étape de détermination du vecteur directeur du plan de l’espace déterminé, et • une étape de détermination de la matrice de rotation de la caméra entre deux images capturées successivement.
Le procédé est remarquable en ce qu’il comprend:
• une étape de détermination du ratio entre le vecteur de déplacement relatif de l’objet détecté et la distance dudit objet à la caméra à partir de la matrice de rotation déterminée et du vecteur directeur déterminé par résolution d’un système d’équations linéaires dans lequel l’accélération de l’objet est considérée comme constante, et • une étape d’estimation du temps restant avant l’entrée en collision du véhicule avec l’objet détecté à partir dudit ratio déterminé.
L’utilisation d’une valeur constante d’accélération permet de simplifier la résolution du système d’équations linéaires et de limiter ainsi l’erreur sur l’estimation du temps restant avant collision. Le temps avant collision peut ainsi être estimé de manière simple, rapide et fiable, notamment en limitant les temps de calculs et l’utilisation de ressources de calcul.
De préférence, le temps restant estimé est donné par la formule suivant :
Figure FR3065695A1_D0002
où « TTC » est le temps restant estimé, T est le vecteur de déplacement relatif de l’objet et D est la distance entre l’objet et la caméra.
Avantageusement, le vecteur de déplacement relatif T et la distance D sont donnés selon la formule suivante :
R t * Xsrc = k * [identity — Rt * T/D * N]* Xdst où « Rt >> est la transposée de la matrice déterminée de rotation de la caméra, N est le vecteur directeur déterminé, k est un nombre réel, « Xsrc» désigne la position du point remarquable sur l’image, « Xdst >> désigne la destination du point remarquable, « identity >> est la matrice d’identité à trois dimensions, T est le vecteur de déplacement relatif de l’objet et D la distance entre l’objet et la caméra.
De manière avantageuse, le vecteur de déplacement relatif T est déterminé à partir de la vitesse relative Vn de l’objet par rapport à la caméra à l’instant (t+n*dt) selon la formule suivante :
Vn = V-l + (n — 1) * dt * Acc où « t >> est un nombre réel représentant un temps quelconque, « n >> est un nombre entier représentant le nombre d’images capturées depuis l’instant t, « dt >> est l’intervalle de temps entre deux images capturées, « Vi >> est la vitesse relative de l’objet à l’instant t et « Acc >> est l’accélération constante de l’objet.
Avantageusement, le vecteur de déplacement relatif T est déterminé à partir du vecteur de déplacement Tn relatif de l’objet par rapport à la caméra à l’instant (t+n*dt) selon la formule suivante :
Tn = n*T1+n* (n - l)/2 * dt2 * Acc où « t >> est un nombre réel représentant un temps quelconque, « n >> est un nombre entier représentant le nombre d’images capturées depuis l’instant t, « dt >> est l’intervalle de temps entre deux images capturées, « Tn >> est le vecteur de déplacement relatif de l’objet à l’instant (t+n*dt), « ΤΊ >> est le vecteur de déplacement relatif de l’objet à l’instant t et « Acc >> est l’accélération constante de l’objet.
Selon une forme de réalisation de l’invention, l’accélération constante de l’objet est nulle, autrement dit, la vitesse de l’objet relative à la caméra du véhicule est constante, ce qui permet de simplifier encore davantage la résolution du système d’équations linéaires.
De préférence, le vecteur de déplacement relatif est déterminé à partir du vecteur de déplacement relatif de l’objet par rapport à la caméra à l’instant (t+n*dt) selon la formule suivante :
Tn= n*!) où « Tn >> est le vecteur de déplacement relatif de l’objet à l’instant (t+n*dt) et « ΤΊ >> est le vecteur de déplacement relatif de l’objet à l’instant t.
Avantageusement, plus de dix points remarquables, par exemple de l’ordre de quinze points remarquables, sont déterminés durant l’étape de détermination de points remarquables afin d’optimiser la fiabilité de l’estimation du temps.
L’invention concerne également un véhicule automobile comprenant au moins une caméra configurée pour générer un flux d’images représentant l’environnement du véhicule et au moins un calculateur adapté pour mettre en œuvre le procédé, tel que décrit précédemment, d’estimation du temps restant avant l’entrée en collision d’un objet avec ledit véhicule à partir dudit flux d’images.
D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard de la figure annexée donnée à titre d’exemple non limitatif.
La figure 1 illustre schématiquement la mise en œuvre du procédé d’estimation du temps avec collision du véhicule selon l’invention.
L’invention va maintenant être décrite en référence à la figure 1. L’invention est destinée aux véhicules, notamment automobiles, afin d’assister le conducteur dans sa conduite sur une voie de circulation.
Le véhicule selon l’invention comprend un système d’aide à la conduite comprenant au moins une caméra adaptée pour générer un flux d’images et des moyens de traitements de ces images.
Une telle caméra est placée de manière à générer un flux d’images représentant l’environnement du véhicule afin, par exemple, de détecter des objets situés devant le véhicule. Dans ce but, la caméra capture des images à intervalle de temps régulier. L’intervalle de temps entre deux images consécutives du flux d’images est noté « dt >>.
Les moyens de traitement comprennent au moins un calculateur configuré, d’une part, pour détecter un objet dans le flux d’images et, d’autre part, pour déterminer le temps avant collision entre le véhicule et l’objet détecté.
La détection d’un objet apparaissant sur les images d’un flux d’images étant connue en soi, elle ne sera pas décrite plus en détail ici.
A un instant t, t étant un nombre réel, l’objet et la caméra du véhicule sont séparés d’une distance D. De plus, l’objet se rapprochant du véhicule, l’objet a suivi, entre l’instant t et l’instant (t - dt), autrement dit entre deux images capturées successivement par la caméra, un déplacement suivant le vecteur T.
On note alors que le temps avant collision, noté TTC est égal à:
D D TTC = mdt = v où D est la distance entre l’objet et la caméra, T est le vecteur de déplacement relatif entre l’objet et la caméra entre l’instant (t - dt) et t, et V est la vitesse relative de l’objet par rapport à la caméra.
Les moyens de traitement sont adaptés pour détecter des points remarquables, également désignés « flow >>, de l’objet détecté. Ces points remarquables sont utilisés afin de suivre l’objet dans le flux d’images et déterminer l’évolution de son mouvement. Pour résoudre le système linéaire qui va être présenté par la suite, les moyens de traitement détectent au moins deux points remarquables afin de pouvoir résoudre un tel système linéaire. De préférence, les moyens de traitement détectent plus de deux points remarquables, par exemple de l’ordre de quinze points remarquables, afin d’optimiser la fiabilité du résultat obtenu.
Les moyens de traitement déterminent ensuite le plan de l’espace auquel appartient l’ensemble des points remarquables, puis détermine le vecteur directeur N de ce plan. La détermination d’un tel vecteur directeur N associé aux points remarquables d’un objet sur une image est connue en soi et ne sera pas détaillée plus en détail.
Dans le flux d’image, la position d’un point remarquable sur une image suit alors la relation :
XSrc = k*[R-^*N]*Xdst (1) où « Xsrc» désigne la position du point remarquable dans le repère sténopé (également désigné repère focal lié à la caméra) de l’image, « Xdst >> désigne la destination du point remarquable dans le repère dit du « sténopé », k est un nombre réel (k désigne un facteur car la relation d’égalité est à un facteur k près), R est la matrice de rotation de la caméra entre les images successives du flux et N est un vecteur directeur du plan auquel appartient les points remarquables.
Cette équation (1) est liée à un point remarquable et à la contrainte géométrique due au plan de l’espace sur ce point remarquable.
La matrice de rotation R correspond au mouvement de rotation de la caméra lors du déplacement du véhicule entre les images successives. Une telle matrice de rotation est déterminée de manière connue par une estimation dite « egomotion >>.
R étant une matrice de rotation :
R * Rt =
T .0
0'
1.
= identity où « Rt >> est la transposée de la matrice de rotation et « identity >> est la matrice identité de dimension 3.
En multipliant de chaque côté par la matrice de rotation transposée Rt, l’équation (1) devient :
Rt * Xsrc = k * [identity — R t * * /v] * Xdst (2)
La rotation de la caméra représentée par la matrice Rt ne changeant pas la norme du vecteur de déplacement relatif T de l’objet, on notera que dans l’équation (2) :
\\Rt*T\\ ||Γ||: i
D D TTC
Par la suite et pour simplifier la notation des équations, on notera « iTTC >> le vecteur inconnu à déterminer, tel que :
Rt * T iTTC =--—
Le système linéaire à résoudre afin de déterminer le vecteur iTTC est l’équation (2) qui est de la forme A * iTTC = B et s’écrit:
Rt * Xsrc = k * [identity + iTTC * N] * Xdst (3) où « Rt*Xsrc » est un vecteur connu qui s’écrit : [χ',γ',ζ'], « iTTC >> est un vecteur de trois éléments notés [iTTCx,iTTCy,iTTCz] qui sont à déterminer, N est un vecteur connu de trois éléments [ηχ,ηγ,ηζ] et « Xdst >> est un vecteur connu de trois éléments [x,y,z].
En développant, on obtient:
H = [identity + iTTC * N] = + iTTCx * nx iTTCx*ny iTTCx*nz iTTCy*nx 1 +iTTCy *ny iTTCy*nz iTTCz*nx iTTCz*ny 1 +iTTCz *nz
Et :
y
Lz'
En remplaçant dans l’équation (3), on obtient alors :
k * H * Xdst = Rt * Xsrc
Soit :
x + iTTCx * (nx * x + ny * y + nz * z) y + iTTCy * (nx * x + ny * y + nz * z) z + iTTCz * (nx * x + ny * y + nz * z)
On obtient ainsi trois équations à résoudre :
1 x'
k ÿ
-z' -
x + iTT Cx * (nx *x + ny*y + nz*z) = — y + iTT Cy * (nx * x + ny * y + nz * z) = — z + iTT Cz * (nx * x + ny * y + nz * z) = — (Eq1) (Eq2) (Eq3) (Eq3) permet d’obtenir une expression du facteur k :
z' k = z + iTT Cz * (nx * x + ny * y + nz * z)
Cette expression de k est alors remplacée dans (Eq1) et (Eq2), ce qui permet alors d’obtenir :
x' * [z + iTTCz * (nx * x + ny * y + nz * z)] = z' * [x + iTTCx * (nx * x + ny * y + nz * z)] (4) y' * [z + iTTCz * (nx * x + ny * y + nz * z)] = z' * [y + iTTCy * (nx * x + ny * y + nz * z)] (5)
Le système linéaire à résoudre est bien de type A * iTTC = B avec :
(nx * x + ny * y + nz * z) 0 —z' * (nx * x + ny * y + nz * z) x' * (nx * x + ny * y + nz * z)l y' * (nx * x + ny * y + nz * z)l et z' * x — x' * z z' * y - y' * Z
Pour résoudre ce système linéaire à deux équations (4) et (5) et trois inconnues [iTTCx,iTTCy,iTTCz], il est bien nécessaire d’utiliser au moins un deuxième point remarquable. Pour deux points, le système linéaire comprend ainsi les éléments:
Iriil |βχ| i-^2 I 1^2 I
Par généralisation pour un nombre i de points remarquables, le système linéaire s’écrit :
IriJ * iTTC = |Sj|
Ce système comprend ainsi au moins quatre équations.
Pour résoudre ce système linéaire, on utilise des points remarquables ayant chacun été détectés sur au moins n images successives. L’équation (1) s’écrit alors :
%src k *
R-^*N * Y, dst où « Tn » est une fonction de T.
Dans une première forme de résolution du système linéaire, l’objet détecté se déplace, relativement à la caméra, à une vitesse constante. Le vecteur de déplacement relatif de l’objet à l’instant (t+n*dt) est désigné « Tn » et peut alors s’écrire :
Tn = n*T1 où « Ti » est le vecteur de déplacement de l’objet à l’instant t.
Pour deux points remarquables, le système linéaire comprend alors les éléments:
|nl * A1\ IBJ |n2 * Ai | |S21
Et par généralisation pour un nombre i de points remarquables, le système linéaire s’écrit :
\ni * rij| * iTTC = |Bj|
Ce système linéaire comprend donc au moins quatre équations et uniquement trois inconnues [iTTCx,iTTCy,iTTCz]. Il est alors possible de déterminer le vecteur de déplacement relatif iTTC.
Dans une deuxième forme de résolution du système linéaire, l’objet détecté se déplace avec une accélération constante. La vitesse relative de l’objet par rapport à la caméra à l’instant (t+n*dt) est désignée Vn et peut alors s’écrire:
Vn = Vl + (n — ï) * dt * Acc où « V1 » désigne la vitesse relative de l’objet à l’instant t et « Acc » est l’accélération constante de l’objet.
Le vecteur de déplacement relatif Tn de l’objet à l’instant (n*dt) s’écrit alors:
Tn = Tn-i + dt * Ui-! = + V± * dt + (n — 2) * dt * dt * Acc
Soit :
T2 = 2 *ΤΎ + dt2 * Acc
T3 = T2 + + 2 * dt2 * Acc = 3*^ + 3* dt2 * Acc
T4 = T3 + ?! + 3 * dt2 * Acc = 4 * Tf + 6 * dt2 * Acc
On peut généraliser le vecteur de déplacement relatif Tn tel que :
Γη = η*7’1 + (somme(i = 1: n — l)(i) * dt2 * Acc = n * Tr + n * (n — l)/2 * dt2 * Acc
Ce qui donne pour le vecteur iTTC :
(n , 1) * dt2 * Acc'
T n*·
Rt * — = Rt * n*--H
D 1 D
Tl (n — 1) _ Acc = n * Rt *--H n *-* dC * D 2 D (n - 1) , = n * iTTC + n * —-— * dt2 * diTTC
Le système linéaire de la forme A * iTTC = B peut alors s’écrire \A*n, A*Fn\*\iTTC, diTTC\ = B avec F„ = n* ^-22 * dt2 et diTTC = —
Pour deux points remarquables, le système linéaire à résoudre comprend les éléments :
|nl * A-l Fni * Ai\ |£?i \n2 * A2
F-n.2 * ^2 I \O2 |
Soit, par généralisation, pour un point remarquable ayant été détecté n, fois:
ni*Ai Fni * At\ * \iTTC diTTC \ = \Bt\ (6)
Ce système linéaire comprend donc au moins quatre équations et six inconnues [iTTCx, iTTCy, iTTCz, diTTCx, diTTCy, diTTCz],
De manière générale, TTC est le temps au bout duquel la relation Tn= D est vérifiée. En développant Tn, cette relation devient alors:
(n - 1) n * Tl + n *-dtz * Acc = D
En divisant par D, on obtient : n*iTTC + n*^/dt2 * diTTC = 1 (7)
TTC est égal au n qui vérifie cette équation polynomiale.
Il est alors possible de déterminer le vecteur de déplacement iTTC par résolution du système (6) en utilisant l’équation (7) donnant la relation entre iTTC et diTTC.
Dans le cas d’une accélération nulle, Acc = 0, l’équation est alors :
TTC = iTTC
Que le système linéaire ait été résolu grâce à la vitesse ou à l’accélération constante de l’objet, le temps avant collision TTC peut alors être déterminé à partir du vecteur iTTC calculé. En effet, comme cela a été décrit précédemment :
\\Rt*T\\ Jini: i D D TTC
Soit :
||î7TC|| = -— 11 11 TTC
On obtient ainsi :
TTC = \\ÎTTC\\ _ 1 iTTCx, iTTCy, iTTCz\\ f iTTCx2 + iTTCy2 + iTTCz2
L’invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 1.
Le véhicule circulant sur une voie de circulation, la caméra du véhicule génère dans une étape EO un flux d’images représentant l’environnement du véhicule.
Puis, les moyens de traitements détectent, dans une étape E1, un objet présent dans le flux d’images généré par la caméra.
Pour déterminer le déplacement de l’objet, les moyens de traitement déterminent, dans une étape E2 au moins deux, de préférence de l’ordre de quinze, points remarquables de l’objet. Ces points peuvent être un point du contour de l’objet, ou tout autre point de l’objet pouvant être identifié sur au moins deux images successives de la série.
Les moyens de traitements déterminent ensuite, dans une étape E3, le plan auquel appartiennent les points remarquables et, dans une étape E4, le vecteur directeur N de ce plan.
De manière simultanée, les moyens de traitement déterminent, dans une étape E5, la matrice de rotation R de la caméra entre deux images successives de la série d’image.
De préférence, la matrice de rotation R est déterminée par un procédé d’egomotion et le vecteur directeur N peut être approximé sans perte de précision dans le résultat final.
Dans une étape E6, les moyens de traitement déterminent, à partir de la matrice de rotation R et du vecteur directeur N, le ratio entre le vecteur de déplacement relatif T de l’objet par rapport à la caméra et la distance D de l’objet à la caméra. Ce ratio est déterminé par résolution d’un système d’équations linéaires (Eq1, Eq2) comme décrit ci-avant. Avantageusement, la vitesse ou l’accélération de l’objet relative à la caméra du véhicule est considérée comme constante afin de résoudre ce système d’équation tout en limitant l’erreur sur l’estimation du temps restant avant la collision.
Les moyens de traitement estiment alors, dans une étape E7, le temps TTC avant collision de l’objet avec le véhicule.
Grâce au procédé selon l’invention, le temps restant avant l’entrée en collision du véhicule avec un objet peut être estimée de manière fiable et rapide grâce à la résolution du système d’équations linéaires. Une telle résolution est rendue aisée et rapide en considérant la vitesse ou l’accélération de l’objet par rapport à la caméra comme constante.

Claims (9)

  1. REVENDICATIONS
    1. Procédé d’estimation du temps restant avant l’entrée en collision d’un véhicule automobile avec un objet, ledit véhicule comprenant au moins une caméra, ledit procédé comprenant :
    • une étape (EO) de génération par la caméra d’un flux d’images, • une étape (E1) de détection d’au moins un objet sur ledit flux d’images généré, • une étape (E2) de détermination d’au moins deux points remarquables de l’objet détecté, • une étape (E3) de détermination d’un plan de l’espace auquel appartiennent lesdits points remarquables de l’objet, • une étape (E4) de détermination du vecteur directeur du plan de l’espace déterminé, • une étape (E5) de détermination de la matrice de rotation de la caméra entre deux images capturées successivement, le procédé étant caractérisé en ce qu’il comprend :
    • une étape (E6) de détermination du ratio entre le vecteur de déplacement relatif de l’objet détecté et la distance dudit objet à la caméra à partir de la matrice de rotation déterminée et du vecteur directeur déterminé par résolution d’un système d’équations linéaires dans lequel l’accélération de l’objet est considérée comme constante, et • une étape (E7) d’estimation du temps restant avant l’entrée en collision du véhicule avec l’objet détecté à partir dudit ratio déterminé.
  2. 2. Procédé selon la revendication 1, dans lequel le temps restant estimé est donné par la formule suivante :
    où « TTC » est le temps restant estimé, T est le vecteur de déplacement relatif de l’objet et D la distance entre l’objet et la caméra.
  3. 3. Procédé selon l’une des revendications précédentes, dans lequel le vecteur de déplacement relatif T de l’objet est donné selon la formule suivante :
    R t * Xsrc = k *
    T identity — Rt * — * N * Xdst où « Rt » est la transposée de la matrice déterminée de rotation de la caméra, N est le vecteur directeur déterminé, k est un nombre réel, « Xsrc >> désigne la position du point remarquable sur l’image, « Xdst » désigne la destination du point remarquable, « identity » est la matrice d’identité à trois dimensions et D la distance entre l’objet et la caméra.
  4. 4. Procédé selon l’une des revendications précédentes, dans lequel le vecteur de déplacement relatif est déterminé à partir de la vitesse relative de l’objet par rapport à la caméra à l’instant (t+n*dt) selon la formule suivante :
    Vn = V1 + (n — 1) * dt * Acc où t et n sont des nombres réels, « Vn » est la vitesse relative de l’objet à l’instant (t+n*dt), « Vi » est la vitesse relative de l’objet à l’instant t, « Acc » est l’accélération constante de l’objet et « dt » est le temps s’écoulant entre deux acquisitions d’image par la caméra.
  5. 5. Procédé selon l’une des revendications précédentes, dans lequel le vecteur de déplacement relatif est déterminé à partir du vecteur de déplacement relatif de l’objet par rapport à la caméra à l’instant (t+n*dt) selon la formule suivante :
    Tn = n*71 + n*(n-l)/2* dt2 * Acc où « Tn» est le vecteur de déplacement relatif de l’objet à l’instant (t+n*dt) et « ΤΊ » est le vecteur de déplacement relatif de l’objet à l’instant t.
  6. 6. Procédé selon l’une des revendications précédentes, dans lequel l’accélération de l’objet est nulle.
  7. 7. Procédé selon la revendication précédente, dans lequel le vecteur de déplacement relatif est déterminé à partir du vecteur de déplacement relatif de l’objet par rapport à la caméra à l’instant (t+n*dt) selon la formule suivante :
    Tn = n*T1 où « Tn » est le vecteur de déplacement relatif de l’objet à l’instant (t+n*dt) et « ΤΊ » est le vecteur de déplacement relatif de l’objet à l’instant t.
  8. 8. Procédé selon l’une des revendications précédentes, dans lequel plus de dix points remarquables, de préférence de l’ordre de quinze points remarquables, sont déterminés durant l’étape de détermination (E2) de points remarquables.
  9. 9. Véhicule automobile comprenant au moins une caméra configurée pour capturer un flux d’images et au moins un calculateur adapté pour mettre en œuvre le procédé, selon l’une des revendications précédentes, d’estimation du temps restant avant l’entrée en collision d’un objet avec ledit véhicule à partir dudit flux d’images.
    1/1
    EO
    El
    E2
    E3
    E4
    E5
    E6
    E7
FR1753720A 2017-04-28 2017-04-28 Procede d'estimation du temps restant avant l'entree en collision d'un vehicule automobile avec un objet Active FR3065695B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1753720A FR3065695B1 (fr) 2017-04-28 2017-04-28 Procede d'estimation du temps restant avant l'entree en collision d'un vehicule automobile avec un objet
PCT/FR2018/050922 WO2018197775A1 (fr) 2017-04-28 2018-04-12 Procédé d'estimation du temps restant avant l'entrée en collision d'un véhicule automobile avec un objet

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1753720A FR3065695B1 (fr) 2017-04-28 2017-04-28 Procede d'estimation du temps restant avant l'entree en collision d'un vehicule automobile avec un objet
FR1753720 2017-04-28

Publications (2)

Publication Number Publication Date
FR3065695A1 true FR3065695A1 (fr) 2018-11-02
FR3065695B1 FR3065695B1 (fr) 2023-03-17

Family

ID=59253741

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1753720A Active FR3065695B1 (fr) 2017-04-28 2017-04-28 Procede d'estimation du temps restant avant l'entree en collision d'un vehicule automobile avec un objet

Country Status (2)

Country Link
FR (1) FR3065695B1 (fr)
WO (1) WO2018197775A1 (fr)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JONATHAN M LAWN ET AL: "Robust egomotion estimation from affine motion parallax", 1 January 1994 (1994-01-01), XP055434284, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.65.8065&rep=rep1&type=pdf> [retrieved on 20171212] *
LOURAKIS M I A ET AL: "Using Planar Parallax to Estimate the Time-to-Contact", PROCEEDINGS OF THE 1999 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JUNE 23-25, 1999; FORT COLLINS, COLORADO, IEEE, THE INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, INC, US, vol. 2, 23 June 1999 (1999-06-23), pages 640 - 645, XP010347543, ISBN: 978-0-7695-0149-9 *
RIEN VAN LEEUWEN: "Motion estimation and interpretation for in-car systems", 22 May 2002 (2002-05-22), Amsterdam, pages 1 - 144, XP055072610, Retrieved from the Internet <URL:http://dare.uva.nl/record/104595> [retrieved on 20130723] *

Also Published As

Publication number Publication date
FR3065695B1 (fr) 2023-03-17
WO2018197775A1 (fr) 2018-11-01

Similar Documents

Publication Publication Date Title
JP6350374B2 (ja) 路面検出装置
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
FR3067495A1 (fr) Procede et systeme d&#39;identification d&#39;au moins un objet en deplacement
EP3749561A1 (fr) Système et procédé de détection d&#39;un risque de collision entre un véhicule automobile et un objet secondaire situé sur les voies de circulation adjacentes audit véhicule lors d&#39;un changement de voie
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP6462557B2 (ja) 車両ピッチ角推定装置
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US10706589B2 (en) Vision system for a motor vehicle and method of controlling a vision system
FR3065695A1 (fr) Procede d&#39;estimation du temps restant avant l&#39;entree en collision d&#39;un vehicule automobile avec un objet
JP7118717B2 (ja) 画像処理装置およびステレオカメラ装置
WO2018020045A1 (fr) Fusion de donnees de detection et de suivi d&#39;objets pour vehicule automobile
JP7169075B2 (ja) 撮像制御装置および撮像制御方法
JP6352216B2 (ja) ステレオオブジェクト検出及び距離計算のためのシステム及び方法
FR3053554A1 (fr) Procede de calibration rapide d&#39;une camera de vehicule automobile
JP6387710B2 (ja) カメラシステム、測距方法、およびプログラム
JP2013174998A (ja) 車両検出装置及び車両検出方法
WO2017216473A1 (fr) Procédé de réalisation d&#39;une carte de profondeurs à partir d&#39;images successives d&#39;une caméra unique (mono) embarquée dans un véhicule automobile
FR2938228A1 (fr) Procede de mesure de distance au moyen d&#39;une camera embarquee dans un vehicule automobile
EP3882855B1 (fr) Système d&#39;acquisition d&#39;une carte de profondeur d&#39;une scène
FR3082936A1 (fr) Traitement stereoscopique de donnees de vehicules connectes
FR3034555A1 (fr) Procede de determination du sens du mouvement d&#39;un vehicule automobile
FR3069689B1 (fr) Procede d&#39;estimation du mouvement d&#39;un point dans une sequence d&#39;images
JP6459482B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
FR3086385A1 (fr) Procede et systeme de calibration de capteurs embarques dans un vehicule automobile en mouvement
FR3092914A1 (fr) Procédé de détermination de la trajectoire d&#39;un véhicule comprenant quatre roues directrices

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20181102

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

TQ Partial transmission of property

Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE

Effective date: 20230424

Owner name: CONTINENTAL AUTOMOTIVE FRANCE, FR

Effective date: 20230424

PLFP Fee payment

Year of fee payment: 8