EP2852917A1

EP2852917A1 - Procede d'analyse parcimonieuse de signaux par approche non-orientee

Info

Publication number: EP2852917A1
Application number: EP13724250.9A
Authority: EP
Inventors: Quentin BARTHELEMY; Anthony Larue; Jérôme MARS
Original assignee: Institut Polytechnique de Grenoble; Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Current assignee: Institut Polytechnique de Grenoble; Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date: 2012-05-21
Filing date: 2013-05-20
Publication date: 2015-04-01
Also published as: FR2990787A1; WO2013174775A1; FR2990787B1

Abstract

L'invention a pour objet un procédé de décomposition d'une trame de coordonnées tridimensionnelles y en une somme d'atomes trivariés phi k pondérés par un coefficient ϰ k , une matrice de rotation R k étant appliquée à ces atomes pondérés. Le procédé comprenant les étapes suivantes appliquées de manière itérative : un recalage 3D (303) de l'ensemble des atomes tridimensionnels obtenus à partir d'un dictionnaire psi non orienté, le recalage étant effectué en utilisant la technique de décomposition en valeurs singulières afin d'obtenir un coefficient ϰ k et une matrice de rotation R k pour chaque atome; une sélection (305) d'au moins un atome, de son coefficient associé ϰ k et de sa matrice associée R k de manière à obtenir une décomposition parcimonieuse de la trame de coordonnées tridimensionnelles; un calcul du résidu de décomposition (306) après prise en compte du dernier atome sélectionné, ledit résidu étant utilisé par l'étape de recalage 3D de l'itération suivante.

Description

PROCEDE D'ANALYSE PARCIMONIEUSE DE SIGNAUX PAR

APPROCHE NON-ORIENTEE

L'invention concerne un procédé de décomposition parcimonieuse par approche non-orientée et un procédé d'apprentissage de dictionnaire non-orienté.

L'invention concerne un procédé de décomposition de mouvements. Elle s'applique notamment aux domaines de la robotique, de la vision par ordinateur, de la statistique et de l'apprentissage.

Dans l'espace tridimensionnel appelé aussi espace 3D, il est utile dans de nombreuses applications de pouvoir décomposer le mouvement dans le temps d'un objet composé de P points et de N échantillons temporels. Cet objet peut être décrit comme la somme de K vecteurs de base. Pour décrire cet objet, plusieurs modèles peuvent être envisagés.

Un objet 3D peut être décrit comme N nuages de points 3D successifs A[n] pour n = 1 ... N. Chaque forme 3D instantanée A[n] Θ R³'^p peut être décrite en utilisant l'expression :

K

A[n] =∑a_k [n] S_k \ k=l dans laquelle : ak[n] Θ R représente le coefficient instantané ; R représente l'ensemble des réels ;

Sk C R³'^p représente les vecteurs de forme.

L'inconvénient de ce modèle est que la base des vecteurs de formes est composée de formes particulières spécifiques à l'objet étudié et a besoin d'être ré-estimée pour chaque nouvel objet. Pour éviter ce manque de flexibilité, il est possible d'exploiter la dualité entre la base de formes et la base de trajectoires utilisées. La base de trajectoires est définie indépendamment des données. L'objet 3D est décrit comme P trajectoires temporelles 3D B[p] pour p = 1 ... P. Chaque trajectoire 3D B[p] Θ M^3*N est définie par l'expression :

B[p] =∑b_k[_P] 0_{k (2)} k=l dans laquelle : b_k[p] Θ M^3*1 désigne les coefficients ; 9_k Θ M^{1 *N} désigne les vecteurs de trajectoires.

Dans ce cas, et comme cela est illustré avec la figure 1 a, une trajectoire temporelle 100 est décomposée en une somme 101 de vecteurs monodimensionnels 102, chaque vecteur étant pondéré par un coefficient tridimensionnel 103.

De manière alternative, un signal multi-composantes 1 10 peut s'exprimer comme étant la somme 1 1 1 de motifs multi-composantes 1 12 pondérés par un scalaire 1 13 comme illustré avec la figure 1 b. Réduite à trois composantes, une trajectoire temporelle dans un espace 3D de N échantillons est vue comme la somme de trajectoires 3D. Dans ce cas, la décomposition de chaque trajectoire y Θ M^3*N peut être décrite en utilisant l'expression :

K

y =∑x_k<p_k 0) k=l dans laquelle : x_k Θ R représente les coefficients de pondération ; cp_k Θ M^3*N représente les motifs 3D. Pour alléger la notation, l'indice p est omis dans la suite du fait que la description se concentre sur la trajectoire 3D d'un seul point.

Dans le modèle de l'expression (2) et de la figure 1 a, chaque trajectoire uni- composante 9_k s'appuyant un des motifs 1 D est multipliée par trois coefficients, c'est-à-dire un coefficient par dimension. Dans le modèle de l'expression (3) et de la figure 1 b, chaque trajectoire tri-composantes est décomposée avec des motifs 3D cp_k, chaque motif étant multiplié par le coefficient scalaire 1 13. Ainsi, une trajectoire correspond à une somme pondérée de plusieurs motifs 3D. L'avantage d'utiliser le modèle décrit par l'expression (3) et la figure 1 b est de travailler avec des trajectoires 3D dont les trois composantes peuvent être très différentes. Cependant, ces modèles nécessitent des dictionnaires de taille importante et la qualité de la décomposition est dégradée si un même mouvement est orienté de manière différente dans un même repère 3D.

Un but de l'invention est notamment de pallier les inconvénients précités.

A cet effet l'invention a pour objet un procédé de décomposition d'une trame de coordonnées tridimensionnelles y en une somme d'atomes trivariés cp_k pondérés par un coefficient x_k , une matrice de rotation R_k étant appliquée à ces atomes pondérés, le procédé comprenant les étapes suivantes appliquées de manière itérative :

- un recalage 3D de l'ensemble des atomes tridimensionnels obtenus à partir d'un dictionnaire ψ non orienté, le recalage étant effectué en utilisant la technique de décomposition en valeurs singulières afin d'obtenir un coefficient x_k et une matrice de rotation R_k pour chaque atome ;

- une sélection d'au moins un atome, de son coefficient associé x_k et de sa matrice associée R_k de manière à obtenir une décomposition parcimonieuse de la trame de coordonnées tridimensionnelles ;

- un calcul du résidu de décomposition après prise en compte du dernier atome sélectionné, ledit résidu étant utilisé par l'étape de recalage 3D de l'itération suivante. Selon un aspect de l'invention, les atomes sélectionnés sont déduits du dictionnaire ψ par décalages temporels τ des noyaux le composant.

Selon un autre aspect, le dictionnaire ψ est normé et redondant. Dans un mode de réalisation, au moins un atome est choisi durant l'étape de sélection, ledit atome celui permettant d'obtenir la plus forte décroissance en valeur absolue de l'erreur quadratique moyenne est sélectionné.

Une étape d'optimisation peut être appliquée après le calcul du résidu afin d'ajuster les coefficients de pondération x_k et les matrices de rotation R_k des atomes sélectionnés, cette optimisation étant réalisée par projection orthogonale du signal y sur les atomes sélectionnés par minimisation des moindres carrés afin réduire le plus possible la valeur du résidu.

Les coefficients de pondération x_k et les matrices de rotation R_k sont par exemple optimisés de manière à ce que les coefficients x_k soient mis à jour pendant que les matrices R_k sont fixées et vice versa, chaque mise à jour étant basée sur la technique de descente de gradient.

L'invention a aussi pour objet un procédé d'apprentissage d'un dictionnaire composé d'au moins un noyau, ledit dictionnaire étant adapté pour la décomposition d'une trame de coordonnées tridimensionnelles.

Le procédé d'apprentissage comprend les étapes suivantes appliquées de manière itérative et consistant en :

- une initialisation des noyaux à apprendre ;

- une décomposition non-orientée par application du procédé de décomposition décrit précédemment à une base de signaux prédéterminée ;

- une mise à jour des noyaux basée sur le critère du maximum de vraisemblance sous hypothèse de bruit banc gaussien. Les noyaux sont par exemple initialisés sur du bruit blanc uniforme et sont normés.

Selon un aspect de l'invention, l'étape de mise à jour est basée sur une descente de gradient stochastique.

L'invention a aussi pour objet un dispositif d'apprentissage de mouvements tridimensionnels mettant en œuvre le procédé de décomposition décrit précédemment.

D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit donnée à titre illustratif et non limitatif, faite en regard des dessins annexés parmi lesquels : la figure 1 a illustre un modèle de décomposition d'une trajectoire temporelle en une somme de vecteurs monocomposantes pondérés par des scalaires, un par dimension ; la figure 1 b illustre un modèle de décomposition d'une trajectoire temporelle en une somme de motifs multi- composantes pondérés par des scalaires ;

- la figure 2 un modèle de décomposition utilisant un modèle invariant à la rotation 3D ;

la figure 3 présente un diagramme illustrant de manière simplifiée un mode de mise en œuvre du procédé 3DRI- OMP ;

- la figure 4 donne un exemple de méthode de recalage tridimensionnel pouvant être utilisé par le procédé 3DRI- OMP ;

la figure 5 présente un exemple d'étape d'optimisation de la décomposition pouvant être mise en œuvre dans un mode de réalisation du procédé 3DRI-OMP ; la figure 6 illustre un procédé d'apprentissage de motifs 3D a partir d'un ensemble de signaux pouvant être mise en œuvre dans un mode de réalisation du procédé 3DRI-DLA ;

la figure 7a représente un exemple de dictionnaire comprenant six noyaux trivariés à l'initialisation de l'apprentissage ;

la figure 7b représente le même dictionnaire à la fin de l'apprentissage après application du procédé 3DRI-DLA ; la figure 8 illustre les trajectoires 3D invariantes à la rotation associées à un dictionnaire NOLD ;

la figure 9a représente un exemple de trajectoire 3D originale, la figure 9b représente la même trajectoire reconstruite non- orientée et la figure 9c représente la trajectoire reconstruite orientée ;

la figure 10a représente un exemple de trajectoire 3D après rotation, la figure 10b représente la même trajectoire reconstruite non-orientée et la figure 10c représente la trajectoire reconstruite orientée. Le procédé de décomposition décrit ci-après traite des signaux tri- composantes. A noter que les signaux tri-composantes sont à distinguer de signaux dits tridimensionnelles. En effet, un signal temporel y Θ M^3*N composé de N coordonnées 3D est parfois improprement appelé tridimensionnel. En fait, ce signal n'est pas tridimensionnel mais tri- composante, c'est-à-dire trivarié ou tricanal selon le modèle utilisé. Un signal tridimensionnel est de la forme y Θ ]¾^{N1 *N2*N3} _j telle que les trames vidéo ou tout autre donnée cubique.

Le procédé de décomposition parcimonieuse décrit ci-après utilise un modèle invariant à la rotation 3D. Ce modèle est désigné par l'acronyme 3DRI venant de l'expression anglo-saxonne « 3D rotation invariant ». La figure 2 illustre ce modèle de décomposition. Celui-ci met en œuvre une somme 204 de motifs 3D 202 afin de décomposer un signal multi- composantes 200. Aux motifs 204 sont adjoints un coefficient 201 et une matrice de rotation 203. Ce modèle de décomposition est défini par l'expression :

K

y =∑¾¾ > (4) k=l dans laquelle Rk 6 M^3*3 représente la matrice de rotation associée au motif trivarié cp_k.

Chaque matrice de rotation R_k doit être orthogonale, c'est-à-dire qu'elle doit vérifier la condition noté C₀ et correspondant à l'expression R_kR_k ^T=ld dans laquelle Id représente la matrice identité et (.)^T représente l'opérateur « transposée ».

En utilisant ce modèle, la trajectoire y peut être représentée comme la somme pondérée de motifs 3D pouvant tourner. Dans la suite de la description, les motifs 3D sont aussi appelés atomes.

La figure 3 est un diagramme illustrant de manière simplifiée un mode de mise en œuvre du procédé de décomposition selon l'invention. Cette famille de procédés est désignée dans la suite de la description en utilisant le sigle 3DRI-OMP. Le procédé comprend une phase de démarrage 31 1 , une phase de recalage tridimensionnel 31 2, une phase de finalisation de la décomposition 31 3 et une phase d'arrêt 314. L'ensemble des étapes mises en œuvre par ce procédé sont décrites dans la suite de la description. Dans un premier temps, le problème que résout le procédé de décomposition est formalisé le principe général du procédé est introduit. Dans un deuxième temps, le recalage tridimensionnel est décrit en détail. Ensuite, les autres étapes du procédé sont décrites afin de permettre une compréhension globale de cet exemple de mise en œuvre du procédé selon l'invention. La décomposition d'un mouvement en utilisant un modèle 3DRI a pour objectif de déterminer les coefficients x = {χκ}^κκ=ι et les matrices R = {Rk}^Kk=i - Pour cela, il faut résoudre le problème que décrit l'expression suivante : y -∑Xk ^Rk < k = \..K, = Id (5) dans laquelle :

Il . Il représente la norme de Frobenius ; qui provient du produit scalaire matriciel défini par <A,B> = trace (AB^T); et où la fonction trace() est la somme des éléments diagonaux. avec (.)^T représentant l'opérateur transposé. Le procédé décrit ci-après vise à résoudre ce problème et se base sur une optimisation non-convexe utilisant le principe de l'OMP, acronyme venant de l'expression anglo-saxonne « Orthogonal Matching Pursuit ». Ce procédé de décomposition est désigné dans la suite par le sigle 3DRI-OMP.

Dans une deuxième partie, nous nous intéresserons aux motifs 3D et à la manière d'apprendre le dictionnaire de motifs le plus adapté aux données étudiées. Cet apprentissage fera appel à la méthode de décomposition que nous présentons maintenant.

Les matrices R seront considérées comme toujours orthogonales et donc vérifiant la condition C₀. Une transformation rigide composée d'une rotation 3D R et d'une translation spatiale T est considérée ici entre le motif trivarié Φ et le signal original y. Le problème orthogonal de Procrustes consiste à trouver les paramètres R et T tels que :

2

min_{R T} \\ y - R > - T\\ (6) Dans l'article de D. Eggert, A. Lorusso, et R. Fisher intitulé Estimating 3-D rigid body transformations: a comparison of four major algorithms, Machine Vision and Applications, vol. 9, pp. 272-290, 1997, les trois principales méthodes donnant une solution analytique pour ce problème de recalage rigide 3D sont passées en revue. Une première méthode propose une décomposition en valeurs singulières, une deuxième méthode propose une décomposition par quaternions unitaires et une troisième méthode propose une décomposition par matrices orthonormales.

D'autre part, le problème multi-vues reconstruit le signal y à partir de plusieurs observations q>k prises sous différents angles, comme indiqué dans l'article de B. Kamgar-Parsi, J. Jones, et A. Rosenfeld intitulé Registration of multiple overlapping range images: scènes without distinctive features, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, pp. 857-871 , 1991 . Puisque les différentes vues se recouvrent, le problème est donné par l'expression : min_{s r} (7)

k=l dans laquelle :

R_k représente la matrice de rotation ;

T_k représente la translation associée au motif trivarié q>k. Cette formulation est différente du problème exprimée par l'expression (5). En effet, dans l'expression (7), l'union des motifs est considérée mais pas la somme comme dans l'expression (5).

Dans l'article de l'article de J. Gower, "Generalized procrustes analysis," Psychometrika, vol. 40, pp. 33-51 , 1975, l'analyse de Procrustes généralisée est décrite et traite plusieurs éléments q>k résout le problème donné par l'expression suivante :

dans laquelle K > 2.

Ce problème, résolu en ajoutant quelques contraintes et une moyenne-groupée, est aussi différent du problème (5). Dans l'article de J. Gower et G. Dijksterhuis, intitulé Procrustes Problems, Oxford Univ. Press, Ed. Oxford Statistical Science Séries, 30, 2004, de multiples problèmes de Procrustes sont examinés ainsi que plusieurs généralisations. Cependant, le problème tel que décrit par l'expression (5) n'est pas traité. Dans l'approche désignée par l'expression anglo-saxonne « 3D curve matching » et en comparaison avec le problème donné par l'expression (6), la translation spatiale n'est plus considérée et ψ(ί) est un motif court translatable avec complétion de zéros pour avoir N échantillons. Le problème consiste à résoudre l'expression suivante : dans laquelle τ représente le décalage d'échantillons.

Le problème peut être résolu en calculant la matrice de recalage R optimale par la méthode basée sur les matrices orthonormales à chaque échantillon τ. De plus, paramétrée de cette façon, la méthode n'est pas invariante à l'échelle puisqu'il n'y a pas de facteur d'échelle x dans l'optimisation. S'il n'y a aucun décalage, le problème illustré par l'expression (6) de recalage 3D est retrouvé.

Quant à l'algorithme très connu ICP, acronyme venant de l'expression anglo-saxonne « Itérative Closest Point », celui-ci ne résout pas le problème donné par l'expression (5). Il permet de faire coïncider deux ensemble de points 3D, dont l'un est le sous ensemble de l'autre. Cet algorithme hautement non convexe résout le problème donné par l'expression suivante :

2

min_{r R T} \\ y - R >_r - Γ (10) dans laquelle :

y représente un ensemble de N points 3D ; φ_Γ un sous-ensemble de N points 3D parmi les η possible, avec η>Ν.

De plus, l'algorithme ICP utilise des signatures de formes pour identifier les N indices Γ.

Pour ce qui est de la décomposition tricomposantes, différents modèles traitant des signaux tricomposantes sont revus. Comme exposé dans l'Introduction, le modèle (1 ) décrit un objet 3D comme une combinaison linéaire de vecteurs de base de formes. Utilisant le modèle dual (2), l'objet est maintenant une combinaison linéaire de vecteurs de base de trajectoires. Il faut remarquer que ces deux contributions viennent du structure-from- motion de la communauté vision par ordinateur désignée habituellement par l'expression anglo-saxonne « computer vision ». Une projection orthogonale est utilisée pour estimer des structures 3D à partir de mouvements 2D.

En traitement du signal, une base redondante composée de M>N éléments est appelée dictionnaire. Dans ce cas, les éléments du dictionnaire ne sont plus appelés vecteurs mais atomes. Le modèle de l'expression (3) a été introduit dans ce domaine, et le choix des atomes et l'estimation des coefficients sont faits par approximation parcimonieuse multivariée. Le modèle introduit par l'expression (4) permet aux atomes de tourner mais l'on doit estimer en plus les matrices de rotation associées.

Dans la suite de la description, et dans le but de décrire le procédé de décomposition selon l'invention, la notion d'invariance par translation est introduite, puis la notion d'approximation parcimonieuse est expliquée et le principe de l'invariance par translation et par rotation 3D est présenté.

Dans le cas d'invariance par translation, l'objectif est de coder avec parcimonie le signal y comme une somme de structures courtes appelées noyaux. Ces noyaux sont caractérisés indépendamment de leurs positions. Ce modèle est habituellement appliqué aux données temps-séries et évite les effets de blocs dans l'analyse de signaux périodiques de large période et donne un dictionnaire de noyaux compact.

Pour la décomposition, un dictionnaire Ψ est utilisé. Ce dictionnaire comprend un ensemble de noyaux prédéfinis. On dit dans ce cas que le dictionnaire est compact. Les L noyaux du dictionnaire compact Ψ peuvent être translatés et sont répliqués à toutes les positions possibles afin de constituer les M atomes d'un dictionnaire Φ.

La décomposition du signal y est réalisée en une série d'étapes exécutées sur plusieurs itérations. Après chaque itération, l'erreur résiduelle ε est estimée et la décomposition continue sur cette base.

Les N échantillons du signal y, l'erreur résiduelle ε et les atomes ( m sont indicés par le temps t.

Les noyaux { ψι }^Li₌i peuvent être de longueurs différentes. Le noyau ψι(ΐ) est décalé à l'échantillon τ pour former l'atome ψι(ΐ- τ). Une complétion de zéros est faite pour avoir N échantillons. L'ensemble σι contient les translations actives τ du noyau ψι(ΐ). Pour les quelques noyaux qui engendrent tous les atomes, le signal y est exprimé de la manière suivante :

M L

y( = X _ra( + f( = XX_{¾ ;}(i- r) + f( (1 1 ) =l 1=1 .σ_ι avec ε(ΐ) l'erreur résiduelle. Ainsi, le signal y est approché comme la somme pondérée de noyaux translatables ψι.

On introduit maintenant la notion d'approximation parcimonieuse. Du fait de l'invariance par translation, le dictionnaire Φ est la concaténation de L matrices de Toeplitz et est L fois sur-complet. Puisque M > N, le dictionnaire est redondant et le système linéaire est donc sous-déterminé et accepte de multiples solutions. L'introduction de contraintes telles que la parcimonie permet de régulariser la solution. L'approximation parcimonieuse sélectionne K atomes actifs parmi les M possibles et calcule leurs coefficients associés pour avoir la meilleure approximation du signal y. Le problème de l'approximation parcimonieuse peut être formulée en utilisant l'expression : min. y( -∑∑¾ , (i -7) tel que \\x\\ < K (12)

1=1 τ< σ, dans laquelle :

K « M est une constante ; ||x||₀ représente le cardinal du vecteur x.

Mais ce problème est NP-difficile, l'acronyme NP venant de l'expression anglo-saxonne « non-deterministic polynomial time ». Ainsi, les algorithmes de poursuites non-convexes résolvent séquentiellement ce problème, comme les algorithmes connus MP, acronyme venant de l'expression anglo- saxonne « Matching Pursuit » et OMP, acronyme venant de l'expression anglo-saxonne « Orthogonal Matching Pursuit ».

En combinant les problèmes d'invariance par translation et par rotation 3D, le problème à résoudre pour décomposer le signal y peut s'exprimer analytiquement de la manière suivante : tel que :

≤K et Vl = l..L,Vr≡ a R_{l T}R_{l T} ^T = Id (13)

Le procédé de décomposition parcimonieuse décrit ci-après s'appuie sur une optimisation non-convexe pour résoudre ce problème.

Le problème exprimé par l'expression (13) a deux cas particuliers déjà résolus.

Le premier cas particulier correspond au fait que lorsque K=1 , on retrouve le problème du « 3D curve matching » tel que précédemment défini par l'expression (9).

Le deuxième cas particulier est que lorsque chaque R_k est égal à la matrice identité, on retrouve le problème d'approximation parcimonieuse décrit à l'aide de l'expression (12), et ce avec des signaux trivariés. Ce cas est résolu par l'algorithme Multivariate-OMP désigné par l'acronyme M-OMP comme montré dans l'article de Q. Barthélémy, A. Lame, A. Mayoue, D. Mercier et J. Mars intitulé Shift & 2D rotation invariant sparse coding for multivariate signais, IEEE Trans. on Signal Processing, vol. 60, pp. 1597- 161 1 , 2012.

La figure 4 donne un exemple de méthode de recalage tridimensionnel pouvant être utilisé par le procédé 3DRI-OMP de décomposition parcimonieuse selon l'invention. Le problème de recalage exprimé précédemment par l'expression (6) est considéré ici avec un motif φ normé, mais sans translation spatiale. Les paramètres recherchés sont la rotation matrice de rotation R et le facteur d'échelle x : mm tel que RR^T = Id (14) Pour résoudre le problème du recalage 3D, une décomposition en valeurs singulières peut être mise en œuvre. Pour cela, plusieurs méthodes sont envisageables. A noter que la technique de décomposition en valeurs singulières est désignée dans la suite de la description par l'acronyme SVD venant de l'expression anglo-saxonne « Singular Value Décomposition ».

Plusieurs méthodes de décomposition sont décrites dans l'article de D. Eggert, A. Lorusso, and R. Fisher intitulé Estimating 3-D rigid body transformations: a comparison of four major algorithms, Machine Vision and Applications, vol. 9, pp. 272-290, 1997. Un exemple de méthode pouvant être mise en œuvre dans le cadre du procédé de décomposition parcimonieuse 3DRI-OMP est décrit ci- après. D'autres méthodes permettant d'aboutir à un résultat équivalent peuvent également être utilisées.

Dans une première étape 400, une matrice de corrélation M_c = ycp^T est déterminée. Sa SVD est calculée ensuite déterminée 401 en utilisant l'expression suivante :

(U,A₁,V) = SVD(M_C)

dans laquelle :

U Θ R^3*3 désigne la matrice des vecteurs d'entrée orthonormés ; Λι Θ R^3*3 désigne la matrice contenant les valeurs singulières de M_c;

V Θ R^3*3 désigne matrice des vecteurs de sortie orthonormés.

Une matrice Λ₂ est définie telle que Λ₂ = diag ( 1 , 1 , det(UV^T) ) G R^3*3 est ensuite utilisée pour trouver 402 une matrice de rotation optimale R en utilisant l'expression : R = U Λ₂ V^T

Une valeur de corrélation x fournissant le facteur d'échelle est ensuite déterminée dans une quatrième étape 403 en utilisant l'expression : x = trace ( R φ y¹ ) = trace ( Λ₂ Λ₁ ) > 0. dans laquelle : la fonction trace() est la somme des éléments diagonaux.

Le procédé 3DRI-OMP illustré à l'aide de la figure 3 utilise comme données d'entrée un signal trivarié y Θ M^3*N à décomposer et un dictionnaire ψ de noyaux translatables. Le dictionnaire est normé. Cela signifie que les noyaux composant ce dictionnaire sont normés. Etant donné ce dictionnaire redondant, c'est-à-dire sur-complet, le procédé produit une approximation parcimonieuse du signal y. Pour cela, une fois que l'exécution du procédé est déclenchée

300, une étape d'initialisation 301 alloue le signal étudié y 302 à un résidu ε°.

A l'itération courante k, l'algorithme sélectionne l'atome qui produit la plus forte décroissance en valeur absolue de l'erreur quadratique moyenne H ε^κ"1 ||², habituellement désignée par l'acronyme MSE venant de l'expression anglo-saxonne « mean square error ». C'est équivalent à trouver l'atome recalé qui est le plus corrélé au résidu £^k"1.

La valeur de corrélation = trace (Ρ _ιτ ^χψι(ΐ-τ)^χε^κ"1 (ΐ)^τ) est calculée pour chaque décalage τ, R^k _!iX étant la matrice optimale pour recaler ψι(ΐ-τ) sur £^k"1 (t). Ainsi, l'algorithme de recalage 3D 303 est appliqué pour chaque τ et chaque 1=1 ..L.

Le maximum des valeurs absolues des x^ki,_x est ensuite recherché 305 afin de sélectionner l'atome optimal. L'atome optimal est caractérisé par son indice de noyau l^k et sa position x^k

Dans une étape ultérieure 306, le vecteur x accumule les coefficients actifs, c'est-à-dire les coefficients non nuls, qui sont les maximums des valeurs de corrélation soit : x <— x U x _{k k} Les matrices de rotation optimales associées sont regroupées dans R, soit :

R <- R U R, _{k k}

En outre, l'erreur courante, c'est-à-dire le résidu, est calculée, soit :

Cependant, cette solution est sous-optimale en cas de recouvrement des atomes sélectionnés. En effet, dans ce cas, les valeurs des coefficients et des matrices ne sont pas la solution des moindres carrés du problème exposé à l'aide de l'expression (13).

Dans un mode de réalisation, il est possible d'utiliser une étape d'optimisation 307 afin d'améliorer la solution obtenue. Pour cela, les résultats obtenus à l'étape 306 sont utilisés pour initialiser cette étape d'optimisation 307. L'étape d'optimisation 307 a pour fonction d'affiner le calcul les coefficients et les matrices de rotation par projection orthogonale du signal y sur les atomes sélectionnés. Les coefficients et les matrices obtenus suite à l'application des étapes précédentes 303, 305, 306 sont corrigés afin de prendre en compte le nouvel atome et donner la solution des moindres carrés.

Le procédé d'optimisation résout par itérations successives le problème des moindres carrés décrit dans l'expression (13). Dans la suite de la description, l'exposant k des variables χ^κι_,τ et est omis pour alléger les notations et l'indice τ = 1 ..k désigne les différents éléments déjà sélectionnés à l'itération k.

A l'itération courante k :

• les coefficients actifs x = r

· les matrices actives R = )R,_{r κ} r sont les solutions de l'expression suivante :

La procédure d'optimisation a pour objectif de résoudre ce problème. Pour cela, l'expression suivante peut être utilisée :

(x,R) <— arg{min_XiR [expression (15)]} Dans laquelle :

Min_XiR() désigne le minimum d'une fonction par rapport à une ou plusieurs variables ;

Arg() désigne la ou les valeurs qui donnent le minimum.

Pour choisir le moment d'arrêt de l'exécution du procédé, il est possible de mettre en œuvre un critère d'arrêt prédéfini et de surveiller si ce critère est vérifié. Si ce critère c'est le cas, l'exécution du procédé se termine 309. Sinon, k est incrémenté et une itération supplémentaire 310 est exécutée.

Le critère d'arrêt 308 peut être choisi parmi plusieurs candidats. A titre d'exemple, le critère d'arrêt peut se baser sur un seuillage sur k, sur un nombre d'itérations prédéfini, sur un seuillage sur la racine carrée de l'erreur quadratique moyenne || ε^κ || / || y ||, ou sur un seuillage sur la décroissance de la racine carrée de l'erreur quadratique moyenne.

Le résultat obtenu à l'aide de ce procédé est une approximation K- parcimonieuse de y en utilisant les éléments actifs sélectionnés : Le procédé de décomposition parcimonieuse peut être également décrit à l'aide du pseudo-code donné ci-après.

1 : initialisation : k = 1 , résidu ε° = y 2: répéter 3: pour I <— 1 , L faire 4: Recalage 3D : (x , R ) <- Reg_SVD ( ψ,(ΐ-τ) , £^k"1 (t) ) 5: fin pour 6: Sélection : (l^k,x^k) <— arg max i_,T χ ι,_τ 7: Coefficients actifs : x <— x U x r, ,τ'

8: Matrices actives : R <- R U R

9: Résidu :

10: Procédure d'optimisation (x, R) <- arg min_XiR (15) 1 1 : Résidu : y - y 12: k ^ k + 1 13: jusqu'à : critère d'arrêt

La figure 5 présente un exemple étape d'optimisation de la décomposition pouvant être mise en œuvre dans un mode de réalisation du procédé de décomposition parcimonieuse tridimensionnelle 3DRI-OMP.

Dans cet exemple, des mises à jour des coefficients x et des matrices de rotations R sont mises en œuvre. Ces mises à jour sont effectuées alternativement sur x et R, en d'autres termes, l'un est mis à jour pendant que l'autre est fixé et vice-versa. De plus, chaque mise à jour est basée sur une descente de gradient.

Au début de la procédure d'optimisation 500, les variables x, R et ε^κ sont initialisées au moment de l'étape 306. Un exposant i est ajouté sur les variables pour marquer l'itération courante de la procédure d'optimisation.

Les coefficients x sont alors mis à jour 502. Pour cela, la méthode LMS, acronyme venant de l'expression anglo-saxonne « least mean squares » peut être utilisée. Chaque coefficient χ_{γΚ τΚ} peut être mis à jour en utilisant l'expression :

χϊ',τ< = ⁺ ■ traceiR^¹ (t - τ^κ ) e^k (t)^T ) _{(1 7)} dans laquelle λι désigne le pas de descente adaptatif. Ce pas est à régler en fonction des données, et peut être par exemple choisi tel que λ' = 1 /i^{0 6}.

Ensuite, le résidu est mis à jour 503 et les matrices de rotation R sont mises à jour 504. Cette dernière mise à jour doit garder l'orthogonalité des matrices de rotation R. On peut choisir une mise à jour multiplicative qui garde la matrice de rotation orthogonale en utilisant la variété de Stiefel. Chaque matrice de rotation est mise à jour en suivant la géodésique de la variété, comme montré dans l'expression :

R^ = e^ (- G' ^l)R^ (1 8) dans laquelle : G'^"1 _T est défini dans l'expression (1 9) :

G;' ¹ = (R;;^ _¥ - τ^κ) e^k {tf - e^k (t) _Ψικ (t - τ^κ)^Τ R;] ) (1 9) μ est une constante choisie égale à 0.1 ; expm() est la fonction de l'exponentiel de matrice.

Alternativement, une mise à jour additive avec un terme de pénalisation de l'orthogonalité aurait pu être choisie. Le nombre d'itérations I peut être choisi constant ou fonction de k. De cette manière, les derniers coefficients ont plus d'itérations pour approcher la solution des moindres carrés que les premiers. Il faut noter aussi qu'il est inutile de faire la procédure d'optimisation à la première itération k=1 puisqu'il n'y a pas de corrélation dans le dictionnaire actif réduit à un seul atome.

Une implémentation possible de la procédure d'optimisation pour résoudre le problème représenté par l'expression (15) a été décrit. D'autres solutions peuvent également être mises en œuvre dans le cadre de l'invention pour améliorer l'optimisation des moindres carrés.

Il est à noter que le procédé de décomposition parcimonieuse 3DRI-OMP décrit notamment avec la figure 3 a une complexité algorithmique en 0(N²). Une implémentation plus rapide est possible. Pour cela, chacun des neuf éléments des N matrices de corrélation M_c (Ι,τ) = £^k"1 (t) ψι(ΐ-τ)^Τ peut être calculé par transformée de Fourier rapide avec une complexité en 0[N.log(N)] pour tous τ. Ensuite les N recalages sont calculés en O(N). La complexité résultante est donc de O [N.log(N)].

Le procédé peut être facilement étendu à de plus grandes dimensions, considérant y Θ M^D*N avec D>3. Dans ce cas, le sens physique de la matrice de transformation est perdu. L'extension modifie seulement le recalage tridimensionnel, en étendant la définition de la variable interne Λ₂ = diag ( 1 , ... 1 , det(UV^T) ) Θ E^D*D.

La figure 6 illustre un procédé de d'apprentissage de motifs 3D à partir d'un ensemble de signaux.

Avant de décrire en détails ce procédé, les techniques d'apprentissage les plus connues de l'état de la technique sont mentionnées. Le modèle introduit à l'aide de l'expression (1 ) décrit un objet 3D comme une combinaison linéaire de vecteurs de base de motifs. Etant donné que la base de formes est dédiée à l'objet étudié, elle doit être ré-estimée à chaque nouvel objet. Un algorithme EM généralisé peut être utilisé pour apprendre des formes tridimensionnelles adaptées aux données étudiées.

Utilisant le modèle dual de l'expression (2) qui représente un objet 3D avec des vecteurs de base de trajectoires, un algorithme EM peut être utilisé pour apprendre des trajectoires 1 D adaptées aux données étudiées.

D'autres techniques existantes sont désignées par l'acronyme DLA venant de l'expression anglo-saxonne « Dictionary Learning Algorithm ». Ces techniques apprennent empiriquement un dictionnaire dédié à un ensemble de signaux. Ces techniques comprennent deux étapes exécutées alternativement. L'une des étapes a pour objectif l'extraction des principaux motifs. C'est une étape d'approximation parcimonieuse. Ces motifs sont ensuite appris dans une autre étape de mise à jour du dictionnaire. A la fin de l'apprentissage, chaque signal de l'ensemble peut être décomposé avec parcimonie sur ce dictionnaire. Les techniques DLA sont différentes des techniques EM car elles utilisent la parcimonie dans l'étape de décomposition. La parcimonie fait émerger des données les motifs informatifs.

Le procédé décrit ci-après avec l'aide de la figure 6 permet de calculer un dictionnaire 3DRI à partir d'un ensemble de signaux trivariés.

Un ensemble d'apprentissage de signaux trivariés Y={y_q}^Q _q=i est considéré et l'indice q est ajouté aux variables. Ce procédé d'apprentissage est désigné par le sigle 3DRI-DLA. Ce procédé traite successivement chaque signal d'apprentissage y_q 603.

Au début de du procédé, les noyaux sont initialisés 600 sur du bruit blanc uniforme et sont normés. En suite, le procédé met en œuvre une alternance en ligne de deux étapes. Une étape 601 correspond à une décomposition 3D parcimonieuse et une étape 602 correspond à une mise à jour du dictionnaire.

La décomposition 3D parcimonieuse 601 peut être effectuée en utilisant le procédé 3DRI-OMP décrit précédemment. Pour cela, l'expression suivante peut être utilisée : x ,R = argmin ,w-XX¾¾, ,c-r) tq et V/ = l..L,Vre σ_ι ,R, R_l ^T = Id (20) dans laquelle :

tq est une abréviation de l'expression « tel que ». L'étape de mise à jour du dictionnaire 602 est basée sur le critère du maximum de vraisemblance, sous hypothèse de bruit banc gaussien. Pour cela, l'expression suivante peut être utilisée :

Ψ = tq VH..L, H = 1 et VH ..L, œ , ,Λ, = Id

(21 )

Ce critère est habituellement optimisé par descente de gradient. Pour effectuer cette optimisation, une descente de gradient stochastique basée sur le LMS peut être choisie. Il a la particularité de traiter les matrices de rotation 3D et il est donc désigné par le sigle 3DRI-LMS. L'itération courante est notée j. Pour 1=1 ..L, chaque noyau trivarié ψι peut être mis à jour en utilisant l'expression suivante : ψ( (t) = ψΓ (£) + .∑ * ;_r;? Rl ε;^{1 1} (t + T) (22) dans laquelle : t désigne les indices limités au support temporel de ψι ; λ₂ désigne le pas de descente adaptatif, choisi tel que A₂ ^J=1 /j ;

En outre, les noyaux sont normalisés à la fin de chaque itération, et leurs longueurs peuvent être modifiées en fonction de l'énergie présente sur leurs bords. Les deux étapes 601 , 602 sont appliquées à tous les signaux 604 de la base de signaux 603 utilisée en entrée du procédé.

Pour terminer 605 l'exécution du procédé, différent critères d'arrêt peuvent être utilisés, comme par exemple le seuillage sur le rRMSE, acronyme venant de l'expression anglo-saxonne Relative Root Mean- Squared Error », calculé sur l'ensemble d'apprentissage ou le seuillage sur j, c'est-à-dire sur le nombre d'itérations.

Suite à l'exécution du procédé d'apprentissage, les motifs élémentaires caractéristiques d'un ensemble de signaux ont été appris empiriquement dans le dictionnaire optimal qui donne conjointement des approximations parcimonieuses pour tous les signaux de cet ensemble.

Il est à noter que les procédés 3DRI-OMP et 3DRI-DLA sont indépendants du système de capture de mouvement utilisé. Ainsi, celui-ci peut être de type inertiel, magnétique ou optique avec des marqueurs actifs ou passifs. Tous ces systèmes d'acquisition fournissent des coordonnées spatiales 3D qui sont les signaux de mouvements traités par nos méthodes.

Les figures 7a et 7b donne un exemple d'ensemble de signaux appartenant à un dictionnaire non orienté.

A titre d'illustration, les procédés 3DRI-DLA et 3DRI-OMP sont appliquées à des signaux de mouvement du langage parlé-complété LPC.

Ce langage associe des articulations labiales à des clés formées par la main. Par la suite, seuls les mouvements de la main sont étudiés. La main peut être placée dans différentes configurations correspondants aux consonnes et dans différents placements sur le visage correspondants aux voyelles. Les signaux sont acquis par un système d'acquisition optique, fournissant les coordonnées spatiales 3D d'un marqueur. Q=57 signaux bruts sont dérivés pour donner les signaux de vitesse v_x, v_y et v_z. Ces signaux tridimensionnels sont utilisés comme signaux d'entrées pour l'application des procédés.

Dans cet exemple, le procédé 3DRI-DLA est appliqué aux données décrites précédemment. Ce procédé d'apprentissage est comparée avec un procédé connu de type M-DLA. Un dictionnaire appris à l'aide du procédé 3DRI-DLA est dit non- orienté, et est désigné de la sorte en utilisant l'acronyme NOLD venant de l'expression anglo-saxonne « Non-Oriented Learned Dictionary », car les noyaux sont invariants à la rotation et non plus appris dans une orientation fixe comme c'est le cas avec un procédé de type M-DLA. Un dictionnaire NOLD est appris avec L=6 noyaux. Le dictionnaire ainsi obtenu est illustré à l'aide des figures 7a et 7b. Les lignes pleines 700, et en pointillées 701 , 702 représentent les trois composantes v_x, v_y et v_z. L'erreur rRMSE moyennée sur l'ensemble d'apprentissage est de 21 .3%, avec K=15 atomes dans chaque décomposition.

La figure 7a représente le dictionnaire de L=6 noyaux trivariés à l'initialisation et la figure 7b représente ce même dictionnaire à la fin de l'apprentissage, c'est-à-dire après que le procédé 3DRI-DLA ait été exécuté.

Afin d'effectuer une comparaison, un dictionnaire orienté OLD, acronyme venant de l'expression anglo-saxonne « Oriented Learned Dictionary » est appris avec le procédé M-DLA utilisé dans un cas trivarié avec et L=6 noyaux. Son erreur rRMSE est de 30.9 % avec K=15 atomes.

Les signaux de vitesse sont intégrés afin de donner une représentation plus visuelle du dictionnaire. La figure 8 montre les trajectoires 3D invariantes à la rotation associées au dictionnaire NOLD. Les étoiles 800, 801 , 802, 803, 804, 805 représentent le début des trajectoires. Du fait de l'intégration, des noyaux de vitesses différents peuvent donner des trajectoires très ressemblantes. Ces trajectoires, extraites par le procédé 3DRI-DLA, correspondent aux motifs élémentaires du langage gestuel LPC.

Le procédé de décomposition parcimonieuse 3DRI-OMP est ensuite appliqué avec le dictionnaire NOLD, ce qui donne une décomposition adaptée et non-orientée. Les atomes principaux sont ceux de plus fortes amplitudes, et ils concentrent l'information pertinente. Les atomes secondaires codent les variabilités entre les différentes réalisations d'un même geste.

La trajectoire du signal y_q avec q=52, q représentant l'indice courant sur les Q=57 signaux, est reconstruite avec ses cinq atomes principaux. La reconstruction non-orientée avec le NOLD et celle orientée avec le OLD sont comparées à l'aide des figures 9a, 9b et 9c. Par exemple, le signal the y₅2 est reconstruit comme la somme des noyaux NOLD d'indices trois, quatre et six qui sont utilisés trois fois dans des orientations différentes. Ils sont spécifiés par les amplitudes et les rotations données par le 3DRI- OMP.

La figure 9a représente la trajectoire 3D originale de y₅2, la figure 9b représente la trajectoire reconstruite non-orientée et la figure 9c représente la trajectoire reconstruite orientée.

Il apparaît de la figure 9b que le noyau NOLD d'indice six est utilisé trois fois dans des orientations différentes, alors que sur la figure 9c, le noyau OLD d'indice six est utilisé deux fois, mais sans qu'il soit possible de changer d'orientation pour mieux coïncider avec la trajectoire originale.

Maintenant, les signaux sont tournés de différents angles aléatoires et sont maintenant notés par (.)'. Le dictionnaire NOLD et le dictionnaire OLD appris précédemment sont conservés pour effectuer les décompositions des signaux tournés. Avec K=15, l'erreur rRMSE moyennée sur l'ensemble d'apprentissage est de 21 .3% pour le cas non-orienté et 83.1 % pour le cas orienté. Il est intéressant de remarquer que les erreurs rRMSE des décompositions non-orientées sont similaires dans les deux expériences.

Comme dans l'expérience précédente, la trajectoire du signal tourné y₅2' est reconstruite sur ces noyaux principaux comme illustré à l'aide des figures 10a, 10b et 10c. La figure 10a représente la trajectoire 3D de y₅2', la figure 10b représente la trajectoire reconstruite non-orientée et la figure 10c représente la trajectoire reconstruite orientée.

Avantageusement, les reconstructions non-orientées des figures 9b et 10b sont identiques. En effet, les mêmes atomes sont utilisés avec les mêmes amplitudes. Seules les rotations changent. Ces rotations correspondent à l'angle aléatoire appliqué au signal y₅2- La propriété avantageuse d'invariance à la rotation des méthodes non-orientées est ainsi illustrée. A l'inverse, les méthodes orientées donnent comme résultats des reconstructions très différentes comme illustrées sur les figure 9c et 10c. On peut notamment remarquer que les atomes utilisés ne sont pas les mêmes pour chaque reconstruction. Cela démontre la limitation d'un dictionnaire orienté figé dans une direction particulière, cette limitation étant évitée de lorsque les méthodes de reconstructions invariantes à la rotation sont utilisées.

L'approche non-orientée permet d'obtenir de meilleurs résultats de reconstruction que les données soient tournées ou non. En outre, elle permet l'obtention et l'utilisation d'un dictionnaire compact et dont les noyaux peuvent être tournés ainsi que des décompositions invariantes aux rotations 3D. L'approche non-orientée peut être mise en œuvre en robotique, notamment dans le but de donner aux robots une démarche humaine et non plus machinale. Toujours en robotique, cette approche peut être mise en œuvre dans des systèmes de reconnaissance biométrique permettant d'identifier un individu à partir des caractéristiques de sa marche. En effectuant une étape de classification sur les paramètres de nos décompositions, il est possible de faire cette reconnaissance.

Plus généralement, cette approche peut être mise en œuvre pour la reconnaissance de gestes 3D. En effet, l'invention peut aussi être mise en œuvre pour le suivi d'objet, l'analyse de trajectoires, l'apprentissage de primitives du mouvement. Suite à ces traitements, il est alors possible d'effectuer de la reconnaissance de geste.

Claims

REVENDICATIONS

1 - Procédé de décomposition d'une trame de coordonnées tridimensionnelles y en une somme d'atomes trivariés <p_k (202) pondérés par un coefficient x_k (201 ), une matrice de rotation R_k (203) étant appliquée à ces atomes pondérés, le procédé comprenant les étapes suivantes appliquées de manière itérative :

- un recalage 3D (303) de l'ensemble des atomes tridimensionnels obtenus à partir d'un dictionnaire ψ non orienté, le recalage étant effectué en utilisant la technique de décomposition en valeurs singulières afin d'obtenir un coefficient x_k et une matrice de rotation R_k pour chaque atome ;

- une sélection (305) d'au moins un atome, de son coefficient associé x_k et de sa matrice associée R_k de manière à obtenir une décomposition parcimonieuse de la trame de coordonnées tridimensionnelles ;

- un calcul du résidu de décomposition (306) après prise en compte du dernier atome sélectionné, ledit résidu étant utilisé par l'étape de recalage 3D de l'itération suivante.

2- Procédé selon la revendication 1 dans lequel les atomes sélectionnés sont déduits du dictionnaire ψ par décalages temporels τ des noyaux le composant.

3- Procédé selon l'une des revendications précédentes dans lequel le dictionnaire ψ est normé et redondant. Procédé selon l'une des revendications précédentes dans lequel durant l'étape de sélection (305) au moins un atome est choisi, ledit atome celui permettant d'obtenir la plus forte décroissance en valeur absolue de l'erreur quadratique moyenne est sélectionné.

Procédé selon l'une des revendications précédentes dans lequel une étape d'optimisation (307) est appliquée après le calcul du résidu (306) afin d'ajuster les coefficients de pondération x_k et les matrices de rotation R_k des atomes sélectionnés, cette optimisation étant réalisée par projection orthogonale du signal y sur les atomes sélectionnés par minimisation des moindres carrés afin réduire le plus possible la valeur du résidu.

Procédé selon la revendication 5 dans lequel les coefficients de pondération x_k et les matrices de rotation R_k sont optimisés de manière à ce que les coefficients x_k soient mis à jour pendant que les matrices R_k sont fixées et vice versa (502, 504), chaque mise à jour étant basée sur la technique de descente de gradient.

Procédé de d'apprentissage d'un dictionnaire composé d'au moins un noyau, ledit dictionnaire étant adapté pour la décomposition d'une trame de coordonnées tridimensionnelles, le procédé comprenant les étapes suivantes appliquées de manière itérative et consistant en :

- une initialisation (600) des noyaux à apprendre ;

- une décomposition non-orientée (601 ) par application du procédé selon l'une des revendications 1 à 6 à une base de signaux (603) prédéterminée ;

- une mise à jour des noyaux (602) basée sur le critère du maximum de vraisemblance sous hypothèse de bruit banc gaussien 8- Procédé selon la revendication 7 dans lequel les noyaux sont initialisés (600) sur du bruit blanc uniforme et sont normés.

9- Procédé selon l'une des revendications 7 ou 8 dans lequel l'étape de mise à jour (602) est basée sur une descente de gradient stochastique.

10- Dispositif d'apprentissage de mouvements tridimensionnels mettant en œuvre le procédé de décomposition selon l'une des revendications 1 à 6.