FR3077721A1 - Procede de commande du fonctionnement d’un robot de traitement de sols, equipement et systeme pour la mise en œuvre de ce procede. - Google Patents
Procede de commande du fonctionnement d’un robot de traitement de sols, equipement et systeme pour la mise en œuvre de ce procede. Download PDFInfo
- Publication number
- FR3077721A1 FR3077721A1 FR1851294A FR1851294A FR3077721A1 FR 3077721 A1 FR3077721 A1 FR 3077721A1 FR 1851294 A FR1851294 A FR 1851294A FR 1851294 A FR1851294 A FR 1851294A FR 3077721 A1 FR3077721 A1 FR 3077721A1
- Authority
- FR
- France
- Prior art keywords
- interest
- image
- robot
- area
- controlling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2805—Parameters or conditions being sensed
- A47L9/2826—Parameters or conditions being sensed the condition of the floor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
- A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
- A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
- A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
Abstract
La présente invention concerne un procédé de commande du fonctionnement d'un robot de traitement de sols consistant à acquérir une séquence d'images de la surface de sol, et à appliquer un traitement numérique pour identifier des zones d'intérêt et à commander la trajectoire et/ou les paramètres du moyen de nettoyage en fonction de la position relative desdites zones d'intérêt et de la position du robot. L'invention concerne aussi un équipement et un système pour la mise en œuvre de l'invention.
Description
Procédé de commande du fonctionnement d'un robot de traitement de sols, équipement et système pour la mise en œuvre de ce procédé.
Domaine de l'invention
La présente invention concerne un robot de nettoyage autonome, et un procédé de détection de poussière et salissures des sols pour augmenter l'efficacité d'un processus de nettoyage en détectant automatiquement les taches et la poussière sur un sol, afin d'ajuster automatiquement la trajectoire et optionnellement la puissance de nettoyage d'un robot de nettoyage et modifier de manière appropriée un chemin de nettoyage du robot pour l'aspiration et le lavage les sols. Ceux-ci sont adaptés à tous types de surfaces : parquet en bois dur vitrifié, carrelage, lino, etc.
Le robot de nettoyage est la version robotisée d'un
| équipement | de | nettoyage de type | laveuse | ou aspirateur. |
| L'équipement | de | nettoyage procède en 4 | étapes. | |
| • Il brosse | le | sol. | ||
| • Dans le | cas | d'une laveuse, un | liquide de | nettoyage est |
| injecté. | Le | liquide peut être un | détergent | , ou peut être |
| remplacé | par | des produits à moindre impact | environnemental |
comme le vinaigre blanc.
• Il aspire l'eau sale ou les résidus.
• Éventuellement, il peut sécher la surface.
La robotisation de cet équipement comprend généralement un moyen d'entrainement, des capteurs et un contrôleur de déplacement et effectue de nombreuses fonctions utiles tout en fonctionnant de manière autonome, c'est-à-dire sans le contrôle d'un utilisateur. De tels robots mobiles ont été développés. Pour un processus de nettoyage plus efficace, le robot de nettoyage doit corréler sa puissance de nettoyage à la quantité de poussière et de saleté sur le sol.
Diverses techniques de détection de la poussière pour un robot de nettoyage, qui ajustent la puissance de nettoyage du robot de nettoyage en fonction du résultat de la détermination de la quantité de poussière et de saleté sur le sol, sont décrites dans les brevets américains No. US 5 163 202, No.US 5 233 682 et No.US 6 023 814. Plus spécifiquement, dans le brevet américain US 5 163 202, un émetteur de lumière et un récepteur de lumière sont installés sur un tube d'aspiration de poussière d'un robot de nettoyage, et la quantité de poussière et de saleté sur le sol d'une pièce est déterminée en fonction de la quantité de lumière reçue par le récepteur. Dans le brevet américain US 5 2 33 682, la quantité de poussière et de saleté déterminée en fonction de la quantité de lumière reçue par le récepteur de lumière et la taille des particules de poussière et de saleté sont également mesurées en fonction du temps nécessaire au passage des particules de poussière et de saleté. Cependant, la détectabilité de la poussière de ces deux techniques brevetées peut se détériorer après une période d'utilisation car il y a une forte probabilité d'accumulation d'impuretés au niveau du récepteur de lumière et de l'émetteur de lumière. Afin de résoudre ce problème, Le brevet américain US No. 6 023 814 décrit un aspirateur qui comprend une unité de correction de sensibilité de détection installée sur un passage d'aspiration.
Toutes les techniques brevetées ci-dessus ne peuvent pas déterminer si des particules de poussière existent sur le sol jusqu'à ce qu'elles aspirent la poussière à travers un passage d'aspiration. De plus, les techniques brevetées cidessus détectent la poussière sans tenir compte de l'état du sol, et ainsi, l'efficacité d'un processus de nettoyage peut se détériorer
État de la technique
On connaît dans l'état de la technique différentes solutions de procédés de détection de poussière d'un robot de généralement l'acquisition d'une image de sol ou d'un organe du robot en tant qu'imagé d'étage actuelle, la recherche d'une image de différence entre l'image d'étage actuelle et une image d'arrière-plan, éventuellement sélectionnée à partir d'une carte d'entités constituée d'une pluralité d'images d'étage de l'endroit prédéterminé, et détecter une zone poussiéreuse basée sur 1'image de différence et ajuster une puissance de nettoyage du robot de nettoyage.
A titre d'exemple, le brevet américain US8924019 concerne un robot de nettoyage, son dispositif de reconnaissance de la saleté et un procédé de nettoyage du robot. Le dispositif de reconnaissance comprend un module d'acquisition d'image et un module de traitement d'image. Le module d'acquisition d'image peut être utilisé pour acquérir des données d'image de la surface à traiter par le robot de nettoyage et pour transmettre les données d'image au module de traitement d'image. Le module de traitement d'image divise 1'image acquise de la surface à traiter en N blocs, extrait les données de chaque bloc et traite les données afin de déterminer la surface la plus sale à traiter qui correspond à l'un des N blocs. Ce robot de nettoyage selon l'art antérieur peut opérer une reconnaissance active de la saleté telle que la poussière, etc., et il peut ainsi arriver dans la zone de travail avec précision et rapidité.
On connaît aussi le brevet américain US7920941 décrivant une autre solution connue de détection de poussière d'un robot de nettoyage, comprenant :
- une unité d'acquisition d'image qui acquiert une image correspondant à un emplacement actuel du robot de nettoyage à 1'endroit prédéterminé ; et une unité de commande calculant une image de différence entre 1 ' image de fond actuelle et une image de fond sélectionnée parmi les images de fond d'une carte de caractéristiques pour détecter une zone poussiéreuse basée sur 1'image de différence calculée et pour ajuster la puissance de nettoyage du robot de nettoyage en fonction de la zone poussiéreuse détectée.
Le brevet européen EP2838410 décrit une autre solution de robot mobile de nettoyage de sol comprenant :
un corps de robot définissant une direction d'entrainement en avant (F) ;
- un système d'entrainement supportant le corps de robot et configuré pour manœuvrer le robot sur une surface de sol ;
| - un système de nettoyage supporté par | le corps de | |||||
| robot ; | ||||||
| - | un | capteur de | formation d'image | disposé sur le | ||
| corps de robot | r | |||||
| - | un | contrôleur | en | communication | avec | le système |
| d'entraînement | et | le capteur | de | formation d'image, | caractérisé |
en ce que le contrôleur est configuré pour :
- recevoir une séquence d'images de la surface de sol, chaque image comportant un réseau de pixels ;
- pour chaque image, segmenter l'image en taches de couleur en :
- quantifiant la couleur des pixels de l'image ;
- déterminant une répartition spatiale de chaque couleur de 1'image sur la base des emplacements de pixels correspondants ; et
- pour chaque couleur d'image, identifiant les zones de 1'image ayant une répartition spatiale de seuil pour cette couleur ;
- suivre un emplacement de chaque tache de couleur en relation avec le capteur de formation d'image à travers la séquence d'images ; et
- émettre une commande d'entrainement pour manœuvrer le robot sur la base de l'emplacement (x, y) d'une ou de plusieurs taches de couleur.
On connaît aussi la demande de brevet W02011000256 concernant un robot de nettoyage muni d'un dispositif de reconnaissance de la saleté et un procédé de nettoyage du robot.
Inconvénients de l'art antérieur
Les solutions de l'art antérieur permettent de traiter des salissures réversibles mais leur fonctionnement est perturbé lorsque des zones reconnues comme tachées sont en réalité des motifs du sol ou des zones présentant un défaut irréversible, comme un carreau fendu ou ébréché ou une brûlure d'un revêtement tel qu'un tapis ou une moquette.
Les solutions de l'art antérieur rencontrent des difficultés face à de telles situations : elles commandent le fonctionnement du robot de nettoyage comme s'il s'agit d'une tache nettoyable, inutilement, voire intensifient le nettoyage de la partie du sol contenant une telle anomalie ce qui provoque un vieillissement prématuré des parties normales du revêtement entourant la zone anormale, sans améliorer la zone anormale.
Par ailleurs, la présence de telles anomalies ralentit le travail du robot de nettoyage en mobilisant l'intervention sur des zones qui ne peuvent présenter une amélioration.
Solution apportée par l'invention
Afin de remédier à ces inconvénients, la présente invention concerne selon son acception la plus générale un procédé de commande du fonctionnement d'un robot de traitement de sols consistant à acquérir une séquence d'images de la surface de sol, chaque image comportant un réseau de pixels et appliquer un traitement numérique pour identifier des zones d'intérêt et à commander la trajectoire et/ou les paramètres du moyen de nettoyage en fonction de la position relative desdites zones d'intérêt et de la position du robot, caractérisée en ce que ledit traitement numérique comporte une étape de détection de contours des zones d'intérêt d'une image et une étape de calcul pour chacune des zones d'intérêt une signature dans un espace vectoriel à M dimensions, par exemple chacune des dimensions correspondant à une classe de 1'histogramme de couleur, la valeur, selon cette dimension, correspondant au nombre de pixels de la zone d'intérêt appartenant à l'intervalle de cette classe, à enregistrer, pour chacune desdites zones d'intérêt, des données constituées par les coordonnées de ladite signature de la zone d'intérêt dans l'espace vectoriel à M dimensions
- les coordonnées du barycentre de la zone d'intérêt dans le référentiel de l'environnement du robot, et à déterminer un marqueur d'invariance pour chacune desdites zones d'intérêt en fonction desdites données, le fonctionnement du robot étant optimisé pour différencier le traitement des zones du sol associées à une image comportant au moins une zone d'intérêt non associée à un marqueur d'invariance, par rapport aux autres surfaces.
Avantageusement, ledit traitement numérique comporte en outre une étape d'enregistrement de la texture de la zone d'intérêt définie par ledit contour reconnu, en association des coordonnées de ladite signature de la zone d'intérêt dans l'espace vectoriel à M dimensions
Selon une variante préférée, ledit traitement numérique comporte en outre une étape de classification desdites zones d'intérêt pour déterminer la probabilité d'appartenance à une classe d'images d'un sous-ensemble d'images de référence, par le calcul de la distance entre un vecteur d1 image correspondant à ladite image acquise et les vecteurs des images dudit sous-ensemble, lesdites images de référence étant associées chacune à une loi de commande dudit robot, lesdites lois de commande comportant une loi neutre ne modifiant pas le fonctionnement du robot et au moins une loi commandant un fonctionnement augmentant 1'interaction du moyen de nettoyage avec la zone du sol associée à ladite zone d'intérêt.
Avantageusement, une partie au moins desdites images de référence correspondent à des défauts irréversibles et sont associés à une loi de commande neutre.
Selon une autre variante, une partie au moins desdites images de référence correspondent à des défauts réversibles et sont associés à une loi de commande commandant le passage répété du robot sur la zone du sol associée à ladite zone d'intérêt.
Selon un mode de réalisation particulier, on procède à l'acquisition de l'image du sol correspondant à ladite zone d'intérêt après chaque passage, en ce que l'on calcule un indicateur DT d'évolution de l'image I± de ladite zone d'intérêt par rapport à l'image 1^ de ladite zone d'intérêt et on ce que l'on commande l'interruption des itérations lorsque l'indicateur D± est inférieur à une valeur-seuil Vx ou lorsque la zone d'intérêt n'est plus reconnue sur l'image IT_X .
Selon une variante, le procédé comporte une étape de notification d'un message numérique comportant la géolocalisation d'une zone d'intérêt associée à une image de référence correspondent à des défauts irréversibles.
L'invention concerne également un équipement de nettoyage de sols comportant un soubassement motorisé, un moyen de nettoyage, au moins un capteur d'image orienté vers la surface du sol et un calculateur exécutant un procédé de reconnaissance d'images numérisées pour piloter le déplacement dudit équipement, caractérisé en ce que ledit procédé de reconnaissance d'images numérisé est conforme à l'une au moins des revendications précédentes.
Selon un mode de réalisation particulier, l'invention concerne aussi un équipement qui comporte un soubassement présentant à sa surface inférieure une goulotte pour le positionnement de l'axe d'une roue automotrice, ledit axe étant immobilisé par une cale fixée sur ledit soubassement, de part et d'autre de ladite goulotte, et présentant une zone d'appui sur la surface extérieur dudit axe.
L'invention concerne aussi un système comportant un équipement de nettoyage de sols conforme à la revendication 8 ou 9 caractérisé en ce qu'il comporte en outre au moins un boîtier de signalement de salissure comportant un moyen de géolocalisation et un moyen de communication d'un message activable par un opérateur, l'équipement comportant un moyen de réception dudit message et des moyens pour commander l'activation dudit équipement et son déplacement entre le point de départ et le point correspondant aux coordonnées inscrites dans ledit message.
Selon une variante, le système comporte en outre au moins un terminal informatique comportant un écran et des moyens de visualisation interactifs d'une carte du site de déplacement dudit équipement et de sélection d'un point sur ladite carte, ledit terminal comportant un moyen de calcul d'un message numérique comportant les coordonnées dudit point sélectionné et un moyen de communication dudit message, l'équipement comportant un moyen de réception dudit message et des moyens pour commander l'activation dudit équipement et son déplacement entre le point de départ et le point correspondant aux coordonnées inscrites dans ledit message.
Avantageusement, le système comporte des moyens d'auto-planification pour le calcul des consignes de déplacement en fonction de données provenant d'au moins un serveur externe [par exemple des données météorologiques] et des données historiques transmises par l'équipement.
Avantageusement, lesdits moyens d'auto-planification sont configurés pour procédé à l'analyse de la fréquentation donnent des horaires privilégiés de passage minimisant l'impact du robot.
Description détaillée d'un exemple non limitatif de l'invention
La présente invention sera mieux comprise à la lecture de la description détaillée d'un exemple non limitatif de l'invention qui suit, se référant aux dessins annexés où :
- la figure 1 représente une vue schématique d'un équipement robotisé selon l'invention
- la figure 2 représente une vue schématique de la fixation des roues d'un équipement robotisé selon l'invention la figure 3 représente une vue schématique de l'algorithme de traitement de l'image du sol.
Description de l'architecture mécanique d'un équipement selon 1'invention
L'équipement robotisé représenté par la figure 1 selon un exemple non limitatif de l'invention est constitué par un corps (1) supportant une tête de nettoyage (2).
Cette tête de nettoyage (2) peut comporter une brosse, associée ou non à un système d'arrosage et/ou à un système d'aspiration. Éventuellement la tête de nettoyage (2) peut également comporter un ou plusieurs moyens de diffusion d'un agent de nettoyage, ou de différents agents de nettoyage commandés par des vannes.
Dans le cas d'un nettoyage par aspiration, le corps (1) comporte un bac amovible pour la récupération des matériaux aspirés, s'ouvrant par exemple par une trappe.
Dans le cas d'un nettoyage par lavage, le corps (1) comporte un réservoir de liquide (4), et le cas échéant un réservoir pour la récupération des eaux aspirées, qui sont recueillies par une raclette (5) disposée à l'arrière de 1'équipement.
Le corps ( 1 ) comporte par ailleurs deux roues ( 3 ) motorisées.
Optionnellement, pour permettre une commande manuelle de l'engin, le corps (1) comporte une poignée de manœuvre (6).
Cette poignée peut comporter des boutons ou poignées de commande des roues motorisées (3), ou des capteurs d'effort pour commander chacune des roues motorisées ( 3 ) en fonction des pressions exercées par un opérateur.
Le corps (1) comporte à sa partie supérieure un capteur de distance ( 7 ), par exemple un lidar ou un télémètre laser ou ultrason, ou une caméra stéréoscopique permettant d'acquérir une information sur les géométries du lieu dans lequel se déplace l'engin, et commander les trajectoires afin d'éviter les obstacles.
Le corps ( 1) comporte à sa partie inférieure des capteurs de distance (8) pour la détection à courte distance des obstacles, venant compléter les informations dudit capteur (7).
Un calculateur (9) est installé sur l'équipement, ainsi qu'une batterie électrique.
Une première caméra (10) est située à l'arrière de l'équipement, dirigée vers le sol, pour capter l'image du sol après traitement.
Une seconde caméra (11) est située à l'avant de l'équipement, dirigée également vers le sol, pour capter l'image du sol avant traitement.
Selon le type de mise en œuvre, une seule caméra est suffisante.
Le corps (1) peut également comporter un écran (12) pour la visualisation d'une interface homme-machine.
Motorisation d'un équipement existant
Selon un exemple de réalisation représenté par la figure 2, les roues motorisées (3) sont montées sur le soubassement (13) de l'équipement par une cale (14).
Le soubassement (13) présente un fond généralement plat, avec une goulotte (15) prévue pour recevoir un axe.
Pour motoriser un équipement existant, ou pour faciliter la liaison de l'axe d'une roue-moteur avec le soubassement (13), la liaison est assurée par une cale (14) présentant des prolongements (16, 17) percés par des trous (18 à 21) pour le vissage sur le soubassement.
La cale (14) présente une protubérance médiane (22) dont la hauteur est déterminée pour assurer l'encastrement de l'axe (23) dans la goulotte (15), après vissage de la cale (14).
Cette solution permet d'assurer un montage fiable et robuste d'une roue motorisée comportant un axe (23) sur un équipement quelconque.
Traitement des images du sol
L'image du sol, obtenue par l'une au moins des caméras (10, 11), est constituée par une matrice de pixels codés en RGB.
L'image est associée à une information de géolocalisation du robot dans un référentiel connu.
Ces données numériques font l'objet d'un traitement illustré par l'algorithme objet de la figure 3.
Une première étape (50) vise à normaliser les images par un prétraitement consistant à corriger les déformations géométriques résultant de l'orientation et du positionnement de la caméra (10, 11).
Cette étape a pour but de modifier la position des informations contenues dans l'image sans modifier le niveau RGB. Les opérations peuvent s'appliquer à la totalité des points d'une image (les pixels), à un objet particulier de l'image, voire à certains points spécifiques (recalage de points caractéristiques) .
Ces opérations présentent un intérêt dans de nombreuses applications :
- correction des distorsions géométriques liées au matériel optique. La distorsion la plus fréquente est celle introduite par l'objectif lui-même (effet de tonneau ou de barillet) correction de la perspective d'une scène 3D projetée sur un capteur 2D. Pour envisager des mesures précises des objets présents dans la scène, il peut être utile de restituer une image corrigée par une opération géométrique adaptée
- compensation du mouvement de la caméra pour un système embarqué pour ramener 1'image dans un repère de représentation fixe
- mise en correspondance d'images prises dans des conditions différentes (prises de vue satellitaires, radiographie, tomographie)
Si l'objectif est de comparer
1'évolution des images entre deux vues prises à des intervalles très éloignés (quelques heures ou jours séparant deux interventions de nettoyage)
Le résultat de cette étape est une nouvelle image corrigée
Une deuxième étape (51) optionnelle consiste à réduire le bruit l'image en appliquant un filtre médian numérique non linéaire. Cette étape vise à améliorer les résultats de traitements futurs
Une troisième étape (52) consiste à augmenter le contraste par une méthode telle que CLAHE par limitation de l'égalisation adaptative de 1'histogramme, telle que décrite dans l'article Zuiderveld, Karel (1994),
Contrast limited adaptive histogram equalization, Graphies gems IV,
Academie
Press Professional,
Inc., pp. 474-485
L'étape optionnelle suivante (53) consiste à filtrer l'image corrigée, en éliminant les motifs excessivement réguliers et/ou répétitifs. Cette étape de filtrage est basée sur l'hypothèse que certains motifs ne sont pas liés à un sol, mais à des aberrations génériques, par exemple la suppression des lignes continues droites.
Cette étape peut optionnellement prendre en compte une pré-connaissance de la nature du sol pour déterminer les motifs excessivement réguliers à éliminer. La pré-connaissance peut résulter d'un paramétrage initial, par un opérateur, ou par apprentissage à partir d'une collection d'images acquises.
L'étape suivante (54) concerne l'analyse pyramidale de l'image corrigée. La pyramide est une collection de N images, généralement une dizaine d'images, constituant une représentation multi-résolution de l'image corrigée. Elle permet de modéliser l'image à différentes résolutions, depuis l'image initiale à une image très grossière. La pyramide est obtenue en lissant l'image avec un filtre de lissage approprié, puis en sous-échantillonnant l'image lissée, généralement par un facteur de 2 le long de chaque direction de coordonnées. L'image résultante est ensuite soumise à la même procédure, et le cycle est répété plusieurs fois.
Le nombre d'images obtenu dans la collection peut être fixé selon le type de caméra, la position de la caméra par rapport au sol, ou de manière algorithmique.
L'étape suivante (55) est la segmentation de l'image corrigée. Cette étape consiste à calculer des zones d'intérêt, c'est-à-dire des régions de pixels partageant des caractéristiques similaires, telles que des taches.
Pour cela, on applique ensuite sur chacune des images de la collection un traitement de détection de contours en utilisant un filtre de Canny ou de Sobel, et on enregistre pour chacune des images de la collection le ou les contours associés, entourant une ou plusieurs zones d'intérêt.
Les zones d'intérêt peuvent être déduites des contours par l'algorithme de Suzuki, S. and Abe, K., Topological Structural Analysis of Digitized Binary Images by Border Following. CVGIP 30 1, pp 32-46 (1985). D'autres méthodes de détection des contours sont susceptibles d'être employées telles que MSER (Maximally Stable Extremal Régions).
Optionnellement, on filtre les zones d'intérêt identifiées en fonction de leur taille ou du rapport variance sur moyenne, ou encore de l'entropie, afin de supprimer les zones d'intérêt dont le paramètre est inférieur à une valeurseuil .
L'étape suivante (56) consiste à associer à chaque zone d'intérêt une localisation de leur barycentre par rapport à la position du barycentre de l'image dans le référentiel du robot. Pour cela, on applique la transformation inverse utilisée lors de l'étape (50)
De manière optionnelle, on transforme cette image afin de la rendre invariante en rotation et en changement d'échelle.
Pour l'invariance en rotation, on procède à une analyse spectrale dans chaque zone d'intérêt pour déterminer le vecteur principal et on applique à cette zone d'intérêt une matrice de rotation pour la projeter selon ce vecteur principal.
Pour l'invariance d'échelle, on applique un traitement de type « scale-invariant feature transform (SIFT) »
L'étape suivante (57) consiste à calculer une signature de chacune desdites zones d'intérêt. La signature est une information caractérisant la zone d'intérêt de longueur inférieure ou égale à la zone d'intérêt
A titre d'exemple, la signature d'une zone d'intérêt est déterminée par le calcul d'un vecteur de M dimensions, chacune des dimensions correspondant une classe de
1'histogramme, et la valeur, selon cette dimension, correspondant au nombre de pixels de la zone d'intérêt appartenant à l'intervalle de cette classe de classe
Dans le cas d'une image en appartient à l'une des trois
On enregistre ensuite, couleur, couleurs chaque
RGB pour chacune intervalle des zones d'intérêt de 1'image les coordonnées de la signature de la zone d'intérêt dans l'espace vectoriel à M dimensions les coordonnées du barycentre de la zone d'intérêt dans le référentiel de l'environnement du robot
- optionnellement la texture de l'image à l'intérieur de la zone d'intérêt.
Exploitation des données enregistrées avec une caméra avant et une caméra arrière
Dans ce cas, l'exploitation des données enregistrées consiste à comparer les données associées à l'image acquise par la caméra avant, et l'image acquise par la caméra arrière pour la même zone géolocalisée.
L'analyse des différences entre les données enregistrées permet de déterminer les zones d'intérêt dont les coordonnées cartésiennes sont voisines (c'est-à-dire dont la distance entre le barycentre avant et après est inférieure à une valeur-seuil) et qui sont restées inchangées, c'est-à-dire dont la distance entre les coordonnées dans l'espace à M dimension de l'image avant et l'image arrière est inférieure à une valeurseuil. Ces zones d'intérêt sont alors associées à un marqueur d'invariance.
Si l'on dispose en outre de l'information sur la texture de la zone d'intérêt, on procède à une vérification additionnelle de la variation de la texture entre l'image avant et l'image arrière, par un traitement de type corrélation croisée. Si les textures ont varié d'une valeur supérieure à une valeur-seuil, le marqueur d'invariance précédemment affecté est supprimé.
Exploitation des données enregistrées avec une caméra unique.
Dans le cas d'une caméra unique, on procède aux mêmes traitements en utilisant les images d'une zone géolocalisée donnée au cours de deux passages consécutifs.
Constitution d'une base de signature par apprentissage
Le procédé consiste optionnellement à enregistrer dans une base de données des sous-espace vectoriels associés à des surfaces invariantes, soit par apprentissage à partir des images historiques, soit par qualification par un opérateur à partir d'une image acquise, soit par apprentissage à partir d'images historiques acquises par d'autres robots, sur le même site ou sur un site différent.
Dans ce cas, le traitement comporte une étape de classification des zones d'intérêt sur chaque image acquise pour procéder à l'affectation des marqueurs d'invariance dès la première acquisition, sans nécessité d'acquérir deux images.
Alternativement, cette variante permet d'éviter le traitement de l'image pour les parties d'image comportant une zone associée à une invariance.
Exploitation des signatures
Une première exploitation des signatures consiste à optimiser les déplacements du robot en fonction des marqueurs d'invariance, en limitant l'itération du passage sur les seules parties du sol contenant au moins une zone d'intérêt non associée à un marqueur d'invariance. En d'autres termes, le robot ne repasse pas sur les parties dépourvues de zones d'intérêt, ou dont toutes les zones d'intérêt ont été reconnues comme invariantes.
Une deuxième exploitation consiste à commander certaines fonctionnalités du robot en fonction de la nature des zones d'intérêt et le cas échéant de la texture de la zone d'intérêt, par exemple en activant un moyen de nettoyage spécifique à un type de tache.
Une troisième exploitation consiste à commander l'intervention d'un opérateur ou d'un autre robot spécialisé en fonction de la nature des zones d'intérêt et le cas échéant de la texture de la zone d'intérêt.
Une quatrième exploitation consiste à commander la fréquence de passage et les cycles d'intervention en fonction de la nature des zones d'intérêt.
Une cinquième exploitation consiste à améliorer la pertinence de la base de données des signatures, notamment pour enrichir une base de données mutualisée pour une pluralité de sites et/ou de robots.
Une sixième exploitation consiste à activer une alerte en cas de détection d'une zone d'intérêt correspondante à une signature et/ou dont l'apparition est récurrente.
Signalement par un boîtier
Une réalisation particulière de l'invention consiste à prévoir en outre un dispositif géolocalisé comportant un moyen de communication, permettant à un opérateur de provoquer le déplacement du robot depuis sa position actuelle jusqu'à une zone nécessitant une intervention immédiate. Le déplacement est calculé soit par le calculateur du robot, soit par un serveur de commande d'un robot ou d'une flottille de robots.
Ce dispositif géolocalisé peut être constitué par un boîtier portable, ou par un ordinateur comportant une carte du site activable par un opérateur pour désigner une zone d'intervention.
Traçabilité des interventions
Les données numériques produites par le robot sont optionnellement transmises à un serveur et enregistrées périodiquement dans un bloc d'une blockchain.
Ces données peuvent inclure avantageusement les données additionnelles correspondant à chaque zone d'intérêt de chacune des images acquises :
les coordonnées de ladite signature de la zone d'intérêt dans l'espace vectoriel à M dimensions
- les coordonnées du barycentre de la zone d'intérêt dans le référentiel de l'environnement du robot, et à déterminer un marqueur d'invariance pour chacune desdites zones d'intérêt en fonction desdites données,
- la texture de la partie d'image entourée par le contour d'une zone d'intérêt.
Les données peuvent également comporter la localisation du chemin parcouru, des changements de scénarios (changement de vitesse, arrêt, changement de direction), de la détection d'obstacles, de la détection de taches, de la classification des taches selon son caractère permanent.
Auto-planification
Une autre variante de réalisation consiste à planifier les cycles de fonctionnement d'un robot ou d'une flotte de robots, par le résultat de l'analyse de la fréquentation de la zone de travail, de la météo, de la localisation et/ou de 1'horodatage des taches précédemment nettoyées.
Le robot peut programmer son passage en prenant en compte :
i. L'analyse de la fréquentation donne des horaires privilégiés de passage minimisant l'impact du robot.
ii. Les autres paramètres assurent l'optimisation du chemin du robot.
iii. L'estimation du moment de l'apparition d'une tache, par exemple par un estimateur bayésien.
Cette solution d'auto-planification contribue à
| 1'optimisation | des | trajectoires | et | éventuellement | au cycle de | |
| mise en œuvre | du | robot, et le | cas | échéant à | une | exploitation |
| pour estimer | la | fréquentation | du | lieu ou | la | maintenance |
| 15 préventive pour | le | remplacement d | ' un | revêtement | de sol. |
Claims (13)
- Revendications1 — Procédé de commande du fonctionnement d'un robot de traitement de sols consistant à acquérir une séquence d'images de la surface de sol, chaque image comportant un réseau de pixels et à appliquer un traitement numérique pour identifier des zones d'intérêt et à commander la trajectoire et/ou les paramètres du moyen de nettoyage en fonction de la position relative desdites zones d'intérêt et de la position du robot, caractérisé en ce que ledit traitement numérique comporte une étape de détection de contours des zones d'intérêt d'une image et une étape de calcul pour chacune des zones d'intérêt une signature dans un espace vectoriel à M dimensions, par exemple chacune des dimensions correspondant à une classe de 1'histogramme de couleur, la valeur, selon cette dimension, correspondant au nombre de pixels de la zone d'intérêt appartenant à l'intervalle de cette classe, à enregistrer, pour chacune desdites zones d'intérêt, des données constituées par- les coordonnées de ladite signature de la zone d'intérêt dans l'espace vectoriel à M dimensions- les coordonnées du barycentre de la zone d'intérêt dans le référentiel de l'environnement du robot, et à déterminer un marqueur d'invariance pour chacune desdites zones d'intérêt en fonction desdites données, le fonctionnement du robot étant optimisé pour différencier le traitement des zones du sol associées à une image comportant au moins une zone d'intérêt non associée à un marqueur d'invariance, par rapport aux autres surfaces.
- 2 — Procédé de commande du fonctionnement d'un robot de traitement de sols selon la revendication 1 caractérisé en ce que les dimensions correspondent à une classe de 1'histogramme de couleur, la valeur, selon cette dimension, correspondant au nombre de pixels de la zone d'intérêt appartenant à l'intervalle de cette classe,
- 3 — Procédé de commande du fonctionnement d'un robot de traitement de sols selon la revendication 1 caractérisé en ce que ledit traitement numérique comporte en outre une étape d'enregistrement de la texture de la zone d'intérêt définie par
ledit contour signature de dimensions. reconnu, en association des coordonnées de ladite la zone d'intérêt dans 1'espace vectoriel à M 4 - - Procédé de commande du fonctionnement d'un robot de traitement de sols selon la revendication 1, 2 ou 3 caractérisé en ce que ledit traitement numérique comporte en outre une étape de classification desdites zones d'intérêt pour déterminer la probabilité d'appartenance à une classe d'images d'un sous-ensemble d'images de référence, par le calcul de la distance entre un vecteur d'image correspondant à ladite image acquise et les vecteurs des images dudit sous-ensemble, lesdites images de référence étant associées chacune à une loi de commande dudit robot, lesdites lois de commande comportant une loi neutre ne modifiant pas le fonctionnement du robot et au moins une loi commandant un fonctionnement augmentant l'interaction du moyen de nettoyage avec la zone du sol associée à ladite zone d'intérêt. - 5 - Procédé de commande du fonctionnement d'un robot de traitement de sols selon la revendication 4 caractérisé en ce qu'une partie au moins desdites images de référence correspondent à des défauts irréversibles et sont associées à une loi de commande neutre.
- 6 - Procédé de commande du fonctionnement d'un robot de traitement de sols selon l'une au moins des revendications 1 à 4 caractérisé en ce qu'une partie au moins desdites images de référence correspondent à des défauts réversibles et sont associées à une loi de commande commandant le passage répété du robot sur la zone du sol associée à ladite zone d'intérêt.
- 7 - Procédé de commande du fonctionnement d'un robot de traitement de sols selon la revendication précédente caractérisé en ce que l'on procède à l'acquisition de l'image du sol correspondant à ladite zone d'intérêt après chaque passage, en ce que l'on calcule un indicateur Di d'évolution de l'image Ιχ de ladite zone d'intérêt par rapport à l'image Ii_x de ladite zone d'intérêt et en ce que l'on commande l'interruption des itérations lorsque l'indicateur Di est inférieur à une valeurseuil Vi ou lorsque la zone d'intérêt n'est plus reconnue sur 1 ' image Ι±_ι .
- 8 - Procédé de commande du fonctionnement d'un robot de traitement de sols selon l'une au moins des revendications 1 à 3 caractérisé en ce qu'il comporte une étape de notification d'un message numérique comportant la géolocalisation d'une zone d'intérêt associée à une image de référence correspondent à des défauts irréversibles.
- 9 — Equipement de nettoyage de sols comportant un soubassement motorisé, un moyen de nettoyage, au moins un capteur d'image orienté vers la surface du sol et un calculateur exécutant un procédé de commande du fonctionnement d'un robot de traitement de sols pour piloter le déplacement dudit équipement, caractérisé en ce que ledit procédé de commande du fonctionnement d'un robot de traitement de sols est conforme à l'une au moins des revendications précédentes.
- 10 - Equipement de nettoyage de sols selon la revendication précédente caractérisé en ce qu'il comporte un soubassement présentant à sa surface inférieure une goulotte pour le positionnement de l'axe d'une roue automotrice, ledit axe étant immobilisé par une cale fixée sur ledit soubassement, de part et d'autre de ladite goulotte, et présentant une zone d'appui sur la surface extérieure dudit axe.
- 11 — Système comportant un équipement de nettoyage de sols conforme à la revendication 9 ou 10 caractérisé en ce qu'il comporte en outre au moins un boîtier de signalement de salissure comportant un moyen de géolocalisation et un moyen de communication d'un message activable par un opérateur, l'équipement comportant un moyen de réception dudit message et des moyens pour commander 1'activation dudit équipement et son déplacement entre le point de départ et le point correspondant aux coordonnées inscrites dans ledit message.
- 12 — Système comportant un équipement de nettoyage de sols conforme à la revendication 9 ou 10 caractérisé en ce qu'il comporte en outre au moins un terminal informatique comportant un écran et des moyens de visualisation interactifs d'une carte du site de déplacement dudit équipement et de sélection d'un point sur ladite carte, ledit terminal comportant un moyen de calcul d'un message numérique comportant les coordonnées dudit point sélectionné et un moyen de communication dudit message, l'équipement comportant un moyen de réception dudit message et des moyens pour commander l'activation dudit équipement et son déplacement entre le point de départ et le point correspondant aux coordonnées inscrites dans ledit message.
- 13 — Système comportant un équipement de nettoyage de sols conforme à la revendication 9 ou 10 caractérisé en ce qu'il comporte des moyens d'auto-planification pour le calcul des consignes de déplacement en fonction de données provenant d'au moins un serveur externe, par exemple des données météorologiques, et des données historiques transmises par 1'équipement.
- 14 — Système comportant un équipement de nettoyage de sols selon la revendication précédente caractérisé en ce que lesdits moyens d'auto-planification sont configurés pour procéder à 1'analyse de la fréquentation donnant des horaires privilégiés de passage minimisant l'impact du robot.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1851294A FR3077721B1 (fr) | 2018-02-15 | 2018-02-15 | Procede de commande du fonctionnement d’un robot de traitement de sols, equipement et systeme pour la mise en œuvre de ce procede. |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1851294 | 2018-02-15 | ||
| FR1851294A FR3077721B1 (fr) | 2018-02-15 | 2018-02-15 | Procede de commande du fonctionnement d’un robot de traitement de sols, equipement et systeme pour la mise en œuvre de ce procede. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3077721A1 true FR3077721A1 (fr) | 2019-08-16 |
| FR3077721B1 FR3077721B1 (fr) | 2020-03-06 |
Family
ID=63294282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1851294A Expired - Fee Related FR3077721B1 (fr) | 2018-02-15 | 2018-02-15 | Procede de commande du fonctionnement d’un robot de traitement de sols, equipement et systeme pour la mise en œuvre de ce procede. |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3077721B1 (fr) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2838410A1 (fr) * | 2012-11-02 | 2015-02-25 | iRobot Corporation | Robot à couverture de surface autonome |
| US9717387B1 (en) * | 2015-02-26 | 2017-08-01 | Brain Corporation | Apparatus and methods for programming and training of robotic household appliances |
| WO2017197190A1 (fr) * | 2016-05-11 | 2017-11-16 | Brain Corporation | Systèmes et procédés pour entraîner un robot à se déplacer de manière autonome sur un parcours |
-
2018
- 2018-02-15 FR FR1851294A patent/FR3077721B1/fr not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2838410A1 (fr) * | 2012-11-02 | 2015-02-25 | iRobot Corporation | Robot à couverture de surface autonome |
| US9717387B1 (en) * | 2015-02-26 | 2017-08-01 | Brain Corporation | Apparatus and methods for programming and training of robotic household appliances |
| WO2017197190A1 (fr) * | 2016-05-11 | 2017-11-16 | Brain Corporation | Systèmes et procédés pour entraîner un robot à se déplacer de manière autonome sur un parcours |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3077721B1 (fr) | 2020-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11042760B2 (en) | Mobile robot, control method and control system thereof | |
| Reynolds et al. | Capturing time-of-flight data with confidence | |
| CN104487864B (zh) | 机器人定位系统 | |
| US20180067209A1 (en) | Method and apparatus for processing spectral images | |
| US11297768B2 (en) | Vision based stalk sensors and associated systems and methods | |
| CA2851750C (fr) | Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile | |
| EP3707676A1 (fr) | Procédé d'estimation de pose d'une caméra dans le référentiel d'une scène tridimensionnelle, dispositif, système de réalite augmentée et programme d'ordinateur associé | |
| FR3020915A1 (fr) | Procede de mise en œuvre d'un robot de traitement du sol et systeme correspondant | |
| FR3036830A1 (fr) | Systeme et methode pour l'estimation d'un volume de recolte au sein d'une exploitation viticole | |
| WO2023019793A1 (fr) | Procédé de détermination, robot de nettoyage et support de stockage informatique | |
| FR3014229A1 (fr) | Reconnaissance de formes par correction d'image | |
| WO2014111357A1 (fr) | Procede et systeme pour fournir a un dispositif mobile des informations sur sa position par rapport a une cible, robot integrant un tel systeme et tablette | |
| FR2958767A1 (fr) | Procede de detection de cibles dans des images stereoscopiques. | |
| FR3077721A1 (fr) | Procede de commande du fonctionnement d’un robot de traitement de sols, equipement et systeme pour la mise en œuvre de ce procede. | |
| FR2899363A1 (fr) | Procede et dispositif de detection de mouvement d'objets sur des images d'une scene | |
| EP0577491A1 (fr) | Procédé et dispositif de surveillance d'une scène tridimensionnelle, mettant en oeuvre des capteurs d'imagerie | |
| CN105572133A (zh) | 瑕疵检测方法及其装置 | |
| WO2023134251A1 (fr) | Procédé et appareil d'extraction de barre lumineuse basée sur un regroupement | |
| Tombari et al. | A 3D reconstruction system based on improved spacetime stereo | |
| FR2980292A1 (fr) | Procede et systeme d'acquisition et de traitement d'images pour la detection du mouvement | |
| EP4044128A1 (fr) | Systèmes et procédés de détection de variation de terrain | |
| US11669592B2 (en) | Systems and methods for residue bunch detection | |
| WO2023238639A1 (fr) | Procédé de traitement d'informations, dispositif de traitement d'informations et programme | |
| EP4177839A1 (fr) | Procédé de détermination de paramètres de calibration d'un dispositif de prise de vue et produit programme d'ordinateur associé | |
| FR3138951A1 (fr) | Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20190816 |
|
| ST | Notification of lapse |
Effective date: 20201006 |