FR3117297A1

FR3117297A1 - Procédé d’aide à l’appairage d’un objet domestique connecté avec une unité centralisée

Info

Publication number: FR3117297A1
Application number: FR2012865A
Authority: FR
Inventors: Minh-Hoa Hoang
Original assignee: Otodo
Current assignee: Otodo
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2022-06-10
Anticipated expiration: 2040-12-08
Also published as: FR3117297B1

Abstract

L’invention concerne un procédé d’aide à l’appairage d’un objet domestique connecté (10) à une unité centralisée (11), le procédé comportant les étapes suivantes : (E1) Fourniture d’une photographie (P) de l’objet domestique connecté acquise par une unité d’acquisition (2b) d’un terminal mobile (2) à une unité de traitement (3); (E2) Détection par l’unité de traitement, à partir de ladite photographie de l’objet domestique connecté, d’un identifiant (ti) de l’objet domestique connecté parmi une pluralité d’identifiants prédéterminés (t1, t2, t3, t4); (E3) Transmission d’un ensemble d’instructions d’appairage (I(ti)) de l’objet domestique connecté à l’unité centralisée, associé à l’identifiant détecté, au terminal mobile et affichage de l’ensemble d’instructions d’appairage sur un écran (2a) du terminal mobile. Figure à publier avec l’abrégé : Fig. 2

Description

Procédé d’aide à l’appairage d’un objet domestique connecté avec une unité centralisée

L’invention concerne le domaine de la domotique. Plus précisément, l’invention concerne un procédé d’aide à l’appairage d’un objet domestique connecté à une unité centralisée.

Il est connu de pouvoir communiquer, via une unité centralisée, avec des objets domestiques connectés, notamment à des fins de contrôle à distance. Ce type de technologie permet par exemple de contrôler, à l’aide d’un téléphone mobile, différents équipements d’un bâtiment comme un système de chauffage ou de climatisation, un système de sécurité, un système d’arrosage, un système de divertissement ou un système d’éclairage.

Afin de pouvoir être contrôler, chaque objet domestique doit ainsi être appairé avec l’unité centralisée, afin d’assurer un échange sécurisé de données compréhensibles entre cet objet et l’unité centralisée. Afin de permettre cet appairage, un utilisateur doit effectuer une série de manipulations spécifiques sur l’objet domestique connecté, de sorte que cet objet adopte une configuration d’appairage dans laquelle il peut échanger des trames de données d’appairage avec l’unité centralisée.

Or, il a été constaté que chaque fabriquant d’objets domestiques connectés a défini un protocole d’appairage, c’est-à-dire un ensemble de manipulations, qui lui est propre, voire qui est propre à une gamme d’objets qu’il fournit. On observe ainsi l’existence d’une multiplicité de protocoles d’appairage distincts les uns des autres.

Ainsi, un utilisateur souhaitant équiper son domicile de plusieurs objets domestiques connectés contrôlables par une même unité centralisée doit donc effectuer plusieurs protocoles d’appairage différents, ce qui entraine des opérations longues et fastidieuse.

Cet inconvénient devient particulièrement contraignant lorsque l’utilisateur a déjà acquis certains de ces objets connectés et qu’il souhaite ensuite les contrôler avec une même unité centralisée, acquise ultérieurement. En effet, il doit alors se souvenir du protocole d’appairage de chacun de ces objets, ou en avoir gardé le mode d’emploi.

Il existe ainsi un besoin pour un procédé d’aide à l’appairage d’un objet domestique connecté avec une unité centralisée, qui permette à un utilisateur de procéder à cet appairage de façon simple et rapide, quelles que soient les périodes d’acquisition de l’objet et de l’unité centralisée, sans nécessiter d’effort de mémoire particulier et sans contraire l’utilisateur à conserver le mode d’emploi de cet objet.

La présente invention se place ainsi dans ce contexte et vise à répondre à ce besoin.

A ces fins, l’invention a pour objet un procédé d’aide à l’appairage d’un objet domestique connecté à une unité centralisée, le procédé comportant les étapes suivantes :

Fourniture d’une photographie de l’objet domestique connecté acquise par une unité d’acquisition d’un terminal mobile à une unité de traitement ;
Détection par l’unité de traitement, à partir de ladite photographie de l’objet domestique connecté, d’un identifiant de l’objet domestique connecté parmi une pluralité d’identifiants prédéterminés;
Transmission d’un ensemble d’instructions d’appairage de l’objet domestique connecté à l’unité centralisée, associé à l’identifiant détecté, au terminal mobile et affichage de l’ensemble d’instructions d’appairage sur un écran du terminal mobile.

On comprend ainsi que selon l’invention, lorsqu’un utilisateur souhaite connecter un objet domestique connecté à une unité centralisée, il doit simplement prendre une photographie de cet objet avec un terminal mobile, comme par exemple un téléphone intelligent. Cette photographie est ainsi transmise à l’unité de traitement, laquelle reconnait le fabriquant, la marque et/ou la référence de cet objet domestique connecté, puis extrait de sa mémoire le protocole d’appairage associé à ce fabriquant/cette marque/cette référence et permettant à cet objet d’adopter une configuration d’appairage. Ce protocole est ainsi transmis au terminal mobile et afficher sur ce terminal mobile, de sorte que l’utilisateur puisse s’y référer pour réaliser les différentes manipulations requises par ce protocole. Dès lors, il est possible d’appairer, de façon rapide et simple, un objet domestique connecté à l’unité centralisée, que cet objet ait été acquis par l’utilisateur avant, simultanément ou après l’acquisition de l’unité centralisée, et sans qu’il lui soit nécessaire de se souvenir du protocole d’appairage de cet objet ou qu’il ait besoin du mode d’emploi de cet objet.

Dans le cadre de la présente invention, on entend par appairage un procédé permettant l’association de l’objet domestique connecté à un réseau d’objets connectés de l’unité centralisée, l’objet domestique connecté pouvant ainsi être contrôlé à distance par un utilisateur via l’unité centralisée. Par exemple, l’ensemble d’instructions d’appairage, également appelé protocole d’appairage, définit une séquence d’opérations devant être réalisées par un utilisateur avec l’objet connecté. Il peut notamment s’agir d’une séquence d’appuis sur un ou plusieurs boutons de l’objet domestique connecté et/ou de maintiens d’un appui sur un ou plusieurs boutons de l’objet domestique connecté. Ce protocole permet notamment à l’objet domestique connecté d’adopter une configuration d’appairage dans laquelle des trames d’appairage sont échangées entre l’objet domestique connecté et l’unité centralisée. Il pourra par exemple s’agir d’une requête d’appairage émis par l’objet domestique connecté contenant son adresse physique (également appelé adresse de contrôle d’accès au support ou adresse MAC de l’anglais Media Access Control) et d’une réponse de l’unité centralisée contenant l’identifiant du réseau. Il pourrait également s’agir d’un échange de clés de chiffrement.

Dans un mode de réalisation de l’invention, l’étape de détection comporte une étape de classification, par un classifieur de l’unité de traitement mettant en œuvre un algorithme d’apprentissage automatique, de l’objet domestique connecté présent dans la photographie parmi une pluralité d’objets domestiques connectés prédéterminés, chaque objet de cette pluralité étant associé à un identifiant prédéterminé.

Les techniques de classification fonctionnent en représentant les objets par un ensemble de caractéristiques, dites variables explicatives. Il est ainsi possible de définir un ou plusieurs espaces de caractéristiques dans lesquels les caractéristiques des objets se projettent en formant des « nuages de points » représentant des classes d’objets. Il est alors possible de définir des frontières entre ces nuages, de sorte qu’il soit possible d’attribuer une classe à tout nouvel objet en fonction de la projection de ses variables explicatives dans ce ou ces espaces vis-à-vis de ces frontières. Ces frontières sont apprises, de façon automatique, en se basant sur un ensemble d'objets de référence aussi appelé ensemble d'apprentissage, la classe de chaque objet étant connue au préalable. Les règles permettant de décider de l'appartenance ou non d'un objet à une classe, sont ainsi issues de l'apprentissage.

On appelle classifieur, un programme informatique dont le rôle est de décider à quelle classe appartient un nouvel objet fourni en entrée, en fonction des informations apprises. La classe d'appartenance est déterminée par application des règles de décision (autrement appelées base de connaissances) qui ont elles-mêmes été préalablement apprises sur les données d'apprentissage.

Avantageusement, le procédé comporte une étape préalable d’entrainement supervisé du classifieur, mise en œuvre au moyen d’une pluralité de photographies prédéterminées de chaque objet domestique connecté prédéterminé de ladite pluralité. En d’autres termes, les pluralités de photographies forment un ensemble d’apprentissage pour le classifieur, lequel ajuste ainsi, de façon automatique, ses règles de décisions (et donc ses frontières), en fonction de la classe qu’il attribue à un objet domestique connecté de chaque photographie et la classe réelle de cet objet. Par exemple, chaque pluralité de photographies de chaque objet domestique connecté prédéterminé consistera en des vues dudit objet selon différents angles de prises de vue, différentes distances à l’objectif, différents fonds et/ou différentes luminosités. Du fait de l’utilisation d’un classifieur entrainé au moyen d’un procédé d’apprentissage automatique, il n’est pas nécessaire de contraindre l’utilisateur à prendre une photographie de l’objet connecté dans des conditions particulières. L’invention permet en effet d’identifier le produit pris en photographie par l’utilisateur, quelle que soit la manière dont a été prise cette photographie, ou quel que soit l’environnement dans lequel a été prise cette photographie.

Si on le souhaite, le procédé peut comporter une étape préalable d’augmentation de l’ensemble d’apprentissage dans laquelle on génère de nouvelles photographies d’objets domestiques connectés, à partir des photographies de l’ensemble d’apprentissage, qui sont distinctes de toutes les photographies de l’ensemble d’apprentissage. Par exemple, cette génération de nouvelles photographies pourra être réalisée en modifiant l’une des photographies de l’ensemble d’apprentissage de sorte à obtenir au moins une nouvelle photographie distincte de toutes les photographies de l’ensemble d’apprentissage. Cette modification pourra être réalisée notamment au moyen de l’une ou plusieurs des types de modifications suivants : dégradation de tout ou partie de la photographie initiale, changement de résolution, ajout d’un bruit, décalage dans une ou plusieurs dimensions, rotation, agrandissement.

Dans un mode particulièrement avantageux de l’invention, le classifieur est un réseau de neurones convolutifs comprenant un chemin de contraction destiné à extraire des variables explicatives de ladite photographie de l’objet domestique connecté, et un réseau de neurones entièrement connectés recevant en entrée lesdites variables explicatives et estimant, à partir de ces variables explicatives, une probabilité que l’objet domestique connecté présent dans ladite photographie appartienne à une ou plusieurs classes données.

Avantageusement, le chemin de contraction peut comporter une pluralité de couches de convolution successives, chacune étant associée à une couche de correction agencée pour mettre en œuvre une fonction d’activation.

Par exemple, le chemin de contraction peut comporter une pluralité de couches de convolution standard, chaque couche de convolution standard appliquant à son entrée une pluralité de noyaux de convolution (également appelé filtre de convolution ou encore, en anglais « Convolution Kernel ») présentant trois dimensions et une pluralité de couches de convolution dite en profondeur (également appelée en anglais « Depth-Wise »), chaque couche de convolution en profondeur appliquant à son entrée une pluralité de noyaux de convolution présentant deux dimensions. Dans le cas d’une couche de convolution en profondeur, le nombre de noyaux de convolution est nécessairement identique aux nombres d’étages de profondeur de l’entrée, chaque noyau de convolution est appliqué à seulement l’un des étages de profondeur de l’entrée. Le cas échéant, les couches de convolution standard et les couches de convolution en profondeur sont alternées, la carte d’activation issue de la couche de correction associée à chaque couche de convolution standard étant fournie en entrée d’une couche de convolution en profondeur et la carte d’activation issue de la couche de correction associée à chaque couche de convolution en profondeur étant fournie en entrée d’une couche de convolution standard. Ce type d’architecture permet de diminuer les chances de surapprentissage du réseau de neurones.

Si on le souhaite, le pas de déplacement (en anglais « Stride ») de certaines couches de convolution standard et de certaines couches de convolution en profondeur sera de 2 tandis que le pas de déplacement des autres couches de convolution standard et des autres couches de convolution en profondeur sera de 1. Ce type d’architecture permet de sous-échantillonner les cartes d’activation issues des couches de convolution précédente, tout en évitant l’emploi de couches de sous-échantillonnage entre les couches de convolution, plus couteuses en calcul.

De préférence, la couche de correction associée à chaque couche de convolution, et le cas échéant, à chaque couche de convolution standard et en profondeur, sera une couche d’unité linéaire rectifiée (ou RELU, en anglais « Rectified Unit Layer »), notamment dont le maximum de la fonction linéaire rectifiée est égal à 6.

Avantageusement, la dernière couche de ladite pluralité de couches de convolution est suivie d’une couche de sous-échantillonnage employant un masque de sélection d’une valeur moyenne (en anglais « Average pooling »), de sorte à « aplatir » la carte d’activation issue de cette dernière couche de convolution en un vecteur monodimensionnel. Par exemple, le masque de sélection d’une valeur moyenne pourra être de dimensions 7x7, avec un pas de déplacement de 1.

De préférence, le réseau de neurones entièrement connectés reçoit en entrée le vecteur issu de ladite couche d’échantillonnage. Ce réseau de neurones entièrement connectés comporte par exemple une couche d’entrée comportant une pluralité de neurones recevant chacun toutes les valeurs du vecteur issu de la couche d’échantillonnage, et une couche de sortie comportant une pluralité de neurones, chaque neurone de la couche de sortie étant connecté à chaque neurone de la couche d’entrée. Le cas échéant, la couche de sortie peut être suivie d’une couche de normalisation (également appelée en anglais « Softmax ») transformant la sortie de chaque neurone de la couche de sortie en une probabilité que l’objet domestique connecté présent dans ladite photographie appartienne à une classe donnée. En d’autres termes, le nombre de neurones de la couche d’entrée est égal au nombre de valeurs du vecteur issu de la couche d’échantillonnage et le nombre de neurones de la couche de sortie est égal au nombre de classes données, c’est-à-dire au nombre d’objets de ladite pluralité d’objets domestiques connectés prédéterminés.

Avantageusement, lors de l’étape d’entrainement supervisé, les hyperparamètres de ce classifieur, et notamment les poids des noyaux de convolution de toutes les couches de convolution standard et de toutes les couches de convolution en profondeur, de même que les poids synaptiques et les valeurs de biais des neurones du réseau de neurones entièrement connectés sont optimisés au cours de l’étape préalable d’apprentissage, notamment par une méthode de descente de gradient.

Avantageusement, le classifieur associe, à chaque objet domestique connecté prédéterminé de ladite pluralité, une probabilité de correspondance entre l’objet domestique connecté présent dans la photographe à cet objet domestique prédéterminé. Le cas échéant, l’étape de détection comporte une étape de sélection par l’unité de traitement d’un desdits objets domestiques connectés prédéterminés en fonction desdites probabilités de correspondance, l’identifiant détecté à l’issu de l’étape de détection étant l’identifiant de l’objet domestique connecté sélectionné.

Par exemple, l’unité de traitement sélectionne l’objet connecté domestique prédéterminé associé à la plus haute probabilité de correspondance, seulement si la différence entre cette plus haute probabilité de correspondance et la deuxième plus haute probabilité de correspondance est supérieure, notamment supérieure ou égale, à un seuil prédéterminé, par exemple 20%. Le cas échéant, l’identifiant de cet objet domestique prédéterminé est l’identifiant détecté. Grâce à cette caractéristique, on s’assure de transmettre un protocole d’appairage uniquement lorsqu’on est quasiment certain d’avoir identifié un produit, sans aucun doute vis-à-vis des autres produits.

Avantageusement, si la différence entre la plus haute probabilité de correspondance et la deuxième plus haute probabilité de correspondance est inférieure audit seuil prédéterminé, l’étape de détection comporte une étape de fourniture d’une photographie d’un marquage réglementaire de l’objet domestique connecté acquise par l’unité d’acquisition et une étape de détermination, par l’unité de traitement, dudit identifiant de l’objet domestique connecté, à partir de ladite photographie du marquage réglementaire. Il a en effet été constaté que certains produits présentent un aspect standard, ou quasiment standard, de sorte que même un classifieur suffisamment entrainé n’est pas capable de distinguer un produit d’une marque d’un autre produit semblable d’une autre marque. Dans ce cas, les probabilités de correspondance associées à ces produits, à l’issue de l’étape de classification, seront trop proches pour qu’une incertitude puisse être levée. Selon ce mode de réalisation, on réalise ainsi une autre détection permettant de déterminer de quel produit il s’agit et ainsi de fournir son protocole d’appairage à l’utilisateur.

Par exemple, dans cette étape de fourniture d’une photographie d’un marquage réglementaire, le terminal mobile affiche à l’utilisateur une indication d’échec de la reconnaissance de l’objet domestique connecté et requiert la prise d’une photographie d’un marquage réglementaire. Par exemple, ce marquage réglementaire est une étiquette réglementaire, notamment une étiquette « CE ». Ce type d’étiquette comporte en effet plusieurs mentions dont une référence du produit sur lequel elle est apposée et qui permet d’identifier le produit. Bien qu’il paraisse plus simple de systématiquement identifier le produit domestique connecté au moyen de ce marquage réglementaire, ce dernier peut être difficile d’accès pur l’utilisateur, au contraire de l’objet en tant que tel. Les étapes d’acquisition d’une photographie de l’objet, de la fourniture de cette photographie à l’unité de traitement et de classification, par le classifieur de l’unité de traitement seront ainsi toujours mises en œuvre avant ces étapes ultérieures, de sorte à éviter à l’utilisateur des manipulations complexes de l’objet.

Avantageusement, l’étape de détermination comprend une étape de d’extraction d’une suite de caractères de ladite photographie du marquage réglementaire et une étape de comparaison de ladite suite de caractères à un ensemble de mots clés prédéterminés chacun associé à un identifiant prédéterminé de ladite pluralité. Le cas échéant, l’étape d’extraction pourra comporter une étape de reconnaissance d’une zone de texte dans ladite photographie du marquage réglementaire, et une étape de reconnaissance optique de caractères dans la zone de texte pour obtenir ladite suite de caractères. De préférence, à l’issue de la comparaison de la suite de caractères audit ensemble de mots clés prédéterminés, l’unité de traitement sélectionnera le mot clé de cet ensemble qui présente le plus grand nombre de caractères communs avec ladite suite de caractères, l’identifiant associé à ce mot clé étant ainsi l’identifiant détecté.

L’invention a également pour objet un système d’aide à l’appairage d’un objet domestique connecté à une unité centralisée comprenant :

Un terminal mobile comprenant un écran, une unité d’acquisition et un module d’émission et de réception de données ;
Une unité de traitement comprenant un module d’émission et de réception de données et une mémoire dans laquelle sont stockées une pluralité d’identifiants prédéterminés et une pluralité d’ensembles d’instructions d’appairage chacun associé à l’un des identifiants prédéterminés ;
le système étant agencé pour mettre en œuvre le procédé selon l’une des revendications précédentes.

Avantageusement, le terminal mobile peut être un téléphone intelligent, et l’unité d’acquisition peut être un appareil photographique numérique embarqué dans ledit téléphone. Le cas échéant, le téléphone intelligent peut être muni d’une application logicielle permettant de communiquer avec l’unité de traitement pour lui transmettre ladite photographie et pour recevoir ledit ensemble d’instructions d’appairage et l’afficher sur cet écran.

Avantageusement, l’unité de traitement peut être un serveur distant du terminal mobile.

La présente invention est maintenant décrite à l’aide d’exemples uniquement illustratifs et nullement limitatifs de la portée de l’invention, et à partir des dessins annexés, dessins sur lesquels les différentes figures représentent :

représente, schématiquement et partiellement, un système d’aide à l’appairage d’un objet domestique connecté à une unité centralisée selon un mode de réalisation de l’invention ; et

représente, schématiquement et partiellement, un procédé d’aide à l’appairage mis en œuvre par le système de la ;

représente, schématiquement et partiellement, un exemple de réalisation d’une étape de détection du procédé de la ; et

représente, schématiquement et partiellement, un exemple de réalisation d’un classifieur utilisant dans l’étape de détection du procédé de la .

Dans la description qui suit, les éléments identiques, par structure ou par fonction, apparaissant sur différentes figures conservent, sauf précision contraire, les mêmes références.

On a représenté en un exemple de réalisation, selon l’invention, d’un système 1 d’aide à l’appairage d’un objet domestique connecté 10 avec une unité centralisée 11.

L’unité centralisée 11, également appelé « Hub », est une unité agencée pour contrôler un ensemble d’objets domestiques connectés appairés à cette unité. Ces objets forment ainsi un réseau d’objets, chacun adressable, via une communication sans-fil, par l’unité centralisée 11. De la sorte, un utilisateur peut commander, à distance, l’activation, la désactivation, ou encore contrôler une ou plusieurs fonctions de chacun des objets domestiques connectés de ce réseau en adressant à l’unité centralisée une instruction, par exemple via une application logicielle installée sur un téléphone intelligent.

Dans l’exemple décrit, l’objet domestique connecté 10 est un détecteur de mouvement qui a été installé dans un domicile, et que l’utilisateur souhaite associé au réseau d’objets domestiques connectés afin de pouvoir le contrôler à distance via l’unité centralisée 11. Afin de permettre cette association, l’utilisateur doit manipuler l’objet 10 pour réaliser une séquence d’opérations, également appelé protocole d’appairage, permettant à cet objet 10 d’adopter une configuration d’appairage. Toujours par exemple, cette séquence pourra consister en une succession d’appuis sur le bouton central 10a de l’objet 10, chaque appui étant maintenu pendant une durée minimum donnée. Une fois en configuration d’appairage, l’objet domestique connecté 10 pourra échanger des trames d’appairage avec l’unité centralisée 11 afin d’être associé au réseau de cette unité. Cet échange de trames pourra par exemple comprendre une émission par l’objet 10, sur un canal de communication public écouté par l’unité 11, d’une requête d’appairage contenant son adresse physique ou adresse MAC et une réponse par l’unité 11, sur ce canal, d’un identifiant de réseau permettant à l’objet 10 d’émettre et de recevoir des trames de données sur un canal de communication privé.

Il peut être particulièrement fastidieux, pour l’utilisateur, de se souvenir du protocole d’appairage ou de retrouver le mode d’emploi de l’objet 10, en particulier si l’objet 10 a été installé dans le domicile bien avant l’unité centralisée 11. Afin de simplifier cet appairage, le système 1 d’aide à l’appairage comporte un terminal mobile 2 et une unité de traitement 3. Dans l’exemple décrit, le terminal mobile 2 est un téléphone intelligent, muni d’un écran 2a, d’un appareil photographique numérique 2b et d’un module d’émission et de réception de données (non représenté). Une application logicielle est installée sur le terminal mobile 2, afin de contrôler l’acquisition de photographies par l’appareil 2b, l’affichage d’information sur l’écran 2a et l’émission et la réception de données par le module. L’unité de traitement 3 est un serveur distant du terminal mobile, muni d’un module d’émission et de réception de données, d’une mémoire, d’un programme informatique classifieur et d’un programme informatique de traitement d’images.

En liaison avec la , on va maintenant décrire un procédé d’aide à l’appairage de l’objet domestique connecté 10 avec l’unité centralisée 11, mis en œuvre par le système 1.

Dans une étape E0, l’utilisateur prend une photographie P de l’objet domestique connecté 10, au moyen de l’appareil 2b du terminal mobile 2, via l’application logicielle.

Dans une étape E1, cette photographie P est transmise, via l’application logicielle et le module d’émission et de réception de données du terminal mobile 2, à l’unité de traitement 3.

Dans une étape de détection E2, dont un exemple sera décrit ultérieurement, le classifieur de l’unité de traitement 3 détecte, à partir de la photographie P, un identifiant t_ide l’objet domestique connecté 10 parmi une pluralité d’identifiants prédéterminés t₁à t₄, stockés dans sa mémoire, chaque identifiant t₁à t₄étant associé à un objet domestique connecté prédéterminé.

Dans l’exemple qui est décrit, on a représenté seulement quatre identifiants t₁à t₄, chacun associé à un type d’objet domestique connecté distinct et d’une marque distincte. Plus précisément, l’identifiant t₁est associé à un détecteur de mouvement d’une marque donnée, l’identifiant t₂est associé à une ampoule connectée d’une autre marque donnée, l’identifiant t₃est associé à une prise connectée d’une autre marque donnée, et l’identifiant t₄est associé à une caméra connectée d’une autre marque donnée. Bien entendu, l’invention n’est pas limitée à ce nombre d’identifiants ni à ce type d’objet. On pourrait ainsi considérer une pluralité d’identifiants associés chacun à un même type d’objet mais à des marques différentes de ces objets ou encore une pluralité d’identifiant associés chacun à des objets de type différents mais d’une même marque ou plus généralement une pluralité d’identifiants associés chacun à un objet domestique connecté, ces objets différant les uns des autres au moins par leur type et/ou par leur marque, sans sortir du cadre de la présente invention.

A chaque identifiant t_iassocié à un objet domestique connecté est également associé un protocole d’appairage I(t_i), contenant un ensemble d’instructions d’appairage I₁à I_N, indiquant à un utilisateur une séquence d’opérations à effectuer sur l’objet associé à cet identifiant pour que cet objet adopte une configuration d’appairage. Chaque protocole I(t_i) est ainsi stocké dans la mémoire de l’unité de traitement 3. A l’issue de l’étape de détection E2, l’unité de traitement 3 extrait, dans une étape E3, le protocole d’appairage I(t_i) associé à l’identifiant ti qui a été détecté et transmet ce protocole I(t_i) au terminal mobile 2.

Enfin, dans une étape E4, les instructions I₁à I_Ndéfinies par le protocole I(t_i) sont affichées sur l’écran 2a du terminal mobile 2, au travers de l’application logicielle. L’utilisateur peut alors suivre ces instructions de sorte à réaliser la séquence d’opérations sur l’objet domestique connecté 10 permettant à cet objet 10 d’adopter sa configuration d’appairage.

En liaison avec la , on va maintenant décrire un exemple de réalisation de l’étape de détection E2 du procédé de la .

Dans une étape de classification E21, le classifieur de l’unité de traitement 3 classifie l’objet 10 représenté dans la photographie P parmi la pluralité d’objets domestiques connectés associés aux identifiants t₁à t₄.

La photographie est préalablement redimensionnée en 224*224 pixels selon 3 canaux de couleurs, puis fournie en entrée du classifieur.

Comme montré en , le classifieur est un réseau de neurones convolutifs CNN comportant un chemin de contraction CP comportant 27 couches de convolutions successives C1 à C27, dont :

une première couche de convolution standard employant 32 noyaux de convolution de dimensions 3*3*3 , selon un pas de déplacement de 2,
une deuxième couche de convolution en profondeur employant 32 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 1,
une troisième couche de convolution standard employant 64 noyaux de convolution de dimensions 1*1*32 , selon un pas de déplacement de 1,
une quatrième couche de convolution en profondeur employant 64 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 2,
une cinquième couche de convolution standard employant 128 noyaux de convolution de dimensions 1*1*64 , selon un pas de déplacement de 1,
une sixième couche de convolution en profondeur employant 128 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 1,
une septième couche de convolution standard employant 128 noyaux de convolution de dimensions 1*1*128 , selon un pas de déplacement de 1,
une huitième couche de convolution en profondeur employant 128 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 2,
une neuvième couche de convolution standard employant 256 noyaux de convolution de dimensions 1*1*128 , selon un pas de déplacement de 1,
une dixième couche de convolution en profondeur employant 256 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 1,
une onzième couche de convolution standard employant 256 noyaux de convolution de dimensions 1*1*256 , selon un pas de déplacement de 1,
une douzième couche de convolution en profondeur employant 256 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 2,
une treizième couche de convolution standard employant 512 noyaux de convolution de dimensions 1*1*256 , selon un pas de déplacement de 1,
une alternance de cinq couches de convolution en profondeur employant 512 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 1 et de cinq couches de convolution standard employant 512 noyaux de convolution de dimensions 1*1*512 , selon un pas de déplacement de 1,
une vingt-quatrième couche de convolution en profondeur employant 512 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 2,
une vingt-cinquième couche de convolution standard employant 1024 noyaux de convolution de dimensions 1*1*512 , selon un pas de déplacement de 1,
une vingt-sixième couche de convolution en profondeur employant 1024 noyaux de convolution de dimensions 3*3 , selon un pas de déplacement de 1, et
une vingt-septième couche de convolution standard employant 1024 noyaux de convolution de dimensions 1*1*1024 , selon un pas de déplacement de 1.

Chaque couche de convolution est associée à une couche de correction de type unité linéaire rectifiée dont le maximum est égal à 6.

La vingt-septième couche de convolution standard génère ainsi une carte d’activation de dimensions 7*7*1024. Elle est suivie d’une couche de sous-échantillonnage POOL employant un masque de sélection d’une valeur moyenne de dimensions 7x7, avec un pas de déplacement de 1. Cette couche de sous-échantillonnage vient ainsi « aplatir » la carte d’activation issue de la vingt-septième couche de convolution en un vecteur de dimensions 1*1*1024.

Le réseau de neurones convolutifs comporte un réseau de neurones entièrement connectés FC, à la suite du chemin de contraction CP et recevant en entrée le vecteur issu de ladite couche d’échantillonnage. Ce réseau de neurones entièrement connectés comporte une couche d’entrée NE comportant 1024 neurones recevant chacun toutes les valeurs du vecteur issu de la couche d’échantillonnage, et une couche de sortie NS comportant 1000 neurones, chaque neurone de la couche de sortie étant connecté à chaque neurone de la couche d’entrée. La couche de sortie est suivie d’une couche de normalisation SMAX transformant la sortie de chaque neurone de la couche de sortie en une probabilité que l’objet domestique connecté présent dans ladite photographie appartienne à une classe donnée.

Ce classifieur a préalablement été entrainé, de façon supervisée, à classer un objet domestique connecté représenté sur une photographie. A ces fins, pour chaque objet domestique connecté associé aux identifiants t₁à t₄, on a fourni au classifieur une pluralité de photographies de cet objet. Dans un exemple non limitatif d’entrainement supervisé du classifieur, l’ensemble d’apprentissage comporte 4800 photographies d’objets domestiques connectés, chaque photographie ayant été prise sous un angle de prise de vue différent et/ou selon une distance à l’objectif différente et/ou selon une luminosité différente et/ou avec un fond différent. On a par ailleurs augmenté artificiellement le nombre de photographies de cet ensemble d’apprentissage, en modifiant plusieurs des photographies de cet ensemble d’apprentissage de sorte à obtenir de nouvelles photographies distincte de toutes les photographies de l’ensemble d’apprentissage. Ces nouvelles photographies ont été obtenues, dans cet exemple, en agrandissant, selon un facteur d’agrandissement compris entre 0 et 20%, plusieurs photographies initiales.

Au début de l’entrainement supervisé, l’ensemble des hyperparamètres du classifieur, à savoir les poids des noyaux de convolution de toutes les couches de convolution standard et de toutes les couches de convolution en profondeur, ainsi que les poids synaptiques et les valeurs de biais des neurones du réseau de neurones entièrement connectés, ont été fixés à des valeurs obtenues à l’issue d’un entrainement du classifieur précédent, pour un autre ensemble d’apprentissage, de sorte à économiser une partie du nouvel entrainement (selon une technique de transfert d’apprentissage, également nommée en anglais « Transfert Learning »).

Puis, pour chaque photographie de l’ensemble d’apprentissage qui lui a été fourni, le classifieur a classé l’objet domestique connecté qui y est représenté parmi les différents objets associés aux identifiants t₁à t₄. De façon itérative, le classifieur a ainsi ajusté les poids des noyaux de convolution de toutes les couches de convolution standard et de toutes les couches de convolution en profondeur, ainsi que les poids synaptiques et les valeurs de biais des neurones du réseau de neurones entièrement connectés, , en fonction de l’erreur commise, par une méthode de descente de gradient. Dans l’exemple décrit, le taux d’apprentissage pour la descente de gradient qui a été employé est de 0.0005, les hyperparamètres ayant été ajustés après chaque classification d’un lot de 32 photographies.

A l’issue de cet entrainement, le classifieur est ainsi capable de déterminer, pour chaque objet associé aux identifiants t₁à t₄, une probabilité p₁à p₄de correspondance entre cet objet et l’objet 10 représenté dans la photographie P.

En d’autres termes, chaque sortie de la couche de normalisation SMAX est une probabilité p₁à p₄de correspondance entre l’objet 10 représenté dans la photographie P et l’un des objet associés aux identifiants t₁à t₄. Il est à noter que le nombre de sorties de la couche de normalisation, en l’occurrence 1000, peut être décorrélé du nombre d’objets domestiques que le classifieur a été entrainé à reconnaitre, en l’occurrence 4, ce nombre de sortie consistant seulement en une borne supérieure du nombre d’objets domestiques que le classifieur est susceptible de reconnaitre. Dans l’exemple décrit, seules 4 des 1000 sorties donnera une probabilité non nulle, le reste donnant a contrario une probabilité nulle.

Bien entendu, d’autres types de classifieur, et notamment une machine à vecteurs de support ou des arbres de décision, pourront être employés sans sortir du cadre de la présente invention.

Dans une étape de sélection E22, le classifieur calcule la différence entre la plus grande probabilité p_maxparmi les probabilités p₁à p₄et la deuxième plus grande probabilité p_max’ parmi ces probabilité p₁à p₄et compare cette différence à une valeur seuil TS, par exemple égale à 20%.

Si cette différence est effectivement supérieure ou égale à cette valeur seuil TS, l’unité de traitement 3 émet une requête de confirmation, contenant l’identifiant ti associé à la plus grande probabilité p_max, à destination du terminal mobile 2. Cette requête est transmise, dans une étape E23, à l’utilisateur, sur l’écran 2a du terminal mobile 2, au travers de l’application logicielle, et l’utilisateur peut alors confirmer que l’objet domestique connecté 10 correspond bien à l’objet associé à cet identifiant t_i. La confirmation de l’utilisateur est alors transmise à l’unité de traitement 3, qui détecte ainsi que l’identifiant de l’objet domestique connecté 10 est l’identifiant t_i.

Dans le cas où l’utilisateur répond négativement à la requête de confirmation ou dans le cas où la différence est inférieure à la valeur seuil TS, l’unité de traitement 3 émet, à destination du terminal mobile 2, une requête de photographie d’un marquage réglementaire porté par l’objet domestique connecté 10, laquelle est relayée à l’utilisateur via l’écran 2a au travers de l’application logicielle. En réponse, l’utilisateur prend une photographie P’ d’un tel marquage réglementaire de l’objet domestique connecté 10, au moyen de l’appareil 2b du terminal mobile 2, via l’application logicielle, et dans une étape E24, cette photographie P’ est transmise, via l’application logicielle et le module d’émission et de réception de données du terminal mobile 2, à l’unité de traitement 3.

Dans l’exemple décrit, le marquage réglementaire peut être une étiquette de conformité européenne 4, également appelée étiquette CE, laquelle comporte une mention permettant d’identifier le type du produit domestique connecté 10 et sa marque.

Dans une étape E25, l’unité de traitement procède à une extraction, au moyen du programme informatique de traitement d’images, d’une suite de caractères contenue dans l’étiquette 4 représentée dans la photographie P’. Par exemple, l’unité de traitement pourra procéder dans un premier temps à une reconnaissance d’une zone de texte dans ladite étiquette 4, par exemple en détectant la présence de caractères dans la photographie P’, puis dans un deuxième temps à une reconnaissance optique de caractères dans cette zone de texte pour obtenir une suite de caractères.

A chaque identifiant t_iassocié à un objet domestique connecté est associé un ou plusieurs mots clés, chacun susceptible d’être employé dans une mention d’une étiquette CE. Ces mots clés sont ainsi stockés dans la mémoire de l’unité de traitement 3. Dans une étape E26, l’unité de traitement 3 procède ainsi à une comparaison de la suite de caractères extraite de la photographie P’ à l’ensemble des mots clés stockés dans sa mémoire, et sélectionne le ou les mots clés qui présentent le plus grand nombre de caractères communs avec cette suite. L’unité de traitement 3 détecte donc que l’identifiant t_iassocié à ce ou ces mots clés est l’identifiant de l’objet domestique connecté 10.

La description qui précède explique clairement comment l'invention permet d'atteindre les objectifs qu'elle s'est fixée, et notamment en proposant un procédé d’aide à l’appairage d’un objet domestique connecté avec une unité centralisée, dans lequel un identifiant de l’objet est déterminé par une unité de traitement à partir d’une photographie de cet objet prise depuis un terminal mobile et dans lequel un protocole d’appairage associé à cet identifiant est transmis par l’unité de traitement au terminal mobile pour y être affiché. De la sorte, il est possible à l’utilisateur de suivre les instructions de ce protocole et d’appairer de façon simple et rapide l’objet domestique connecté à l’unité centralisée, sans qu’il lui soit nécessaire de se souvenir du protocole ou qu’il ait besoin de se référer au mode d’emploi de l’objet.

En tout état de cause, l'invention ne saurait se limiter aux modes de réalisation spécifiquement décrits dans ce document, et s'étend en particulier à tous moyens équivalents et à toute combinaison techniquement opérante de ces moyens. On pourra en particulier employer d’autres solutions permettant de détecter l’identifiant de l’objet domestique connecté à partir de la photographie, et notamment d’autres types de classifieurs.

Claims

Procédé d’aide à l’appairage d’un objet domestique connecté (10) à une unité centralisée (11), le procédé comportant les étapes suivantes :
(E1) Fourniture d’une photographie (P) de l’objet domestique connecté acquise par une unité d’acquisition (2b) d’un terminal mobile (2) à une unité de traitement (3);

(E2) Détection par l’unité de traitement, à partir de ladite photographie de l’objet domestique connecté, d’un identifiant (t_i) de l’objet domestique connecté parmi une pluralité d’identifiants prédéterminés (t₁, t₂, t₃, t₄);

(E3) Transmission d’un ensemble d’instructions d’appairage (I(t_i)) de l’objet domestique connecté à l’unité centralisée, associé à l’identifiant détecté, au terminal mobile et affichage de l’ensemble d’instructions d’appairage sur un écran (2a) du terminal mobile.
Procédé selon la revendication précédente, dans lequel l’étape de détection (E2) comporte une étape de classification (E21), par un classifieur (CNN) de l’unité de traitement (3) mettant en œuvre un algorithme d’apprentissage automatique, de l’objet domestique connecté (10) présent dans la photographie (P) parmi une pluralité d’objets domestiques connectés prédéterminés, chaque objet de cette pluralité étant associé à un identifiant prédéterminé (t₁, t₂, t₃, t₄).
Procédé selon la revendication précédente, caractérisé en ce qu’il comporte une étape préalable d’entrainement supervisé du classifieur (CNN), mise en œuvre au moyen d’une pluralité de photographies prédéterminées de chaque objet domestique connecté prédéterminé de ladite pluralité.
Procédé selon l’une des revendications 2 ou 3, dans lequel le classifieur associe, à chaque objet domestique connecté prédéterminé de ladite pluralité, une probabilité (p₁, p₂, p₃, p₄) de correspondance entre l’objet domestique connecté (10) présent dans la photographie (P) à cet objet domestique prédéterminé, l’étape de détection (E2) comportant une étape de sélection (E22) par l’unité de traitement (3) d’un desdits objets domestiques connectés prédéterminés en fonction desdites probabilités de correspondance, l’identifiant détecté (t_i) à l’issu de l’étape de détection étant l’identifiant de l’objet domestique connecté sélectionné.
Procédé selon la revendication précédente, dans lequel l’unité de traitement (3) sélectionne l’objet connecté domestique prédéterminé associé à la plus haute probabilité de correspondance (p_max), seulement si la différence entre cette plus haute probabilité de correspondance et la deuxième plus haute probabilité de correspondance (p_max’) est supérieure à un seuil prédéterminé (TS).
Procédé selon la revendication précédente, dans lequel, si la différence entre la plus haute probabilité de correspondance (p_max) et la deuxième plus haute probabilité de correspondance (p_max’) est inférieure audit seuil prédéterminé (TS), l’étape de détection (E2) comporte une étape de fourniture (E24) d’une photographie (P’) d’un marquage réglementaire (4) de l’objet domestique connecté (10) acquise par l’unité d’acquisition (2b) et une étape de détermination (E25, E26), par l’unité de traitement (3), dudit identifiant (t_i) de l’objet domestique connecté, à partir de ladite photographie du marquage réglementaire.
Procédé selon la revendication précédente, dans lequel l’étape de détermination (E25, E26) comprend une étape d’extraction (E25) d’une suite de caractères de ladite photographie (P’) du marquage réglementaire (4) et une étape de comparaison (E26) de ladite suite de caractères à un ensemble de mots clés prédéterminés chacun associé à un identifiant prédéterminé (t₁, t₂, t₃, t₄) de ladite pluralité.
Procédé selon la revendication précédente, dans lequel l’étape d’extraction (E25) comporte une étape de reconnaissance d’une zone de texte dans ladite photographie (P’) du marquage réglementaire (4), et une étape de reconnaissance optique de caractères dans la zone de texte pour obtenir ladite suite de caractères.
Système (1) d’aide à l’appairage d’un objet domestique connecté (10) à une unité centralisée (11) comprenant :
Un terminal mobile (2) comprenant un écran (2a), une unité d’acquisition (2b) et un module d’émission et de réception de données ;

Une unité de traitement (3) comprenant un module d’émission et de réception de données et une mémoire dans laquelle sont stockées une pluralité d’identifiants prédéterminés (t₁, t₂, t₃, t₄) et une pluralité d’ensembles d’instructions d’appairage (I(t_i))chacun associé à l’un des identifiants prédéterminés ;
le système étant agencé pour mettre en œuvre le procédé selon l’une des revendications précédentes.