FR3088458A1 - Procede de reconnaissance et de description contextuelles d'un objet d'interet pour un utilisateur deficient visuel, dispositif mettant en oeuvre ledit procede - Google Patents

Procede de reconnaissance et de description contextuelles d'un objet d'interet pour un utilisateur deficient visuel, dispositif mettant en oeuvre ledit procede Download PDF

Info

Publication number
FR3088458A1
FR3088458A1 FR1860453A FR1860453A FR3088458A1 FR 3088458 A1 FR3088458 A1 FR 3088458A1 FR 1860453 A FR1860453 A FR 1860453A FR 1860453 A FR1860453 A FR 1860453A FR 3088458 A1 FR3088458 A1 FR 3088458A1
Authority
FR
France
Prior art keywords
electronic device
interest
user
processing unit
context
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR1860453A
Other languages
English (en)
Inventor
Francois Badaud
Olivier Stoltz-Douchet
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B2bot
Original Assignee
B2bot
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B2bot filed Critical B2bot
Priority to FR1860453A priority Critical patent/FR3088458A1/fr
Publication of FR3088458A1 publication Critical patent/FR3088458A1/fr
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L'invention concerne un procédé (100) d'assistance à la reconnaissance et la description d'un objet d'intérêt (Oi) pour un utilisateur déficient visuel (U). Un tel procédé (100) comporte une étape (150) pour estimer le contexte d'exploitation (C) le plus probable d'un dispositif électronique (10) mettant en œuvre (11) un tel procédé (100). Selon ledit contexte d'exploitation (C), un traitement, parmi une pluralité, est automatiquement sélectionné (151, 152, 153) pour mettre en œuvre une étape (120) pour identifier un objet d'intérêt (Oi) au sein d'une représentation numérique (Rt) d'une scène (S), pour produire (130) une information caractéristique (OIi) en lien avec un tel objet d'intérêt (Oi) et/ou pour provoquer une restitution adaptée (140, IS, IV) d'une telle information caractéristique à l'utilisateur (U) selon ledit contexte d'exploitation estimé (C).

Description

Procédé de reconnaissance et de description contextuelles d'un objet d'intérêt pour un utilisateur déficient visuel, dispositif mettant en œuvre ledit procédé
L'invention concerne le domaine des dispositifs d'aide aux personnes déficientes visuelles, c'est-à-dire malvoyantes ou aveugles, afin que ces dernières recouvrent une autonomie satisfaisante dans leur quotidien, au sein d'un espace fermé ou en mobilité notamment.
Plus précisément, l'invention concerne un procédé de reconnaissance et de description contextuelles d'objets d'intérêt mis en œuvre par un dispositif électronique adapté, ce dernier étant éventuellement constitué de divers organes en communication mutuelle, de sorte que seules les informations probablement les plus pertinentes, en lien avec l'environnement ou le mode de mobilité de la personne malvoyante ou aveugle qui véhicule ledit dispositif électronique, ne soient délivrées à ladite personne, préservant ainsi son confort et sa concentration, prévenant ainsi une restitution d'informations sonores ou vibratoires souvent trop nombreuses et inappropriées selon les techniques actuelles.
Il existe à ce jour de nombreux dispositifs ou systèmes d'accompagnement de personnes déficientes visuelles. Toutefois, ceux-ci se révèlent souvent trop sommaires pour conférer une autonomie suffisante. Ils sont souvent jugés trop complexes par leurs utilisateurs, et/ou parfois requièrent une traçabilité de ces derniers, ce qui peut constituer un frein à l'adhésion desdits utilisateurs à la solution. Généralement, les dispositifs d'accompagnement connus sont par ailleurs considérés par leurs utilisateurs comme étant trop invasifs et « bavards », c'est-à-dire délivrant un nombre d'informations parfois trop riches et/ou non pertinentes, créant en conséquence un inconfort préjudiciable à leurs exploitations au quotidien.
En effet, le dispositif le plus connu consiste en une canne que tient et agite, devant elle, la personne malvoyante lorsqu'elle se déplace en maintenant la partie distale de ladite canne en contact avec le sol. Lorsque ladite personne perçoit un choc, c'est-à-dire lorsque la partie distale de ladite canne heurte un objet ou un tiers, la personne détecte la présence d'un obstacle. Un tel dispositif est particulièrement économique et très usité. Toutefois, l'utilisateur de la canne ne détecte qu'une proximité immédiate avec un objet, proximité déterminée par la longueur de la canne. L'utilisateur déficient visuel peut même parfois involontairement heurter avec sa canne un passant ou l'un de ses proches, créant ainsi un sentiment de gêne pour ledit utilisateur. En outre, ce dernier ne dispose d'aucune information descriptive sur tout objet qui se dresse devant lui, notamment si la cécité dudit utilisateur est quasi-totale.
Pour tenter d'accroître l'interactivité avec son utilisateur, une telle canne a été améliorée pour comporter un capteur de proximité, généralement de type capteur à ultrasons. La poignée, positionnée sur la partie proximale d'une telle canne, est par ailleurs agencée pour être « haptique », c'est-à-dire apte à vibrer dès que ledit capteur de proximité détecte un obstacle, pointé par la partie distale de la canne, détecté comme étant proche de l'utilisateur de la canne. Une telle canne améliorée permet à son utilisateur d'être informé quant à la présence d'un obstacle sans devoir aller jusqu'à toucher ledit obstacle. Avec ce type de solution, il est même parfois possible de choisir la distance en dessous de laquelle un objet ou une personne est détecté comme constituant un obstacle sur le cheminement de l'utilisateur déficient visuel. Il est également possible de réduire la longueur de la canne, qui peut même se réduire à sa plus simple expression, c'està-dire en une poiqnée et un corps suffisamment court pour héberger et orienter le capteur de proximité à ultrasons. Toutefois, les inconvénients mentionnés plus haut sur l'absence de toute description dudit obstacle demeurent.
D'autres solutions ont été conçues pour délivrer des informations caractéristiques de certains objets d'intérêt. A titre d'exemple non limitatif, une solution consiste à positionner un capteur d'images sur un pointeur, prévu pour être tenu en main de la personne déficiente visuelle, ou en variante, sur le corps ou la monture d'une paire de lunettes, par exemple au centre de ladite monture. Selon cette technique, si un objet, pointé par l'axe de capture dudit capteur d'images, comporte par exemple un texte, un programme de reconnaissance de caractères peut analyser une représentation numérique dudit objet et traduire ledit texte sous la forme d'un contenu sonore qui peut délivré par une oreillette ou un haut-parleur, comme le ferait une liseuse électronique positionnée face à une page de d'un livre. Ce type de dispositif fonctionne assez bien lorsque l'utilisateur déficient visuel demeure sensiblement immobile face à un tel objet identifié par le capteur d'images. Un tel pointage dudit objet nécessite toutefois que la personne malvoyante parvienne au minimum, bien que n'étant pas en capacité déchiffrer par elle-même la teneur précise dudit texte, à repérer un support de texte, tel qu'un livre ou une carte d'un restaurant, ou nécessite l'apport d'un tiers aidant pour positionner ladite personne déficiente visuelle face à un tel support. A défaut, tout objet comportant un texte se trouvant dans le champ de capture, même par inadvertance ou hasard, provoque une restitution sonore automatique du texte véhiculé par ledit objet, alors même que la plupart desdits objets capturables par le capteur d'images ne représentent que très peu d'intérêt pour la personne déficiente visuelle.
D'autres solutions ont tenté d'améliorer le niveau de d'assistance délivrée par une canne, fusse-t-elle électronique, en dotant celle-ci d'un module de communication satellitaire, de sorte que ladite canne se mue en assistant personnel de navigation, à l'instar d'un système dit « de navigation de type GPS », pour « Global Positioning System » selon une terminologie anglosaxonne) , équipant la plupart des véhicules terrestres. Il est donc possible pour un utilisateur de préprogrammer un itinéraire, voire de dicter une destination. En réponse, la canne calcule un itinéraire, en temps réel, selon la position géographique actuelle recueillie par le module de communication satellitaire. Toutefois, une telle solution nécessite une communication permanente d'une part avec une pluralité de satellites, voire avec un serveur applicatif élaborant des itinéraires appropriés. Une telle connectivité est parfois faible ou erratique, voire impossible, selon les lieux géographiques visités. Elle se révèle totalement inappropriée pour circuler dans un établissement, par exemple un hôtel ou un hôpital, par manque cruel de précision de la localisation courante de 1'utilisateur.
L'invention permet de répondre à tout ou partie des inconvénients soulevés par les solutions connues. En effet, les inventeurs sont partis du constat selon lequel, au quotidien, une personne en pleine capacité visuelle sélectionne intuitivement les informations pertinentes parmi la multitude d'informations présentes dans son champ de vision selon l'activité qu'elle accomplit. Ainsi, une telle personne en pleine capacité visuelle est naturellement plus attentive aux détails de certains ouvrages lorsqu'elle circule dans un rayonnage d'une bibliothèque, qu'aux contenus de certaines affiches publicitaires ou graffitis muraux lorsqu'elle se déplace dans la rue d'un pas rapide.
L'invention a été ainsi conçue pour ne délivrer, de manière sonore ou vibratoire, que les informations pertinentes les plus probables selon la situation ou l'espace dans lequel évolue une personne déficiente visuelle, comme le ferait intuitivement une personne non déficiente.
Parmi les nombreux avantages apportés par l'invention, nous pouvons mentionner qu'un dispositif électronique agencé pour mettre en œuvre un procédé de reconnaissance et de description contextuelles d'un objet d'intérêt pour un utilisateur déficient visuel :
adapte automatiquement la sélection des informations caractéristiques d'un ou plusieurs objets d'intérêt au gré de l'évolution dudit utilisateur ;
adapte automatiquement le mode de restitution de telles informations caractéristiques d'un ou de plusieurs objets d'intérêt au gré de l'évolution dudit utilisateur, selon l'espace environnant, la mobilité ou les préférences de ce dernier ; n'obère aucunement dans la liberté d'évolution d'un tel utilisateur car un dispositif électronique conforme à l'invention n'a pas pour objectif de délivrer une traçabilité des déplacements de dons utilisateur, puisqu' il n'impose pas un enregistrement préalable, ou au fil de l'eau, d'itinéraires paramétrés ou consultables par un tiers ;
préserve l'attention et la sérénité de l'utilisateur, celui-ci n'étant pas abreuvé d'informations trop nombreuses et non pertinentes ;
permet à son utilisateur déficient visuel de recouvrer une grande autonomie, estompant, autant que faire ce peu, certains désagréments induits par un tel handicap.
A cette fin, il est notamment prévu un procédé d'assistance à la reconnaissance et la description d'un objet d'intérêt pour un utilisateur déficient visuel, ledit procédé étant mis en œuvre par une unité de traitement d'un dispositif électronique, véhiculé par ledit utilisateur, ledit dispositif électronique comportant en outre une mémoire de données, une mémoire de programmes, un capteur d'images, une interface hommemachine de sortie agencée pour délivrer audit utilisateur une information caractéristique et intelligible par ledit utilisateur en lien avec un tel objet d'intérêt, ledit procédé comportant :
- une étape pour déclencher une capture d'une scène d'étude par le capteur d'images et produire une représentation numérique de ladite scène ;
- une étape pour identifier au moins un objet d'intérêt au sein de ladite représentation numérique et en produire un avatar numérique enregistré dans la mémoire de données ;
- une étape pour produire une information caractéristique en lien avec un objet d'intérêt identifié ;
- une étape pour provoquer une restitution de ladite information caractéristique par l'interface interface homme-machine de sortie.
Pour produire et restituer une telle information caractéristique, sans que cela ne vienne parasiter la recherche d'autonomie de l'utilisateur, voire submerger ce dernier d'informations non pertinentes, ledit procédé comprend :
- une étape pour déterminer un type d'environnement du dispositif électronique, parmi une pluralité de types d'environnement prédéterminée ;
- une étape pour estimer un contexte d'utilisation dudit dispositif électronique sur la base dudit type d'environnement déterminé et d'un avatar numérique d'un objet d'intérêt identifié ;
- une étape pour sélectionner un traitement particulier, parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape pour produire l'information caractéristique d'un objet d'intérêt identifié selon le contexte d'utilisation dudit dispositif électronique.
Pour appréhender ou estimer un contexte d'utilisation d'un tel dispositif électronique au regard de l'environnement dans lequel ce dernier évolue, l'étape pour identifier un objet d'intérêt au sein de ladite représentation numérique et en produire un avatar numérique d'un tel procédé selon l'invention peut consister à inscrire en mémoire de données un identifiant d'une classe d'objets prédéterminée parmi une pluralité pour chaque objet d'intérêt identifié.
Selon cette variante préférée mais non limitative, l'étape pour déterminer un type d'environnement du dispositif électronique peut avantageusement exploiter le nombre d'occurrences d'au-moins un identifiant de classe d'objets d'intérêt identifiés dont l'avatar numérique a été enregistré dans la mémoire de données.
Une telle étape pour déterminer un type d'environnement du dispositif électronique peut, en variante ou en complément, exploiter une donnée délivrée par une interface homme-machine d'entrée coopérant avec l'unité de traitement du dispositif électronique. De la même manière, l'étape pour estimer un contexte d'utilisation dudit dispositif électronique peut en outre être mise en œuvre selon ledit type d'environnement déterminé.
Outre le type d'environnement de l'utilisateur déficient visuel véhiculant un tel dispositif électronique conforme à l'invention, le mode de déplacement ou inversement une immobilité relative dudit utilisateur déficient visuel peut renforcer ou invalider la pertinence d'une sélection d'un objet d'intérêt, de la modalité retenue pour renseigner ledit utilisateur quant à une proximité relative de cet objet susceptible de constituer un obstacle probable et/ou ou de la profondeur de l'information caractéristique dudit objet, en terme de niveau de détails descriptifs. Pour cela, un procédé selon l'invention peut comporter une étape pour déterminer un type de mouvement du dispositif électronique, parmi une pluralité de types de mouvement prédéterminée, à partir d'une donnée délivrée par une centrale inertielle comprise dans ledit dispositif électronique et coopérant avec l'unité de traitement de ce dernier. Dans ce cas, l'étape pour estimer un contexte d'utilisation dudit dispositif électronique peut en outre être mise en œuvre selon ledit type de mouvement déterminé.
Outre le type d'environnement de l'utilisateur déficient visuel lorsqu'il véhicule un dispositif électronique mettant en œuvre un procédé conforme à l'invention et/ou son degré de mobilité, la distance séparant ledit utilisateur d'un objet d'intérêt peut agir sur la pertinence des informations caractéristiques en lien avec les objets d'intérêt dudit utilisateur. Ainsi, un procédé conforme à l'invention peut, en variante ou en complément, comporter une étape pour estimer une distance séparant le dispositif électronique, mettant en œuvre ledit procédé, de l'objet d'intérêt. Selon ce mode de réalisation avantageux, l'étape pour estimer un contexte d'utilisation dudit dispositif électronique peut en outre être mise en œuvre selon ladite distance estimée.
Pour délivrer à un utilisateur déficient visuel des informations contextualisées, un procédé selon l'invention peut comporter une étape pour sélectionner un traitement particulier, parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape pour identifier un objet d'intérêt au sein de ladite représentation numérique, selon le contexte d'utilisation estimé dudit dispositif électronique.
De la même manière, en variante ou en complément, un procédé selon l'invention peut comporter une étape pour sélectionner un traitement particulier, parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape pour produire une information caractéristique en lien avec un objet d'intérêt identifié, selon le contexte d'utilisation estimé dudit dispositif électronique.
En outre, en variante ou en complément, un tel procédé selon l'invention peut comporter une étape pour sélectionner un traitement particulier parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape pour provoquer une restitution intelligible de l'information caractéristique dudit objet d'intérêt par l'interface homme-machine de sortie, selon le contexte d'utilisation estimé dudit dispositif électronique.
Selon un mode de réalisation préféré mais non limitatif, l'étape pour estimer un contexte d'utilisation du dispositif électronique mettant en œuvre un procédé conforme à l'invention peut consister en une estimation réalisée par un réseau neuronal convolutif de l'unité de traitement dudit dispositif électronique. L'invention prévoit en outre que l'étape pour sélectionner un traitement particulier puisse avantageusement consister en une estimation réalisée par un réseau neuronal convolutif de l'unité de traitement dudit dispositif électronique. Selon un tel mode de réalisation avantageux, un procédé conforme à l'invention peut comporter une étape préalable d'apprentissage dudit réseau neuronal convolutif.
Selon un deuxième objet, l'invention prévoit un produit programme d'ordinateur comportant des instructions de programme exploitables par un ordinateur qui, lorsqu'elles sont exécutées ou interprétées par une unité de traitement dudit ordinateur, provoquent la mise en œuvre d'un procédé d'assistance à la reconnaissance et à la description contextuelle d'un objet d'intérêt pour un utilisateur déficient visuel selon l'invention, tel que mentionné précédemment.
Selon un troisième objet, l'invention concerne un dispositif électronique d'assistance à la reconnaissance d'un objet d'intérêt, agencé pour être véhiculé et utilisé par un utilisateur déficient visuel, ledit dispositif électronique comportant une unité de traitement, une mémoire de données, une mémoire de programmes, un capteur d'images, une interface homme-machine de sortie pour délivrer audit utilisateur une information caractéristique et intelligible par ledit utilisateur en lien avec un tel objet d'intérêt. Pour offrir une assistance contextuelle et pertinente, les instructions de programme d'un produit programme d'ordinateur selon l'invention sont inscrites dans la mémoire de programmes dudit dispositif électronique.
Selon un mode de réalisation avantageux mais non limitatif, le capteur d'images d'un tel dispositif électronique selon l'invention, peut être intégré dans le corps d'une paire de lunette, de sorte que le capteur d'images puisse capturer une scène d'étude selon un axe de capture sensiblement normal au plan de la monture de ladite paires de lunettes. Dans ce cas, l'unité de traitement, la mémoire de données et/ou la mémoire de programmes peut ou peuvent être intégré(s) dans ledit corps de la paire de lunettes.
En variante, ou en complément, l'unité de traitement, la mémoire de données et/ou la mémoire de programmes d'un dispositif électronique adapté selon l'invention, peu(ven)t consister en des moyens électroniques d'un téléphone mobile intelligent. De la même manière, l'interface homme-machine de sortie, d'un dispositif électronique adapté selon l'invention, pour délivrer audit utilisateur une information caractéristique et intelligible par ledit utilisateur en lien avec un objet d'intérêt peut consister en une oreillette électronique.
D'autres caractéristiques et avantages apparaîtront plus clairement à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent parmi lesquelles :
- la figure 1 illustre une description fonctionnelle de l'architecture d'un dispositif électronique adapté conformément à l'invention pour délivrer une assistance contextuelle à une personne déficiente visuelle ;
- la figure 2 décrit un exemple préféré mais non limitatif d'agencement d'un dispositif électronique sous la forme d'une combinaison d'organes électroniques en communication ;
- la figure 3 présente un exemple non limitatif sous la forme d'un organigramme d'un procédé de reconnaissance et de description contextuelles d'objets d'intérêt conforme à l'invention.
La figure 1 décrit ainsi un exemple d'un dispositif électronique 10 adapté conformément à l'invention pour délivrer une assistance contextuelle IS, IV, à une personne déficiente visuelle U. Un tel dispositif électronique 10 comporte avantageusement une unité de traitement 11, sous la forme d'un ou plusieurs microcontrôleurs ou microprocesseurs. Une telle unité de traitement 11 est associée, c'est-à-dire comporte ou coopère, via un bus électrique, avec une mémoire de programmes 13 chargée d'enregistrer un ou plusieurs produits programmes d'ordinateur P sous la forme d'une pluralité d'instructions de programme interprétables ou exécutables par ladite unité de traitement 11. Une telle exécution ou interprétation d'instructions d'un programme P par ladite unité de traitement 11 provoque la mise en œuvre d'un procédé de reconnaissance et de description d'objets d'intérêt conforme à l'invention, comme nous le verrons ultérieurement en liaison avec l'exemple non limitatif du procédé 100 décrit par la figure 3.
A l'instar de la mémoire de programmes 13, un dispositif électronique 10 conforme à l'invention peut comporter une mémoire de données 12. Celle-ci peut être avantageusement, pour toute ou partie, électriquement effaçable afin d'être mise à jour par l'unité de traitement
11. Généralement, une section de ladite mémoire de données n'est pas effaçable ou est protégée par un mécanisme de sécurité, pour enregistrer notamment la valeur d'une donnée d'identification unique caractérisant un dispositif électronique particulier au regard d'autres dispositifs pairs. Une telle mémoire de données 12 peut en outre comporter d'autres structures de données pour enregistrer, par exemple, une table TO d'objets d'intérêt, une table de compteurs d'occurrences d'objets selon une pluralité de classes d'objet, voire une table ou structure TR avantageusement cyclique de représentations numériques Rt découlant de la capture d'une scène d'étude S par un capteur d'images 14, par exemple de type matriciel selon un axe de capture AC. Un tel capteur d'images 14 peut être agencé pour capturer une scène d'étude S en diurne et/ou dans l'obscurité. Une telle scène d'étude est schématisée ou symbolisée, à titre d'exemple non limitatif, sous la forme d'un décor végétal en figure 1. Les mémoires de programmes 13 et de données 12 peuvent consister chacune en une ou plusieurs entités physiquement distinctes, voire ne constituer qu'une seule et même entité physique.
Pour déterminer une mobilité, ou plus généralement un déplacement relatif au regard d'un référentiel, d'un utilisateur U véhiculant un dispositif électronique 10 conforme à l'invention, ce dernier peut avantageusement comporter une centrale inertielle 17 pour mesurer des accélérations et instruire ainsi l'unité de traitement 11 quant à une telle mobilité. Une telle centrale inertielle peut par exemple consister en un ou plusieurs gyroscopes ou accéléromètres. En variante ou en complément, une telle mobilité peut être déduite par une analyse conjointe de plusieurs représentations numériques ou images découlant de plusieurs captures de la scène d'étude S à des instants de capture distincts. Pour cela, la structure TR peut avantageusement comporter une pluralité de k enregistrements, k étant un entier positif, pour enregistrer les k dernières représentations numériques Rt à Rt-k, découlant respectivement des k dernières captures de ladite scène d'étude S par le capteur d'images 14.
Par ailleurs, un dispositif électronique 10 conforme à l'invention comporte, voire coopère par toute liaison adaptée avec, une interface homme-machine de sortie 15. Un tel dispositif électronique 10 est principalement conçu pour être utilisé par une personne déficiente visuelle. Une telle interface homme-machine de sortie 15 est donc préférentiellement choisie ou agencée pour délivrer une information perceptible par l'un des sens disponibles d'un tel utilisateur U, c'est-à-dire majoritairement une information sonore IS ou vibratoire IV. Une telle interface homme-machine de sortie 15 peut comporter, à ce titre, un haut-parleur ou tout autre moyen équivalent pour transmettre un son discriminable au regard des sons ou bruits de l'environnement dudit utilisateur U, et/ou un moyen dit haptique, c'est-à-dire apte à transmettre une information vibratoire audit utilisateur U, à l'instar d'un vibreur pour téléphone exploitant par exemple une masselotte mobile. Une telle interface homme-machine 15 peut ainsi, plus particulièrement, être agencée pour transmettre une information sous la forme d'une vibration crânienne plutôt que sonore, afin de ne pas obérer les capacités auditives d'un utilisateur U déficient visuel qui utilise naturellement l'écoute de toute information sonore qu'il peut percevoir de son environnement, pour se repérer ou compléter une information caractéristique transmise par le dispositif électronique 10.
L'invention prévoit en outre, selon le mode de réalisation choisi, qu'un dispositif électronique 10 puisse comporter une interface homme-machine d'entrée 16 agencée pour que son utilisateur U, voire un tiers, puisse paramétrer le fonctionnement dudit dispositif électronique 10. A ce titre, lorsqu'elle existe, une interface hommemachine 16 peut consister en un clavier, ou en un écran tactile, pour transmettre à l'unité de traitement 11 une gestuelle de l'utilisateur U, préalablement traduite par ladite interface 16, sous la forme d'un paramètre de fonctionnement Pu. En variante ou en complément, une telle interface homme-machine d'entrée 16 peut en outre consister en un microphone pour traduire une information de paramétrage Pu, ou plus généralement une consigne orale de l'utilisateur U, en un paramètre de fonctionnement Pu dudit dispositif électronique 10 et le transmettre à ladite unité de traitement 11.
Les différents moyens 12, 13, 14, 15, 16 et 17 évoqués précédemment coopèrent avec l'unité de traitement 11 via un ou plusieurs bus électriques de communication, représentés par des doubles flèches en trait simple sur la figure 1. Certaines de ces liaisons filaires peuvent être remplacées par une liaison sans fil ou couplage, la communication, entre ladite unité de traitement 11 et le moyen concerné pouvant être réalisée par la mise en œuvre de toute liaison sans fil adaptée telle que, à titre d'exemples non limitatifs, via un réseau de communication sans fil exploitant un protocole de communication sans contact de proximité, tel que de manière non exhaustive, Bluetooth, Zigbee, Wi-Fi (régis par les normes du groupe IEEE 802.11), ou encore Li-Fi (pour « Light Fidelity » selon une terminologie anglo-saxonne) , technologie de communication sans fil basée sur l'utilisation de la lumière visible, de longueur d'onde comprise entre 480 nanomètres et 650 nanomètres.
Pour assurer le fonctionnement d'un dispositif électronique 10 conforme à l'invention, ce dernier peut avantageusement comporter une source d'alimentation électrique autonome 18 délivrant l'énergie électrique nécessaire au fonctionnement dudit dispositif électronique 10. Selon un mode de réalisation préféré, l'unité de traitement 11 d'un tel dispositif électronique 10 peut être agencée ou adaptée pour connaître le niveau d'énergie électrique restant dans la source d'alimentation électrique 18. L'unité de traitement 11 peut être programmée pour encoder une donnée dont la teneur caractérise un tel niveau d'énergie restante, conjointement, ou en complément, à des informations caractéristiques en lien avec un objet d'intérêt capturé par le capteur d'images 14. L'utilisateur U peut alors être informé d'un niveau d'énergie électrique restant devenant insuffisant pour assurer une continuité de service, notamment lorsque ledit niveau devient inférieur à un seuil prédéterminé, dont la valeur peut être définie par un paramètre Pu enregistré dans la mémoire de données 12 ou de programmes 13. L'utilisateur U peut ainsi entreprendre une opération de rechargement de ladite source d'alimentation électrique 18, si celle-ci est rechargeable ou de remplacement de ladite source d'alimentation 18 si celle-ci consiste en une ou plusieurs batteries non-rechargeable. De cette manière, toute perte de continuité de service peut être aisément prévenue. Pour accroître l'autonomie d'un dispositif électronique 10 conforme à l'invention et ainsi réduire la fréquence de rechargement ou de remplacement de la source d'alimentation électrique 18, l'invention prévoit différents moyens et procédés pour minimiser la consommation électrique. L'adhésion de l'utilisateur U à l'exploitation d'un dispositif électronique 10 est, à ce titre, particulièrement accrue si les actions humaines liées à la gestion de la source d'alimentation électrique 18 sont optimisées. Pour cela, et dans le but de simplifier les opérations de l'utilisateur U d'un dispositif électronique 10, la recharge de la source d'alimentation électrique 18 de ce dernier, lorsque celle-ci est possible, est avantageusement réalisée au moyen d'un chargeur de batterie très simple à utiliser. Ainsi, l'invention prévoit que soit privilégié le choix d'une recharge par un chargeur de batterie à induction. De cette manière, aucun câblage n'est requis, l'opération de recharge nécessite simplement de poser le dispositif électronique 10, quelle que soit son orientation sur une surface active. Par ailleurs, l'invention prévoit que la source d'alimentation électrique 18 puisse être plurielle et répartie dans plusieurs organes électroniques composant un dispositif électronique 10 conforme à l'invention, voire que puisse être exploitée une source d'alimentation électrique d'un accessoire ou objet tiers en communication filaire avec un tel dispositif électronique 10.
Comme nous l'étudierons plus en détails en lien avec la figure 3, illustrant un exemple de procédé 100 mis en œuvre par l'unité de traitement 11, un tel procédé conforme à l'invention manipule de nombreuses données, découlant de captures multiples d'une scène d'étude S, de la mise en œuvre de traitements divers visant à identifier et caractériser des objets d'intérêt ou encore estimer des contextes d'évolution d'un dispositif électronique 10 pour délivrer, en temps réel, des informations pertinentes à l'utilisateur U du dispositif électronique 10 mettant en œuvre ledit procédé. De telles opérations pour produire et/ou exploiter lesdites données nécessitent parfois un temps de calcul qui peut être conséquent, voire rédhibitoire, selon les ressources matérielles disponibles de l'unité de traitement 11 dudit dispositif électronique 10 et/ou selon la complexité de certaines opérations mathématiques. De tels temps de calcul peuvent être particulièrement préjudiciables si l'on souhaite obtenir des informations caractéristiques pertinentes et intelligibles en temps réel, et plus particulièrement en mobilité. Pour cela, l'invention prévoit que de manière avantageuse, l'unité de traitement 11 puisse comporter ou exécuter un produit programme d'ordinateur complémentaire, permettant un traitement accéléré d'analyse des images ou des représentations numériques délivrées par ledit capteur 14, pour par exemple segmenter des régions d'intérêts, identifier et caractériser des objets et des contextes d'exploitation, notamment. Pour maintenir un haut niveau de performances et de précisions nécessaire à la pertinence des informations, un tel produit programme d'ordinateur complémentaire peut consister par exemple en un réseau neuronal convolutif, également connu sous l'appellation « réseau de neurones à convolution », avantageusement profond ou multicouches. L'invention n'a pas pour fondement la conception de ce type de réseaux ou plus généralement de toute solution technique d'analyse ou d'extraction de caractéristiques similaire. Au contraire, l'invention s'appuie sur une exploitation avantageuse et optionnelle de ce type de solutions techniques. A ce titre, les modalités précises de mise en œuvre et autres descriptions techniques desdites solutions ne seront pas détaillées dans le présent document. Nous pouvons toutefois d'une manière synthétique, voire minimaliste, rappeler brièvement que l'objectif d'un tel réseau neuronal consiste principalement à prédire une caractéristique à travers un ensemble de données en entrée, que l'on appelle généralement des observations, en simulant une réponse d'un neurone que l'on pourrait qualifier d'artificiel à de telles observations, afin de mettre en œuvre un procédé idoine permettant de traiter et/ou de pondérer lesdites observations pour en prédire ladite caractéristique. Un tel réseau doit être préalablement entraîné, c'est-à-dire nourri d'exemples pour qu'en fonction d'une prédiction souhaitée, les poids respectifs affectés à différentes entrées évoluent de sorte à trouver une valeur optimale pour chaque entrée. Ainsi, lorsqu'un procédé conforme à l'invention s'appuie, pour la mise en œuvre de certaines de ses étapes, sur un tel réseau neuronal, une étape préalable d'apprentissage sera généralement requise. Selon l'invention, l'exploitation avantageuse d'un tel réseau neuronal ou équivalent, en tant que moyens extracteurs de caractéristiques d'objets d'intérêt notamment, à partir d'images ou de représentations numériques d'une scène d'étude produites par un capteur d'images, comme une caméra matricielle par exemple, permet en outre d'utiliser ces caractéristiques extraites durant le processus d'entraînement. Lesdites caractéristiques extraites desdites images peuvent ainsi constituer des données d'entrée ou des paramètres pour une machine à vecteurs de support, également connue sous les termes anglo-saxons « Support Vector Machine », implantée dans l'unité de traitement 11 d'un dispositif électronique 10 conforme à 1'invention.
La figure 2 décrit un exemple préféré mais non limitatif d'agencement d'un tel dispositif électronique 10 sous la forme d'une combinaison d'organes électroniques 20, 30 et 40 communicants. En effet, les moyens 11 à 18, évoqués précédemment en lien avec la figure 1 décrivant une architecture fonctionnelle simplifiée d'un dispositif électronique 10 conforme à l'invention, peuvent être associés dans une seule et même entité physique, par exemple une paire de lunettes électronique. Lesdits moyens 11 à 18 peuvent, en variante, être répartis dans différents organes électroniques ou accessoires communiquant les uns avec les autres, à l'instar de l'exemple non limitatif décrit en lien avec la figure 2. Selon cet exemple, un dispositif électronique 10 conforme à l'invention consiste en un téléphone mobile intelligent 20 associé à des oreillettes 40, en liaison filaire par exemple, et une paire de lunettes électronique 30. Cette dernière peut comporter avantageusement, dans son corps 31, c'est-à-dire la monture des verres et/ou l'une des branches, un capteur d'images, tel que le capteur 14 évoqué en figure 1, par exemple sous la forme d'une caméra matricielle, de sorte que ledit capteur d'images 14 puisse capturer une scène d'étude S selon un axe de capture AC sensiblement normal au plan de la monture de ladite paire de lunettes 30. De cette manière, ledit capteur d'images 14 peut intuitivement être orienté selon les souhaits de l'utilisateur. L'exploitation d'un téléphone mobile intelligent 20 permet d'utiliser, son unité de traitement ou processeurs 11 pour mettre en œuvre un procédé P conforme à l'invention, sa batterie 18 pour délivrer l'énergie nécessaire au fonctionnement des différents organes d'un dispositif électronique 10, sa centrale inertielle 17 et/ou récepteur satellitaire, son écran tactile, voire son clavier lorsqu'il en comporte un en tant qu'interfaces homme-machine d'entrée 16 et/ou de sortie 15, sa mémoire de programmes 13 et/ou de données
12. De la même manière, les moyens de sortie d'un tel téléphone mobile intelligent 20, sous la forme d'un connecteur pour casque audio par exemple, permettent de connecter une paire d'oreillettes 40, voire un microphone et ainsi proposer des interfaces d'entrée 16 et de sortie 15 d'un dispositif électronique 10 conforme à l'invention. En variante, lesdites oreillettes 40 pourraient coopérer avec ledit téléphone 20 par une liaison sans fil, par exemple, au moyen du protocole de communication Bluetooth ou de tout autre protocole de communication de proximité sans fil adapté. Il en est de même pour le capteur d'images 14 positionné sur le corps 31 des lunettes 30 selon l'exemple de la figure 2. Un tel capteur 14 pourrait consister en variante en l'objectif de l'appareil photographique dudit téléphone 20 ou être positionné en tant qu'accessoire communicant avec ledit téléphone sur tout support ou objet porté ou manipulé par l'utilisateur U, comme une canne, un casque, un vêtement.
Selon un mode de réalisation préféré, la figure 3 illustre un exemple de mise en œuvre d'un procédé 100 d'assistance contextuelle à la reconnaissance et à la description d'un objet d'intérêt pour un utilisateur déficient visuel. Un tel procédé 100 est agencé pour être mis en œuvre par l'unité de traitement 11 d'un dispositif électronique 10, tel que décrit à titre d'exemple non limitatif par les figures 1 et 2. Un tel procédé 100 est en outre agencé pour être mis en œuvre itérativement, selon une période déterminée T, par ladite unité de traitement 11 d'un tel dispositif électronique 10.
Un procédé 100, conforme à l'invention, se démarque notamment de l'art antérieur en ce qu'il comporte une étape 150 pour déterminer un contexte d'exploitation C du dispositif électronique 10 par une personne déficiente visuelle U. Un tel contexte C estimé correspond à l'usage le plus probable dudit dispositif électronique 10, à partir d'un ou d'une pluralité d'objets d'intérêt 01 identifiés dans une représentation numérique Rt d'une scène S capturée par un moyen de capture, par exemple une caméra matricielle
14. De ce contexte estimé C, ledit procédé 100 détermine, en une étape 130, une teneur ou un contenu descriptif, sous la forme d'une information caractéristique Oil, en lien avec chaque objet d'intérêt 01, comme étant probablement la plus adaptée quant à son contenu et son niveau de précision. Il en détermine en outre, en une étape 140, un mode de restitution ou de sortie sonore IS, tactile et/ou vibratoire IV, de ladite information caractéristique Oil comme étant éqalement les plus probables et adaptés à la situation contextuelle. Un procédé 100 conforme à l'invention peut, en variante ou en complément, proposer une liste d'informations caractéristiques Oil et/ou de modes de restitution ou de sortie possibles IV, IS, selon un ordre décroissant de probabilités, laissant le soin audit utilisateur U, de faire part de ses préférences par une gestuelle ou une commande vocale adaptée via une interface homme-machine d'entrée 16 idoine, en temps réel, ou par paramétrage préalable. Ainsi, l'interaction entre un utilisateur U et son dispositif électronique 10 mettant en œuvre un tel procédé 100 peut être encore améliorée. Dans tous les cas, grâce à l'invention, l'utilisateur U est beaucoup moins sollicité inutilement qu'avec des dispositif connus. L'autonomie et la concentration de la personne déficiente visuelle, utilisant un dispositif électronique adapté par la mise en œuvre d'un procédé conforme à l'invention, tel que celui décrit à titre d'exemple non limitatif par la figure 3, en sont décuplées.
En lien avec la figure 3, un procédé 100 conforme à l'invention comporte une première étape 110 pour provoquer une capture d'une scène d'étude S et produire, à un instant courant t, une représentation numérique Rt sous la forme avantageuse d'une matrice de pixels, ces derniers correspondant respectivement en des vecteurs d'entiers traduisant chacun une composante d'une couleur primaire, par exemple selon le codage informatique connu sous l'abrégé RVB, pour Rouge, Vert Bleu ou RGB pour Red, Green, Blue, selon une terminologie anglo-saxonne. Une telle représentation numérique Rt peut être enregistrée dans la mémoire de données 12 au sein d'une structure de données TR. Selon un mode de réalisation avantageux mais non limitatif, ladite mémoire de données 12 peut enregistrer, outre la représentation numérique courante Rt, des représentations découlant de captures antérieures de ladite scène S. Dans ce cas, la structure TR pourra avantageusement comporter une pluralité d'enregistrements pour respectivement mémoriser les k+1 dernières représentations numériques Rt, Rt-1,..., Rt-k de la scène
S, k étant un entier positif et décrivant une période de capture.
Un procédé 100 comporte en outre une étape 120 pour identifier au moins un objet d'intérêt Oi, i étant un indice entier compris entre 1 et n objets identifiables au sein de ladite représentation numérique Rt courante. Ladite étape 120 consiste en outre à produire, pour chaque objet d'intérêt Oi, un avatar numérique OAi et à enregistrer ce dernier dans la mémoire de données 12, par exemple au sein d'une structure de données ou table TO. Un tel avatar numérique OAi, associé à un objet Oi, peut être décrit comme un ensemble de métadonnées décrivant, à titre d'exemples, une polyligne de contour de l'objet Oi, des coordonnées cartésiennes permettant de localiser ledit objet Oi dans la représentation numérique Rt ou un indice de zone, si ladite représentation numérique Rt est subdivisée en un nombre de zones définies, telles que non limitativement des coins hauts ou bas, situés à gauche ou à droite, un zone centrale, etc., une texture, un identifiant de classe d'objets déterminée OCj au regard d'une liste de classes d'objets caractéristiques 001 à OCm prédéterminée, m étant un entier déterminé supérieur ou égal à l'indice j. Ainsi, en liaison avec l'exemple de la figure 1, à l'issue d'une mise en œuvre itérative d'une telle étape 120, une table TO des avatars numériques comporte n enregistrements TOI à TOn, associées respectivement à n objets 01 à On identifiés dans la représentation numérique Rt. Un premier objet 01 est associé à l'enregistrement TOI comportant des données d'avatar numérique OAI parmi lesquelles l'identifiant de classe 001. Par exemple, un tel objet 01 peut être identifié et classé en tant que « chaise ». De la même manière, un ième objet 01 peut être associé à l'enregistrement TOI comportant des données d'avatar numérique OAi parmi lesquelles l'identifiant de classe OCj . Un tel objet 01 peut par exemple être identifié et classé en tant que « table », par exemple. Enfin, un nième objet identifié On peut être associé à l'enregistrement TOn comportant des données d'avatar numérique OAn parmi lesquelles l'identifiant de classe OCm. Un tel objet On peut être identifié et classé en tant que « porte », par exemple.
De manière analogue à certaines solutions antérieures, une telle étape 120 pour identifier un objet d'intérêt 01 est suivie d'une étape 130 pour produire une information caractéristique 011 en lien avec ledit objet d'intérêt 01 identifié. Ladite étape 120 est également suivie d'une étape 140 pour provoquer une restitution intelligible de ladite information caractéristique 011 par l'interface interface homme-machine de sortie 15 d'un dispositif électronique 10 mettant en œuvre un tel procédé 100. Contrairement aux solutions antérieures, ladite restitution ou sortie 140 d'un procédé 100 conforme à l'invention, par exemple sonore, d'une information caractéristique Oil, n'est pas invariante. Elle dépend du contexte d'exploitation C du dispositif électronique 10 estimé à l'étape 150 comme le plus probable, selon l'environnement ou encore la mobilité de l'utilisateur U dudit dispositif électronique 10. La teneur ou le contenu détaillé ou simplifié de ladite information caractéristique Oil et/ou le mode de restitution sonore IS, haptique IV, de cette dernière sont contextuels, c'està-dire différenciés selon ledit contexte d'exploitation, référencé C dans la figure 3, du dispositif électronique 10 par ledit utilisateur U.
Un procédé 100, conforme à l'invention, peut comporter en effet une étape 112 pour déterminer un type d'environnement E dans lequel est utilisé le dispositif électronique 10, parmi une pluralité de types d'environnements prédéterminée. La traduction numérique E de cet environnement estimé peut être sous la forme d'une valeur enregistrée dans la mémoire de données 12 du dispositif électronique 10 ou bien d'une structure de données complexe décrivant des attributs optionnels d'un tel environnement. Par exemple, un tel environnement E peut se résumer en un lieu, par exemple « intérieur » versus « extérieur », ou en variante comporter des précisions ou attributs comme, « intérieur » & « cuisine », « intérieur » & « bibliothèque » ou « extérieur » & « terrasse ».
L'étape 112 peut consister en une analyse conjointe des objets Oi identifiés dont les avatars numériques OAi ont été mémorisés dans la mémoire de données 12. Cette analyse consiste par exemple à rechercher une corrélation ou une absence de corrélation entre un lieu déterminé et une probabilité de trouver, dans un tel lieu, un ou plusieurs objets d'une classe donnée parmi lesdits objets identifiés, en accédant en lecture à leurs avatars numériques respectifs. Par exemple, l'étape 112 pourra considérer qu'il est très peu probable de trouver un objet classifié en tant que « automobile » dans un environnement de type « cuisine » ou inversement, d'identifier un objet classé en tant que « lit » au centre d'un environnement de type « rue ». Inversement, une occurrence multiple d'objet associés à un identifiant de classe d'objet de type « chaises » ou « canapés » indiquera très probablement que l'utilisateur U du dispositif électronique 10 se trouve dans un salon, une salle à manger, un restaurant. Pour réaliser une telle analyse 112, la mémoire de données 12 peut comporter une structure TC de compteurs d'occurrences de classes d'objets identifiés dans la représentation numérique Rt de la scène S capturée. Ainsi, en lien avec la figure 1, une telle structure TC peut comporter un entier NOC1 comptabilisant le nombre d'objets identifiés et associés à l'identifiant de la classe CCI, un entier NOCj comptabilisant le nombre d'objets identifiés et associés à l'identifiant de la classe OCj et un entier NOCm comptabilisant le nombre d'objets identifiés et associés à l'identifiant de la classe OCm. Toute autre structure de données pourrait être exploitée, en variante ou en complément, de la table TC, comme par exemple, une matrice spécifiant les combinaisons possibles parmi les combinaisons déterminées par m lignes pour p colonnes, m décrivant le nombre de classe d'objets identifiables et p le nombre de lieux. La détermination de l'environnement E peut ainsi découler d'un calcul d'un maximum de la probabilité d'identifier un ou plusieurs objets de classes données dans un lieu donné. Une telle étape 112 peut, en variante ou en complément, exploiter une donnée Pu traduite par l'interface homme machine 16 d'un dispositif électronique 10 conforme à l'invention et décrit par la figure 1. En effet, si cette interface homme-machine 16 existe, un utilisateur U peut renseigner celle-ci, en indiquant que, selon lui, il se situe en intérieur ou en extérieur. De cette façon, l'étape 112 peut converger plus rapidement en éliminant, de fait, des situations très peu probables, voire impossibles. Une telle étape 112 peut en outre exploiter toute autre information complémentaire délivrée par un capteur additionnel, non représenté par mesure de simplification sur la figure 1, tel qu'un microphone pour capturer des sons émanant de sources sonores environnant le dispositif électronique 10. Un tel capteur peut éventuellement consister en l'interface homme-machine 16 éventuellement utilisée pour que l'utilisateur puisse transmettre des paramètres de fonctionnement Pu ou tout autre type de capteur apte à mesurer une grandeur physique caractéristique de l'environnement du dispositif électronique 10.
Comme évoqué précédemment, l'invention prévoit que soit conservée, dans la mémoire de données 12, une pluralité de représentations numériques Rt,..., Rt-k de la scène S capturée. Le type d'environnement E estimé étant généralement d'une faible variabilité entre deux ou k captures consécutives d'une même scène d'étude S, les environnements estimés E, associés respectivement auxdites représentations numériques Rt,..., Rt-k, permettent de « moyenner » la valeur dudit environnement E ou d'éviter une estimation anormale d'un environnement de type « extérieur » encadré par deux estimations d'un environnement de type « intérieur » en un faible intervalle de temps.
Pour estimer, en une étape 150, un contexte d'exploitation C d'un dispositif électronique 10 mettant en œuvre un procédé 100 conforme à l'invention, ladite invention prévoit que d'autres paramètres ou éléments contextuels puissent venir en complément de l'environnement E ainsi préalablement estimé à l'étape 112 pour déterminer ledit contexte C ou encore l'usage le plus probable dudit dispositif électronique 10 par l'utilisateur déficient visuel U.
Tout d'abord, un procédé 100 peut, par exemple, comporter une étape 113 pour détecter la présence d'un objet identifié comme étant un « objet majoritaire » au sein de la représentation courante Rt d'une scène d'étude S capturée. Un tel objet Oi peut ainsi être considéré comme tel si, par exemple, son avatar numérique OAi comporte des données décrivant un contour délimitant une aire relative au regard de l'aire totale du champ de capture, supérieure à un seuil prédéterminé. Un tel seuil peut être égal à cinquante pour cent, par exemple. Au-delà dudit seuil prédéterminé, l'invention prévoit que l'étape 113 puisse déterminer un environnement ou un lieu E comprenant un objet majoritaire, dont il est probable que l'utilisateur U du dispositif électronique 10 souhaite lui accorder une attention particulière. En variante, bien qu'intrinsèquement parlant, aucun objet identifié n'entre dans une telle catégorie d'objet majoritaire, l'étape 113 peut détecter, par exemple en lisant la table TC des compteurs NOC1 à NOCm d'occurrences des classes d'objets identifiés, un grand nombre d'objets, identifiés dans une représentation numérique Rt et associés à une même classe d'objet. Par exemple, s'il s'agit d'une classe d'objet de type « livre » et que la représentation numérique Rt comporte un grand nombre d'occurrences d'objets identifiés et associés à ladite classe, il est très probable que l'utilisateur U fasse face à un rayonnage d'ouvrages. Un tel environnement ou lieu E pourra ainsi être déterminé à l'étape 113. Une description unitaire de ces ouvrages pourra être jugée pertinente à l'étape 150 par un procédé 100 conforme à l'invention.
L'invention prévoit en outre qu'une distance D séparant le dispositif électronique 10 d'un objet d'intérêt 01, détecté comme éventuellement comme objet majoritaire, puisse être exploitée dans l'estimation 150 du contexte d'exploitation C dudit dispositif électronique 10. Pour cela, l'étape 113 peut, en variante ou en complément, estimer une telle distance D séparant un tel objet d'intérêt Oi du moyen de capture d'images 14 de la scène d'étude S véhiculé par l'utilisateur U d'un dispositif électronique 10 conforme à l'invention. En effet, selon qu'une telle distance D estimée, signifiant un éloignement ou grande proximité d'un objet d'intérêt, soit grande ou petite, le contexte C, déterminé à l'étape 150, peut être différencié, provoquant un paramétrage et/ou une exécution également différents des étapes subséquentes 130 et 140, pour respectivement décrire et restituer une telle description à l'utilisateur U. Dans le premier cas, l'étape 150 pourra consister en l'estimation d'un usage selon lequel il est peu probable que l'utilisateur U souhaite obtenir une description détaillée d'un tel objet, notamment si ce dernier comporte un texte ou un graphisme sophistiqué, optant pour un contexte d'utilisation C de type contemplatif ou de balayage de la scène d'étude S. Dans le deuxième cas, l'étape 150 pourra estimer une probabilité accrue qu'un tel utilisateur U souhaite une description détaillée dudit objet. Le contexte C estimé à l'étape 150 pourra être de nature à provoquer une élaboration et une restitution d'une information caractéristique détaillée d'un article par exemple. Une proximité immédiate d'un tel objet estimée en l'étape 113 pourrait également être exploitée en l'étape
150 pour estimer un contexte C probable de collision avec ledit objet et ainsi provoquer une émission d'une alerte sonore IS et/ou vibratoire IV.
Une telle distance D séparant un objet 01 apparentant à une scène S capturée par le moyen de capture 14 du dispositif électronique 10 peut être réalisée à l'étape 113 par différentes techniques. Selon un mode de réalisation avantageux, une telle étape 113 peut consister, grâce à la connaissance de la classe OCj d'un objet 01 identifié, ladite classe ayant été déterminée préalablement à l'étape 120 lors de la constitution et l'enregistrement en mémoire de données 12 de l'avatar numérique OAi dudit objet 01, en la mise en œuvre d'une opération d'approximation de la distance D séparant l'objet 01 de l'utilisateur U en exploitant les dimensions relatives tirées de l'avatar numérique OAi au regard de dimensions « types » d'un objet étalon d'une même classe. En variante ou en complément, le procédé 100 pourrait mettre à profit, à l'étape 113, d'autres informations, à l'instar de mesures de distance par visée laser délivrées par un capteur additionnel d'un dispositif électronique 10 conforme à l'invention, un tel capteur n'étant pas non représenté en figure 1 par mesure de simplification.
Une telle mesure de distance D, mise en œuvre avantageusement en une étape 113 d'un procédé 100 conforme à l'invention, peut être également exploitée en une étape 111 pour estimer un degré de mobilité de l'utilisateur U d'un dispositif électronique 10 mettant en œuvre un tel procédé 100.
En effet, une telle étape 111 peut permettre de déterminer un type de mouvement M du dispositif électronique 10, parmi une pluralité de types de mouvements prédéterminée. Un tel type de mouvement peut ainsi être estimé par la comparaison de distances D séparant un même objet d'intérêt 01 du moyen de capture 14 de la scène d'étude S du dispositif électronique 10, lesdites distances D étant calculées à partir de k+1 représentations numériques Rt, Rt-1, ...Rt-k successives de ladite scène d'étude S. Connaissant 1'horodatage desdites représentations numériques, l'étape 111 peut consister à estimer un déplacement relatif de l'utilisateur U, pa rapport à l'objet 01 en analysant l'évolution desdites distances D. En variante ou en complément, une telle étape 111 peut consister en l'exploitation de données d'accélération délivrées par une centrale inertielle 17, avantageusement comprise dans ledit dispositif électronique 10 et coopérant avec l'unité de traitement 11 de ce dernier.
Un type d'environnement E d'un dispositif électronique 10 ayant été estimé par la mise en œuvre de l'étape 112, complété éventuellement par une estimation à l'étape 113 de la présence d'un objet majoritaire dans la scène d'étude S, assortie d'un calcul ou d'une estimation d'une ou plusieurs distances D séparant ledit dispositif électronique 10 d'un ou plusieurs objets d'intérêt identifiés 01 dans ladite scène d'étude S, voire encore de l'estimation de la mobilité M dudit dispositif électronique 10 en une étape 111, un procédé 100 peut ainsi mettre en œuvre une étape 150 pour estimer un contexte d'utilisation 0 dudit dispositif électronique 10 décrivant l'usage le plus probable dudit dispositif électronique 10 par son utilisateur U sur la base de ces éléments. Ces derniers ont avantageusement fait l'objet de mémorisations dans la mémoire de données 12, subséquentes à leurs élaborations respectives. En effet, les objets identifiés à l'étape 120 peuvent être traduits en des structures de données TO, TC, voire TR, le type d'environnement E, par exemple un lieu, peut être traduit en une structure simple ou complexe à l'étape 112, le type de mouvement M déterminé à l'étape optionnelle 111, ledit type de mouvement M pouvant être enreqistré, à l'étape 111 dans la mémoire de données 12, sous la forme d'une donnée simple ou complexe, selon que ledit type de mouvement M intègre ou non des caractéristiques complémentaires telles que, non limitativement, une vitesse de déplacement du dispositif électronique 10, une trajectoire de ce dernier, etc.
Une telle étape 150 peut alors prédire, via l'élaboration d'un contexte C, un usage estimé comme le plus probable d'un dispositif électronique 10 par son utilisateur U et donc des besoins de ce dernier en matière de description de son environnement. Une telle étape 150 peut consister en l'exécution d'un traitement ou un procédé analytique ou découler avantageusement, compte tenu de la pluralité et de la complexité des informations à prendre en considération, telles que E, D, M, TO, TC, de la mise en œuvre préalable d'un apprentissage profond d'un réseau neuronal par convolution ou de toute autre technologie équivalente.
Le contexte d'exploitation C estimé à l'étape 150 peut être exploité, en une étape 151 pour sélectionner un traitement particulier parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape 120 pour identifier un objet d'intérêt Ci au sein d'une représentation numérique Rt de la scène d'étude S. En effet, une telle étape 151 peut paramétrer ou choisir, selon le contexte d'utilisation estimé C dudit dispositif électronique 10, le traitement mis en œuvre par l'étape 120, par exemple, pour n'identifier que des objets d'intérêt de certaines classes ou de certaines dimensions, voire au sein de certaines zones de ladite représentation numérique Rt. En effet, selon le degré de mobilité d'un utilisateur U d'un dispositif électronique 10 mettant en œuvre un procédé 100 conforme à l'invention, ce dernier pourra considérer qu'il est peu probable que ledit utilisateur U puisse être intéressé par une description détaillée d'objets périphériques au regard de l'axe de capture AC du moyen de capture d'images 14. En revanche, ledit procédé 100 privilégiera l'identification et la description d'objets d'intérêt identifiés, dans le centre de la représentation numérique traduisant le champ de capture dudit capteur d'images 14, et susceptibles de se dresser sur le passage de 1 ' utilisateurs U. Les performances du procédé 100 peuvent ainsi être préservées et non dégradées par un traitement de multiples objets périphériques probablement de faible d'intérêt pour l'utilisateur U.
Un procédé 100 peut en outre comporter, en variante ou en complément, une étape 152 pour sélectionner un traitement particulier, parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape 130 pour produire une information caractéristique Oli en lien avec un objet d'intérêt Oi identifié, selon le contexte d'exploitation C estimé dudit dispositif électronique 10. En effet, lorsqu'un tel contexte d'exploitation estimé C traduit une situation selon laquelle un utilisateur U semble pointer le capteur d'images 14 de son dispositif électronique 10 sur un objet majoritaire, et qu'il s'avère que ledit objet est classé en tant que « carte » ou « menu d'un restaurant », ladite information caractéristique Oli produite à l'étape 130 pourra être le résultat de la mise en œuvre d'un procédé de reconnaissance de caractères listant les mets proposés par ledit restaurent. A l'inverse, un contexte d'exploitation C, estimé à l'étape 150 d'un procédé 100 conforme à l'invention, traduisant une mobilité de l'utilisateur U au sein d'un couloir à vitesse lente, provoquera la mise en œuvre à l'étape 130 d'un traitement pour produire une information caractéristique Oli sous la forme d'une description succincte d'un objet périphérique Oi, si ce dernier a, par exemple, été classé, c'est-à-dire associée à un identificateur de classe d'objet 00j, en tant que « panneau informatif », tel qu'une affiche de spectacle ou une signalétique apposée sur une porte, contrairement en la mise en œuvre invariable d'un traitement de reconnaissance de caractères ou d'éléments figuratifs sophistiquée.
Un procédé 100 conforme à l'invention peut en outre comporter une étape 153 pour sélectionner un traitement particulier parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape 140 pour provoquer une restitution d'une information caractéristique Oli d'un objet d'intérêt Oi par l'interface interface homme-machine de sortie 15 du dispositif électronique 10, selon le contexte d'exploitation C estimé dudit dispositif électronique 10 à l'étape 150.
A l'instar de la production, à l'étape 130, d'une information caractéristique Oli dont la teneur peut être rendue contextuelle grâce à l'invention, le choix du mode de restitution ou de sortie, à l'étape 140, de ladite information caractéristique Oli peut également dépendre du contexte d'exploitation C estimé à l'étape 150 d'un procédé 100 conforme à l'invention, tel que décrit à titre d'exemple préféré par la figure 3. Ainsi, selon ledit contexte C et donc de l'usage estimé comme étant le plus probable d'un dispositif électronique 10 conforme à l'invention, l'étape 153 peut provoquer une mise en œuvre d'une restitution sonore IS et/ou haptique IV adaptée audit usage à l'étape 140 d'un procédé 100 conforme à 1'invention.
Par exemple, lorsqu'un tel contexte C estimé à l'étape 150 estime que l'utilisateur U est en mobilité, une restitution haptique IV peut être privilégiée, pour la mise en œuvre de l'étape 140, pour orienter ledit utilisateur U tant que celui-ci demeure à une distance D raisonnable de tout obstacle. En revanche, une restitution sonore, par exemple sous la forme de signaux sonores facilement discriminables par l'utilisateur U, pourra être déclenchée par l'étape 140 sous l'influence de ladite étape 153, par une oreillette gauche ou droite, voire par les deux de manière concomitante pour alerter ledit utilisateur U de la proximité immédiate d'un obstacle sur sa gauche, sa droite ou face à lui. Alternativement, une telle étape 153 pourra provoquer une restitution sonore IS, à l'étape 140, beaucoup plus évoluée pour restituer une information caractéristique Oli également plus riche, et produite à l'étape 130 sous l'influence de la mise en œuvre d'une étape 152, en absence de mobilité, par exemple.
A l'instar de l'étape 150 pour estimer un contexte C d'exploitation d'un dispositif électronique conforme à l'invention, les étapes 151, 152 et/ou 153 pour sélectionner un traitement particulier pour la mise en œuvre respective des étapes 120, 130 et/ou 140 peuvent résulter d'une sollicitation d'un réseau neuronal convolutif de l'unité de traitement 11 dudit dispositif électronique 10 et/ou d'une machine à vecteurs de support de ladite unité de traitement 11, ledit réseau neuronal ayant fait l'objet d'une étape, non représentée en figure 3, d'entraînement ou apprentissage profond. Le choix desdits traitements particuliers consiste alors en une estimation réalisée par un tel réseau neuronal convolutif de l'unité de traitement dudit dispositif électronique 10.
Comme le décrit l'exemple illustré par la figure 3, un tel procédé 100 conforme à l'invention peut provoquer une mise en œuvre itérative des étapes 111 à 153 susmentionnées tant qu'un objet d'intérêt Ci, situation illustrée par le test 121 et le lien 121-y, demeure à identifier dans la représentation numérique Rt courante de la scène capturée S. Lorsque l'ensemble des objets d'intérêt a été traité, situation illustrée par le lien 121-n en figure 3, le procédé 100 s'achève. Une nouvelle capture de ladite scène d'étude S, par la mise en œuvre d'une nouvelle occurrence de l'étape 110 peut éventuellement être exécutée par l'unité de traitement du dispositif électronique mettant en œuvre ledit procédé 100, selon une période T donnée, par exemple toutes les secondes. Selon l'invention, une telle période T peut être variable et modifiée selon le contexte C estimé en une étape 150 durant une ou plusieurs itérations dudit procédé 100 .
Un tel procédé 100 peut très avantageusement être transcrit sous la forme d'instructions d'un produit programme d'ordinateur P exploitables par l'unité de traitement 11 d'un dispositif électronique 10 tel que celui-ci décrit à titre d'exemple non limitatif en lien avec les figures 1 et 2. Pour adapter un tel équipement ou ordinateur et rendre ce dernier conforme à l'invention, lesdites instructions de programme peuvent être enregistrées dans la mémoire de programmes 13 dudit dispositif électronique 10, de sorte que lorsqu'elles sont exécutées ou interprétées par ladite unité de traitement 11, lesdites instructions de programme provoquent la mise en œuvre d'un procédé pour délivrer une assistance à la reconnaissance et la description contextuelles d'un objet d'intérêt pour un utilisateur déficient visuel U conforme à l'invention, tel que le procédé 100 décrit en lien avec la figure 3.
L'invention a été décrite en lien avec un dispositif électronique dont on cherche à estimer l'usage le plus probable par un utilisateur déficient visuel, afin d'en modifier le fonctionnement, rendant ce dernier contextuel pour optimiser les interactions entre ledit dispositif électronique et son utilisateur. L'invention pourrait toutefois s'appliquer à un usage différent que celui visé à titre d'exemple d'application préférée comme, par exemple, pour décupler l'autonomie d'un utilisateur d'un dispositif électronique conforme à l'invention par une personne, bien qu'en pleine capacité visuelle, mais qui pour des raisons particulières, peut être plongée dans une obscurité obérant ses capacités sensorielles et cognitives. L'invention permet en outre de pouvoir informer un utilisateur d'un dispositif électronique, lequel utilisateur pouvant être physiquement distant ce de dernier, tel un pilote d'un drone, par exemple. Dans ce cas, ledit drone intégrerait au moins le capteur d'images 5 de la scène d'étude au sein de laquelle il évolue. Un tel utilisateur peut être considéré comme un utilisateur déficient visuel, au sens de l'invention, car privé de toute perception directe de l'environnement propre du dispositif électronique qu'il pilote ou supervise.

Claims (17)

  1. REVENDICATIONS
    1. Procédé (100) d'assistance à la reconnaissance et la description d'un objet d'intérêt (Oi) pour un utilisateur déficient visuel (U), ledit procédé (100) étant mis en œuvre par une unité de traitement (11) d'un dispositif électronique (10), véhiculé par ledit utilisateur (U), ledit dispositif électronique comportant en outre une mémoire de données (12), une mémoire de programmes (13), un capteur d'images (14), une interface homme-machine de sortie (15) agencée pour délivrer audit utilisateur (U) une information caractéristique (Oli) et intelligible par ledit utilisateur (U) en lien avec un tel objet d'intérêt (Oi), ledit procédé (100) comportant :
    - une étape (110) pour déclencher une capture d'une scène d'étude (S) par le capteur d'images (14) et produire une représentation numérique (Rt) de ladite scène (S) ;
    - une étape (120) pour identifier au moins un objet d'intérêt (Oi) au sein de ladite représentation numérique (Rt) et en produire un avatar numérique (OAi) enregistré dans la mémoire de données (12) ;
    - une étape (130) pour produire une information caractéristique (Oli) en lien avec un objet d'intérêt (Oi) identifié ;
    - une étape (140) pour provoquer une restitution de ladite information caractéristique (Oli) par l'interface homme-machine de sortie (15) ;
    ledit procédé (100) étant caractérisé en ce qu'il comprend :
    - une étape (112) pour déterminer un type d'environnement (E) du dispositif électronique (10), parmi une pluralité de types d'environnement prédéterminée ;
    - une étape (150) pour estimer un contexte d'utilisation (C) dudit dispositif électronique (10) sur la base dudit type d'environnement déterminé et d'un avatar numérique (OAi) d'un objet d'intérêt (01) identifié ;
    - une étape pour sélectionner (152) un traitement particulier, parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape (130) pour produire l'information caractéristique (Oil) d'un objet d'intérêt (01) identifié selon le contexte d'utilisation dudit dispositif électronique (10).
  2. 2. Procédé selon la revendication précédente, pour lequel l'étape (120) pour identifier un objet d'intérêt (01) au sein de ladite représentation numérique (Rt) et en produire un avatar numérique (OAi) consiste à inscrire (TO) en mémoire de données (12) un identifiant (OCj) d'une classe d'objets prédéterminée parmi une pluralité (001, OCj, OCm) pour chaque objet d'intérêt identifié (01).
  3. 3. Procédé selon la revendication précédente, pour lequel l'étape (112) pour déterminer un type d'environnement (E) du dispositif électronique (10) exploite le nombre d'occurrences (NOC1, NOCj, NOCm) d'au moins un identifiant de classe d'objets d'intérêt identifiés dont l'avatar numérique a été enregistré (TO) dans la mémoire de données (12).
  4. 4. Procédé selon l'une quelconque des revendications précédentes, pour lequel l'étape (112) pour déterminer un type d'environnement (E) du dispositif électronique (10) exploite une donnée délivrée par une interface homme-machine d'entrée (16) coopérant avec l'unité de traitement du dispositif électronique (10), et pour lequel, l'étape (150) pour estimer un contexte d'utilisation (C) dudit dispositif électronique (10) est en outre mise en œuvre selon le type d'environnement déterminé.
  5. 5. Procédé selon l'une quelconque des revendications précédentes, comportant une étape (111) pour déterminer un type de mouvement (M) du dispositif électronique (10), parmi une pluralité de types de mouvement prédéterminée, à partir d'une donnée délivrée par une centrale inertielle (17) comprise dans ledit dispositif électronique (10) et coopérant avec l'unité de traitement (11) et pour lequel, l'étape (150) pour estimer un contexte d'utilisation (C) dudit dispositif électronique (10) est en outre mise en œuvre selon ledit type de mouvement (M) déterminé.
  6. 6. Procédé selon l'une quelconque des revendications précédentes, comportant une étape (113) pour estimer une distance (D) séparant le dispositif électronique (10) de l'objet d'intérêt (01), et pour lequel, l'étape (150) pour estimer un contexte d'utilisation (0) dudit dispositif électronique (10) est en outre mise en œuvre sur la base de ladite distance (D) estimée.
  7. 7. Procédé selon l'une quelconque des revendications précédentes, comportant une étape (151) pour sélectionner un traitement particulier, parmi une pluralité de traitements possibles pour la mise en œuvre de l'étape (120) pour identifier un objet d'intérêt (01) au sein de ladite représentation numérique (Rt), selon le contexte d'utilisation (0) estimé dudit dispositif électronique (10).
  8. 8. Procédé selon l'une quelconque des revendications précédentes, comportant une étape (153) pour sélectionner un traitement particulier parmi une pluralité de traitements possibles, pour la mise en œuvre de l'étape (140) pour provoquer une restitution de l'information caractéristique (011) dudit objet d'intérêt (01) par l'interface hommemachine de sortie (15) selon le contexte d'utilisation estimé (0) dudit dispositif électronique (10).
  9. 9. Procédé selon l'une quelconque des revendications précédentes, pour lequel l'étape pour estimer (150) un contexte d'utilisation (C) du dispositif électronique (10) mettant en œuvre ledit procédé (100) consiste en une estimation réalisée par un réseau neuronal convolutif de l'unité de traitement (11) dudit dispositif électronique (10).
  10. 10. Procédé selon l'une quelconque des revendications 7 ou 8, pour lequel l'étape (151, 152, 153) pour sélectionner un traitement particulier consiste en une estimation réalisée par un réseau neuronal convolutif de l'unité de traitement (11) dudit dispositif électronique (10).
  11. 11. Procédé selon la revendication 9 ou 10, comportant une étape préalable d'apprentissage dudit réseau neuronal convolutif.
  12. 12. Produit programme d'ordinateur (P) comportant des instructions de programme exploitables par un ordinateur (10), qui, lorsqu'elles sont exécutées ou interprétées par une unité de traitement (11) dudit ordinateur (10), provoquent la mise en œuvre d'un procédé (100) d'assistance à la reconnaissance et à la description contextuelles d'un objet d'intérêt (Oi) pour un utilisateur déficient visuel (U) selon l'une quelconque des revendications 1 à 11.
  13. 13. Dispositif électronique (10) d'assistance à la reconnaissance d'un objet d'intérêt, agencé pour être véhiculé et utilisé par un utilisateur déficient visuel (U), ledit dispositif électronique (10) comportant une unité de traitement (11), une mémoire de données (12), une mémoire de programmes (13), un capteur d'images (14), une interface hommemachine de sortie (15) pour délivrer (IS, IV) audit utilisateur (U) une information caractéristique (Oil) et intelligible par ledit utilisateur (U) en lien avec un tel objet d'intérêt (01), caractérisé en ce que les instructions de programme d'un produit programme d'ordinateur (P) selon la revendication précédente sont inscrites dans la mémoire de programmes (13) dudit dispositif électronique (10).
  14. 14. Dispositif électronique (10) selon la revendication précédente, pour lequel le capteur d'images (14) est intégré dans le corps d'une paire de lunettes, de sorte que ledit capteur d'images (14) puisse capturer une scène d'étude (S) selon un axe de capture (AC) sensiblement normal au plan de la monture de ladite paires de lunettes (30).
  15. 15. Dispositif électronique (10) selon la revendication précédente, pour lequel l'unité de traitement (11), la mémoire de données (12) et/ou la mémoire de programmes (13) sont intégrés dans le corps de la paire de lunettes (30).
  16. 16. Dispositif électronique (10) selon la revendication
    13 ou 14, pour lequel l'unité de traitement (11), la mémoire de données (12) et/ou la mémoire de programmes (13) consistent en des moyens électroniques d'un téléphone mobile intelligent (20) .
  17. 17. Dispositif électronique (10) selon l'une quelconque des revendications 13 à 16, pour lequel l'interface homme-machine de sortie (15) pour délivrer (IS, IV) audit utilisateur (U) une information caractéristique (Oli) et intelligible par ledit utilisateur (U) en lien avec un tel objet d'intérêt (Oi) consiste en une oreillette électronique (40).
FR1860453A 2018-11-13 2018-11-13 Procede de reconnaissance et de description contextuelles d'un objet d'interet pour un utilisateur deficient visuel, dispositif mettant en oeuvre ledit procede Pending FR3088458A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1860453A FR3088458A1 (fr) 2018-11-13 2018-11-13 Procede de reconnaissance et de description contextuelles d'un objet d'interet pour un utilisateur deficient visuel, dispositif mettant en oeuvre ledit procede

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1860453A FR3088458A1 (fr) 2018-11-13 2018-11-13 Procede de reconnaissance et de description contextuelles d'un objet d'interet pour un utilisateur deficient visuel, dispositif mettant en oeuvre ledit procede

Publications (1)

Publication Number Publication Date
FR3088458A1 true FR3088458A1 (fr) 2020-05-15

Family

ID=65861408

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1860453A Pending FR3088458A1 (fr) 2018-11-13 2018-11-13 Procede de reconnaissance et de description contextuelles d'un objet d'interet pour un utilisateur deficient visuel, dispositif mettant en oeuvre ledit procede

Country Status (1)

Country Link
FR (1) FR3088458A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792930A (zh) * 2021-04-26 2021-12-14 青岛大学 盲人行走轨迹预测方法、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049431A1 (en) * 2008-04-30 2010-02-25 Rafael Maya Zetune Navigation Using Portable Reading Machine
US20160080897A1 (en) * 2014-09-17 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100049431A1 (en) * 2008-04-30 2010-02-25 Rafael Maya Zetune Navigation Using Portable Reading Machine
US20160080897A1 (en) * 2014-09-17 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUSSAIN JAMIL ET AL: "Model-based adaptive user interface based on context and user experience evaluation", JOURNAL ON MULTIMODAL USER INTERFACES, SPRINGER BERLIN HEIDELBERG, BERLIN/HEIDELBERG, vol. 12, no. 1, 28 February 2018 (2018-02-28), pages 1 - 16, XP036424121, ISSN: 1783-7677, [retrieved on 20180201], DOI: 10.1007/S12193-018-0258-2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792930A (zh) * 2021-04-26 2021-12-14 青岛大学 盲人行走轨迹预测方法、电子设备及存储介质
CN113792930B (zh) * 2021-04-26 2023-08-22 青岛大学 盲人行走轨迹预测方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109446947B (zh) 视频中的增强的脸部识别
CN105144022B (zh) 头戴式显示器资源管理
CN105934760A (zh) 利用计算机视觉辅助的适应性图像搜索
FR2960986A1 (fr) Procede de selection d’un objet dans un environnement virtuel
CN111506758B (zh) 物品名称确定方法、装置、计算机设备及存储介质
WO2018091856A1 (fr) Dispositif à casque audio, perfectionné
CN108270794B (zh) 内容发布方法、装置及可读介质
CN110826358A (zh) 动物情绪的识别方法、装置及存储介质
FR2913510A1 (fr) Procede pour determiner automatiquement une probabilite de saisie d'images avec un terminal a partir de donnees contextuelles
CN111368127B (zh) 图像处理方法、装置、计算机设备及存储介质
WO2017093439A1 (fr) Dispositif de commande vocale d'un appareil de capture d'images
CN112115282A (zh) 基于搜索的问答方法、装置、设备及存储介质
EP3087727B1 (fr) Dispositif d'autoportrait base sur les emotions
CN117157609A (zh) 具有触觉反馈响应的虚拟现实界面
CN113269612A (zh) 物品推荐方法、装置、电子设备及存储介质
CN116670635A (zh) 具有触觉反馈的实时视频通信界面
FR2799911A1 (fr) Systeme de controle du stress
FR3088458A1 (fr) Procede de reconnaissance et de description contextuelles d'un objet d'interet pour un utilisateur deficient visuel, dispositif mettant en oeuvre ledit procede
US20150081699A1 (en) Apparatus, Method and Computer Program for Capturing Media Items
CN114385854A (zh) 资源推荐方法、装置、电子设备及存储介质
CN111982293B (zh) 体温测量方法、装置、电子设备及存储介质
FR3110736A1 (fr) Dispositif et procédé pour fournir des informations d’assistance à un utilisateur malvoyant ou aveugle
JP2020190860A (ja) 注文端末、注文システム、注文受付方法、注文処理装置、及びプログラム
FR3080926A1 (fr) Procede de commande d'une pluralite d'effecteurs d'un robot
FR3078580A1 (fr) Procede, dispositif portatif informatise et systeme de visite augmentee d'un site

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20200515

PLFP Fee payment

Year of fee payment: 3

RX Complete rejection

Effective date: 20211117