EP4533285A1 - Recommandation de données textuelles en cours d'acquisition - Google Patents

Recommandation de données textuelles en cours d'acquisition

Info

Publication number
EP4533285A1
EP4533285A1 EP23732387.8A EP23732387A EP4533285A1 EP 4533285 A1 EP4533285 A1 EP 4533285A1 EP 23732387 A EP23732387 A EP 23732387A EP 4533285 A1 EP4533285 A1 EP 4533285A1
Authority
EP
European Patent Office
Prior art keywords
data
textual data
recommendation
semantic
textual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP23732387.8A
Other languages
German (de)
English (en)
Inventor
Sonia Laurent
Jean François LETELLIER
Mickael LE TROCQUER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP4533285A1 publication Critical patent/EP4533285A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Definitions

  • a user may have to open an application, look for information useful for a current task, then open a second application and enter textual data by copying some of the information previously found.
  • This disclosure improves the situation.
  • the method may comprise an identification of at least part of the required textual data among the obtained textual data (S7), and said recommendation is a function of the identified textual data.
  • said required data is data being written by a user of said device.
  • said semantic similarity takes into account a similarity between a first semantic graph established for said data obtained and a second semantic graph established for said required data.
  • the method comprises: - establish a first semantic graph at least based on required textual data, - obtain textual data from data from at least one source, and establish at least a second semantic graph based on the textual data obtained, - carry out an at least partial similarity search between the first and second semantic graphs to identify at least part of the required textual data among the textual data obtained, and - issue a recommendation based on the textual data identified.
  • the data from the source is deemed reliable and can therefore constitute reference data.
  • the method then provides assistance to a user to easily enter reliable textual data, which may be required for example by an application in embodiments presented later.
  • the method can then include: - establish the first semantic graph at least based on textual data to be verified, - carry out an at least partial similarity search between the first and second semantic graphs to identify at least part of the textual data to be verified among the textual data obtained, and - issue a recommendation for correction if data from the identified part differs from the corresponding textual data obtained.
  • Such an implementation can thus, at least in certain embodiments, help to detect for example errors in data required and typically being entered, and then recommend corrections of these errors.
  • the required data may be required, for example, by a computer application running and requesting the required data.
  • the method can then also include cooperation with such a computer application.
  • such an application can animate the presentation of an online form on an active web page, and thus wait for (i.e. request) data to be entered by a user.
  • such an application can convert image data being acquired by a camera into textual data (by optical character recognition). These images can represent, for example, characters on a sheet of paper (for example a paper form) or a whiteboard, in particular handwritten characters, being entered by a user.
  • the method may include, in one embodiment: - animate a man-machine interface connected to the computing device, and - send a message via the man-machine interface corresponding to said recommendation.
  • the man-machine interface can be an interface integrated into the device or an interface coupled to the device via wired and/or wireless communication means.
  • the man-machine interface may include a screen displaying at least a first window specific to the computer application, and the method comprises: - control a display on the screen of said recommendation in a second window, simultaneously with the first window.
  • Such an implementation can, at least in certain embodiments, contribute to improving the ergonomics of the user interface, the recommendation being displayed for example "above” a window specific to the current application (for example example in transparency).
  • the aforementioned recommendation may directly include the identified textual data
  • the method comprises: - supply the computer application with the identified textual data.
  • the textual data required by the application is directly provided to the application, without user intervention.
  • data for a destination city “Rennes” and travel date “Jan. 7.” 2022” are completed directly in the online form. The user can of course correct this data later, if necessary.
  • a semantic analysis of this required data can lead to the first aforementioned graph and a semantic analysis of the chat of the can lead to the second aforementioned graph.
  • these first and second semantic graphs are tree-like and include: * nodes representative of predicates, and * sheets representative of textual data and responding to predicates.
  • the process can then include: - identify nodes with common predicates between the first and second graphs, and - select leaves from common predicate nodes in the second graph, said selected sheets corresponding to said portion of the required textual data from the obtained textual data.
  • a search is carried out for common nodes in the graphs to deduce the leaves coming from these nodes in the second graph and which correspond to relevant responses to provide the required data.
  • Data from sources can be in different forms. For example, it may be image data comprising text, and the method may then include: - process this image data by character recognition to obtain textual data.
  • the reference textual data can come from an image such as a digital photograph, a digital video, in any format.
  • data from a source may be sound data
  • the method may include: - process said sound data to detect speech signals and convert the speech signals into textual data.
  • the reference textual data comes for example from an audio recording.
  • data from a source may come from a computer device for entering handwritten characters, and the method may include: - implement handwritten character recognition to convert entered characters into textual data.
  • the reference textual data can here come from a connected whiteboard or a graphics tablet with handwritten character recognition, or others.
  • the required textual data can themselves come from an analysis of image data of the aforementioned type, or even from audio content, or even from a file acquired by handwritten character recognition.
  • the reference data and/or the requested data may come from editable text files (for example in “doc” or “docx” format) or from non-editable text (for example in “pdf” format).
  • at least part of the textual data obtained can be recorded in the memory of the computing device with data relating to a type of source from which they come.
  • certain referent data non-editable for example
  • can "be authentic” in relation to others for example editable text which may include typing errors typically .
  • referent data coming from a trusted source such as an official source (for example an institutional or government site) can be authentic in relation to other referent data coming from any source.
  • the data from at least one source are recorded in the memory of the computing device for a first duration (which can be chosen and for example configurable), after a final use for implementing the method.
  • Such an implementation makes it possible to keep in memory (buffer for example) the most frequently consulted data and, on the other hand, to erase reference data which have not been used since the first duration, mentioned above.
  • the method may include the implementation of artificial intelligence programmed to learn, based on user feedback, relevant recommendations, and select after learning a relevant recommendation to issue based on the identified textual data .
  • artificial intelligence can help to immediately rule out the sheets corresponding to recommendations that would be rejected by the user.
  • a computing device comprising a processing circuit configured for implementing the method according to the present.
  • FIG. 1 illustrates an example of a reference data source for establishing a “second graph” as defined above.
  • FIG. 1 illustrates an example of a data acquisition context, here an application running and requiring textual data.
  • first graph (as defined above), established from the data required in the context of the .
  • FIG. 1 illustrates an interface animation to offer a recommendation to a user.
  • FIG. 1 illustrates an example of a computer device for implementing the method.
  • a context of use is detected.
  • This context can be detected for example if an application requiring textual data is running (test of step S11) and for example if the user of the device has recently consulted or is still consulting a document (test of the step S12).
  • This document can be text in non-editable format (such as “pdf” for example), or a digital image, or text in editable format, or others.
  • “recently” the fact that the consultation of this document dates back less than an hour for example, or even less than a few days, depending on the relevance of the document (as presented below with reference to steps S8 and S9 ).
  • the determination of this context according to steps S11 and S12 is an optional example and represented for this purpose by dotted lines.
  • the user can for example write information on a whiteboard or a white sheet, and a camera (for example on connected glasses) acquires the information being written.
  • This context can also be identified in the sense of step S1 and recognition of characters written on the sheet or table can be carried out for: - determine textual data being written by the user, and - identify whether such data can be corrected (for example a form filled out by hand by a user as in an example presented below) or simply completed.
  • textual data are required within the meaning of step S13, to be able to carry out a verification and possibly a correction of the data being entered or even to complete the data being entered.
  • This verification and/or completeness of the data being entered can be carried out on the basis of reference textual data, as explained below.
  • TXT2 reference textual data comes from one or more sources (other than the running application for example).
  • these sources can be files stored at least temporarily in a MEM memory of a device according to the present description, or even web pages recently (or frequently) consulted by the user.
  • files image files containing text, or editable text files, or others
  • files can be stored in a dedicated memory area, to be consulted by the method described here, in order to identify TXT2 textual data there. which can be used as reference data.
  • character recognition can help determine whether the textual data resulting from the conversion of the image to text can be used as reference data.
  • these files can be stored in the aforementioned memory area with indexing of the nature of the data which can be used, for example: - data specific to the user's identity (data from a user's identity card, or social security card or other), - data acquired in a professional setting, - etc.
  • step S14 of the a semantic analysis of the questions asked in the execution of the application, or even of the textual data being written by the user, makes it possible to establish a semantic graph in step S5.
  • This GRAPH1 semantic graph can for example be in the form of a tree in abstract semantic representation, for example in “AMR” (for “Abstract Meaning Representation”, in French “abstract semantic representation”). It is recalled that AMR is a semantic representation computer language.
  • AMR graphs can represent one or more entire sentences. AMR differs from syntactic analysis in particular in that different sentences, but with similar meanings, can have the same AMR graph, even if they are not formulated in the same way.
  • a tree graph notably of the AMR type, then includes nodes and leaves, the leaves being answers to questions represented by nodes (or “predicates”) upstream. For example, “5:30 p.m.” can be a leaf of a predicate node "what time?"”.
  • the establishment of this GRAPH1 graph can make it possible to establish a structure of the textual data required to identify the textual data of the source which can correspond to the required data.
  • the method also proposes a semantic analysis of the reference data TXT2 in step S3, as well as the establishment of a semantic graph GRAPH2 of the same nature (for example AMR) in step S4, based on this reference data .
  • the selection of a source in step S2 can also be a function of the required textual data if the files corresponding to the different sources are indexed in memory according to particular themes.
  • files relating to the theme “user identity” can be selected and analyzed semantically (after possible conversion into textual data), if predicates of the GRAPH1 graph of the required data TXT1 correspond to this theme (by asking the question “ social security number?” for example).
  • Step S6 then consists of comparing the two graphs GRAPH1 and GRAPH2 to identify similarities, particularly at the predicate level. For example, if common nodes are identified between the two graphs, the leaves of the second GRAPH2 graph resulting from these nodes can be answers to questions formulated in the predicates of the first GRAPH1 graph. Thus, these responses can correspond to the textual data required in step S13.
  • the reference textual data TXT2 can thus make it possible to formulate recommendations in step S7, aimed at answering the questions of the first GRAPH1 graph, or possibly correcting leaves of the first GRAPH1 graph.
  • these recommendations in the form of textual data, can directly feed the running application (without user intervention), or even be presented to the user in step S15 .
  • a man-machine interface can be animated to display on a screen a window presenting a text corresponding to the recommendation (in transparency or next to the form of the web page, or on the lenses of glasses connected in augmented reality when the user writes on a sheet or a table).
  • the man-machine interface can include an audio headset and a recommendation message can be played on this audio headset (the message indicating for example the required textual data or even a recommendation to correct text entered by the 'user).
  • the reference data from the aforementioned sources in step S2 makes it possible to assist in providing data required by an application or by the user in an activity of entering such data (this assistance can be provided via the animation of the aforementioned man-machine interface).
  • the sources providing this reference data can, for this purpose, be stored in memory as indicated previously. However, to avoid loading the memory and/or avoid offering irrelevant reference data, a test can be carried out in step S8 to determine whether the user validates the recommendation by entering the required data. If this is not the case, the references of the file as a source of referent data can be deleted from the memory in step S10. For example, artificial intelligence can be implemented to determine the data sources to retain and which may be relevant, by learning according to the validations of the recommendations made by the user. In addition or as a variant, in step S9, if a source has not been used for a threshold duration (for example a few days or more), the reference to this source in the memory can be erased in step S10.
  • a threshold duration for example a few days or more
  • such an implementation can make it possible in particular to help the user enter data, by directly feeding the application requiring this data (the user being able to check, for example, that the data of an online form, filled directly without its intervention, are correct), or by offering an animation of a man-machine interface. It is thus proposed an improvement (for example an optimization) of the interactions between applications that a user can use by positioning themselves for example "above” (along a Z axis "of a display screen" as illustrated in the presented far), or next to it (along the X, Y axes) or more generally via the superposition of information in the case of augmented reality glasses, by combining and linking the information useful to the user's activity.
  • Actions between applications are assumed to be linked together, for example according to preferential rules that the user sets in the aforementioned computer program (and which can be refined by learning artificial intelligence).
  • the application of these rules can follow, for example, the detection of words or sentences visible on the screen (independently of the application in use).
  • computer modules such as an optical character recognition (or “OCR”) application, an abstract semantic representation (or “AMR”) computer application, a predicate identification computer program can be implemented. similar in graphs and search answer sheets.
  • step S1 Examples of techniques for identification of acquisition context within the meaning of step S1 are presented below, with the aim of proposing for example a man-machine interface animation in a context of restitution of the required data.
  • a first functional brick identifies, for example, the applications in use on the user's screen(s). If it is an implementation in an augmented reality environment, the first functional brick identifies the real or virtual areas which have the user's attention. This identification can be carried out by eye tracking (or “Eye Tracking”), and/or by tracking presses on a tactile surface (or “pad”), and/or by tracking another input interface such as a mouse ( or “mouse tracking”), or more generally by tracking system events.
  • This step makes it possible, for example, to extract images from application areas observed by the user or to produce such images.
  • the apparent texts can then be extracted from the images. Their positions in the images can be stored in memory. A semantic analysis of the apparent texts is carried out to establish a semantic graph for each image.
  • the text attributes are: - “my travel management application” at position I2: X,Y (NE), - “flight/train” “hotel” “car” “door to door” in position I3: X,Y, - “round trip” “one way” in position I4: X,Y, - “desktop” in position I5: X,Y - “To enter a location” in position I6: X,Y - " When ? » in position I7: X,Y (NE) - “Go” in position I8: X,Y (NE) - “Thursday February 10, 2022” in position I9: X,Y - “12:30” in position I10: X,Y,
  • a semantic graphic representation of the extracted texts can for example be produced using the abstract semantic representation (AMR) technique.
  • AMR abstract semantic representation
  • Other techniques for graphically rendering the meaning of sentences can also be used.
  • the semantic graph presents subjects and arguments according to a tree as illustrated by way of example on the .
  • the tree of corresponds more precisely to the semantic representation of image 1 of the .
  • attributes such as the X/Y position of the text and its characteristics (editable or non-editable text) can also be stored in memory.
  • the text extracted from image 2 can be: "my travel management app” "flight/train hotel car” "door to door” “round trip / one way” "office” “position A” “enter a places” “When? Go” “Thursday February 10, 2022” (the latter indication coming by default for example).
  • the graphs produced can be very close and the comparison of graphs can alone reveal correspondences between data from images 1 and 2 displayed on the screen.
  • the predicates can be different but still semantically close. For example: “t/travel” and “g/go”, in terms of their arguments, are close (“start point”, “end point”, “traveller”, “goer”) (where the argument “goer” represents an entity in motion (“entity in motion” according to English terminology)
  • prior programming can be proposed listing the general similarities between predicates so that a similarity of AMR predicates can be identified between two graphs to achieve a correspondence between information in these respective graphs.
  • a GRAPH1 graph corresponding for example to an editing zone on the screen of the device can thus be completed (at least partially) by elements of one or more other GRAPH2 graphs (“input” elements as input) of data from other sources (for example the recent chat of the ).
  • these elements can be proposed in a recommendation.
  • This recommendation can be displayed for example in the form of a window which opens on the user's screen (animation of the man-machine interface of step S15 above), "above » of the other windows as shown in the in order to offer these elements to the user and, if the latter accepts it, to fill in, with these elements, the data required in the current application (“Rennes”, “Monday January 7, 2022”).
  • the text proposed in semantic context can be directly entered into the application if the user agrees with the recommendation made (ie if the device's understanding of the task to be executed seems correct).
  • the user interface window which opens can for example be positioned over the other active windows and as close as possible to the applications concerned, for example in transparency, as illustrated in the . It can also be animated (alternatively or in addition) a sound interface (with voice synthesis for example) to guide the user in entering numbers for example or to spell out a city, or others.
  • Establishing recommendations can also implement a learning module. For example, if the action proposed in the created interface is successfully executed (therefore validated by the user), it can then be submitted again in future uses.
  • a recommendation window opening can also be implemented when the semantic links have been validated during previous uses, typically.
  • corrections are recommended to the user, following the entry of textual data, carried out by themselves.
  • the user has augmented reality glasses.
  • Such glasses are equipped with a camera module capable of acquiring an image that the user views and of analyzing this image in particular to detect typically written characters.
  • the user views a social security card for a few seconds.
  • the above method can be implemented to convert the acquired image data into textual data (by character recognition). The following information is thus extracted, for example: - “health insurance card: 290042216205897”, and - “issued on August 9, 2002”.
  • a “pop-up” window warns the user through a graphical interface (with a superposition of the recommendation message as close as possible to the erroneous information).
  • a sound interface can emit an error message (for example a beep or a voice message giving the recommendation: here, the valid number) on an audio headset, depending on the user's preferences.
  • the above method can thus be applied in different environments, in particular fully digital working environments and/or in virtual or augmented reality, and offer, in at least one embodiment, assistance in the use of at least an application.
  • the method can help users combine different applications to complete a task.
  • the implementation of the method, as illustrated in the use cases above can be carried out in real time, and provide a dynamic, contextual aspect of the managed data (unlike "cold data"). ").
  • the sources used can provide a local character to the execution of the method (for example without using internet data, if necessary), therefore offering advantages in terms of of data protection (or “privacy”) unlike recourse to a shared knowledge base for example, and this from a current user experience on a device such as a terminal, typically.
  • a DIS device for implementing the method defined above, which may typically comprise a processing circuit equipped with at least: - a first interface INT1, for receiving reference data (for example in the form of image files, or data from a connected board, or others) coming from different sources (SOU1, SOU2, etc.), these data being able to be recorded in MEM memory, at least temporarily, - a processor PROC and the memory MEM, this memory MEM being able to further store in particular instruction code data of a computer program within the meaning of the present disclosure, the memory being accessible by the processor PROC to read these instruction codes instructions and carry out the process presented above, and - a second interface INT2 controlling equipment of an HMI man-machine interface such as a screen (for opening recommendation windows) and/or an audio headset, or others.
  • a first interface INT1 for receiving reference data (for example in the form of image files, or data from a connected board, or others) coming from different sources (SOU1, SOU2, etc.), these data being able to be recorded in

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Il est proposé un dispositif informatique pour une assistance à l'acquisition de données textuelles requises (S13), le procédé comportant : - établir un premier graphe sémantique (S5) au moins en fonction desdites données textuelles requises, - obtenir des données textuelles à partir de données issues d'au moins une source (S2), et établir au moins un deuxième graphe sémantique (S4) en fonction des données textuelles obtenues, - effectuer une recherche de similarité (S6) au moins partielle entre les premier et deuxième graphes sémantiques pour identifier au moins une partie des données textuelles requises parmi les données textuelles obtenues (S7), et - émettre une recommandation fonction des données textuelles identifiées.

Description

    Recommandation de données textuelles en cours d’acquisition
  • La présente divulgation relève du domaine du traitement de données par des applications informatiques multiples.
    •
  • Dans un quotidien notamment professionnel et en particulier dans le cadre de « l’entreprise digitale », les utilisateurs requièrent l’exécution de processus informatiques divers. En particulier, ils peuvent contribuer à des projets multi-applications ou multi-supports (dont l’exécution peut nécessiter plusieurs applications (ou supports)).
  • Un utilisateur par exemple peut être amené à ouvrir une application, à y chercher des informations utiles à une tâche courante, puis à ouvrir une seconde application et y saisir des données textuelles en copiant certaines des informations précédemment trouvées.
  • Dans un autre exemple où un utilisateur lit une documentation ou un message d’une conversation, il peut déclencher une action en parallèle dans une autre application métier pour saisir des données textuelles en lien avec la documentation ou le message consulté (ou vice-versa).
  • La gestion de ces applications multiples par un utilisateur peut être fastidieuse et il est recherché un moyen informatique pour faciliter la navigation entre ces applications.
    • Résumé
  • La présente divulgation vient améliorer la situation.
  • Elle propose à cet effet un procédé mis en œuvre par un dispositif informatique, comportant :
  • - obtenir des données textuelles à partir de données issues d’au moins une source (S2), et
    - émettre une recommandation relative à des données requises par au moins une application informatique en cours d’exécution et avec laquelle au moins une interface utilisateur dudit dispositif permet une interaction, en fonction d’une similarité sémantique entre au moins certains desdites données obtenues et au moins certaines desdites données requises.
  • Dans au moins un mode de réalisation, le procédé peut comprendre une identification d’au moins une partie des données textuelles requises parmi les données textuelles obtenues (S7), et ladite recommandation est fonction des données textuelles identifiées.
  • Dans au moins un mode de réalisation, lesdites données requises sont des données en cours d’écriture par un utilisateur dudit dispositif.
  • Dans au moins un mode de réalisation, ladite recommandation comprend une proposition d’éléments corrigeant et/ou complétant lesdites données requises
  • Dans au moins un mode de réalisation, ladite similarité sémantique tient compte d’une similarité entre un premier graphe sémantique établi pour lesdites données obtenues et un second graphe sémantique établi pour lesdites données requises.
  • Ainsi, dans au moins un mode de réalisation, le procédé comporte :
    - établir un premier graphe sémantique au moins en fonction de données textuelles requises,
    - obtenir des données textuelles à partir de données issues d’au moins une source, et établir au moins un deuxième graphe sémantique en fonction des données textuelles obtenues,
    - effectuer une recherche de similarité au moins partielle entre les premier et deuxième graphes sémantiques pour identifier au moins une partie des données textuelles requises parmi les données textuelles obtenues, et
    - émettre une recommandation fonction des données textuelles identifiées.
  • On entend ici par « établissement d’un graphe sémantique », une analyse sémantique (et pas simplement lexicale) permettant de structurer les données textuelles selon par exemple une arborescence. Ainsi, la recherche de similarité précitée peut comporter l’identification d’une ou plusieurs branches comportant des éléments communs (des nœuds par exemple) entre les premier et deuxième graphes. L’établissement de tels graphes permet typiquement d'établir une structure des données textuelles requises pour identifier aisément les données textuelles de la source qui peuvent correspondre à ces données requises.
  • Les données issues de la source sont réputées fiables et peuvent constituer ainsi des données de référence. Ainsi, il est possible de compléter et/ou corriger des données du premier graphe en fonction des données du second graphe. Le procédé offre alors une assistance à un utilisateur pour saisir facilement des données textuelles fiables, qui peuvent être requises par exemple par une application dans des modes de réalisation présentés plus loin.
  • Dans au moins un mode de réalisation, le procédé peut comporter alors :
    - établir le premier graphe sémantique au moins en fonction de données textuelles à vérifier,
    - effectuer une recherche de similarité au moins partielle entre les premier et deuxième graphes sémantiques pour identifier au moins une partie des données textuelles à vérifier parmi les données textuelles obtenues, et
    - émettre une recommandation de correction si des données de la partie identifiée diffèrent des données textuelles correspondantes, obtenues.
  • Une telle réalisation peut ainsi, au moins dans certains modes de réalisation, aider à détecter par exemple des erreurs dans des données requises et en cours de saisie typiquement, et recommander alors des corrections de ces erreurs.
  • Comme indiqué ci-dessus, les données requises peuvent être requises par exemple par une application informatique en cours d’exécution et sollicitant les données requises. Dans au moins un mode de réalisation, le procédé peut alors comporter en outre une coopération avec une telle application informatique. Par exemple, une telle application peut animer la présentation d’un formulaire en ligne sur une page web active, et attendre ainsi (c’est-à-dire requérir) des données à saisir par un utilisateur. Selon un autre exemple, une telle application peut convertir des données d’images en cours d’acquisition par une caméra, en données textuelles (par reconnaissance optique de caractères). Ces images peuvent représenter par exemple des caractères sur une feuille de papier (par exemple un formulaire papier) ou un tableau blanc, notamment des caractères manuscrits, en cours de saisie par un utilisateur. Par exemple, dans ce cas, il peut être avantageux de mettre en œuvre une vérification des données textuelles déjà saisies par l’utilisateur pour lui suggérer des corrections, ou encore lui recommander de nouvelles données à saisir.
  • Pour générer ces recommandations, le procédé peut comporter, dans un mode de réalisation :
    - animer une interface homme-machine connectée au dispositif informatique, et
    - émettre un message via l’interface homme-machine correspondant à ladite recommandation.
  • Ce message peut mener à la suggestion de données à saisir, pour proposer à l’utilisateur les données textuelles à fournir à l’application informatique précitée. Un exemple d’une telle réalisation est illustré sur la montrant une fenêtre qui s’ouvre (en « pop-up ») pour suggérer une aide pendant que l’utilisateur tente de saisir des données, et s’il accepte l’aide proposée, le formulaire en ligne se remplit avec les données requises.
  • Selon les modes de réalisation, l’interface homme machine peut être une interface intégrée au dispositif ou une interface couplée au dispositif via des moyens de communication filaire et/ou sans fils.
  • Ainsi dans des exemples de réalisation, l’interface homme-machine peut comporter un écran affichant au moins une première fenêtre propre à l’application informatique, et le procédé comporte :
    - piloter un affichage sur l’écran de ladite recommandation dans une deuxième fenêtre, simultanément avec la première fenêtre.
  • Une telle réalisation peut, au moins dans certains modes de réalisation, participer à améliorer l’ergonomie de l’interface utilisateur, la recommandation s’affichant par exemple « au-dessus » d’une fenêtre propre à l’application en cours (par exemple en transparence).
  • Dans certains modes de réalisation, alternativement ou en complément, la recommandation précitée peut comporter directement les données textuelles identifiées, et le procédé comporte :
    - alimenter l’application informatique avec les données textuelles identifiées.
    Ainsi par exemple, les données textuelles requises par l’application sont directement fournies à l’application, sans intervention de l’utilisateur. Dans l’exemple illustré sur la , les données d’une ville de destination « Rennes » et de date de voyage « 7 jan. 2022 » sont directement remplies dans le formulaire en ligne. L’utilisateur peut bien entendu corriger ces données ultérieurement, si nécessaire.
  • Dans cet exemple de la , les données requises apparaissent dans une image illustrée sur la qui correspond à un chat de messagerie instantanée par exemple. Cette image est considérée ici comme une source de données de référence et le formulaire en ligne à remplir (accessible via une page web par exemple) de la correspond à l’application sollicitant les données requises.
  • Une analyse sémantique de ces données requises peut mener au premier graphe précité et une analyse sémantique du chat de la peut mener au deuxième graphe précité.
  • Dans au moins un mode de réalisation, ces premier et deuxième graphes sémantiques sont arborescents et comportent :
    * des nœuds représentatifs de prédicats, et
    * des feuilles représentatives de données textuelles et répondant aux prédicats.
    Le procédé peut alors comporter :
    - identifier des nœuds à prédicats communs entre les premier et deuxième graphes, et
    - sélectionner dans le deuxième graphe des feuilles issues des nœuds à prédicats communs,
    lesdites feuilles sélectionnées correspondant à ladite partie des données textuelles requises parmi les données textuelles obtenues.
  • Ainsi, dans une telle réalisation, il est mené une recherche de nœuds communs dans les graphes pour en déduire les feuilles issues de ces nœuds dans le deuxième graphe et qui correspondent à des réponses pertinentes pour fournir les données requises.
  • Dans l’exemple des figures 4 et 5, il peut être identifié les nœuds communs sous la branche d/date-entity correspondant à une date de future destination. Cette date du deuxième graphe de la donnant la réponse aux données requises sous les mêmes nœuds du premier graphe de la . Ainsi, la date (par exemple par défaut) du 10 février 2022 du premier graphe doit être corrigée en la date du 7 janvier donnée par le deuxième graphe.
  • Par exemple, ces premier et second graphes sémantiques peuvent être en langage informatique de représentation sémantique abstraite, ou « AMR » (pour « Abstract Meaning Representation », en français « représentation sémantique abstraite »).
  • Les données issues des sources peuvent être sous différentes formes. Par exemple, il peut s’agir de données d’image comportant du texte, et le procédé peut comporter alors :
    - traiter ces données d’image par reconnaissance de caractères pour obtenir des données textuelles.
  • Ainsi, les données textuelles de référence peuvent être issues d’une image telle qu’une photographie numérique, une vidéo numérique, selon un format quelconque.
  • Dans certains modes de réalisation, en complément ou en variante, des données issues d’une source peuvent être des données sonores, et le procédé peut comporter :
    - traiter lesdites données sonores pour détecter des signaux de parole et convertir les signaux de parole en données textuelles.
  • Dans ce cas, les données textuelles de référence sont issues par exemple d’un enregistrement audio.
  • Dans certains modes de réalisation, en complément ou en variante, des données d’une source peuvent être issues d’un dispositif informatique de saisie de caractères manuscrits, et le procédé peut comporter :
    - mettre en œuvre une reconnaissance de caractères manuscrits pour convertir les caractères saisis en données textuelles.
  • Par exemple, les données textuelles de référence peuvent ici être issues d’un tableau blanc connecté ou d’une tablette graphique à reconnaissance de caractères manuscrits, ou autres.
  • Dans certains modes de réalisation, alternativement ou en complément, les données textuelles requises peuvent elles-mêmes être issues d’une analyse de données d’image du type précité, ou encore d’un contenu audio, ou encore d’un fichier acquis par reconnaissance de caractères manuscrits.
  • Bien entendu, les données référentes et/ou les données requises peuvent être issues de fichiers de texte éditable (par exemple au format « doc » ou « docx ») ou de texte non éditable (par exemple au format « pdf »). Dans un mode de réalisation, une partie au moins des données textuelles obtenues peuvent être enregistrées en mémoire du dispositif informatique avec une donnée relative à un type de source dont elles sont issues. Ainsi par exemple en cas de conflit entre les réponses respectives données par différentes sources, certaines données référentes (non éditables par exemple) peuvent « faire foi » par rapport à d’autres (par exemple du texte éditable qui peut comporter des erreurs de saisie typiquement). Selon un autre exemple, des données référentes provenant d’une source de confiance, comme une source officielle (par exemple un site institutionnel ou gouvernemental) peuvent faire foi par rapport à d’autres données référentes provenant d’une source quelconque.
  • Dans un mode de réalisation, les données issues d’au moins une source sont enregistrées en mémoire du dispositif informatique pendant une première durée (qui peut être choisie et par exemple paramétrable), après une dernière utilisation pour la mise en œuvre du procédé.
  • Une telle réalisation permet de conserver en mémoire (tampon par exemple) les données les plus fréquemment consultées et d’effacer par contre des données de référence qui n’ont pas servi depuis la première durée, précitée.
  • Dans un mode de réalisation, le procédé peut comporter la mise en œuvre d’une intelligence artificielle programmée pour apprendre, en fonction de retours d’utilisateur, des recommandations pertinentes, et sélectionner après apprentissage une recommandation pertinente à émettre en fonction des données textuelles identifiées.
  • Ainsi par exemple, si plusieurs feuilles de graphe sont possibles lorsqu’on dispose de plus de deux graphes à comparer, l’intelligence artificielle peut aider à écarter d’emblée les feuilles correspondant aux recommandations qui seraient rejetées par l’utilisateur.
  • Selon un autre aspect, il est proposé un programme informatique comportant des instructions pour la mise en œuvre de tout ou partie d’un procédé tel que défini dans les présentes lorsque ce programme est exécuté par un processeur. Selon un autre aspect, il est proposé un support d’enregistrement non transitoire, lisible par un ordinateur, sur lequel est enregistré un tel programme.
  • Selon un autre aspect, il est proposé un dispositif informatique comportant un circuit de traitement configuré pour la mise en œuvre du procédé selon les présentes.
    •
  • D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
    • Fig. 1
  • illustre un exemple de procédé selon un mode de réalisation possible.
    • Fig. 2
  • illustre un exemple de source de données de référence pour l’établissement d’un « deuxième graphe » tel que défini ci-avant.
    • Fig. 3
  • illustre un exemple de contexte d’acquisition de données, ici une application en cours d’exécution et requérant des données textuelles.
    • Fig. 4
  • illustre un « deuxième graphe », établi d’après la source illustrée sur la .
    • Fig. 5
  • illustre un « premier graphe » (tel que défini ci-avant), établi à partir des données requises dans le contexte de la .
    • Fig. 6
  • illustre une animation d’interface pour proposer une recommandation à un utilisateur.
    • Fig. 7
  • illustre un exemple de dispositif informatique pour la mise en œuvre du procédé.
    •
  • La illustre, à titre d’exemple et de façon non limitative, une mise en œuvre du procédé objet de la présente demande par un dispositif informatique. En référence à la , lors d'une première étape S1, un contexte d'utilisation est détecté. Ce contexte peut être détecté par exemple si une application requérant des données textuelles est en cours d'exécution (test de l’étape S11) et par exemple si l'utilisateur du dispositif a récemment consulté ou consulte encore un document (test de l’étape S12). Ce document peut être du texte en format non éditable (type « pdf » par exemple), ou une image numérique, où du texte en format éditable, ou autres. On entend ici par « récemment » le fait que la consultation de ce document remonte à moins d’une heure par exemple, ou encore à moins de quelques jours, selon la pertinence du document (comme présenté plus loin en référence aux étapes S8 et S9).
  • Dans cet exemple, un utilisateur peut saisir des données textuelles dans le cadre de l’exécution de l’application à l’étape S11. Par exemple, cette application peut formuler des questions via une interface homme-machine du dispositif, et des réponses de l’utilisateur sont attendues pour être saisies. A titre d’exemple, il peut s’agir d’un formulaire en ligne à remplir par l’utilisateur, comme présenté plus loin en référence à la . Ainsi, des données textuelles (TXT1) sont requises par l’application à l’étape S13.
  • Bien entendu, la détermination de ce contexte selon les étapes S11 et S12 est un exemple optionnel et représenté à cet effet par des traits pointillés. Dans une variante, l'utilisateur peut par exemple écrire des informations sur un tableau blanc ou une feuille blanche, et une caméra (par exemple sur des lunettes connectées) acquière les informations en cours d’écriture. Ce contexte peut être identifié aussi au sens de l’étape S1 et une reconnaissance de caractères écrits sur la feuille ou le tableau peut être effectuée pour :
    - déterminer des données textuelles en cours d’écriture par l’utilisateur, et
    - identifier si de telles données peuvent être corrigées (par exemple un formulaire rempli à la main par un utilisateur comme dans un exemple de réalisation présenté plus loin) ou simplement complétées.
  • Ainsi, dans une telle réalisation encore, des données textuelles sont requises au sens de l'étape S13, pour pouvoir effectuer une vérification et éventuellement une correction des données en cours de saisie ou encore pour compléter les données en cours de saisie. Cette vérification et/ou complétude des données en cours de saisie peut être effectuée sur la base de données textuelles de référence, comme expliqué ci-après.
  • En référence maintenant à l'étape S2 de la , des données textuelles de référence TXT2 sont issues d’une ou plusieurs sources (autres que l’application en cours d’exécution par exemple). Par exemple, ces sources peuvent être des fichiers stockés au moins temporairement dans une mémoire MEM d’un dispositif selon la présente description, ou encore des pages web récemment (ou fréquemment) consultées par l'utilisateur. Par exemple, des fichiers (des fichiers images comportant du texte, ou des fichiers de texte éditable, ou autres) peuvent être stockés dans une zone mémoire dédiée, pour être consultés par le procédé décrit ici, afin d'y identifier des données textuel TXT2 qui peuvent être utilisées comme données de référence. Dans le cas d'un fichier image par exemple, une reconnaissance de caractères peut participer à déterminer si les données textuelles résultant de la conversion de l’image vers le texte peuvent être utilisées en tant que données de référence. Eventuellement, ces fichiers (ou des liens vers ces fichiers) peuvent être stockés dans la zone mémoire précitée avec une indexation de la nature des données qui peuvent être utilisées, par exemple :
    - des données propres à l’identité de l’utilisateur (données d’une carte d’identité de l’utilisateur, ou de sécurité sociale ou autre),
    - des données acquises dans un cadre professionnel,
    - etc.
  • En référence maintenant à l’étape S14 de la , une analyse sémantique des questions posées dans l'exécution de l'application, ou encore des données textuelles en cours d'écriture par l’utilisateur, permet d’établir un graphe sémantique à l’étape S5. Ce graphe sémantique GRAPH1 peut être par exemple sous la forme d'un arbre en représentation sémantique abstraite, par exemple en « AMR » (pour « Abstract Meaning Representation », en français « représentation sémantique abstraite »). Il est rappelé que l'AMR est un langage informatique de représentation sémantique. Les graphes AMR peuvent représenter une ou plusieurs phrases entières. L’AMR se distingue d’une analyse syntaxique notamment en ce que des phrases différentes, mais de sens similaire, peuvent avoir un même graphe AMR, même si elles ne sont pas formulées de manière identique. Un graphe arborescent notamment de type AMR comporte alors des nœuds et des feuilles, les feuilles étant des réponses à des questions représentées par des nœuds (ou « prédicats ») en amont. Par exemple, « 17h30 » peut être une feuille d’un nœud prédicat « à quelle heure ? ».
  • Ainsi, dans les modes de réalisation détaillés, l’établissement de ce graphe GRAPH1 peut permettre d'établir une structure des données textuelles requises pour identifier les données textuelles de la source qui peuvent correspondre aux données requises. En effet, suite à l’établissement de ce graphe GRAPH1 à l’étape S5 de la , le procédé propose aussi une analyse sémantique des données de référence TXT2 à l’étape S3, ainsi que l’établissement d’un graphe sémantique GRAPH2 de même nature (par exemple AMR) à l’étape S4, basé sur ces données de référence. La sélection d’une source à l’étape S2 peut d’ailleurs être fonction des données textuelles requises si les fichiers correspondant aux différentes sources sont indexés en mémoire en fonction de thèmes particuliers. Par exemple, les fichiers relatifs au thème « identité de l’utilisateur » peuvent être sélectionnés et analysés sémantiquement (après éventuelle conversion en données textuelles), si des prédicats du graphe GRAPH1 des données requises TXT1 correspondent à ce thème (en posant la question « numéro de sécurité sociale ? » par exemple).
  • L'étape S6 consiste ensuite à comparer les deux graphes GRAPH1 et GRAPH2 pour identifier des similarités notamment au niveau des prédicats. Par exemple, si des nœuds communs sont identifiés entre les deux graphes, les feuilles du deuxième graphe GRAPH2 issues de ces nœuds peuvent être des réponses à des questions formulées dans les prédicats du premier graphe GRAPH1. Ainsi, ces réponses peuvent correspondre aux données textuelles requises de l'étape S13. À l'issue de cette étape S6, les données textuelles de référence TXT2 peuvent ainsi permettre de formuler des recommandations à l’étape S7, visant à répondre aux questions du premier graphe GRAPH1, ou éventuellement à corriger des feuilles du premier graphe GRAPH1. Dans au moins certains modes de réalisation, ces recommandations, sous forme de données textuelles, peuvent directement alimenter l’application en cours d’exécution (sans intervention de l’utilisateur), ou encore être présentées à l’utilisateur à l’étape S15.
  • A cette étape S15, par exemple dans une application où l'utilisateur remplit un formulaire (en ligne sur une page web, ou de façon manuscrite sur une feuille de papier), une interface homme-machine peut être animée pour afficher sur un écran une fenêtre présentant un texte correspondant à la recommandation (en transparence ou à côté du formulaire de la page web, ou sur les verres de lunettes connectées en réalité augmentée lorsque l’utilisateur écrit sur une feuille ou un tableau). Alternativement, ou en complément, l'interface homme-machine peut comporter un casque audio et un message de recommandation peut être joué sur ce casque audio (le message indiquant par exemple les données textuelles requises ou encore une recommandation de corriger du texte saisi par l'utilisateur).
  • Ainsi, les données de référence issues des sources précitées à l’étape S2 permettent d'aider au renseignement de données requises par une application ou encore par l'utilisateur dans une activité de saisie de telles données (cette aide pouvant être fournie via l’animation de l'interface homme-machine précitée).
  • Les sources fournissant ces données de référence peuvent, à cet effet, être stockées en mémoire comme indiqué précédemment. Néanmoins, pour éviter de charger la mémoire et/ou éviter de proposer des données de référence non pertinentes, un test peut être mené à l’étape S8 pour déterminer si l’utilisateur valide la recommandation en saisissant les données requises. Si tel n’est pas le cas, les références du fichier comme source de données référentes peuvent être supprimées de la mémoire à l’étape S10. Par exemple, une intelligence artificielle peut être mise en œuvre pour déterminer les sources de données à retenir et qui peuvent être pertinentes, par apprentissage selon les validations des recommandations faites par l’utilisateur. En complément ou en variante, à l’étape S9, si une source n’est plus utilisée depuis une durée seuil (par exemple quelques jours ou plus), la référence à cette source dans la mémoire peut être effacée à l’étape S10.
  • Ainsi, une telle réalisation peut permettre notamment d’aider l’utilisateur à saisir des données, en alimentant directement l’application requérant ces données (l’utilisateur pouvant vérifier par exemple que les données d’un formulaire en ligne, remplies directement sans son intervention, sont correctes), ou encore en proposant une animation d’une interface homme-machine. Il est ainsi proposé une amélioration (par exemple une optimisation) des interactions entre des applications que peut utiliser un utilisateur en se positionnant par exemple « au-dessus » (selon un axe Z « d’un écran de visualisation » comme illustré sur la présentée loin) , ou à côté (selon des axes X, Y) ou plus généralement via la superposition d’informations dans le cas de lunettes de réalité augmentée, en combinant et en reliant les informations utiles à l’activité de l’utilisateur.
  • Les actions entre applications sont supposées reliées entre elles, selon par exemple des règles préférentielles que l’utilisateur fixe dans le programme informatique précité (et qui peuvent être affinées par apprentissage d’une intelligence artificielle). L’application de ces règles peut faire suite par exemple à la détection de mots ou phrases visibles à l’écran (indépendamment de l’application en cours d’utilisation). Ainsi, il peut être mis en œuvre des modules informatiques tels qu’une application de reconnaissance optique de caractères (ou « OCR »), une application informatique de représentation sémantique abstraite (ou « AMR »), un programme informatique d’identification de prédicats similaires dans les graphes et de recherche de feuilles réponses.
  • Des exemples de techniques pour une identification de contexte d’acquisition au sens de l’étape S1 sont présentés ci-après, dans le but de proposer par exemple une animation d’interface homme-machine dans un contexte de restitution des données requises.
  • On peut prévoir un module d’assistance multi-source requérant des entrées (« inputs ») d’un module d’analyse de contexte (« context analyzer »). Une première brique fonctionnelle identifie par exemple sur le ou les écrans de l’utilisateur les applications en cours d’utilisation. S’il s’agit d’une mise en œuvre dans un environnement de réalité augmentée, la première brique fonctionnelle identifie les zones réelles ou virtuelles qui ont l’attention de l’utilisateur. Cette identification peut être réalisée par suivi oculaire (ou « Eye Tracking »), et/ou par suivi d’appuis sur une surface tactile (ou « pad »), et/ou par suivi d’autre interface de saisie comme une souris (ou « mouse tracking »), ou plus généralement par suivi d’événements systèmes.
  • Cette étape permet par exemple d’extraire des images des zones applicatives observées par l’utilisateur ou de produire de telles images.
  • Pour un utilisateur qui observe deux applications distinctes régulièrement (avec par exemple des focus successifs vers les deux applications et/ou un déplacement du regard observé, détectés par mise en correspondance avec des positions X,Y des applications présentes à l’écran) et pendant un laps de temps configurable, deux images sont donc copiées et associées à ce laps de temps T (selon par exemple le test S12 présenté ci-avant).
  • La illustre un exemple d’application dans lequel un utilisateur d’une application de messagerie instantanée indique à un correspondant son désir de se rendre dans une ville à une certaine date. Il consulte parallèlement une autre application de réservation de moyen de transport en ligne pour se rendre à cette ville selon la . Deux images sont alors générées correspondant aux figures 2 et 3.
  • Bien entendu, le champ d’application du procédé peut s’étendre à un contexte de réalité virtuelle ou de réalité augmentée. Par exemple, des lunettes de réalité augmentée peuvent observer et représenter un tableau blanc (réel) et mettre en œuvre un procédé de reconnaissance de caractères manuscrits sur ce tableau à partir de l’acquisition d’une image réelle de ce tableau. Un écran de télévision qui restitue de l’information peut également faire l’objet de l’acquisition d’une image. Ainsi, il est possible de réaliser une composition de service dans un monde de réalité mixte (virtuelle/réelle).
  • Une reconnaissance optique des caractères présents sur les images ainsi copiées peut être réalisée, ainsi qu’une analyse précise des caractéristiques de ces zones de texte (pour identifier une zone éditable ou un libellé, par exemple). La récupération des caractères peut s’effectuer par exemple via une requête destinée au système d’exploitation de l’équipement informatique utilisé, ou, pour repérer une zone d’édition, par une analyse de l’apparence d’un pointeur de souris au survol de la zone comportant les caractères (le pointeur d’une souris n’étant plus une simple flèche sur une zone éditable par exemple), ou par l’apparence-même de la zone (par exemple avec ou sans une bordure, une couleur de fond différente, ou autres).
  • L’exemple des figures 2 et 3 porte sur des champs de texte plein mais il est possible d’accéder aussi à des contenus de texte issus de composants plus complexes tels qu’une liste déroulante, un bouton radio avec différentes rubriques écrites en fonction de la position du bouton, ou autres.
  • Les textes apparents peuvent alors être extraits des images. Leurs positions dans les images peuvent être conservées en mémoire. Il est réalisé une analyse sémantique des textes apparents pour établir un graphe sémantique pour chaque image.
  • Par exemple, dans les cas des figures 2 et 3, dans l’image 1 correspondant à la : « J’aurais besoin d’aller à Rennes le lundi 7 janvier prochain », les attributs de texte peuvent être « position I1 : X,Y / texte non éditable (= NE) ».
  • Dans l’image 2 ( ), les attributs de texte sont :
    - « mon application de gestion des voyages » à la position I2 : X,Y (NE),
    - « vol/train » « hôtel » « voiture » « porte à porte » en position I3 : X,Y ,
    - « aller retour » «aller simple » en position I4 : X,Y ,
    - « de bureau » en position I5 : X,Y
    - « A entrer un lieux » en position I6 : X,Y
    - « Quand ? » en position I7 : X,Y (NE)
    - « Aller » en position I8 : X,Y (NE)
    - « jeudi 10 février 2022 » en position I9 : X,Y
    - « 12h30 » en position I10 : X,Y ,
  • etc.
  • Une représentation graphique sémantique des textes extraits peut par exemple être réalisée à l’aide de la technique de représentation sémantique abstraite (AMR). D’autres techniques de restitution graphique du sens des phrases peuvent également être utilisées.
  • Le graphe sémantique présente des sujets et des arguments selon un arbre tel qu’illustré à titre d’exemple sur la . L’arbre de la correspond plus précisément à la représentation sémantique de l’image 1 de la . Pour au moins un nœud de l’arbre (par exemple pour chaque nœud), il peut être conservé en mémoire également les attributs tels que la position X/Y du texte et ses caractéristiques (texte éditable ou non éditable).
  • Le texte extrait de l’image 2 peut être : « mon application de gestion des voyages » « vol/train hôtel voiture » « porte à porte » « aller-retour / aller simple » « de bureau » « position A » « entrer un lieux » « Quand ? Aller » « jeudi 10 février 2022 » (cette dernière indication venant par défaut par exemple).
  • Dans certains contextes, les graphes produits peuvent être très proches et la comparaison de graphes peut révéler à elle seule des correspondances entre des données des images 1 et 2 affichées à l’écran. Néanmoins, dans certains cas, les prédicats peuvent être différents mais cependant proches sémantiquement. Par exemple : « t/travel » et « g/go », au regard de leurs arguments, sont proches (« start point », « end point », « traveller », « goer »)(où l’argument « goer » représente une entité en mouvement (« entity in motion » selon la terminologie anglaise))
  • Néanmoins, dans certains modes de réalisation, il peut être proposé une programmation préalable répertoriant les similarités générales entre prédicats de sorte qu’une similarité de prédicats d’AMR peut être identifiée entre deux graphes pour réaliser une correspondance entre informations de ces graphes respectifs.
  • Ainsi, un graphe GRAPH1 correspondant par exemple à une zone d’édition sur l’écran du dispositif (par exemple le formulaire de la ) peut ainsi être complété (au moins partiellement) par des éléments d’un ou plusieurs autres graphes GRAPH2 (éléments d’« inputs » en entrée) de données issues d’autres sources (par exemple le chat récent de la ). Ainsi, ces éléments peuvent être proposés dans une recommandation. Cette recommandation peut s’afficher par exemple sous la forme d’une fenêtre qui s’ouvre à l’écran de l’utilisateur (animation de l’interface homme-machine de l’étape S15 ci-dessus), « au-dessus » des autres fenêtres comme illustré sur la afin de proposer ces éléments à l’utilisateur et, si ce dernier l’accepte, de remplir, avec ces éléments, les données requises dans l’application en cours (« Rennes », « lundi 7 jan. 2022 »). Le texte proposé en contexte sémantique peut être directement saisi dans l’application si l’utilisateur est d’accord avec la recommandation faite (i.e. si la compréhension qu’a le dispositif de la tâche à exécuter lui semble correcte).
  • La fenêtre d’interface utilisateur qui s’ouvre peut par exemple se positionner sur les autres fenêtres actives et au plus près des applications concernées, par exemple en transparence, comme illustré sur la . Il peut être animé également (alternativement ou en complément) une interface sonore (avec synthèse vocale par exemple) pour guider l’utilisateur dans la saisie de chiffres par exemple ou pour épeler une ville, ou autres.
  • L’établissement de recommandations peut également mettre en œuvre un module d’apprentissage. Par exemple, si l’action proposée dans l’interface créée est bien exécutée (donc validée par l’utilisateur), elle peut ensuite être soumise à nouveau dans de futures utilisations. Une ouverture de fenêtre de recommandation peut être mise en œuvre aussi quand les liens sémantiques ont été validés au cours d’utilisations précédentes, typiquement.
  • Dans un autre cas d’usage ci-dessous, il est recommandé des corrections à l’utilisateur, suite à la saisie de données textuelles, réalisée par lui-même.
  • Dans ce scénario, ici de réalité mixte, l’utilisateur dispose de lunettes de réalité augmentée. De telles lunettes sont équipées d’un module à caméra capable d’acquérir une image que visualise l’utilisateur et d’analyser cette image notamment pour détecter des caractères écrits typiquement. L’utilisateur visualise par exemple une carte de sécurité sociale pendant quelques secondes. Le procédé ci-avant peut être mis en œuvre pour convertir les données d’image acquises en données textuelles (par reconnaissance de caractères). Il est ainsi extrait les informations suivantes par exemple :
    - « carte d'assurance maladie : 290042216205897 », et
    - « émise le 9 août 2002 ».
  • Le graphe sémantique GRAPH2 de ces données de référence permet d’identifier la feuille 290042216205897 comme correspondant à un prédicat de type « n/number ».
  • Ensuite, l’utilisateur remplit un formulaire en ligne qui demande : « Veuillez saisir votre numéro de carte d'assurance maladie : XXXXXX ». Ce faisant toutefois, l’utilisateur saisit par erreur : « 290042216205889. »
  • L’analyse sémantique de la question posée établit un graphe GRAPH1 dans lequel la réponse attendue succède au prédicat de type « n/number ». Néanmoins, la réponse saisie par l’utilisateur ne correspond pas à la réponse du graphe de référence GRAPH2 qui suit le prédicat de même type dans une branche similaire.
  • Il est ainsi détecté une erreur dans le nombre saisi et une fenêtre en « pop-up » prévient l’utilisateur au travers d’une interface graphique (avec une superposition du message de recommandation au plus près de l’information erronée). Alternativement, ou en complément, une interface sonore peut émettre un message d’erreur (par exemple un bip ou un message vocal donnant la recommandation : ici, le numéro valide) sur un casque audio, selon les préférences de l’utilisateur.
  • Le procédé ci-avant peut ainsi être appliqué dans différents environnements, notamment des environnements de travail entièrement digitaux et/ou en réalité virtuelle ou augmentée, et offrir, dans un moins un mode de réalisation, une assistance dans l’utilisation d’au moins une application. Par exemple, le procédé peut aider des utilisateurs à combiner différentes applications pour finaliser une tâche. En particulier, la mise en œuvre du procédé, comme illustrée dans les cas d’usage ci-avant, peut s’effectuer en temps réel, et procurer un aspect dynamique, contextuel, des données gérées (à l’inverse de « données froides »). Par ailleurs, au moins dans certains modes de réalisation, les sources utilisées (étape S2) peuvent procurer un caractère local à l’exécution du procédé (par exemple sans faire appel à des données internet, au besoin), offrant donc des avantages en termes de protection des données (ou « privacy ») à la différence d’un recours à une base de connaissance partagée par exemple, et ce à partir d’une expérience utilisateur en cours sur un dispositif tel qu’un terminal, typiquement.
  • On a illustré sur la un exemple de réalisation d’un tel dispositif DIS, pour la mise en œuvre du procédé défini ci-avant, pouvant comporter typiquement un circuit de traitement équipé d’au moins :
    - une première interface INT1, de réception de données de référence (par exemple sous la forme de fichiers image, ou de données d’un tableau connecté, ou autres) issues de différentes sources (SOU1, SOU2, etc.), ces données pouvant être enregistrées en mémoire MEM, au moins temporairement,
    - un processeur PROC et la mémoire MEM, cette mémoire MEM pouvant stocker en outre notamment des données de code d’instructions d'un programme informatique au sens de la présente divulgation, la mémoire étant accessible par le processeur PROC pour lire ces codes d’instructions et exécuter le procédé présenté ci-avant, et
    - une deuxième interface INT2 pilotant un équipement d’une interface homme-machine IHM tel qu’un écran (pour l’ouverture des fenêtres de recommandation) et/ou encore un casque audio, ou autres.
    •

Claims (16)

  1. Procédé mis en œuvre par un dispositif informatique, comportant :
    - obtenir des données textuelles à partir de données issues d’au moins une source (S2), et
    - émettre une recommandation relative à des données requises par au moins une application informatique en cours d’exécution et avec laquelle au moins une interface utilisateur dudit dispositif permet une interaction, en fonction d’une similarité sémantique entre au moins certains desdites données obtenues et au moins certaines desdites données requises.
  2. Procédé selon la revendication 1 comprenant une identification d’au moins une partie des données textuelles requises parmi les données textuelles obtenues (S7), et où ladite recommandation est fonction des données textuelles identifiées.
  3. Procédé selon la revendication 1 ou 2 où lesdites données requises sont des données en cours d’écriture par un utilisateur dudit dispositif.
  4. Procédé selon la revendication 1 à 3 où ladite recommandation comprend une proposition d’éléments corrigeant et/ou complétant lesdites données requises
  5. Procédé selon l’une des revendications 1 à 4 où ladite similarité sémantique tient compte d’une similarité entre un premier graphe sémantique établi pour lesdites données obtenues et un second graphe sémantique établi pour lesdites données requises.
  6. Procédé selon la revendication 1 à 5, le procédé comportant :
    - établir le premier graphe sémantique au moins en fonction de données textuelles à vérifier,
    - effectuer une recherche de similarité au moins partielle entre les premier et deuxième graphes sémantiques pour identifier au moins une partie des données textuelles à vérifier parmi les données textuelles obtenues, et
    - émettre une recommandation de correction si des données de la partie identifiée diffèrent des données textuelles correspondantes, obtenues.
  7. Procédé selon l’une des revendications 1 à 6, comportant :
    - animer une interface homme-machine connectée au dispositif informatique (S15), et
    - émettre un message via l’interface homme-machine correspondant à ladite recommandation.
  8. Procédé selon la revendication 7, dans lequel l’interface homme-machine comporte un écran (IHM) affichant au moins une première fenêtre propre à l’application informatique, et le procédé comporte :
    - piloter un affichage sur l’écran de ladite recommandation dans une deuxième fenêtre, simultanément avec la première fenêtre (FIG.6).
  9. Procédé selon l’une des revendications 1 à 8, dans lequel la recommandation comporte les données textuelles identifiées, et le procédé comporte :
    - alimenter l’application informatique avec les données textuelles identifiées.
  10. Procédé selon l'une au moins des revendications précédentes, dans lequel les premier et deuxième graphes sémantiques sont arborescents et comportent :
    * des nœuds représentatifs de prédicats, et
    * des feuilles représentatives de données textuelles et répondant aux prédicats,
    le procédé comportant (FIG.4, FIG.5) :
    - identifier des nœuds à prédicats communs entre les premier et deuxième graphes, et
    - sélectionner dans le deuxième graphe des feuilles issues des nœuds à prédicats communs,
    lesdites feuilles sélectionnées correspondant à ladite partie des données textuelles requises parmi les données textuelles obtenues.
  11. Procédé selon l’une au moins des revendications précédentes, dans lequel lesdits premier et second graphes sémantiques sont en langage informatique de représentation sémantique abstraite, ou « AMR ».
  12. Procédé selon l'une au moins des revendications précédentes, dans lequel lesdites données issues d’au moins une source sont des données d’image comportant du texte, et le procédé comporte :
    - traiter lesdites données d’image par reconnaissance de caractères (S2) pour obtenir des données textuelles (TXT2).
  13. Procédé selon l'une au moins des revendications précédentes, dans lequel lesdites données issues d’au moins une source sont des données sonores, et le procédé comporte :
    - traiter lesdites données sonores pour détecter des signaux de parole et convertir les signaux de parole en données textuelles.
  14. Procédé selon l’une au moins des revendications précédentes, dans lequel lesdites données issues d’au moins une source sont des données issues d’un dispositif informatique de saisie de caractères manuscrits, et le procédé comporte :
    - mettre en œuvre une reconnaissance de caractères manuscrits pour convertir les caractères saisis en données textuelles.
  15. Procédé selon l'une au moins des revendications précédentes, dans lequel lesdites données issues d’au moins une source sont enregistrées en mémoire du dispositif informatique pendant une première durée (S9), après une dernière utilisation pour la mise en œuvre du procédé.
  16. Procédé selon l'une au moins des revendications précédentes, comportant la mise en œuvre d’une intelligence artificielle programmée pour apprendre, en fonction de retours d’utilisateur, des recommandations pertinentes (S8, S10), et sélectionner après apprentissage une recommandation pertinente à émettre en fonction des données textuelles identifiées.
EP23732387.8A 2022-05-31 2023-05-26 Recommandation de données textuelles en cours d'acquisition Pending EP4533285A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2205195A FR3136071A1 (fr) 2022-05-31 2022-05-31 Recommandation de données textuelles en cours d’acquisition
PCT/EP2023/064274 WO2023232715A1 (fr) 2022-05-31 2023-05-26 Recommandation de données textuelles en cours d'acquisition

Publications (1)

Publication Number Publication Date
EP4533285A1 true EP4533285A1 (fr) 2025-04-09

Family

ID=82482862

Family Applications (1)

Application Number Title Priority Date Filing Date
EP23732387.8A Pending EP4533285A1 (fr) 2022-05-31 2023-05-26 Recommandation de données textuelles en cours d'acquisition

Country Status (5)

Country Link
US (1) US20250348680A1 (fr)
EP (1) EP4533285A1 (fr)
CN (1) CN119301584A (fr)
FR (1) FR3136071A1 (fr)
WO (1) WO2023232715A1 (fr)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12086541B2 (en) * 2019-09-04 2024-09-10 Brain Technologies, Inc. Natural query completion for a real-time morphing interface
US12182518B2 (en) * 2020-10-29 2024-12-31 Oracle International Corporation Relying on discourse analysis to answer complex questions by neural machine reading comprehension

Also Published As

Publication number Publication date
US20250348680A1 (en) 2025-11-13
FR3136071A1 (fr) 2023-12-01
CN119301584A (zh) 2025-01-10
WO2023232715A1 (fr) 2023-12-07

Similar Documents

Publication Publication Date Title
Valenzuela et al. How artificial intelligence constrains the human experience
Rodrigues et al. Open challenges of blind people using smartphones
Sharma et al. Disability-first design and creation of a dataset showing private visual information collected with people who are blind
Blandford et al. Qualitative HCI research: Going behind the scenes
Johnson GUI bloopers 2.0: common user interface design don'ts and dos
Duin et al. Writing futures: Collaborative, algorithmic, autonomous
Abel et al. The language of content strategy
Haba Data Augmentation with Python: Enhance deep learning accuracy with data augmentation methods for image, text, audio, and tabular data
Alharbi et al. Understanding emerging obfuscation technologies in visual description services for blind and low vision people
Devi et al. ChatGPT: Comprehensive study on generative AI tool
Kruger et al. Establishing a theoretical framework for AVT research: The importance of cognitive models
Mysore et al. Prototypical human-AI collaboration behaviors from LLM-Assisted writing in the wild
US20250181324A1 (en) Electronic device and method for providing code by using generative artificial intelligence model
Alenichev et al. Assembling a global health image: Ethical and pragmatic tensions through the lenses of photographers
WO2023232715A1 (fr) Recommandation de données textuelles en cours d'acquisition
Pearson et al. Excluded entailments and the de se/de re partition
Dale NLP startup funding in 2022
Jang An Integrative Framing Study of the Public Discourse around Artificial Intelligence (AI) Ethics
Jackson Attention for Sale: Youth Navigation of Autonomy and Commodification in the Social Media Attention Economy
Malevé Practices of benchmarking, vulnerability in the computer vision pipeline
Kim How Message Strategies, Visual Strategies and Technology Affordances Influence Donation on Facebook Fundraiser Pages
De León Moving to Responsive Web Design
Meeds et al. Comparing visual attention allocated to thematic, attribute and benefit sentences in advertising copy blocks: an eye tracking approach
Savant Al-Ṭabarī’s Unacknowledged Debt to Ibn Abī Ṭāhir Ṭayfūr
US12499316B2 (en) Method and apparatus for analyzing emotions of text and generating feedback responses on text

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20241127

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)