EP3891623A1 - Method for evaluating the body activity of a user - Google Patents

Method for evaluating the body activity of a user

Info

Publication number
EP3891623A1
EP3891623A1 EP19816379.2A EP19816379A EP3891623A1 EP 3891623 A1 EP3891623 A1 EP 3891623A1 EP 19816379 A EP19816379 A EP 19816379A EP 3891623 A1 EP3891623 A1 EP 3891623A1
Authority
EP
European Patent Office
Prior art keywords
user
data
given
date
bodily activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19816379.2A
Other languages
German (de)
French (fr)
Inventor
Grégoire LEFEBVRE
Paul COMPAGNON
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP3891623A1 publication Critical patent/EP3891623A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Definitions

  • the present invention relates generally to the field of remote measurement and monitoring of a person's bodily activity.
  • the invention relates more particularly to the measurement and remote monitoring of an indicator of autonomy of fragile or isolated people.
  • Other methods use motion detection sensors such as, for example, inertial sensors (experimental equipment, smartphones, connected watches) and / or visual sensors (cameras installed in the measurement location) in order to be able to deduce data from these sensors, the subject's movements.
  • the identified movement data are then classified by type of movement or posture (sitting, standing, lying, walking, running, etc.) and these methods compare the subject's movements carried out in real time with the classified movement data, in order to identify abnormal behavior and sound an alarm to a third party.
  • supervised methods require the implementation of a reference movement database. The data in this database is compared with the data from the sensors, in order to deduce the gesture made by the subject.
  • One of the aims of the invention is to remedy the drawbacks of the aforementioned state of the art.
  • an object of the present invention relates to a method for evaluating the bodily activity of a user, implemented by a computing device, characterized in that it comprises the following: - on a given date and for a given duration, acquire movement data of said user from a movement sensor,
  • the acquired movement data are raw data.
  • Raw data is understood to mean data originating essentially from the movements of said user. This data does not include additional data such as data from models representative of movements of other users.
  • a distribution of this raw data in different groups of data corresponding respectively to different types of movement amounts to classifying this raw data into at least one class of data, according to at least one unsupervised classification method.
  • the data class thus represents an anonymized posture of the person.
  • the invention it is possible to evaluate almost in real time (from period to given period) the variations in activity of a user, by comparing the data structures calculated on the given date and for the given duration with at least one other data structure calculated on a date prior to said given date and for a given duration which is the same as the duration on said given date. Taking into account the acquisition, distribution and calculation operations implemented according to the method described above, the invention therefore makes it possible to detect and classify different movement data by unsupervised analysis or classification techniques. of data. These classification techniques are not intended to characterize and name the movement data in gestures, as is achieved by example in the state of the art, but only to group movement data together because they represent a similar gesture without, however, characterizing this gesture.
  • unsupervised classification techniques allow non-linear differentiation of the different movement data of the person, which makes it possible to precisely distinguish each movement of the user.
  • These unsupervised classification techniques do not require comparing raw data with data models as is the case with supervised classification techniques. Such a fine distinction of the different raw movement data makes it possible to measure different bodily activities of the user and to follow their variations over time.
  • This invention does not furthermore allow the raw movement data to be associated with gestures of common life (sitting, standing, lying down, walking, etc.), unless complex analyzes are carried out to characterize these gestures and that, without guarantees of results.
  • This difficulty of association is in fact an advantage because it strengthens the preservation of the user's personal data.
  • said other data structure is selected from a plurality of data structures representative of the bodily activity of said user, which were calculated on a date prior to said given date and for said given duration.
  • the current bodily activity exercised on a given niche, for example on Monday between 8:30 am and 9:30 am
  • autonomy is strongly linked to the habits (recurrence of certain bodily activities during equivalent or close time slots) of a user.
  • the judicious choice of dates is therefore essential in order to compare periods when the user's bodily activities are similar, in order to detect deviations in activities and therefore indications of loss of autonomy for the user.
  • dates chosen do not have to obey a fixed periodic rule (every week at the same time) if the person's habits require choosing dates without logic apparent between them in terms of periodicity.
  • This choice of dates to compare can be made by the user, a relative, a practitioner or any other third party who is familiar with the habits of the user.
  • said duration is determined with respect to obtaining a desired minimum number N of different groups of data, in which to distribute the acquired movement data.
  • the duration is indexed as a function of a minimum number N of movement data and not on a minimum duration to take into account the time slots of inactivity of the user where there may be long periods without particular activity. of the person (example of sleep).
  • an autonomy value A is calculated as a function of a plurality of variation evaluations calculated for a plurality of given durations.
  • the method performs a comparison of the most recent user activity in a given time slot (example of a full hour preceding the time of comparison) with previous activities of the same duration already saved, for example in dedicated databases. It then generalizes this calculation to other niches (example of the day, week, month or year preceding the comparison) by comparing the most recent activity compatible with the niche analyzes with previous activities on the same slots (example of all Mondays already registered for daily slots, all weeks already recorded for weekly slots etc ).
  • This comparison of bodily activity generalized over different periods of the life of a user makes it possible to detect changes in habits as well on well-targeted activities that last around the hour (eating breakfast, playing sports) , watch a movie, have lunch ...) but also on a plurality of activities taking place over longer periods (days, weeks) to very long (months, years).
  • This measure of changes in habits is closely linked to the concept of autonomy, because it is known to those skilled in the art that Autonomous people function routinely while changes in habits, and therefore the loss of bearings, are signs of a failure in a person's autonomy.
  • the method therefore seeks to give a quantifiable value, objective because based on measurements and calculated by a machine, autonomy, and therefore the loss of autonomy of a user.
  • This autonomy value allows the person in charge of monitoring the user (family, doctor, etc.) to be regularly informed of the user's level of autonomy in order to take the actions he deems necessary.
  • each of said variation evaluations are respectively assigned a weighting coefficient.
  • the weighting of each variation in bodily activities of the user makes it possible to take into account periods that are more relevant than others in the analysis of changes in habits. Indeed, one might think that the measurement of activity changes from previous days is more significant of a change in autonomy than the same measurement made at a more distant period, for example for days of the previous year.
  • weighting can also be used to increase the influence of measures of variation in bodily activity in the measurement of autonomy depending on the duration of the time slots used for the measures.
  • the method comprises the following:
  • the triggering of the action which materializes the loss of autonomy is a function of a single parameter of digital type. It is therefore easy to define an action trigger threshold. In the closest state of the art, no method makes it possible to trigger an alert linked to a loss of autonomy.
  • the information generated is communicated to a person authorized by said user.
  • this other embodiment it is possible to inform a third party about a possible loss of autonomy of the user. Due to the absence of naming and characterization of the raw movement data transmitted in such information, the action of communication type towards a third party does not in fact disclose the bodily activities of the user to the third party receiving this information and preserves therefore the confidentiality of the user's personal data.
  • the invention also relates to a device for evaluating the bodily activity of a user, such a device comprising a processor which is configured to implement the following:
  • Such a calculation device is in particular capable of implementing the aforementioned method of evaluating the bodily activity of a user, according to any one of the aforementioned embodiments.
  • the invention also relates to a computer program comprising instructions for implementing the method for evaluating bodily activity. of a user, according to any one of the particular embodiments described above, when said program is executed by a processor.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
  • the invention also relates to a recording medium or information medium readable by a computer, and comprising instructions of a computer program as mentioned above.
  • the recording medium can be any entity or device capable of storing the program.
  • the support may include a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a USB key or a hard disk.
  • the recording medium can be a transmissible medium such as an electrical or optical signal, which can be routed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded from a network of the Internet type.
  • the recording medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the above-mentioned evaluation method.
  • FIG 1 represents the main actions performed by the method of evaluating the bodily activity of a user according to an embodiment of the invention
  • FIG 2 shows in more detail one of the actions performed by the method of Figure 1,
  • FIG. 4 [Fig 3] - Figure 3 shows in more detail another of the actions performed by the method of Figure 1
  • FIGS. 4A, 4B and 4C represent different examples of data structures obtained according to the method of FIG. 1,
  • FIG. 1 represents in more detail a calculation of variation in bodily activity executed according to the method of FIG. 1,
  • FIG. 6 - Figures 6A and 6B represent examples of visualization of data structures over one or more days
  • FIG. 7 represents a device for evaluating the body activity of a user implementing the method for evaluating the body activity of a user of FIG. 1.
  • the objective of this invention is the implementation of an automatic metric in order to assess the bodily behavior of an individual as being a situational routine or on the contrary a rare event, and to generate a degree of information to whom law by various means of communication.
  • the invention mainly provides a method and a device for calculating a measure of autonomy of a person monitored remotely using raw data from one or more motion sensors carried by the person.
  • the objective is not, like many solutions on the market, to launch alerts during a punctual event (fall, malaise ...) but to provide monitoring over time of the bodily activity of the person , in order to inform the medical profession, the family or any interested third party, in the event of a change in the person's habits.
  • Such a measure of autonomy takes for example the form of an index of autonomy on a scale of 0 to 1: 0.1 everything is fine, 0.5 one begins to worry, 0.9 there is urgency to intervene.
  • the method works by detecting postures specific to the individual by so-called pre-clustering methods (classification of similar raw data into data classes by unsupervised clustering methods by non-linear separator) via the analysis of different flows.
  • inertial data acceleration of similar raw data into data classes by unsupervised clustering methods by non-linear separator
  • inertial data acceleration of similar raw data into data classes by unsupervised clustering methods by non-linear separator
  • the invention proposes to circumvent these problems by proposing an almost unsupervised model capable of isolating postures and performing groups of postures without necessarily characterizing these postures (sitting, lying, standing etc ).
  • the postures are therefore anonymized because they cannot be characterized by the process and the process therefore does not make it possible to characterize the postures of said person over time.
  • These postures, represented by the data classes in the process may be in large number and characteristic of the individual. To be effective, this method requires the use of only one inertial sensor.
  • the method analyzes and identifies the data classes and creates a data structure, such as for example, a list, a matrix, a vector, etc., characterizing an aggregate of the data classes over this duration .
  • This data structure is a representation of behaviors or activities such as for example: I get up in the morning, I turn on the coffee maker, I prepare breakfast, I eat lunch, I brush my teeth ...
  • sequences of data classes can be analyzed every hour or for different durations (shorter or longer) depending on what you want to analyze and also over time slots specifically defined by the model or by an expert, because they represent particular moments of the day (breakfast, lunch, afternoon stroll, etc.). This analysis is performed in real time on each of the selected time slots.
  • these behavior models are compared with other previously saved models to identify similarities in behavior at appropriate times.
  • These opportune moments can be the comparison of a time slot with the same time slot of each day of the past week or of each Monday of the past weeks.
  • This similarity measure is calculated with neural networks (model which must be trained) and can be performed directly in the terminal integrating the inertial data sensor (example a smartphone or a connected watch) or remote equipment such as a computer or server or a mix of the two equipment.
  • a autonomy value A calculated at the end of the method according to the invention is, according to a possible embodiment, compared with a threshold Z. An alarm is then raised if the value A is greater than the threshold Z. This alarm triggers the transmission of information to a third party, such as for example a family member, the attending physician, a service company, a care establishment and even any company or entity able to provide even a partial response to these changes routine (example: supplier of musical content, films, etc.).
  • a third party such as for example a family member, the attending physician, a service company, a care establishment and even any company or entity able to provide even a partial response to these changes routine (example: supplier of musical content, films, etc.).
  • a raw data sensor CAP records continuously on a transient or non-transient storage medium (shown and named MEM_CAP in Figure 2) the raw digital data describing the movement of a user.
  • MEM_CAP transient or non-transient storage medium
  • Such a sensor is for example worn by the user. It is for example an accelerometer, gyrometer, magnetometer, etc., commonly installed in a mobile phone, or any portable device such as a connected object.
  • the raw data stored is transmitted to a database MVT_DB which is the main knowledge base describing the movements of a person for a long duration of the order of several months to several years (the years 2016, 2017 and part of 2018 in our example).
  • the data recorded continuously ACQU in PI are either directly transmitted by the sensor and recorded in the database MVT_DB (dotted arrow), or stored in the memory of the sensor MEM_CAP. All of this raw data collected constitutes a raw database.
  • SIM_H_DB represents raw movement data for similar one-hour time slots (10h-l lh) or dissimilar slots (0h-10h-12h-24h)
  • SIM_D_DB for similar days (every Monday from database from 2017) and dissimilar (every Tuesday, Wednesday, Thursday, Friday, Saturday, Sunday of the database)
  • SIM_W_DB for similar weeks (Week 5 of 2017 and 2018) and dissimilar (the others weeks in the database)
  • SIM_M_DB for similar months (the months of January 2017 and 2018) and dissimilar (every month from February to December in the database)
  • SIM_Y_DB for similar years (2017) and dissimilar ( 2016 because more distant in time, this year represents less the current situations).
  • the signals are sorted in order to keep only the signals to be processed.
  • nine signals are picked up by the CAP sensor so as to have values from three sensors (accelerometer, magnetometer and gyrometer) and in the three Euclidean dimensions.
  • the process may not want to keep all the raw data.
  • the method can decide to keep only six values instead of the nine because the user is for example in the lying position and does not use the magnetometer. In this case, in TRAIT_1, the three values from the magnetometer are not preserved.
  • An extraction EXTR_Tr_Dt of the raw data is carried out in the base MVT_DB so as to recover the part MVT_Tr_Dt of the data of the database which were acquired by the sensor on said given date (reference date called Tr) and for said given duration also called reference duration Dt.
  • This raw data can be stored in a transient memory or not of the sensor or of the device or in a database located on an external device, such as a computer or a server for example.
  • the raw movement data is collected on Tuesday February 6, 2018 from 10 a.m. to 1 a.m. Dt therefore corresponds to a duration of one hour.
  • processing is carried out on the collected and segmented interest signals, representative of the MVT_Tr_Dt part of the raw data in the database.
  • the processing operations are, in a non-exhaustive manner, low-pass filtering to de-noise the information, normalization to harmonize the raw data, resampling of data to synchronize the sources, etc.
  • such a REP classification includes a classification of the raw data, stored in the base MVT_Tr_Dt, which represent similar anonymized postures of said person and grouped into data classes Sri, ..., Sri, ... , SrN.
  • the data classes are learned automatically by unsupervised grouping (in English "clustering") of time series from the knowledge base SIM_Dt_DB.
  • the method uses recurrent neural networks GRU (from the English “Gated Recurrent Unit”) previously learned on the basis SM_Dt_DB.
  • GRU from the English “Gated Recurrent Unit”
  • different data classes Sri, ..., Sri, ..., SrN were determined by clustering on the basis SIM_Dt_DB.
  • a learning process follows to model a GRU network capable of classifying this raw movement data into classes of data representing anonymized postures of said person.
  • the data structure designated by Vr, is a histogram or a vector of Sri data classes recognized in P2. Each value in the histogram represents the number Ci of times a Sri data class has been recognized.
  • the data structure Vr is represented by a histogram of the different classes of data and their number during the given duration. On the abscissa, the number N of different data classes is represented and on the ordinate the number Ci of times a given data class has been identified by the method.
  • the data structure Vr is represented by a stack of square shapes. Each square represents a different class of data. For each of the data classes, we represent, by a number of black pixels inside the square, the number Ci of times the data class has been identified during the given duration.
  • the comparison COMP consists of predictions of similarity of the data structure Vr by comparison with other structures of body activity data VI, ..., Va, ... , VM calculated for data acquisitions in previous periods (previous dates but for a similar duration).
  • the goal is to know if the data structure Vr is similar to the other data structures characteristic of its time slot (here in our example every Monday from 10 a.m. to 1 a.m.) in the past of the individual or to one or different dates, but always for the same duration Dt (example of 1 IL ⁇ at 12 noon on Monday February 5 of the year before).
  • the Siamese neural networks allow this type of comparison to be made. If two data structures that have been learned by the network represent the same bodily behavior during the period, the Siamese network produces a measurement close to 0. If two data structures are dissimilar (ex: Tuesday's bodily behavior between 10 and 10 lh is different from that of Sunday, between 22h and 23h), the Siamese network produces a measurement close to 1. Then, to calculate the value DELTA_Dt, we will carry out a weighted average of the comparison values between the data structure to be evaluated (Vr on the diagram in Figure 5) and the different data structures already measured at earlier dates (Go to the diagram in Figure 5).
  • the goal is to make comparisons with several previous dates when the person should perform similar activities, follow the same routine (example from Monday to Friday at 1:00).
  • the difficulty is to choose these earlier dates appropriately to characterize an abnormal activity and not simply a little different from usual.
  • This choice of relevance can be made by an expert (doctor, listener) following a prior study of the habits of the person to be followed, but also by the process itself if it has sufficient data concerning the habits of the person to be followed. and therefore opportune moments of comparison. Alternatively, this choice of relevance can be made by both the expert and the process.
  • the COMP comparison consists in calculating the similarity DELTA_D between the previous day (Monday) and all the other Mondays of the MVT_DB database.
  • the reference day to be considered is the day preceding the given date because all the data are available for this day. Variations in the behavior of the individual on previous Mondays are then considered. If no variation is noted, the user's bodily activity is considered normal. If one or more variations have been noted compared to previous Mondays, the user's bodily activity is considered to be "worsening".
  • the method calculates an estimate of the similarity DELTA_W between the previous week (S5 2018) and the other weeks of the base MVT_DB, and, if the base MVT_DB allows it, calculates the measures of similarity of weeks , months and years as follows:
  • the characteristic vector of the user's bodily activity over a day is the concatenation of the 24 histograms of data classes.
  • the characteristic vector of the user's bodily activity over a day Dl, D2, etc. is the concatenation of the 24 columns of N squares representing respectively 24 time slots. Squares representing a group of data representing similar movements.
  • a characteristic vector can be calculated to characterize the bodily activity of the user over a longer period, such as a week, a month or a year.
  • the method comprises the calculation of an autonomy value A as a function of the similarities predicted in P4 over the different durations of analyzes carried out.
  • an autonomy value A as a function of the similarities predicted in P4 over the different durations of analyzes carried out.
  • such a calculation uses the following equation:
  • A WH * DELTA_H + WD * DELTA_D + WW * DELTA_W + WM * DELTA_M + WY * DELTA_Y,
  • the real weighting numbers can be harmful if the knowledge base MVT_DB does not allow to calculate, for lack of data, the corresponding similarities.
  • These weights can be defined manually by an expert (doctor, listener) following an analysis of changes in the behavior of the person to be followed, or automatically by a study of the history of the habits of the person being followed. Alternatively, these weights can be set both manually and automatically.
  • the information generated in P7 represents an interpretation of a value corresponding to the difference between the value A and the value Z.
  • the value A when communicated by the service described next in P8, makes it possible to give simple and easily understandable information to the competent or family services on the user's level of autonomy.
  • This information can be text, graphic or any other means of information.
  • Such COM communication can be implemented to inform the individual, his entourage, his relatives, his medical corps, etc. (if agreed by the individual) of his change in bodily habits by transmitting an interpretation of the value A.
  • This communication can consist of sending an email, a text message of SMS type, a telephone call, an audible or visual alarm or any other means to alert a third party.
  • the process can include the data extracted during this time slot as similar in the base SIM_H_DB ;
  • the process can include the data extracted throughout the day as similar in the SIM_D_DB database;
  • the process can include the data extracted during the whole week as similar in the base SIM_W_DB;
  • the process can include the data extracted during the whole month as similar in the SIM_M_DB database;
  • the process can include the data extracted during the whole year as similar in the base SIM_Y_DB.
  • the method does not add current data to the SIM_Dt_DB training databases.
  • the models of neural networks SIAM_Dt respectively linked to the bases SIM_Dt_DB are updated with the new data to improve their capacity to identify non-routine situations.
  • the models must be profoundly modified to correspond to the new routines by being completely re-trained using well-known learning algorithms (ex: fine tuning, transfer leaming, adaptive learning, etc.).
  • fine tuning fine tuning, transfer leaming, adaptive learning, etc.
  • the actions executed by the evaluation method are implemented by a system comprising an evaluation device D_EVAL and a terminal T_CAP for acquiring data.
  • the evaluation device D_EVAL is for example a computer or a server.
  • the evaluation device D_EVAL has the classic architecture of a computer and in particular comprises a memory MEM_EVAL, a processing unit UT_EVAL, equipped for example with a processor PROC_EVAL, and controlled by the computer program PG_EVAL stored in memory MEM_EVAL.
  • the computer program PG_EVAL includes instructions for implementing the actions of the method for evaluating the bodily activity of a user as described above, when the program is executed by the processor PROC_EVAL.
  • the code instructions of the computer program PG_EVAL are for example loaded into a RAM memory (not shown) before being executed by the processor PROC_EVAL.
  • the processor PROC_EVAL of the processing unit UT_EVAL implements in particular the actions of the method for evaluating the bodily activity of a user described above, according to the instructions of the computer program PG_EVAL.
  • the T_CAP data acquisition terminal is for example a connected object carried by the user.
  • the acquisition terminal has the conventional architecture of a computer and notably comprises a memory MEM_CAP, a processing unit UT_CAP, equipped for example with a processor PROC_CAP, and controlled by the computer program PG_CAP stored in MEM_CAP memory. It also includes a CAP movement sensor allowing all kinds of capture of types of movement data (for example: accelerometer, gyroscopic, magnetometric).
  • the computer program PG_CAP includes instructions for implementing the actions of the method for evaluating the bodily activity of a user as described above, when the program is executed by the processor PROC_CAP.
  • the code instructions of the computer program PG_CAP are for example loaded into a RAM memory (not shown) before being executed by the processor PROC_CAP.
  • the processor PROC_CAP of the processing unit UT_CAP implements in particular the actions of the method for evaluating the bodily activity of a user described above, according to the instructions of the computer program PG_CAP.
  • the process TRAIT_1 makes it possible to obtain and select signals of interest to be processed.
  • the process TRAIT_1 can be carried out by the terminal T_CAP as follows - the movement data acquired by the CAP sensor are stored in memory MEM_CAP in real time and processed by the process TRAIT_1. The processed data are then transmitted to the MEM_EVAL memory to be finally stored in the MVT_DB database.
  • the process TRAIT_1 can also be carried out a posteriori, that is to say that the acquisition data not processed by the terminal T_CAP are stored directly in the database MVT_DB and processed a posteriori with the process TRAIT_1 by the device d 'evaluation D_EVAL (cf figure 2 the dotted arrows between TRAIT_1 and MVT_DB).
  • the process TRAIT_1 can also be a combination of treatments executed in real time in the memories MEM_CAP and MEM_EVAL, the processed data being stored a posteriori in the database MVT_DB in order to adapt to the storage and calculation performance of the terminal T_CAP.
  • the evaluation device D_EVAL and the terminal T_CAP can be interconnected and exchange data on one or more communication link (s), using one or more networks of different types, (a network on the Figure 7), and different protocols.
  • networks are a fixed network, a cellular network (for example according to the 2G standard (GSM, GPRS, EDGE), 3G (UMTS), 4G (LTE), LTE-A, LTE-M, WCDMA, CDMA2000, HSPA , 5G, or their variants or evolutions), another type of radio network (eg WiFi® or Bluetooth®), an IP network, a combination of several of these networks, etc.
  • GSM 2G standard
  • GPRS GPRS
  • EDGE 3G
  • 4G LTE
  • LTE-A LTE-A
  • LTE-M Long Term Evolution
  • WCDMA Code Division Multiple Access 2000
  • HSPA High Speed Packet Access 2000
  • 5G Fifth Generation
  • IP network a combination of several of these networks, etc.
  • the MEM_EVAL memory can include one or all of the databases (MVT_DB, MVT_Tr_Dt, SIM_Dt_DB) of the process but not necessarily. Indeed, these databases could be distinct from the D_EVAL device. Alternatively, for more flexibility, one or more of these bases will be separate from the D_EVAL device, while the other bases of the set will be included in the D_EVAL device.
  • each step of calculating the process can be carried out respectively by the device D_EVAL or the terminal T_CAP so as to represent all the possible combinations of configurations of calculations between the device D_EVAL and the terminal T_CAP.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

The invention relates to evaluating the body activity of a user and is characterised by the following steps: - at a given date and for a given duration, acquiring movement data from the user, - distributing the acquired movement data corresponding to different types of movement, - calculating a data structure representative of the body activity of the user performed at the given date and for the given duration, - comparing the data structure with at least one other structure representative of the body activity performed at a date prior to the given date and for the given duration, - duplicating the comparisons for different durations and determining an objective measurement of the user's autonomy. Figure

Description

DESCRIPTION DESCRIPTION
Procédé d’évaluation de l’activité corporelle d’un utilisateur Method for evaluating the bodily activity of a user
La présente invention se rapporte de manière générale au domaine de la mesure et du suivi à distance de l’activité corporelle d’une personne. The present invention relates generally to the field of remote measurement and monitoring of a person's bodily activity.
L’invention concerne plus particulièrement la mesure et le suivi à distance d’un indicateur d’autonomie des personnes fragiles ou isolées. The invention relates more particularly to the measurement and remote monitoring of an indicator of autonomy of fragile or isolated people.
Actuellement, les systèmes permettant de mesurer et de suivre à distance l’autonomie d’une personne sont réalisés suivants différentes méthodes. Currently, systems for measuring and monitoring a person's autonomy remotely are made using different methods.
Selon une première méthode décrite dans le document « Assessment of older people : self-maintaining and instrumental activities of daily living », Lawton and Al, The gerontologist 9, 3_Part_l (1969), 179-186, il est procédé à la réalisation d’un questionnaire sur les différentes habitudes du sujet à évaluer et il est demandé au sujet de le compléter. Cette méthode est perfectible car elle induit un risque de non complétude du questionnaire par le sujet et nécessite, pour lever ce risque, de solliciter une tierce personne (enquêteur, auditeur...) afin d’assister le sujet dans la complétude du questionnaire. De plus, cette méthode ne correspond pas à une analyse objective du niveau d’autonomie étant donné que le questionnaire est complété par le sujet lui-même. According to a first method described in the document "Assessment of older people: self-maintaining and instrumental activities of daily living", Lawton and Al, The gerontologist 9, 3_Part_l (1969), 179-186, it is carried out a questionnaire on the different habits of the subject to be evaluated and the subject is asked to complete it. This method is perfectible because it induces a risk of the questionnaire not being completed by the subject and requires, to remove this risk, to solicit a third person (investigator, auditor ...) in order to assist the subject in completing the questionnaire. In addition, this method does not correspond to an objective analysis of the level of autonomy since the questionnaire is completed by the subject himself.
D’autres méthodes utilisent des capteurs de détection de mouvement comme, par exemple, des capteurs inertiels (équipements expérimentaux, smartphones, montres connectées) et/ou visuels (caméras installées dans le lieu de mesure) afin de pouvoir déduire, des données issues de ces capteurs, les mouvements du sujet. Les données de mouvement identifiées sont ensuite classées par types de mouvements ou postures (assis, debout, couché, marcher, courir etc.) et ces méthodes comparent les mouvements du sujet effectués en temps réel avec les données de mouvement classées, afin de repérer des comportements anormaux et de lancer une alarme vers un tiers. Cependant, de telles méthodes, dites supervisées, nécessitent de mettre en œuvre une base de données de mouvements de référence. Les données de cette base sont comparées aux données issues des capteurs, afin d’en déduire le geste réalisé par le sujet. Ces méthodes par analyse supervisée des données ne permettent pas d’identifier précisément des postures. En effet, une confusion peut être faite dans la détermination de certaines postures, comme par exemple la position assise ou debout détectée par un capteur inertiel, si la personne a la même orientation et la même dynamique. De ce fait, ces méthodes par analyse supervisée se contentent souvent de seulement quatre informations de posture différentes (assis, debout, couché, marche), ne permettant pas une remontée d’alarme fiable. En particulier, de telles méthodes sont susceptibles de déclencher de fausses alarmes ou, au contraire, de ne pas déclencher d’alarme dans des situations qui auraient pourtant nécessité une assistance. Other methods use motion detection sensors such as, for example, inertial sensors (experimental equipment, smartphones, connected watches) and / or visual sensors (cameras installed in the measurement location) in order to be able to deduce data from these sensors, the subject's movements. The identified movement data are then classified by type of movement or posture (sitting, standing, lying, walking, running, etc.) and these methods compare the subject's movements carried out in real time with the classified movement data, in order to identify abnormal behavior and sound an alarm to a third party. However, such methods, called supervised methods, require the implementation of a reference movement database. The data in this database is compared with the data from the sensors, in order to deduce the gesture made by the subject. These methods by supervised data analysis do not allow precise identification of postures. Indeed, confusion can be made in determining certain postures, such as sitting or standing detected by an inertial sensor, if the person has the same orientation and the same dynamics. Therefore, these methods by supervised analysis are often satisfied with only four different posture information (sitting, standing, lying down, walking), not allowing a reliable alarm rise. In particular, such methods are likely to trigger false alarms or, on the contrary, not to trigger an alarm in situations which would nevertheless have required assistance.
Selon une autre méthode décrite dans le document US 2014/0279740, pour améliorer et donc affiner l’identification des gestes d’un sujet, il est proposé d’utiliser de nombreux capteurs de mouvements inertiels disposés à des endroits stratégiques du corps (jambes, bras, doigts, tête) et des capteurs d’images de type caméras installées dans le ou les lieux de vie. Une telle autre méthode, bien qu’efficace dans l’identification des mouvements, est difficilement réalisable sur un suivi long terme de la personne car elle contraint le sujet à : According to another method described in document US 2014/0279740, in order to improve and therefore refine the identification of a subject's gestures, it is proposed to use numerous inertial movement sensors placed at strategic locations in the body (legs, arms, fingers, head) and image sensors such as cameras installed in the living area (s). Such another method, although effective in identifying movements, is difficult to perform on long-term follow-up of the person because it forces the subject to:
- porter différents capteurs sur son corps, ce qui n’est pas compatible avec un suivi d’activité en temps réel, jour et nuit et durant de longues périodes, - wear different sensors on your body, which is not compatible with real-time activity monitoring, day and night and for long periods,
- être filmé, ce qui peut être ressenti par certains sujets comme une contrainte liée à la protection de leur vie privée. Cela nécessite également une installation complexe et coûteuse au domicile de la personne à surveiller. - be filmed, which may be felt by certain subjects as a constraint linked to the protection of their private life. It also requires a complex and expensive installation in the home of the person to be monitored.
Afin d’évaluer à distance l’autonomie d’une personne sur une longue période, les méthodes présentées ci-dessus s’avèrent donc inadaptées. En effet, pour évaluer l’autonomie d’une personne, il est en outre nécessaire d’avoir une vision assez exhaustive des gestes réalisés, afin de déduire les activités propres à cette personne (exemple de l’activité de se lever du lit qui est définie par une série de gestes du type être couché, se retourner, s’assoir, se lever, marcher) et de vérifier sur différentes périodes si ces activités se répètent (mise en place de routines) ou non. In order to assess a person's autonomy over a long period of time, the methods presented above therefore prove to be unsuitable. Indeed, to assess the autonomy of a person, it is also necessary to have a fairly exhaustive vision of the gestures performed, in order to deduce the activities specific to this person (example of the activity of getting up from the bed which is defined by a series of gestures such as lying down, turning around, sitting, getting up, walking) and checking over different periods whether these activities are repeated (setting up routines) or not.
Un des buts de l'invention est de remédier à des inconvénients de l'état de la technique précité. One of the aims of the invention is to remedy the drawbacks of the aforementioned state of the art.
A cet effet, un objet de la présente invention concerne un procédé d’évaluation de l’activité corporelle d’un utilisateur, mis en œuvre par un dispositif de calcul, caractérisé en ce qu’il comprend ce qui suit : - à une date donnée et pendant une durée donnée, acquérir des données de mouvement dudit utilisateur en provenance d’un capteur de mouvement, To this end, an object of the present invention relates to a method for evaluating the bodily activity of a user, implemented by a computing device, characterized in that it comprises the following: - on a given date and for a given duration, acquire movement data of said user from a movement sensor,
- répartir lesdites données de mouvement acquises dans différents groupes de données correspondant respectivement à différents types de mouvement, distributing said acquired movement data into different groups of data corresponding respectively to different types of movement,
- à partir desdites données ainsi réparties, calculer une structure de données représentative de l’activité corporelle dudit utilisateur qui est exercée à ladite date donnée et pour ladite durée donnée, - from said data thus distributed, calculate a data structure representative of the bodily activity of said user which is exercised on said given date and for said given duration,
- comparer ladite structure de données avec au moins une autre structure de données représentative de l’activité corporelle dudit utilisateur qui a été exercée à une date antérieure à ladite date donnée et pour ladite durée donnée, - compare said data structure with at least one other data structure representative of the bodily activity of said user which was exercised on a date prior to said given date and for said given duration,
- en résultat de ladite comparaison, évaluer une variation entre l’activité corporelle de l’utilisateur exercée à ladite date donnée et pour ladite durée donnée, et l’activité corporelle de l’utilisateur exercée à au moins la date antérieure et pour ladite durée donnée. - as a result of said comparison, evaluate a variation between the bodily activity of the user exercised on said given date and for said given duration, and the bodily activity of the user exercised at least on the previous date and for said duration given.
Les données de mouvement acquises sont des données brutes. On entend par données brutes des données issues essentiellement des mouvements dudit utilisateur. Ces données n’intègrent pas de données additionnelles telles que des données issues de modèles représentatifs de mouvements d’autres utilisateurs. The acquired movement data are raw data. Raw data is understood to mean data originating essentially from the movements of said user. This data does not include additional data such as data from models representative of movements of other users.
Une répartition de ces données brutes dans différents groupes de données correspondant respectivement à différents types de mouvement revient à classer ces données brutes en au moins une classe de données, selon au moins une méthode de classification non supervisée. A distribution of this raw data in different groups of data corresponding respectively to different types of movement amounts to classifying this raw data into at least one class of data, according to at least one unsupervised classification method.
La classe de données représente ainsi une posture anonymisée de la personne. The data class thus represents an anonymized posture of the person.
Grâce à l’invention, il est possible d’évaluer quasiment en temps réel (de période en période donnée) les variations d’activités d’un utilisateur, en comparant les structures de données calculées à la date donnée et pour la durée donnée avec au moins une autre structure de données calculée à une date antérieure à ladite date donnée et pour une durée donnée qui est la même que la durée à ladite date donnée. Compte tenu des opérations d’acquisition, de répartition et de calcul mises en œuvre selon le procédé décrit ci-dessus, l’invention permet donc de détecter et de classer différentes données de mouvement par des techniques d’analyse ou de classification non-supervisée de données. Ces techniques de classification ne visent pas à caractériser et nommer les données de mouvement en gestes, comme c’est réalisé par exemple dans l’état de l’art, mais seulement à regrouper des données de mouvement entre elles car elles représentent un geste similaire sans, pour autant, caractériser ce geste. Ces techniques de classification non- supervisée permettent une différentiation non linéaire des différentes données de mouvements de la personne, ce qui permet de distinguer précisément chaque mouvement de l’utilisateur. Ces techniques de classification non supervisées ne nécessitent pas de comparer les données brutes avec des modèles de données comme c’est le cas des techniques de classification supervisées. Une telle distinction fine des différentes données brutes de mouvement permet de mesurer différentes activités corporelles de l’utilisateur et de suivre leurs variations dans le temps. Thanks to the invention, it is possible to evaluate almost in real time (from period to given period) the variations in activity of a user, by comparing the data structures calculated on the given date and for the given duration with at least one other data structure calculated on a date prior to said given date and for a given duration which is the same as the duration on said given date. Taking into account the acquisition, distribution and calculation operations implemented according to the method described above, the invention therefore makes it possible to detect and classify different movement data by unsupervised analysis or classification techniques. of data. These classification techniques are not intended to characterize and name the movement data in gestures, as is achieved by example in the state of the art, but only to group movement data together because they represent a similar gesture without, however, characterizing this gesture. These unsupervised classification techniques allow non-linear differentiation of the different movement data of the person, which makes it possible to precisely distinguish each movement of the user. These unsupervised classification techniques do not require comparing raw data with data models as is the case with supervised classification techniques. Such a fine distinction of the different raw movement data makes it possible to measure different bodily activities of the user and to follow their variations over time.
Cette invention ne permet pas en outre d’associer les données brutes de mouvement avec des gestes de la vie commune (assis, debout, couché, en marche etc....), à moins de réaliser des analyses complexes pour caractériser ces gestes et cela, sans garanties de résultats. Cette difficulté d’association constitue en fait un avantage car elle renforce la préservation des données personnelles de l’utilisateur. This invention does not furthermore allow the raw movement data to be associated with gestures of common life (sitting, standing, lying down, walking, etc.), unless complex analyzes are carried out to characterize these gestures and that, without guarantees of results. This difficulty of association is in fact an advantage because it strengthens the preservation of the user's personal data.
Selon un mode de réalisation particulier, ladite autre structure de données est sélectionnée parmi une pluralité de structures de données représentatives de l’activité corporelle dudit utilisateur, qui ont été calculées à une date antérieure à ladite date donnée et pour ladite durée donnée. According to a particular embodiment, said other data structure is selected from a plurality of data structures representative of the bodily activity of said user, which were calculated on a date prior to said given date and for said given duration.
Grâce à ce mode de réalisation, il est ainsi possible de comparer des activités corporelles similaires. Par exemple, l’activité corporelle en cours, exercé sur un créneau donné, par exemple le lundi entre 8h30 et 9h30, pourra être comparée avec la même activité corporelle exercée le même jour de la semaine que le jour donné (lundi), mais par exemple sur des semaines précédentes, entre par exemple 8h30 et 9h30 car cela correspond à des créneaux horaires pour lesquels cet utilisateur a l’habitude de réaliser les mêmes activités. On part du principe que l’autonomie est fortement liée aux habitudes (récurrence de certaines activités corporelles durant des créneaux horaires équivalents ou proches) d’un utilisateur. Le choix judicieux des dates est donc essentiel afin de comparer des périodes où les activités corporelles de l’utilisateur sont similaires, afin de détecter des déviations d’activités et donc des indices de perte d’autonomie de l’utilisateur. Cependant, les dates choisies ne doivent pas obligatoirement obéir à une règle périodique fixe (toutes les semaines à la même heure) si les habitudes de la personne nécessitent de choisir des dates sans logique apparente entre elles en terme de périodicité. Ce choix des dates à comparer peut être réalisé par l’utilisateur, un proche, un praticien ou tout autre tiers connaissant bien les habitudes de l’utilisateur. Thanks to this embodiment, it is thus possible to compare similar bodily activities. For example, the current bodily activity, exercised on a given niche, for example on Monday between 8:30 am and 9:30 am, can be compared with the same bodily activity exercised on the same day of the week as the given day (Monday), but by example on previous weeks, for example between 8:30 am and 9:30 am because this corresponds to time slots for which this user is used to performing the same activities. It is assumed that autonomy is strongly linked to the habits (recurrence of certain bodily activities during equivalent or close time slots) of a user. The judicious choice of dates is therefore essential in order to compare periods when the user's bodily activities are similar, in order to detect deviations in activities and therefore indications of loss of autonomy for the user. However, the dates chosen do not have to obey a fixed periodic rule (every week at the same time) if the person's habits require choosing dates without logic apparent between them in terms of periodicity. This choice of dates to compare can be made by the user, a relative, a practitioner or any other third party who is familiar with the habits of the user.
Selon un mode de réalisation particulier, ladite durée est déterminée par rapport à l’obtention d’un nombre N minimum souhaité de différents groupes de données, dans lesquels répartir les données de mouvement acquises. According to a particular embodiment, said duration is determined with respect to obtaining a desired minimum number N of different groups of data, in which to distribute the acquired movement data.
Grâce à cet autre mode de réalisation, on évite de choisir des durées trop courtes, où il ne serait pas possible d’enregistrer assez de données de mouvement pour comparer des activités corporelles. Thanks to this other embodiment, we avoid choosing too short durations, where it would not be possible to record enough movement data to compare bodily activities.
En outre, la durée est indexée en fonction d’un nombre N minimum de données de mouvement et non sur une durée minimum pour prendre en compte les créneaux horaires d’inactivité de l’utilisateur où il peut se passer de longs moments sans activité particulière de la personne (exemple du sommeil). In addition, the duration is indexed as a function of a minimum number N of movement data and not on a minimum duration to take into account the time slots of inactivity of the user where there may be long periods without particular activity. of the person (example of sleep).
Selon un mode de réalisation particulier, une valeur d’autonomie A est calculée en fonction d’une pluralité d’évaluations de variation calculées pour une pluralité de durées données. According to a particular embodiment, an autonomy value A is calculated as a function of a plurality of variation evaluations calculated for a plurality of given durations.
Grâce à ce mode de réalisation particulier, il est ainsi possible d’estimer une valeur objective de l’autonomie de l’utilisateur. Pour cela, le procédé réalise une comparaison de l’activité de l’utilisateur la plus récente sur un créneau considéré (exemple d’une heure complète précédent l’heure de la comparaison) avec des activités antérieures de même durée déjà sauvegardées, par exemple dans des bases de données dédiées. Il généralise ensuite ce calcul sur d’autres créneaux (exemple du jour, de la semaine, du mois ou de l’année qui précédent la comparaison) en comparant l’activité la plus récente compatible avec les créneaux d’analyses avec des activités antérieures sur les mêmes créneaux (exemple de tous les lundis déjà enregistrés pour des créneaux journaliers, toutes les semaines déjà enregistrées pour les créneaux hebdomadaires etc...). Cette comparaison d’activité corporelle généralisée sur différentes périodes de la vie d’un utilisateur permet de détecter aussi bien des changements d’habitudes sur des activités bien ciblées qui durent de l’ordre de l’heure (prendre son déjeuner, faire du sport, regarder un film, déjeuner....) mais aussi sur une pluralité d’activités se déroulant sur des périodes plus longues (jours, semaines) à très longues (mois, années). Cette mesure des changements d’habitudes est très liée à la notion d’autonomie, car il est connu de l’homme de l’art qu’une personne autonome fonctionne de manière routinière alors que les changements d’habitudes, et donc la perte de repères, sont des signes de défaillance de l’autonomie d’une personne. Le procédé cherche donc à donner une valeur quantifiable, objective car basée sur des mesures et calculée par une machine, de l’autonomie, et donc de la perte d’autonomie d’un utilisateur. Cette valeur d’autonomie permet à la personne en charge de suivre l’utilisateur (famille, médecin etc...) d’être informée régulièrement du niveau d’autonomie de l’utilisateur pour prendre les actions qu’il juge nécessaire. Thanks to this particular embodiment, it is thus possible to estimate an objective value of the autonomy of the user. To do this, the method performs a comparison of the most recent user activity in a given time slot (example of a full hour preceding the time of comparison) with previous activities of the same duration already saved, for example in dedicated databases. It then generalizes this calculation to other niches (example of the day, week, month or year preceding the comparison) by comparing the most recent activity compatible with the niche analyzes with previous activities on the same slots (example of all Mondays already registered for daily slots, all weeks already recorded for weekly slots etc ...). This comparison of bodily activity generalized over different periods of the life of a user makes it possible to detect changes in habits as well on well-targeted activities that last around the hour (eating breakfast, playing sports) , watch a movie, have lunch ...) but also on a plurality of activities taking place over longer periods (days, weeks) to very long (months, years). This measure of changes in habits is closely linked to the concept of autonomy, because it is known to those skilled in the art that Autonomous people function routinely while changes in habits, and therefore the loss of bearings, are signs of a failure in a person's autonomy. The method therefore seeks to give a quantifiable value, objective because based on measurements and calculated by a machine, autonomy, and therefore the loss of autonomy of a user. This autonomy value allows the person in charge of monitoring the user (family, doctor, etc.) to be regularly informed of the user's level of autonomy in order to take the actions he deems necessary.
Selon un autre mode de réalisation particulier, pour le calcul de la valeur d’autonomie A, chacune desdites évaluations de variation sont respectivement affectées d’un coefficient de pondération. According to another particular embodiment, for the calculation of the autonomy value A, each of said variation evaluations are respectively assigned a weighting coefficient.
Grâce à cet autre mode de réalisation, la pondération de chaque variation d’activités corporelle de l’utilisateur permet de tenir compte de périodes plus pertinentes que d’autres dans l’analyse des changements d’habitudes. En effet, on peut penser que la mesure des changements d’activités des jours précédents est plus significative d’un changement d’autonomie que la même mesure effectuée à une période plus lointaine, par exemple pour des jours de l’année précédente. En outre, la pondération peut aussi être utilisée pour augmenter l’influence des mesures de variation d’activité corporelle dans la mesure de l’autonomie en fonction de la durée des créneaux horaires utilisés pour les mesures. En effet, on peut penser que la mesure d’une variation d’activité sur une durée courte (de l’ordre de l’heure), qui cible une activité bien précise, peut avoir une influence plus importante qu’une mesure de variation d’activité sur une année qui représente un nombre tellement important d’activités qu’il n’est plus vraiment représentatif d’une valeur d’autonomie de l’utilisateur. Thanks to this other embodiment, the weighting of each variation in bodily activities of the user makes it possible to take into account periods that are more relevant than others in the analysis of changes in habits. Indeed, one might think that the measurement of activity changes from previous days is more significant of a change in autonomy than the same measurement made at a more distant period, for example for days of the previous year. In addition, weighting can also be used to increase the influence of measures of variation in bodily activity in the measurement of autonomy depending on the duration of the time slots used for the measures. Indeed, one might think that measuring a variation in activity over a short period (of the order of an hour), which targets a very specific activity, may have a more significant influence than measuring variation of activity over a year which represents such a large number of activities that it is no longer truly representative of the user's autonomy value.
Selon un autre mode de réalisation particulier, le procédé comprend ce qui suit : According to another particular embodiment, the method comprises the following:
- comparer à une certaine valeur la valeur d’autonomie, - compare the autonomy value with a certain value,
- en fonction du résultat de la comparaison, générer une information en rapport avec la variation calculée. - depending on the result of the comparison, generate information related to the calculated variation.
Grâce à cet autre mode de réalisation, le déclenchement de l’action qui matérialise la perte d’autonomie est fonction d’un seul paramètre de type numérique. Il est donc aisé de définir un seuil de déclenchement d’une action. Dans l’état de l’art le plus proche, aucun procédé ne permet de déclencher une alerte liée à une perte d’autonomie. Selon un autre mode de réalisation particulier, l’information générée est communiquée à une personne autorisée par ledit utilisateur. Thanks to this other embodiment, the triggering of the action which materializes the loss of autonomy is a function of a single parameter of digital type. It is therefore easy to define an action trigger threshold. In the closest state of the art, no method makes it possible to trigger an alert linked to a loss of autonomy. According to another particular embodiment, the information generated is communicated to a person authorized by said user.
Grâce à cet autre mode de réalisation, il est possible d’informer un tiers concernant une éventuelle perte d’autonomie de l’utilisateur. Du fait de l’absence de nommage et de caractérisation des données brutes de mouvement transmises dans une telle information, l’action de type communication vers un tiers ne divulgue pas de fait les activités corporelles de l‘utilisateur au tiers recevant cette information et préserve donc la confidentialité des données personnelles de l’utilisateur. Thanks to this other embodiment, it is possible to inform a third party about a possible loss of autonomy of the user. Due to the absence of naming and characterization of the raw movement data transmitted in such information, the action of communication type towards a third party does not in fact disclose the bodily activities of the user to the third party receiving this information and preserves therefore the confidentiality of the user's personal data.
Les différents modes ou caractéristiques de réalisation précités peuvent être ajoutés indépendamment ou en combinaison les uns avec les autres, au procédé d’évaluation défini ci-dessus. The various embodiments or features mentioned above can be added independently or in combination with each other, to the evaluation method defined above.
L'invention concerne également un dispositif d’évaluation de l’activité corporelle d’un utilisateur, un tel dispositif comprenant un processeur qui est configuré pour mettre en œuvre ce qui suit : The invention also relates to a device for evaluating the bodily activity of a user, such a device comprising a processor which is configured to implement the following:
- à une date donnée et pendant une durée donnée, acquérir des données de mouvement dudit utilisateur en provenance d’un capteur de mouvement, - on a given date and for a given duration, acquire movement data of said user from a movement sensor,
- répartir lesdites données de mouvement acquises dans différents groupes de données (Sri) correspondant respectivement à différents types de mouvement, - distribute said acquired movement data in different data groups (Sri) corresponding respectively to different types of movement,
- à partir desdites données ainsi réparties, calculer une structure de données représentative de l’activité corporelle dudit utilisateur qui est exercée à ladite date donnée et pour ladite durée donnée, - from said data thus distributed, calculate a data structure representative of the bodily activity of said user which is exercised on said given date and for said given duration,
- comparer ladite structure de données avec au moins une autre structure de données représentative de l’activité corporelle dudit utilisateur qui a été exercée à une date antérieure à ladite date donnée et pour ladite durée donnée, - compare said data structure with at least one other data structure representative of the bodily activity of said user which was exercised on a date prior to said given date and for said given duration,
- en résultat de ladite comparaison, évaluer une variation entre l’activité corporelle de l’utilisateur exercée à ladite date donnée et pour ladite durée donnée, et l’activité corporelle de l’utilisateur exercée à au moins la date antérieure et pour ladite durée donnée. - as a result of said comparison, evaluate a variation between the bodily activity of the user exercised on said given date and for said given duration, and the bodily activity of the user exercised at least on the previous date and for said duration given.
Un tel dispositif de calcul est notamment apte à mettre en œuvre le procédé précité d’évaluation de l’activité corporelle d’un utilisateur, selon l’un quelconque des modes de réalisation précités. Such a calculation device is in particular capable of implementing the aforementioned method of evaluating the bodily activity of a user, according to any one of the aforementioned embodiments.
L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé d’évaluation de l’activité corporelle d’un utilisateur, selon l’un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. The invention also relates to a computer program comprising instructions for implementing the method for evaluating bodily activity. of a user, according to any one of the particular embodiments described above, when said program is executed by a processor.
Ce programme peut utiliser n’importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n’importe quelle autre forme souhaitable. This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
L’invention vise également un support d’enregistrement ou support d’informations lisible par un ordinateur, et comportant des instructions d’un programme d’ordinateur tel que mentionné ci-dessus. The invention also relates to a recording medium or information medium readable by a computer, and comprising instructions of a computer program as mentioned above.
Le support d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une clé USB ou un disque dur. The recording medium can be any entity or device capable of storing the program. For example, the support may include a storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a USB key or a hard disk.
D'autre part, le support d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. On the other hand, the recording medium can be a transmissible medium such as an electrical or optical signal, which can be routed via an electrical or optical cable, by radio or by other means. The program according to the invention can in particular be downloaded from a network of the Internet type.
Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé d’évaluation précité. Alternatively, the recording medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the above-mentioned evaluation method.
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante de modes de réalisation particuliers, donnés à titre de simples exemples illustratifs et non limitatifs, et des dessins annexés, parmi lesquels : Other characteristics and advantages of the invention will appear more clearly on reading the following description of particular embodiments, given by way of simple illustrative and nonlimiting examples, and of the appended drawings, among which:
[Fig 1] - la figure 1 représente les principales actions exécutées par le procédé d’évaluation de l’activité corporelle d’un utilisateur selon un mode de réalisation de l’invention, [Fig 1] - Figure 1 represents the main actions performed by the method of evaluating the bodily activity of a user according to an embodiment of the invention,
[Fig 2] - la figure 2 représente plus en détail une des actions exécutées par le procédé de la figure 1, [Fig 2] - Figure 2 shows in more detail one of the actions performed by the method of Figure 1,
[Fig 3] - la figure 3 représente plus en détail une autre des actions exécutées par le procédé de la figure 1, [Fig 4] - les figures 4A, 4B et 4C représentent différents exemples de structures de données obtenues selon le procédé de la figure 1, [Fig 3] - Figure 3 shows in more detail another of the actions performed by the method of Figure 1, [Fig 4] - FIGS. 4A, 4B and 4C represent different examples of data structures obtained according to the method of FIG. 1,
[Fig 5] - représente plus en détail un calcul de variation d’activité corporelle exécuté selon le procédé de la figure 1, [Fig 5] - represents in more detail a calculation of variation in bodily activity executed according to the method of FIG. 1,
[Fig 6] - les figures 6A et 6B représentent des exemples de visualisation de structures de données sur un ou plusieurs jours, [Fig 6] - Figures 6A and 6B represent examples of visualization of data structures over one or more days,
[Fig 7] - représente un dispositif d’évaluation de l’activité corporelle d’un utilisateur mettant en œuvre le procédé d’évaluation de l’activité corporelle d’un utilisateur de la figure 1. [Fig 7] - represents a device for evaluating the body activity of a user implementing the method for evaluating the body activity of a user of FIG. 1.
Description d'un mode de réalisation de l'invention Description of an embodiment of the invention
Principe général de l'invention General principle of the invention
L’objectif de cette invention est la mise en place d’une métrique automatique afin d’évaluer le comportement corporel d’un individu comme étant une routine situationnelle ou au contraire un événement rare, et de générer un degré d’information à qui de droit par divers moyens de communication. The objective of this invention is the implementation of an automatic metric in order to assess the bodily behavior of an individual as being a situational routine or on the contrary a rare event, and to generate a degree of information to whom law by various means of communication.
L’invention propose principalement un procédé et un dispositif de calcul d’une mesure d’autonomie d’une personne suivie à distance en utilisant des données brutes issues d’un ou de plusieurs capteurs de mouvement porté(s) par la personne. L’objectif n’est pas, comme bon nombre de solutions du marché, de lancer des alertes lors d’un évènement ponctuel (chute, malaise...) mais de fournir un suivi dans le temps de l’activité corporelle de la personne, afin d’informer le corps médical, la famille ou tout tiers intéressé, en cas de changement dans les habitudes de la personne. Une telle mesure d’autonomie prend par exemple la forme d’un indice d’autonomie sur une échelle de 0 à 1 : 0.1 tout va bien, 0.5 on commence à s’inquiéter, 0.9 il y a urgence à intervenir. The invention mainly provides a method and a device for calculating a measure of autonomy of a person monitored remotely using raw data from one or more motion sensors carried by the person. The objective is not, like many solutions on the market, to launch alerts during a punctual event (fall, malaise ...) but to provide monitoring over time of the bodily activity of the person , in order to inform the medical profession, the family or any interested third party, in the event of a change in the person's habits. Such a measure of autonomy takes for example the form of an index of autonomy on a scale of 0 to 1: 0.1 everything is fine, 0.5 one begins to worry, 0.9 there is urgency to intervene.
Le procédé fonctionne en détectant des postures spécifiques à l’individu par des méthodes dites de pre-clustering (classification de données brutes similaires en classes de données par des méthodes non supervisées de clustering par séparateur non-linéaire) via l’analyse de différents flux de données inertiels (accélérométrique, gyroscopique, magnétométrique) provenant du/des capteur(s). The method works by detecting postures specific to the individual by so-called pre-clustering methods (classification of similar raw data into data classes by unsupervised clustering methods by non-linear separator) via the analysis of different flows. inertial data (accelerometric, gyroscopic, magnetometric) coming from the sensor (s).
Les méthodes par analyse supervisée des données ne permettent pas d’identifier précisément des postures, en raison d’une confusion possible dans la détermination de certaines postures, telles que par exemple la position assise ou debout détectée par un capteur inertiel, si la personne a la même orientation et la même dynamique. De plus, on se contente souvent de quatre informations différentes avec ce type de méthode (assis, debout, couché, marche). Supervised data analysis methods do not allow precise identification of postures, due to a possible confusion in the determination of certain postures, such as for example the sitting or standing position detected by an inertial sensor, if the person has the same orientation and the same dynamics. In addition, we often settle for four different pieces of information with this type of method (sitting, standing, lying, walking).
L’invention se propose de contourner ces problématiques en proposant un modèle quasiment non-supervisé apte à isoler des postures et à réaliser des groupes de postures sans nécessairement caractériser ces postures (assis, couché, débout etc...). Les postures sont donc anonymisées car elles ne peuvent pas être caractérisées par le procédé et le procédé ne permet donc pas de caractériser dans le temps les postures de ladite personne. Ces postures, représentées par les classes de données dans le procédé, pourront être en grand nombre et caractéristiques de l’individu. Cette méthode, pour être efficace, ne nécessite l’utilisation que d’un seul capteur inertiel. The invention proposes to circumvent these problems by proposing an almost unsupervised model capable of isolating postures and performing groups of postures without necessarily characterizing these postures (sitting, lying, standing etc ...). The postures are therefore anonymized because they cannot be characterized by the process and the process therefore does not make it possible to characterize the postures of said person over time. These postures, represented by the data classes in the process, may be in large number and characteristic of the individual. To be effective, this method requires the use of only one inertial sensor.
Sur une durée prédéfinie, le procédé analyse et identifie les classes de données et crée une structure de données, telle que par exemple, une liste, une matrice, un vecteur, etc..., caractérisant un agrégat des classes de données sur cette durée. Cette structure de données est une représentation de comportements ou d’activités tels que par exemple: je me lève le matin, j’allume la cafetière, je prépare le petit déjeuner, je déjeune, je me brosse les dents... Over a predefined duration, the method analyzes and identifies the data classes and creates a data structure, such as for example, a list, a matrix, a vector, etc., characterizing an aggregate of the data classes over this duration . This data structure is a representation of behaviors or activities such as for example: I get up in the morning, I turn on the coffee maker, I prepare breakfast, I eat lunch, I brush my teeth ...
Ces séquences de classes de données peuvent être analysées chaque heure ou pour des durées différentes (plus courtes ou plus longues) en fonction de ce qu’on souhaite analyser et également sur des plages horaires spécifiquement définies par le modèle ou par un expert, car elles représentent des moments particuliers de la journée (petit déjeuner, déjeuner, balade dans l’après-midi, etc...). Cette analyse est réalisée en temps réel sur chacun des créneaux de temps choisis. These sequences of data classes can be analyzed every hour or for different durations (shorter or longer) depending on what you want to analyze and also over time slots specifically defined by the model or by an expert, because they represent particular moments of the day (breakfast, lunch, afternoon stroll, etc.). This analysis is performed in real time on each of the selected time slots.
Ensuite, ces modèles de comportement sont comparés avec d’autres modèles sauvegardés précédemment pour identifier des similarités de comportements à des moments opportuns. Ces moments opportuns peuvent être la comparaison d’un créneau horaire avec le même créneau horaire de chaque jour de la semaine passée ou de chaque lundi des semaines passées. Cette mesure de similarité est calculée avec des réseaux de neurones (modèle qui doit être entraîné) et peut être effectuée directement dans le terminal intégrant le capteur de données inertielles (exemple un smartphone ou une montre connectée) ou un équipement déporté de type ordinateur ou serveur ou un mix des deux équipements. Then, these behavior models are compared with other previously saved models to identify similarities in behavior at appropriate times. These opportune moments can be the comparison of a time slot with the same time slot of each day of the past week or of each Monday of the past weeks. This similarity measure is calculated with neural networks (model which must be trained) and can be performed directly in the terminal integrating the inertial data sensor (example a smartphone or a connected watch) or remote equipment such as a computer or server or a mix of the two equipment.
Ainsi, il est donc possible de calculer une variation d’activité corporelle sur la base de la moyenne pondérée des similarités de comportement sur plusieurs moments opportuns choisi de par leur pertinence et ayant la même durée. Ce calcul permet également de donner une première estimation d’un indice d’autonomie de la personne car il mesure les variations d’activité d’un utilisateur sur un créneau horaire (de l’ordre de l’heure par exemple) par rapport à ses activités passées sur le même créneau. Cependant, pour une estimation plus précise, l’invention se propose de comparer des activités sur des durées d’analyses plus longues comme par exemple sur une journée complète (de 0 à 24h) ou une journée glissante (de 8 heures à 8 heures le lendemain). Même si une analyse comparée à la journée est peut-être moins pertinente, elle vient donner une information qui permettra à l’invention d’affiner la valeur d’autonomie. Dans cette optique, des poids différents peuvent être donnés à la comparaison des activités corporelles sur des créneaux à l’heure ou encore sur des créneaux journaliers, etc. Afin d’affiner encore la mesure de l’autonomie, ce principe de comparaison pondérée sur des créneaux horaires différents peut se généraliser pour des durées encore plus longues (semaines, mois, années) et n’est limité que par l’historique des enregistrements des données brutes de mouvement de l’utilisateur. Thus, it is therefore possible to calculate a variation in bodily activity on the basis of the weighted average of the similarities of behavior over several convenient times chosen by their relevance and having the same duration. This calculation also makes it possible to give a first estimate of an index of autonomy of the person because it measures the variations in activity of a user over a time slot (of the order of the hour for example) compared to its past activities in the same niche. However, for a more precise estimate, the invention proposes to compare activities over longer analysis times such as for example a full day (from 0 to 24 hours) or a slippery day (from 8 hours to 8 hours on next day). Even if an analysis compared to the day is perhaps less relevant, it provides information that will allow the invention to refine the value of autonomy. In this perspective, different weights can be given to the comparison of bodily activities on time slots or on daily slots, etc. In order to further refine the measurement of autonomy, this principle of comparison weighted over different time slots can be generalized for even longer durations (weeks, months, years) and is only limited by the history of recordings. raw user motion data.
Une valeur d’autonomie A calculée à l’issue du procédé selon l’invention est, selon un mode de réalisation possible, comparée à un seuil Z. Une alarme est alors remontée si la valeur A est supérieur au seuil Z. Cette alarme déclenche la transmission d’information à un tiers, tel que par exemple un membre de la famille, le médecin traitant, une société de service, un établissement de soins et même toute société ou entité en mesure d’apporter une réponse même partielle à ces changements de routine (exemple : fournisseur de contenus musicaux, de films etc...). A autonomy value A calculated at the end of the method according to the invention is, according to a possible embodiment, compared with a threshold Z. An alarm is then raised if the value A is greater than the threshold Z. This alarm triggers the transmission of information to a third party, such as for example a family member, the attending physician, a service company, a care establishment and even any company or entity able to provide even a partial response to these changes routine (example: supplier of musical content, films, etc.).
Modes particuliers de réalisation de l'invention. Particular modes of carrying out the invention.
Il est décrit ci-après, en référence aux figures 1 à 7, un procédé d’évaluation de l’activité corporelle d’un utilisateur. There is described below, with reference to FIGS. 1 to 7, a method of evaluating the bodily activity of a user.
Un tel procédé se déroule de la manière suivante. Such a process takes place in the following manner.
Sur la figure 1, en PI, un capteur de données brutes CAP enregistre en continu sur un support de stockage transitoire ou non transitoire (représenté et nommé MEM_CAP sur la figure 2) les données brutes numériques décrivant le mouvement d’un utilisateur. Un tel capteur est par exemple porté par l’utilisateur. Il s’agit par exemple d’un accéléromètre, gyromètre, magnétomètre, etc., communément installés dans un téléphone mobile, ou tout dispositif portatif tel qu’un objet connecté. Dans un exemple d’implémentation, les données brutes stockées sont transmises vers une base de données MVT_DB qui est la base de connaissance principale décrivant les mouvements d’une personne pour une longue durée de l’ordre de plusieurs mois à plusieurs années (les années 2016, 2017 et une partie de 2018 dans notre exemple). In FIG. 1, in PI, a raw data sensor CAP records continuously on a transient or non-transient storage medium (shown and named MEM_CAP in Figure 2) the raw digital data describing the movement of a user. Such a sensor is for example worn by the user. It is for example an accelerometer, gyrometer, magnetometer, etc., commonly installed in a mobile phone, or any portable device such as a connected object. In an exemplary implementation, the raw data stored is transmitted to a database MVT_DB which is the main knowledge base describing the movements of a person for a long duration of the order of several months to several years (the years 2016, 2017 and part of 2018 in our example).
Dans un mode de réalisation alternatif, comme décrit sur la figure 2, les données enregistrées en continu ACQU en PI sont soit directement transmises par le capteur et enregistrées dans la base de données MVT_DB (flèche en pointillé), soit stockées dans la mémoire du capteur MEM_CAP. L’ensemble de ces données brutes récoltées constitue une base de données brute. In an alternative embodiment, as described in FIG. 2, the data recorded continuously ACQU in PI are either directly transmitted by the sensor and recorded in the database MVT_DB (dotted arrow), or stored in the memory of the sensor MEM_CAP. All of this raw data collected constitutes a raw database.
Cette base de données est ensuite décomposée par le procédé en plusieurs bases de données SIM_Dt_DB qui diffèrent selon la durée d’analyse. Dans notre exemple, SIM_H_DB représente des données brutes de mouvement pour des créneaux horaires d’une heure semblables (10h-l lh) ou des créneaux dissemblables (0h-10h-12h-24h), SIM_D_DB pour des jours semblables (tous les lundis de la base de donnée à partir de 2017) et dissemblables (tous les mardis, mercredis, jeudis, vendredis, samedis, dimanches de la base de données), SIM_W_DB pour les semaines semblables (Semaine 5 de 2017 et 2018) et dissemblables (les autres semaines de la base de données), SIM_M_DB pour les mois semblables (les mois de Janvier 2017 et 2018) et dissemblables (tous les mois de février à décembre de la base de données) et SIM_Y_DB pour les années semblables (2017) et dissemblables (2016 car plus éloignée dans le temps, cette année représente moins les situations actuelles). This database is then broken down by the process into several SIM_Dt_DB databases which differ according to the duration of analysis. In our example, SIM_H_DB represents raw movement data for similar one-hour time slots (10h-l lh) or dissimilar slots (0h-10h-12h-24h), SIM_D_DB for similar days (every Monday from database from 2017) and dissimilar (every Tuesday, Wednesday, Thursday, Friday, Saturday, Sunday of the database), SIM_W_DB for similar weeks (Week 5 of 2017 and 2018) and dissimilar (the others weeks in the database), SIM_M_DB for similar months (the months of January 2017 and 2018) and dissimilar (every month from February to December in the database) and SIM_Y_DB for similar years (2017) and dissimilar ( 2016 because more distant in time, this year represents less the current situations).
En TRAIT_1, les signaux sont triés afin de ne garder que les signaux à traiter. En effet, neufs signaux sont captés par le capteur CAP de façon à disposer de valeurs issues de trois capteurs (accéléromètre, magnétomètre et gyromètre) et dans les trois dimensions euclidiennes. Or, il se peut que le procédé ne souhaite pas garder toutes les données brutes. Par exemple, le procédé peut décider de ne garder que six valeurs au lieu des neufs car l’utilisateur est par exemple en position couchée et n’utilise pas le magnétomètre. Dans ce cas, en TRAIT_1, les trois valeurs issues du magnétomètre ne sont pas conservées. In TRAIT_1, the signals are sorted in order to keep only the signals to be processed. In fact, nine signals are picked up by the CAP sensor so as to have values from three sensors (accelerometer, magnetometer and gyrometer) and in the three Euclidean dimensions. However, the process may not want to keep all the raw data. For example, the method can decide to keep only six values instead of the nine because the user is for example in the lying position and does not use the magnetometer. In this case, in TRAIT_1, the three values from the magnetometer are not preserved.
Une extraction EXTR_Tr_Dt des données brutes est réalisée dans la base MVT_DB de façon à récupérer la partie MVT_Tr_Dt des données de la base de données qui ont été acquises par le capteur à ladite date donnée (date de référence dite Tr) et pour ladite durée donnée aussi appelée durée de référence Dt. Ces données brutes peuvent être stockées dans une mémoire transitoire ou non du capteur ou du dispositif ou dans une base de données située sur un équipement externe, comme un ordinateur ou un serveur par exemple. An extraction EXTR_Tr_Dt of the raw data is carried out in the base MVT_DB so as to recover the part MVT_Tr_Dt of the data of the database which were acquired by the sensor on said given date (reference date called Tr) and for said given duration also called reference duration Dt. This raw data can be stored in a transient memory or not of the sensor or of the device or in a database located on an external device, such as a computer or a server for example.
Dans cet exemple d’implémentation, les données brutes de mouvement sont recueillies le mardi 6 février 2018 de lOh à l lh. Dt correspond donc à une durée d’une heure. In this implementation example, the raw movement data is collected on Tuesday February 6, 2018 from 10 a.m. to 1 a.m. Dt therefore corresponds to a duration of one hour.
En TRAIT_2, des traitements sont réalisés sur les signaux d’intérêts recueillis et segmentés, représentatifs de la partie MVT_Tr_Dt des données brutes de la base de données. Les traitements sont, de façon non exhaustive, du filtrage passe-bas pour dé-bruiter l’information, de la normalisation pour harmoniser les données brutes, du ré-échantillonnage de données pour synchroniser les sources, etc. In TRAIT_2, processing is carried out on the collected and segmented interest signals, representative of the MVT_Tr_Dt part of the raw data in the database. The processing operations are, in a non-exhaustive manner, low-pass filtering to de-noise the information, normalization to harmonize the raw data, resampling of data to synchronize the sources, etc.
Sur la figure 1, en P2, il est procédé à une classification REP des données brutes de la base MVT_Tr_Dt acquises en PI en classes de données selon une méthode de classification non-supervisée, ces classes de données représentant au moins une posture anonymisée de ladite personne. In FIG. 1, in P2, there is a classification REP of the raw data of the base MVT_Tr_Dt acquired in PI in data classes according to an unsupervised classification method, these classes of data representing at least one anonymized posture of said nobody.
Comme représenté sur la figure 3, une telle classification REP comprend une classification des données brutes, stockées dans la base MVT_Tr_Dt, qui représentent des postures similaires anonymisées de ladite personne et regroupées en classes de données Sri,..., Sri,..., SrN. Dans cet exemple d’implémentation, les classes de données sont apprises automatiquement par regroupement non- supervisé (en anglais « clustering ») de séries temporelles à partir de la base de connaissance SIM_Dt_DB. As shown in FIG. 3, such a REP classification includes a classification of the raw data, stored in the base MVT_Tr_Dt, which represent similar anonymized postures of said person and grouped into data classes Sri, ..., Sri, ... , SrN. In this implementation example, the data classes are learned automatically by unsupervised grouping (in English "clustering") of time series from the knowledge base SIM_Dt_DB.
Pour obtenir cette classification en postures anonymisées de ladite personne, le procédé utilise des réseaux de neurones récurrents GRU (de l’anglais « Gated Récurrent Unit ») préalablement appris sur la base SM_Dt_DB. Comme évoqué dans le paragraphe ci-dessus, différentes classes de données Sri,..., Sri,..., SrN ont été déterminées par clustering sur la base SIM_Dt_DB. Un processus d’apprentissage suit pour modéliser un réseau GRU capable de classer ces données brutes de mouvement en classes de données représentant des postures anonymisées de ladite personne. To obtain this classification into anonymous postures of said person, the method uses recurrent neural networks GRU (from the English “Gated Recurrent Unit”) previously learned on the basis SM_Dt_DB. As mentioned in the paragraph above, different data classes Sri, ..., Sri, ..., SrN were determined by clustering on the basis SIM_Dt_DB. A learning process follows to model a GRU network capable of classifying this raw movement data into classes of data representing anonymized postures of said person.
Sur la figure 1, en P3, il est procédé au calcul CALC_STR d’une structure de données de l’activité corporelle d’un individu, pour la date Tr et la durée Dt. On figure 1, in P3, one proceeds to the calculation CALC_STR of a structure of data of the bodily activity of an individual, for the date Tr and the duration Dt.
Dans un exemple d’implémentation représenté à la figure 4A, la structure de données, désignée par Vr, est un histogramme ou un vecteur de classes de données Sri reconnues en P2. Chaque valeur de l’histogramme représente le nombre Ci de fois où une classe de données Sri a été reconnue. In an exemplary implementation represented in FIG. 4A, the data structure, designated by Vr, is a histogram or a vector of Sri data classes recognized in P2. Each value in the histogram represents the number Ci of times a Sri data class has been recognized.
Dans un autre exemple d’implémentation représenté à la figure 4B, la structure de données Vr est représentée par un histogramme des différentes classes de données et de leur nombre pendant la durée donnée. En abscisse, est représenté le nombre N de classes de données différentes et en ordonnée le nombre Ci de fois où une classe de données donnée a été identifiée par le procédé. In another exemplary implementation shown in FIG. 4B, the data structure Vr is represented by a histogram of the different classes of data and their number during the given duration. On the abscissa, the number N of different data classes is represented and on the ordinate the number Ci of times a given data class has been identified by the method.
Dans un autre exemple d’implémentation représenté à la figure 4C, la structure de données Vr est représentée par un empilement de formes carrées. Chaque carré représente une classe de données différente. Pour chacune des classes de données, on représente, par un nombre de pixels noirs à l’intérieur du carré, le nombre Ci de fois où la classe de données a été identifiée pendant la durée donnée. In another exemplary implementation shown in FIG. 4C, the data structure Vr is represented by a stack of square shapes. Each square represents a different class of data. For each of the data classes, we represent, by a number of black pixels inside the square, the number Ci of times the data class has been identified during the given duration.
Sur la figure 1, en P4, il est procédé à une comparaison COMP de la structure de données Vr avec une ou plusieurs autres structures de données. In FIG. 1, in P4, a comparison COMP of the data structure Vr is carried out with one or more other data structures.
A cet effet, comme représenté sur la figure 5, la comparaison COMP consiste en des prédictions de similarité de la structure de données Vr par comparaison avec d’autres structures de données d’activité corporelle VI, ..., Va,..., VM calculées pour des acquisitions de données à des périodes antérieures (dates antérieures mais pour une durée similaire). Le but est de savoir si la structure de données Vr est similaire aux autres structures de données caractéristiques de sa tranche horaire (ici dans notre exemple tous les lundis de lOh à l lh) dans le passé de l’individu ou à une ou des dates différentes, mais toujours pour la même durée Dt (exemple de 1 IL· à 12h le lundi 5 février de l’année d’avant). Si la structure Vr est similaire avec une structure de données Va d’une date antérieure a, cela indique qu’il n’y a pas de changement significatif dans le comportement corporel de l’individu au regard de la comparaison entre l’activité corporelle à la date Tr et l’activité corporelle à la date Ta. Cette comparaison est effectuée sur un ensemble de dates antérieures (M dates comme illustré sur la figure 5) en comparaison avec la date de référence Tr. Une moyenne pondérée de l’ensemble de ces comparaisons est ensuite calculée pour obtenir une valeur DELTA_H représentative d’une première estimation d’une valeur d’autonomie de l’utilisateur. To this end, as shown in FIG. 5, the comparison COMP consists of predictions of similarity of the data structure Vr by comparison with other structures of body activity data VI, ..., Va, ... , VM calculated for data acquisitions in previous periods (previous dates but for a similar duration). The goal is to know if the data structure Vr is similar to the other data structures characteristic of its time slot (here in our example every Monday from 10 a.m. to 1 a.m.) in the past of the individual or to one or different dates, but always for the same duration Dt (example of 1 IL · at 12 noon on Monday February 5 of the year before). If the structure Vr is similar with a data structure Va from a date before a, this indicates that there is no significant change in the bodily behavior of the individual with regard to the comparison between bodily activity on date Tr and bodily activity on date Ta. This comparison is carried out on a set of previous dates (M dates as illustrated in FIG. 5) in comparison with the reference date Tr. A weighted average of all these comparisons is then calculated to obtain a value DELTA_H representative of a first estimate of a user autonomy value.
Les réseaux de neurones siamois (SIAM_Dt sur la figure 5) permettent de faire ce type de comparaisons. Si deux structures de données qui ont été apprises par le réseau représentent le même comportement corporel durant la période, le réseau siamois produit une mesure proche de 0. Si deux structures de données sont dissimilaires (ex : le comportement corporel du mardi entre lOh et l lh est différent de celui du dimanche, entre 22h et 23h), le réseau siamois produit une mesure proche de 1. Ensuite, pour calculer la valeur DELTA_Dt, on effectuera une moyenne pondérée des valeurs de comparaison entre la structure de donnée à évaluer (Vr sur le schéma de la figure 5) et les différentes structures de données déjà mesurées à des dates antérieures (Va sur le schéma de la figure 5). The Siamese neural networks (SIAM_Dt in Figure 5) allow this type of comparison to be made. If two data structures that have been learned by the network represent the same bodily behavior during the period, the Siamese network produces a measurement close to 0. If two data structures are dissimilar (ex: Tuesday's bodily behavior between 10 and 10 lh is different from that of Sunday, between 22h and 23h), the Siamese network produces a measurement close to 1. Then, to calculate the value DELTA_Dt, we will carry out a weighted average of the comparison values between the data structure to be evaluated (Vr on the diagram in Figure 5) and the different data structures already measured at earlier dates (Go to the diagram in Figure 5).
Le but est d’effectuer des comparaisons avec plusieurs dates antérieures où la personne devrait effectuer des activités similaires, suivre la même routine (exemple des lundis de lOh à l lh). La difficulté est de choisir convenablement ces dates antérieures pour caractériser une activité anormale et non pas simplement un peu différente de d’habitude. Ce choix de pertinence peut être réalisé par un expert (médecin, auditeur) suite à une étude préalable des habitudes de la personne à suivre mais aussi par le procédé lui-même s’il dispose de données suffisantes concernant les habitudes de la personne à suivre et donc des moments opportuns de comparaison. A titre d’alternative, ce choix de pertinence peut être réalisé à la fois par l’expert et par le procédé. The goal is to make comparisons with several previous dates when the person should perform similar activities, follow the same routine (example from Monday to Friday at 1:00). The difficulty is to choose these earlier dates appropriately to characterize an abnormal activity and not simply a little different from usual. This choice of relevance can be made by an expert (doctor, listener) following a prior study of the habits of the person to be followed, but also by the process itself if it has sufficient data concerning the habits of the person to be followed. and therefore opportune moments of comparison. Alternatively, this choice of relevance can be made by both the expert and the process.
Pour obtenir plusieurs valeurs de variations d’activités corporelles DELTA_Dt, le procédé s’appuie sur différents modèles SIAM_Dt préalablement appris. Ces modèles sont des réseaux de neurones siamois qui ont appris les similarités et les dissemblances sur par exemple : To obtain several values of variations in bodily activities DELTA_Dt, the process is based on different models SIAM_Dt previously learned. These models are Siamese neural networks that have learned similarities and dissimilarities for example:
- les bases SIM_H_DB (Dt = H pour « Hour » en anglais) sur des créneaux horaires d’une heure, - the SIM_H_DB bases (Dt = H for "Hour" in English) on one hour time slots,
- SIM_D_DB (Dt = D pour « Day » en anglais) sur des créneaux d’un jour, - SIM_D_DB (Dt = D for "Day" in English) for one day slots,
- SIM_W_DB (Dt = W pour « Week » en anglais) sur des créneaux d’une semaine, - SIM_W_DB (Dt = W for "Week" in English) over one week slots,
- SIM_M_DB (Dt = M pour « Month » en anglais) sur des créneaux d’un mois, - SIM_M_DB (Dt = M for "Month" in English) over one month slots,
- SIM_Y_DB (Dt = Y pour « Year » en anglais) sur des créneaux d’un an. - SIM_Y_DB (Dt = Y for "Year" in English) for one year slots.
Ces bases sont des sous-ensembles de données de la base de données MVT_DB (cf. Figure 2). Après apprentissage, ce sont les réseaux de neurones siamois SIAM_Dt respectifs aux bases de données SIM_Dt_DB qui mesurent la similarité entre les structures de données pour les comparer. These databases are data subsets of the MVT_DB database (see Figure 2). After learning, it is the Siamese neural networks SIAM_Dt respective to the SIM_Dt_DB databases which measure the similarity between the data structures to compare them.
Selon un autre exemple d’implémentation de la comparaison COMP, la comparaison COMP consiste à calculer la similarité DELTA_D entre le jour précédent (lundi) et tous les autres lundis de la base MVT_DB. A cet effet, le jour de référence à considérer est le jour précédant la date donnée car toutes les données sont disponibles pour ce jour. Les variations dans le comportement de l’individu les lundis précédents sont alors considérées. Si aucune variation n’est relevée, l’activité corporelle de l’utilisateur est considéré comme habituelle. Si une ou plusieurs variations ont été relevées par rapport aux lundis précédents, l’activité corporelle de l’utilisateur est considérée comme « s’aggravant ». Sur le même principe, le procédé calcule une estimation de la similarité DELTA_W entre la semaine précédente (S5 2018) et les autres semaines de la base MVT_DB, et, dans le cas où la base MVT_DB le permet, calcule les mesures de similarité de semaines, de mois et d’années comme suit : According to another example of implementation of the COMP comparison, the COMP comparison consists in calculating the similarity DELTA_D between the previous day (Monday) and all the other Mondays of the MVT_DB database. For this purpose, the reference day to be considered is the day preceding the given date because all the data are available for this day. Variations in the behavior of the individual on previous Mondays are then considered. If no variation is noted, the user's bodily activity is considered normal. If one or more variations have been noted compared to previous Mondays, the user's bodily activity is considered to be "worsening". On the same principle, the method calculates an estimate of the similarity DELTA_W between the previous week (S5 2018) and the other weeks of the base MVT_DB, and, if the base MVT_DB allows it, calculates the measures of similarity of weeks , months and years as follows:
- une estimation de la similarité DELTA_M entre le mois correspondant à la date Tr et des mois choisis par le procédé ou par un tiers car similaires en termes d’activités mensuelles (exemple tous les mois de Janvier de chaque années), - an estimate of the similarity DELTA_M between the month corresponding to the date Tr and months chosen by the process or by a third party because they are similar in terms of monthly activities (example every month in January of each year),
- une estimation de la similarité DELTA_Y entre l’année correspondant à la date Tr et des années choisies par le procédé ou par un tiers car similaires en termes d’activités annuelles (l’année 2017 dans notre exemple). Dans un exemple d’implémentation représenté sur la figure 6 A, le vecteur caractéristique de l’activité corporelle de l’utilisateur sur une journée est la concaténation des 24 histogrammes de classes de données. - an estimate of the similarity DELTA_Y between the year corresponding to the date Tr and of the years chosen by the process or by a third party because they are similar in terms of annual activities (the year 2017 in our example). In an exemplary implementation represented in FIG. 6 A, the characteristic vector of the user's bodily activity over a day is the concatenation of the 24 histograms of data classes.
Dans l’exemple d’implémentation de la figure 6B, le vecteur caractéristique de l’activité corporelle de l’utilisateur sur une journée Dl, D2, etc... est la concaténation des 24 colonnes de N carrés représentant respectivement 24 créneaux horaires. Les carrés représentant un groupe de données représentant des mouvements similaires. Bien entendu, de la même manière, un tel vecteur caractéristique peut être calculé pour caractériser l’activité corporelle de l’utilisateur sur une période plus longue, telle qu’une semaine, un mois ou une année. In the example of implementation of FIG. 6B, the characteristic vector of the user's bodily activity over a day Dl, D2, etc. is the concatenation of the 24 columns of N squares representing respectively 24 time slots. Squares representing a group of data representing similar movements. Of course, in the same way, such a characteristic vector can be calculated to characterize the bodily activity of the user over a longer period, such as a week, a month or a year.
Sur la figure 1, en P5, le procédé comprend le calcul d’une valeur d’autonomie A en fonction des similarités prédites en P4 sur les différentes durées d’analyses réalisées. Dans un exemple d’implémentation, un tel calcul utilise l’équation suivante : In FIG. 1, in P5, the method comprises the calculation of an autonomy value A as a function of the similarities predicted in P4 over the different durations of analyzes carried out. In an implementation example, such a calculation uses the following equation:
A = WH*DELTA_H + WD*DELTA_D+ WW*DELTA_W + WM*DELTA_M+ WY*DELTA_Y, A = WH * DELTA_H + WD * DELTA_D + WW * DELTA_W + WM * DELTA_M + WY * DELTA_Y,
avec WH, WD, WW, WM, WY des nombres réels de pondération. with WH, WD, WW, WM, WY of the real weighting numbers.
Ces nombres réels de pondération servent à donner plus d’importance aux changements ponctuels (exemple WH=0.8) qu’aux dissemblances mensuelles (exemple WM=0.05) et annuelles (exemple WY=0.01). Les nombres réels de pondération peuvent être nuis si la base de connaissance MVT_DB ne permet pas de calculer, par manque de données, les similarités correspondantes. Ces poids peuvent être définis manuellement par un expert (médecin, auditeur) suite à une analyse des changements de comportements de la personne à suivre, ou bien automatiquement par une étude de l’historique des habitudes de la personne suivie. A titre d’alternative, ces poids peuvent être définis à la fois manuellement et automatiquement. These real weighting numbers are used to give more importance to point changes (example WH = 0.8) than to monthly dissimilarities (example WM = 0.05) and annual ones (example WY = 0.01). The real weighting numbers can be harmful if the knowledge base MVT_DB does not allow to calculate, for lack of data, the corresponding similarities. These weights can be defined manually by an expert (doctor, listener) following an analysis of changes in the behavior of the person to be followed, or automatically by a study of the history of the habits of the person being followed. Alternatively, these weights can be set both manually and automatically.
Sur la figure 1, en P6, il est procédé à une comparaison COMP_Z entre la valeur d’autonomie A et une valeur Z. In FIG. 1, in P6, a COMP_Z comparison is carried out between the autonomy value A and a value Z.
En fonction du résultat de la comparaison, en P7, est générée (GEN) une information en rapport avec la variation calculée. Si la valeur A est supérieure à une valeur Z, alors le procédé active un service détaillé sur la figure 1 en P8. Sinon, le procédé acquiert de nouvelles données en PI. Depending on the result of the comparison, in P7, information is generated (GEN) related to the calculated variation. If the value A is greater than a value Z, then the method activates a service detailed in FIG. 1 in P8. Otherwise, the method acquires new PI data.
L’information générée en P7 représente une interprétation d’une valeur correspondant à la différence entre la valeur A et la valeur Z. La valeur A, lorsque communiquée par le service décrit ensuite en P8, permet de donner une information simple et facilement compréhensible aux services compétents ou à la famille sur le niveau d’autonomie de l’utilisateur. Cette information peut être de type texte, graphique ou tout autre moyen d’information. The information generated in P7 represents an interpretation of a value corresponding to the difference between the value A and the value Z. The value A, when communicated by the service described next in P8, makes it possible to give simple and easily understandable information to the competent or family services on the user's level of autonomy. This information can be text, graphic or any other means of information.
Sur la figure 1, en P8, il est procédé à l’établissement d’une communication COM afin d’informer un individu de la valeur A. In FIG. 1, in P8, a COM communication is established in order to inform an individual of the value A.
Une telle communication COM peut être mise en œuvre pour informer l’individu, son entourage, ses proches, son corps médical, etc. (si accords consentis par l’individu) de son changement d’habitudes corporelles en transmettant une interprétation de la valeur A. Cette communication peut consister en l’envoi d’un mail, d’un message texte de type SMS, d’un appel téléphonique, d’une alarme sonore ou visuelle ou de tout autre moyen afin d’alerter un tiers. Such COM communication can be implemented to inform the individual, his entourage, his relatives, his medical corps, etc. (if agreed by the individual) of his change in bodily habits by transmitting an interpretation of the value A. This communication can consist of sending an email, a text message of SMS type, a telephone call, an audible or visual alarm or any other means to alert a third party.
Sur la figure 1, en P9, il est procédé à une estimation du changement de comportement de l’utilisateur durant une période considérée, afin de déterminer si une mise à jour de tous les modèles de réseaux de neurones Siamois précédemment appris est nécessaire ou non. A cet effet, le procédé définit des seuils selon les différentes durées caractérisant chaque réseau de neurone Siamois (heure, jour, semaine, mois, année dans notre exemple). Les valeurs calculées de A sur la base de données récentes d’activité captées sont comparées à ces seuils comme suit : In Figure 1, in P9, an estimate is made of the change in user behavior during a period considered, in order to determine whether an update of all the previously learned Siamese neural network models is necessary or not . To this end, the method defines thresholds according to the different durations characterizing each Siamese neuron network (hour, day, week, month, year in our example). The calculated values of A on the basis of recent activity data collected are compared with these thresholds as follows:
- Si à la fin du créneau horaire courant, la valeur A est proche de 0 (en fonction d’un nouveau seuil Tau_H = 0.2 par exemple), alors le procédé peut inclure les données extraites pendant ce créneau horaire comme similaires dans la base SIM_H_DB ; - If at the end of the current time slot, the value A is close to 0 (depending on a new threshold Tau_H = 0.2 for example), then the process can include the data extracted during this time slot as similar in the base SIM_H_DB ;
- Si à la fin de la journée, la valeur A est proche de 0 (en fonction d’un nouveau seuil Tau_D = 0.1 par exemple), alors le procédé peut inclure les données extraites pendant toute la journée comme similaires dans la base SIM_D_DB ; - If at the end of the day, the value A is close to 0 (according to a new threshold Tau_D = 0.1 for example), then the process can include the data extracted throughout the day as similar in the SIM_D_DB database;
- Si à la fin de la semaine, la valeur A est proche de 0 (en fonction d’un nouveau seuil Tau_W = 0.15 par exemple), alors le procédé peut inclure les données extraites pendant toute la semaine comme similaires dans la base SIM_W_DB ; - If at the end of the week, the value A is close to 0 (according to a new threshold Tau_W = 0.15 for example), then the process can include the data extracted during the whole week as similar in the base SIM_W_DB;
- Si à la fin du mois, la valeur A est proche de 0 (en fonction d’un nouveau seuil Tau_M = 0.15 par exemple), alors le procédé peut inclure les données extraites pendant tout le mois comme similaires dans la base SIM_M_DB ; - If at the end of the month, the value A is close to 0 (according to a new threshold Tau_M = 0.15 for example), then the process can include the data extracted during the whole month as similar in the SIM_M_DB database;
- Si à la fin de l’année, la valeur A est proche de 0 (en fonction d’un nouveau seuil Tau_Y = 0.25 par exemple), alors le procédé peut inclure les données extraites pendant toute l’année comme similaires dans la base SIM_Y_DB. - If at the end of the year, the value A is close to 0 (according to a new threshold Tau_Y = 0.25 for example), then the process can include the data extracted during the whole year as similar in the base SIM_Y_DB.
Sinon le procédé n’ajoute pas de données courantes aux bases de données d’apprentissage SIM_Dt_DB. Otherwise, the method does not add current data to the SIM_Dt_DB training databases.
Sur la figure 1, en P 10, les modèles de réseaux de neurones SIAM_Dt liés respectivement aux bases SIM_Dt_DB sont mis à jour avec les nouvelles données pour améliorer leur capacité à identifier des situations non routinières. En particulier, si un changement important est observé dans le comportement général de l’individu, les modèles doivent être profondément modifiés pour correspondre aux nouvelles routines en étant intégralement ré-entrainés à l’aide d’algorithmes d’apprentissage bien connus (ex : fine tuning, transfer leaming, adaptive learning, etc.). Par exemple, à la fin de la semaine, on peut réapprendre les modèles SIAM_H, SIAM_D, SIAM_W à partir des nouvelles bases SIM_H_DB, SIM_D_DB, et SIM_W_DB. A la fin de l’année, on peut réapprendre les modèles SIAM_M, SIAM_Y à partir des nouvelles bases SIM_M_DB et SIM_Y_DB. In FIG. 1, in P 10, the models of neural networks SIAM_Dt respectively linked to the bases SIM_Dt_DB are updated with the new data to improve their capacity to identify non-routine situations. In particular, if a significant change is observed in the general behavior of the individual, the models must be profoundly modified to correspond to the new routines by being completely re-trained using well-known learning algorithms (ex: fine tuning, transfer leaming, adaptive learning, etc.). For example, at the end of the week, we can relearn the SIAM_H, SIAM_D, SIAM_W models from the new bases SIM_H_DB, SIM_D_DB, and SIM_W_DB. At the end of the year, we can relearn the SIAM_M, SIAM_Y models from the new SIM_M_DB and SIM_Y_DB databases.
Selon un mode particulier de réalisation de l'invention représenté à la figure 7, les actions exécutées par le procédé d’évaluation sont mises en œuvre par un système comprenant un dispositif d’évaluation D_EVAL et un terminal T_CAP d’acquisition de données. According to a particular embodiment of the invention shown in FIG. 7, the actions executed by the evaluation method are implemented by a system comprising an evaluation device D_EVAL and a terminal T_CAP for acquiring data.
Le dispositif d’évaluation D_EVAL est par exemple un ordinateur ou un serveur. Pour cela, le dispositif d’évaluation D_EVAL a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM_EVAL, une unité de traitement UT_EVAL, équipée par exemple d'un processeur PROC_EVAL, et pilotée par le programme d'ordinateur PG_EVAL stocké en mémoire MEM_EVAL. Le programme d'ordinateur PG_EVAL comprend des instructions pour mettre en œuvre les actions du procédé d’évaluation de l’activité corporelle d’un utilisateur tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROC_EVAL. A l'initialisation, les instructions de code du programme d'ordinateur PG_EVAL sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC_EVAL. Le processeur PROC_EVAL de l'unité de traitement UT_EVAL met notamment en œuvre les actions du procédé d’évaluation de l’activité corporelle d’un utilisateur décrit ci-dessus, selon les instructions du programme d'ordinateur PG_EVAL. The evaluation device D_EVAL is for example a computer or a server. For this, the evaluation device D_EVAL has the classic architecture of a computer and in particular comprises a memory MEM_EVAL, a processing unit UT_EVAL, equipped for example with a processor PROC_EVAL, and controlled by the computer program PG_EVAL stored in memory MEM_EVAL. The computer program PG_EVAL includes instructions for implementing the actions of the method for evaluating the bodily activity of a user as described above, when the program is executed by the processor PROC_EVAL. On initialization, the code instructions of the computer program PG_EVAL are for example loaded into a RAM memory (not shown) before being executed by the processor PROC_EVAL. The processor PROC_EVAL of the processing unit UT_EVAL implements in particular the actions of the method for evaluating the bodily activity of a user described above, according to the instructions of the computer program PG_EVAL.
Le terminal d’acquisition de données T_CAP est par exemple un objet connecté porté par l’utilisateur. Pour cela, le terminal d’acquisition a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM_CAP, une unité de traitement UT_CAP, équipée par exemple d'un processeur PROC_CAP, et pilotée par le programme d'ordinateur PG_CAP stocké en mémoire MEM_CAP. Il comprend également un capteur de mouvements CAP permettant toutes sortes de captures de types de données de mouvements (par exemple : accéléromètrique, gyroscopique, magnétométrique). Le programme d'ordinateur PG_CAP comprend des instructions pour mettre en œuvre les actions du procédé d’évaluation de l’activité corporelle d’un utilisateur tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROC_CAP. A l'initialisation, les instructions de code du programme d'ordinateur PG_CAP sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC_CAP. Le processeur PROC_CAP de l'unité de traitement UT_CAP met notamment en œuvre les actions du procédé d’évaluation de l’activité corporelle d’un utilisateur décrit ci- dessus, selon les instructions du programme d'ordinateur PG_CAP. The T_CAP data acquisition terminal is for example a connected object carried by the user. For this, the acquisition terminal has the conventional architecture of a computer and notably comprises a memory MEM_CAP, a processing unit UT_CAP, equipped for example with a processor PROC_CAP, and controlled by the computer program PG_CAP stored in MEM_CAP memory. It also includes a CAP movement sensor allowing all kinds of capture of types of movement data (for example: accelerometer, gyroscopic, magnetometric). The computer program PG_CAP includes instructions for implementing the actions of the method for evaluating the bodily activity of a user as described above, when the program is executed by the processor PROC_CAP. On initialization, the code instructions of the computer program PG_CAP are for example loaded into a RAM memory (not shown) before being executed by the processor PROC_CAP. The processor PROC_CAP of the processing unit UT_CAP implements in particular the actions of the method for evaluating the bodily activity of a user described above, according to the instructions of the computer program PG_CAP.
Concernant l’étape PI, en liaison avec la figure 2, comme déjà expliqué plus haut, le processus TRAIT_1 permet d’obtenir et de sélectionner des signaux d’intérêt à traiter. Le processus TRAIT_1 peut être réalisé par le terminal T_CAP comme suit - les données de mouvement acquises par le capteur CAP sont stockées dans la mémoire MEM_CAP en temps réel et traitées par le processus TRAIT_1. Les données traitées sont ensuite transmises à la mémoire MEM_EVAL pour être finalement stockées dans la base de données MVT_DB. Concerning the step PI, in connection with FIG. 2, as already explained above, the process TRAIT_1 makes it possible to obtain and select signals of interest to be processed. The process TRAIT_1 can be carried out by the terminal T_CAP as follows - the movement data acquired by the CAP sensor are stored in memory MEM_CAP in real time and processed by the process TRAIT_1. The processed data are then transmitted to the MEM_EVAL memory to be finally stored in the MVT_DB database.
Le processus TRAIT_1 peut également être réalisé à posteriori, c'est-à-dire que les données d’acquisition non traitées par le terminal T_CAP sont stockées directement dans la base de données MVT_DB et traitées à posteriori avec le processus TRAIT_1 par le dispositif d’évaluation D_EVAL (cf figure 2 les flèches en pointillés entre TRAIT_1 et MVT_DB). Le processus TRAIT_1 peut également être une combinaison de traitements exécutée en temps réel dans les mémoires MEM_CAP et MEM_EVAL, les données traitées étant stockées à posteriori dans la base de données MVT_DB afin de s’adapter aux performances de stockage et de calcul du terminal T_CAP. The process TRAIT_1 can also be carried out a posteriori, that is to say that the acquisition data not processed by the terminal T_CAP are stored directly in the database MVT_DB and processed a posteriori with the process TRAIT_1 by the device d 'evaluation D_EVAL (cf figure 2 the dotted arrows between TRAIT_1 and MVT_DB). The process TRAIT_1 can also be a combination of treatments executed in real time in the memories MEM_CAP and MEM_EVAL, the processed data being stored a posteriori in the database MVT_DB in order to adapt to the storage and calculation performance of the terminal T_CAP.
En fonction du mode de réalisation, le dispositif d’évaluation D_EVAL et le terminal T_CAP peuvent être interconnectés et échanger des données sur une ou plusieurs liaison(s) de communication, en utilisant un ou plusieurs réseaux de différents types, (un réseau sur la figure 7), et différents protocoles. Des exemples de réseau sont un réseau fixe, un réseau cellulaire (par exemple selon la norme 2G (GSM, GPRS, EDGE), 3G (UMTS), 4G (LTE), LTE-A, LTE-M, WCDMA, CDMA2000, HSPA, 5G, ou leurs variantes ou évolutions), un autre type de réseau radio (par ex. WiFi® ou Bluetooth®), un réseau IP, une combinaison de plusieurs de ces réseaux, etc. Pour cela, le dispositif d’évaluation D_EVAL et le terminal T_CAP seront configurés avec des moyens de communication de données adaptés. Depending on the embodiment, the evaluation device D_EVAL and the terminal T_CAP can be interconnected and exchange data on one or more communication link (s), using one or more networks of different types, (a network on the Figure 7), and different protocols. Examples of networks are a fixed network, a cellular network (for example according to the 2G standard (GSM, GPRS, EDGE), 3G (UMTS), 4G (LTE), LTE-A, LTE-M, WCDMA, CDMA2000, HSPA , 5G, or their variants or evolutions), another type of radio network (eg WiFi® or Bluetooth®), an IP network, a combination of several of these networks, etc. For this, the evaluation device D_EVAL and the terminal T_CAP will be configured with suitable data communication means.
A partir de l’étape P2 de la figure 1, l’ensemble des calculs réalisés pour mettre en œuvre le procédé d’évaluation peut être réalisé par le seul dispositif d’évaluation D_EVAL. Dans ce mode de réalisation, le terminal T_CAP ne fait que retransmettre les données de mesures au dispositif D_EVAL. La mémoire MEM_EVAL peut inclure l’une ou l’ensemble des bases de données (MVT_DB, MVT_Tr_Dt, SIM_Dt_DB) du procédé mais pas nécessairement. En effet, ces bases de données pourront être distinctes du dispositif D_EVAL. En variante, pour davantage de flexibilité, une ou plusieurs de ces bases seront distinctes du dispositif D_EVAL, tandis que les autres bases de l’ensemble seront incluses dans le dispositif D_EVAL. Afin de généraliser les différentes possibilités de calcul des étapes du procédé d’évaluation, et selon respectivement différents modes particuliers de réalisation de l'invention non représentés par un schéma, chaque étape de calcul du procédé pourra être réalisée respectivement par le dispositif D_EVAL ou le terminal T_CAP de manière à représenter toutes les combinaisons possibles de configurations de calculs entre le dispositif D_EVAL et le terminal T_CAP. From step P2 of FIG. 1, all the calculations carried out to implement the evaluation method can be carried out by the single evaluation device D_EVAL. In this embodiment, the terminal T_CAP only retransmits the measurement data to the device D_EVAL. The MEM_EVAL memory can include one or all of the databases (MVT_DB, MVT_Tr_Dt, SIM_Dt_DB) of the process but not necessarily. Indeed, these databases could be distinct from the D_EVAL device. Alternatively, for more flexibility, one or more of these bases will be separate from the D_EVAL device, while the other bases of the set will be included in the D_EVAL device. In order to generalize the different possibilities of calculating the steps of the evaluation process, and respectively according to different particular embodiments of the invention not represented by a diagram, each step of calculating the process can be carried out respectively by the device D_EVAL or the terminal T_CAP so as to represent all the possible combinations of configurations of calculations between the device D_EVAL and the terminal T_CAP.
Il va de soi que les modes de réalisation qui ont été décrits ci-dessus ont été donnés à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l’homme de l’art sans pour autant sortir du cadre de l’invention It goes without saying that the embodiments which have been described above have been given for purely indicative and in no way limitative, and that numerous modifications can be easily made by those skilled in the art without departing from the scope. of invention

Claims

REVENDICATIONS
1. Procédé d’évaluation de l’activité corporelle d’un utilisateur, mis en œuvre par un dispositif de calcul, caractérisé en ce qu’il comprend ce qui suit : 1. Method for evaluating the bodily activity of a user, implemented by a calculation device, characterized in that it comprises the following:
à une date donnée et pendant une durée donnée (Dt), acquérir (PI) des données brutes de mouvement dudit utilisateur en provenance d’un capteur de mouvement (CAP), on a given date and for a given duration (Dt), acquire (PI) raw movement data of said user from a movement sensor (CAP),
classer (REP) lesdites données brutes de mouvement acquises en au moins une classe de données (Sri), selon au moins une méthode de classification non supervisée, classifying (REP) said raw movement data acquired in at least one data class (Sri), according to at least one unsupervised classification method,
à partir de ladite au moins une classe de données (Sri), calculer (CALC_STR) une structure de données représentative de l’activité corporelle dudit utilisateur (Vr) qui est exercée à ladite date donnée et pour ladite durée donnée, from said at least one data class (Sri), calculate (CALC_STR) a data structure representative of the bodily activity of said user (Vr) which is exercised on said given date and for said given duration,
comparer (COMP) ladite structure de données avec au moins une autre structure de données représentative de l’activité corporelle dudit utilisateur qui a été exercée à une date antérieure à ladite date donnée et pour ladite durée donnée, compare (COMP) said data structure with at least one other data structure representative of the bodily activity of said user which was exercised on a date prior to said given date and for said given duration,
en résultat de ladite comparaison, évaluer une variation (DELTA_Dt) entre l’activité corporelle de l’utilisateur exercée à ladite date donnée et pour ladite durée donnée, et l’activité corporelle de l’utilisateur exercée à au moins la date antérieure et pour ladite durée donnée. as a result of said comparison, evaluate a variation (DELTA_Dt) between the bodily activity of the user exercised on said given date and for said given duration, and the bodily activity of the user exercised on at least the previous date and for said given duration.
2. Procédé selon la revendication 1, dans lequel ladite autre structure de données est sélectionnée parmi une pluralité de structures de données (VI ; V2 ; Va;... ; VM- 1; VM) représentatives de l’activité corporelle dudit utilisateur, qui ont été calculées à une date antérieure à ladite date donnée et pour ladite durée donnée. 2. Method according to claim 1, in which said other data structure is selected from a plurality of data structures (VI; V2; Va; ...; VM-1; VM) representative of the bodily activity of said user, which were calculated on a date prior to said given date and for said given duration.
3. Procédé selon la revendication 1 ou la revendication 2, dans lequel ladite durée donnée (Dt) est déterminée par rapport à l’obtention d’un nombre N minimum souhaité de différentes classes de données, dans lesquels répartir les données brutes de mouvement acquises. 3. Method according to claim 1 or claim 2, in which said given duration (Dt) is determined with respect to obtaining a desired minimum number N of different classes of data, in which to distribute the raw acquired movement data. .
4. Procédé selon l’une quelconque des revendications 1 à 3, dans lequel une valeur d’autonomie A est calculée en fonction d’une pluralité d’évaluations de variation (DELTA_Dt) calculées pour une pluralité de durées données. 4. Method according to any one of claims 1 to 3, in which an autonomy value A is calculated according to a plurality of variation evaluations (DELTA_Dt) calculated for a plurality of given durations.
5. Procédé selon la revendication 4, dans lequel, pour le calcul de la valeur d’autonomie A, chacune desdites évaluations de variation (DELTA_DT) sont respectivement affectées d’un coefficient de pondération (WDt). 5. Method according to claim 4, in which, for the calculation of the autonomy value A, each of said variation evaluations (DELTA_DT) are respectively assigned a weighting coefficient (WDt).
6. Procédé selon l’une quelconque des revendications 1 à 5, comprenant ce qui suit : comparer (COMP_Z) à une certaine valeur (Z) la valeur d’autonomie A, en fonction du résultat de la comparaison, générer (GEN) une information en rapport avec la variation calculée. 6. Method according to any one of claims 1 to 5, comprising the following: compare (COMP_Z) to a certain value (Z) the autonomy value A, according to the result of the comparison, generate (GEN) a information related to the calculated variation.
7. Procédé selon la revendication 6, dans lequel l’information générée est communiquée (COM) à une personne autorisée par ledit utilisateur. 7. The method of claim 6, wherein the information generated is communicated (COM) to a person authorized by said user.
8. Dispositif d’évaluation de l’activité corporelle d’un utilisateur, ledit dispositif d’évaluation comprenant un processeur qui est configuré pour mettre en œuvre ce qui suit : 8. Device for evaluating the bodily activity of a user, said evaluation device comprising a processor which is configured to implement the following:
à une date donnée et pendant une durée donnée (Dt), acquérir des données brutes de mouvement dudit utilisateur en provenance d’un capteur de mouvement (CAP), on a given date and for a given duration (Dt), acquire raw movement data of said user from a movement sensor (CAP),
classer lesdites données brutes de mouvement acquises en au moins une classe de données (Sri), selon au moins une méthode de classification non classifying said raw movement data acquired in at least one data class (Sri), according to at least one non-classification method
supervisée, supervised,
à partir de ladite au moins une classe de données (Sri), calculer une structure de données représentative de l’activité corporelle dudit utilisateur (Vr) qui est exercée à ladite date donnée et pour ladite durée donnée, from said at least one data class (Sri), calculate a data structure representative of the bodily activity of said user (Vr) which is exercised on said given date and for said given duration,
comparer ladite structure de données avec au moins une autre structure de données représentative de l’activité corporelle dudit utilisateur qui a été exercée à une date antérieure à ladite date donnée et pour ladite durée donnée, compare said data structure with at least one other data structure representative of the bodily activity of said user which was exercised on a date prior to said given date and for said given duration,
en résultat de ladite comparaison, évaluer une variation (DELTA_Dt) entre l’activité corporelle de l’utilisateur exercée à ladite date donnée et pour ladite durée donnée, et l’activité corporelle de l’utilisateur exercée à au moins la date antérieure et pour ladite durée donnée. as a result of said comparison, evaluate a variation (DELTA_Dt) between the bodily activity of the user exercised on said given date and for said given duration, and the bodily activity of the user exercised on at least the previous date and for said given duration.
9. Programme d'ordinateur comprenant des instructions de code de programme pour l’exécution des étapes du procédé d’évaluation selon l’une quelconque des revendications 1 à 7, lorsqu'il est exécuté sur un ordinateur. 9. A computer program comprising program code instructions for executing the steps of the evaluation method according to any one of claims 1 to 7, when executed on a computer.
10. Support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur selon la revendication 9. 10. Information medium readable by a computer, and comprising instructions of a computer program according to claim 9.
EP19816379.2A 2018-12-04 2019-10-30 Method for evaluating the body activity of a user Pending EP3891623A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1872281A FR3089319A1 (en) 2018-12-04 2018-12-04 Method for evaluating the bodily activity of a user
PCT/FR2019/052575 WO2020115377A1 (en) 2018-12-04 2019-10-30 Method for evaluating the body activity of a user

Publications (1)

Publication Number Publication Date
EP3891623A1 true EP3891623A1 (en) 2021-10-13

Family

ID=67107504

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19816379.2A Pending EP3891623A1 (en) 2018-12-04 2019-10-30 Method for evaluating the body activity of a user

Country Status (4)

Country Link
US (1) US20220059207A1 (en)
EP (1) EP3891623A1 (en)
FR (1) FR3089319A1 (en)
WO (1) WO2020115377A1 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI119746B (en) * 2004-06-24 2009-02-27 Nokia Corp Control of an electronic device
US9710761B2 (en) 2013-03-15 2017-07-18 Nordic Technology Group, Inc. Method and apparatus for detection and prediction of events based on changes in behavior
JP2016512777A (en) * 2013-03-22 2016-05-09 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Method for detecting fall and fall detector
US10055549B2 (en) * 2013-10-10 2018-08-21 Wireless Medical Monitoring, Inc. Method and apparatus for wireless health monitoring and emergent condition prediction
GB2519987B (en) * 2013-11-04 2021-03-03 Imperial College Innovations Ltd Biomechanical activity monitoring
WO2015126095A1 (en) * 2014-02-21 2015-08-27 삼성전자 주식회사 Electronic device
US10354551B2 (en) * 2014-04-09 2019-07-16 Lg Electronics Inc. Mobile terminal and method for controlling the same
US20190038179A1 (en) * 2017-08-04 2019-02-07 Intel Corporation Methods and apparatus for identifying breathing patterns

Also Published As

Publication number Publication date
FR3089319A1 (en) 2020-06-05
US20220059207A1 (en) 2022-02-24
WO2020115377A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
EP2768389B1 (en) Method of detecting activity with a motion sensor, and corresponding device and computer program
EP2023268B1 (en) Method and device for recognising the position or movement of a device or living being
EP3408612B1 (en) Method for estimating the physical activity of an upper limb
CN113693561B (en) Neural network-based parkinsonism prediction device, apparatus, and storage medium
EP2423851A1 (en) Configuration process for a detection method based on sensors, and corresponding program and adaptive method
EP3773161A1 (en) Computing device for detecting heart rhythm disorders
FR2998074A1 (en) IDENTIFICATION METHOD
EP3891623A1 (en) Method for evaluating the body activity of a user
EP3252563A1 (en) Method for determining a mobility context of a user carrying a device provided with inertial sensors
FR3103611A1 (en) Method and device for monitoring the activity of a person with loss of autonomy
EP3888031A1 (en) Data processing system and method for determining the risk of a transfer of an individual to the emergency department
FR3058538B1 (en) MULTIPARAMETRIC METHOD FOR QUANTIFYING BALANCE
WO2024068953A1 (en) System for remote monitoring of a potentially elderly individual in an everyday environment
EP3644136B1 (en) Method for broadcasting by a watch of an information message relating to an evaluation of the quality of sleep of a wearer of said watch
WO2023041693A1 (en) System and method for predicting that an individual will fall
EP3644135A1 (en) Method for broadcasting by a watch of an information message relating to an evaluation of the quality of life of a wearer of the watch
EP4274477A1 (en) Method for monitoring and analysing the cardiac status of an individual
FR3065824A1 (en) METHOD FOR PROCESSING BY SUPERVISION DEVICE ACQUIRED AND TRANSMITTED DATA BY A SENSOR
FR3131048A1 (en) Method for monitoring a user, monitoring device and corresponding computer program
FR3058539B1 (en) METHOD FOR QUANTIFYING THE BALANCE
FR3126866A1 (en) SYSTEM AND METHOD FOR FALL PREDICTION OF AN INDIVIDUAL
CH715475A2 (en) Method of broadcasting by a watch an informative message relating to an evaluation of the quality of life of a wearer of said watch.
EP3736743A1 (en) Method for designing a signature generator of an entity performing actions in a computer architecture, method for detecting abnormal behaviour, corresponding computer program and system.
EP4245221A1 (en) Electronic device for monitoring a neurophysiological state of an operator in a control station of an aircraft, associated monitoring method and computer program
CN114365149A (en) Device usage processing for generating inferred user states

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210624

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)