GR20210100825A - Original method destined for the communication and the continuous follow-up of the corporal and emotional condition of patients via a system set aside the bed - Google Patents
Original method destined for the communication and the continuous follow-up of the corporal and emotional condition of patients via a system set aside the bed Download PDFInfo
- Publication number
- GR20210100825A GR20210100825A GR20210100825A GR20210100825A GR20210100825A GR 20210100825 A GR20210100825 A GR 20210100825A GR 20210100825 A GR20210100825 A GR 20210100825A GR 20210100825 A GR20210100825 A GR 20210100825A GR 20210100825 A GR20210100825 A GR 20210100825A
- Authority
- GR
- Greece
- Prior art keywords
- patient
- main
- information
- medical
- services
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002996 emotional effect Effects 0.000 title claims abstract description 21
- 238000004891 communication Methods 0.000 title claims description 16
- 230000036541 health Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 13
- 238000005516 engineering process Methods 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000008451 emotion Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000011282 treatment Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000003340 mental effect Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 230000000474 nursing effect Effects 0.000 claims description 6
- 230000001149 cognitive effect Effects 0.000 claims description 5
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 4
- 229940079593 drug Drugs 0.000 claims description 4
- 239000003814 drug Substances 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 4
- 230000036772 blood pressure Effects 0.000 claims description 3
- 235000005911 diet Nutrition 0.000 claims description 3
- 230000037213 diet Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000002483 medication Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000012800 visualization Methods 0.000 claims 1
- 230000007812 deficiency Effects 0.000 abstract 2
- 238000011161 development Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000000090 biomarker Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 229940004922 bedside-care Drugs 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 244000235659 Rubus idaeus Species 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 230000001539 anorectic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 206010061428 decreased appetite Diseases 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
- A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Acoustics & Sound (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Nursing (AREA)
- Evolutionary Biology (AREA)
- Emergency Medicine (AREA)
Abstract
Description
ΠΕΡΙΓΡΑΦΗ DESCRIPTION
Πρωτότυπη μέθοδος επικοινωνίας και συνεχούς παρακολούθησης της σωματικής καί συναισθηματικής κατάστασης ασθενών μέσω παρακλίνιου συστήματος. Original method of communication and continuous monitoring of the physical and emotional state of patients through a bedside system.
Η παρούσα εφεύρεση αναφέρεται σε μια μέθοδο επικοινωνίας και παρακολούθησης μέσω παρακλίνιου συστήματος που επιτρέπει την συνεχή αποτίμηση της σωματικής και συναισθηματικής κατάστασης ασθενών που νοσηλεύονται. The present invention relates to a method of communication and monitoring through a bedside system that allows continuous assessment of the physical and emotional state of hospitalized patients.
Επί του παρόντος, τα παρακλίνια συστήματα αναπτύσσονται είτε ως πληροφοριακά-ιατρικά συστήματα παρακολούθησης της κατάστασης του ασθενή με την ενσωμάτωση τεχνολογιών όπως το Ηλεκτρονικό Ιατρικό Ιστορικό και η ηλεκτρονική καταγραφή βιοσημάτων, είτε ως εμπορικές λύσεις ψυχαγωγίας-πληροφόρησης που παρέχουν δυνατότητες βιντεοκλήσεων, παιχνιδιών, παρακολούθησης ταινιών και τηλεόρασης καθώς και ενημέρωσης μέσω πρόσβασης στο διαδίκτυο. Στο σύνολο τους χρησιμοποιούν υλισμικό (βραχίονες-οθόνες-αισθητήρες), το οποίο είναι κατασκευασμένο για το εκάστοτε σύστημα ή συσκευές γενικής χρήσης (tablets, κινητά) που παρέχουν ενσωματωμένες τις απαιτούμενες τεχνολογίες, ενώ το αναπτυσσόμενο λογισμικό αποσκοπεί στην κάλυψη των απαιτήσεων που ορίζει ο φερόμενος τίτλος (εμπορικά συστήματα ενημέρωσης-ψυχαγωγίας / ιατρικά συστήματα παρακολούθησης). Κατά την επισκόπηση της σχετικής επιστημονικής βιβλιογραφίας δεν εντοπίζονται περιπτώσεις ενσωμάτωσης των δύο διαφορετικών ειδών σε ένα πληροφοριακό σύστημα που να υλοποιείτο σύνολο των λειτουργιών. Currently, bedside systems are being developed either as medical informatics systems for monitoring the patient's condition by integrating technologies such as Electronic Medical Records and electronic bio-signal recording, or as commercial infotainment solutions that provide video calling, gaming, movie watching capabilities and television as well as information through internet access. All of them use hardware (arms-screens-sensors), which is made for the respective system or general-purpose devices (tablets, mobiles) that provide integrated the required technologies, while the developed software aims to meet the requirements set by the wearer title (commercial infotainment systems / medical monitoring systems). When reviewing the relevant scientific literature, there are no cases of integration of the two different types in an information system that implements the set of functions.
Παράλληλα, με την ανάπτυξη ενός νέου κλάδου της πληροφορικής που αναφέρεται στη βιβλιογραφία, ως Συναισθηματική Υπολογιστική (Affective Computing) και ασχολείται με την ερμηνεία, αναγνώριση, ανάλυση και ποσοτικοποίηση του ανθρώπινου συναισθήματος κατά την αλληλεπίδρασή του με μηχανές (Human-Computer Interaction) γεννάται η ανάγκη ενσωμάτωσης λειτουργικότητας συναισθηματικής υπολογιστικής σε πληροφοριακά συστήματα παροχής υγειονομικών υπηρεσιών και φροντίδας. Τα βασικά κίνητρα εδράζονται στην ανάγκη ενσυναίσθησης του ιατρικού προσωπικού και των οικείων του ασθενούς, καθώς και της πρόληψης επικίνδυνων καταστάσεων που συνδέονται άμεσα με τη συναισθηματική κατάσταση του ασθενούς. Η συναισθηματική υπολογιστική έχει ήδη εφαρμοστεί σε πεδία της πληροφορικής που αφορούν σε παροχή φροντίδας ασθενών ως ανεξάρτητα συστήματα για τη διαχείριση της αναπνοής ασθενών με χρήση του Kinect, για την ανάλυση συναισθήματος από εκφράσεις προσώπου σε ασθενείς με Alzheimer, και για τον εντοπισμό του Parkinson μέσω της αδυναμίας έκφρασης συγκεκριμένων συναισθημάτων. Ωστόσο, απουσιάζει από τη βιβλιογραφία ένα παρακλίνιο σύστημα, το οποίο να ενσωματώνει λειτουργικότητα συναισθηματικής υπολογιστικής με σκοπό την αναγνώριση των ψυχολογικών μεταπτώσεων των ασθενών σε πραγματικό χρόνο και την έγκαιρη παρέμβαση από αρμόδιο προσωπικό ή τον κοινωνικό κύκλο του ασθενή. At the same time, with the development of a new field of computing referred to in the literature as Affective Computing and dealing with the interpretation, recognition, analysis and quantification of human emotion during its interaction with machines (Human-Computer Interaction) is born need to integrate emotional computing functionality into healthcare and care delivery information systems. The main motivations are based on the need for empathy of the medical staff and the patient's relatives, as well as the prevention of dangerous situations that are directly related to the emotional state of the patient. Emotional computing has already been applied in patient care computing fields such as stand-alone systems for managing patient breathing using Kinect, for analyzing emotion from facial expressions in Alzheimer's patients, and for detecting Parkinson's through inability to express specific emotions. However, absent from the literature is a bedside system that incorporates emotional computing functionality in order to identify patients' psychological transitions in real time and provide timely intervention by competent staff or the patient's social circle.
Στο πλαίσιο ανάπτυξης προηγμένων δυνατοτήτων κατά την αλληλεπίδραση ανθρώπου- μηχανής έχει δημιουργηθεί στο κλάδο της Πληροφορικής το πεδίο των Ασκησιακών Παιγνίων (Exergames). Κάνοντας χρήση της ανθρώπινης φιγούρας ή τμήματα αυτής για παροχή εντολών, τα παιχνίδια αυτά παρακινούν το χρήστη να εμπλακεί σωματικά ή πνευματικά στην εξέλιξη τους. Υπάρχουν πολυάριθμες μελέτες που αναδεικνύουν τη χρήση των Exergames, τα οποία παρέχουν ποικίλα οφέλη αναφορικά με την πνευματική και τη φυσική υγεία ασθενών, ηλικιωμένων, παιδιών καθώς και ανθρώπων με αναπηρία. Απαραίτητη προϋπόθεση στην πλειοψηφία των περιπτώσεων είναι η χρησιμοποίηση πλατφορμών (παιχνιδομηχανών) που συνδέονται με περιφερειακά υποσυστήματα, τα οποία φέρουν δαπανηρούς προηγμένους αισθητήρες με κύριο σκοπό την ανίχνευση της ανθρώπινης φιγούρας στον χώρο. Αυτή η απαίτηση αποτελεί σημαντική τροχοπέδη για τη γρήγορη εξάπλωση ανάλογων συστημάτων σε οικιακά περιβάλλοντα αλλά και σε χώρους υγειονομικού ενδιαφέροντος. In the context of the development of advanced capabilities during human-machine interaction, the field of Exergames has been created in the IT industry. By using the human figure or parts of it to provide commands, these games encourage the user to engage physically or mentally in their development. There are numerous studies that highlight the use of Exergames, which provide a variety of benefits regarding the mental and physical health of patients, the elderly, children as well as people with disabilities. A necessary condition in the majority of cases is the use of platforms (gaming machines) connected to peripheral subsystems, which carry expensive advanced sensors with the main purpose of detecting the human figure in space. This requirement is an important brake for the rapid spread of similar systems in domestic environments as well as in areas of health interest.
Σε ό,τι αφορά τα παρακλίνια συστήματα παροχής φροντίδας που συνδέονται με συσκευέςαισθητήρες μέτρησης βιοσημάτων για την παρακολούθηση ασθενών, θα πρέπει να τονισθεί ότι η ανάπτυξη τους δυσχεραίνεται σε μεγάλο βαθμό από προβλήματα που αφορούν την επικοινωνία των περιφερειακών συσκευών αισθητήρων με την πλατφόρμα αναφοράς που διαχειρίζεται τις συνδέσεις, τον έλεγχο των αισθητήρων και τη διαχείριση των ανταλλασσόμενων δεδομένων. Τα προβλήματα αυτά έχουν ως κύριο άξονα την ποικιλομορφία σε διαθέσιμα πρωτόκολλα επικοινωνίας, υλισμικό και προτύπων ενθυλάκωσης των δεδομένων. Ως εκ τούτου, στο συγκεκριμένο τεχνολογικό πεδίο διαφαίνεται αδήριτη η ανάγκη της ανάπτυξης μίας λύσης που να ενσωματώνει τη διαδικασία αυτοματοποιημένης συνδεσιμότητας με κάθε λογής περιφερειακά συστήματα-αισθητήρες ανεξαρτήτως πρωτοκόλλων, προτύπων και υλικού (built-in interoperability). As far as bedside care delivery systems connected with biomarker measuring sensor devices for patient monitoring are concerned, it should be emphasized that their development is greatly hampered by problems related to the communication of the peripheral sensor devices with the reference platform that manages the connections, the control of the sensors and the management of the exchanged data. These problems have as their main axis the diversity in available communication protocols, hardware and data encapsulation standards. Therefore, in the specific technological field, the need to develop a solution that integrates the process of automated connectivity with all kinds of peripheral systems-sensors regardless of protocols, standards and hardware (built-in interoperability) is evident.
Λαμβάνοντας υπόψη ότιτα παρακλίνια συστήματα παροχής φροντίδας αφορούν κυρίως τον ασθενή, του οποίου η πάθηση συχνά συνοδεύεται και από δυσχέρειες στη κίνηση των άκρων ή συντονισμού των εγκεφαλικών λειτουργιών με τα άκρα, η απουσία εύκολης εντολοδότησης στα συστήματα αποτελεί σημαντική τροχοπέδη στην αποδοχή χρήσης των συστημάτων αυτών από τον βασικό χρήστη. Η απαίτηση λοιπόν της ευχρηστότητας σε ανάλογα περιβάλλοντα είναι επιτακτική όχι μόνο για την ευχαρίστηση των χρηστών αλλά και για θέματα ασφάλειας. Ωστόσο, τα παρακλίνια συστήματα δεν αφορούν μόνο τον ασθενή. Αφορούν μία ομάδα ειδικών, η οποία είναι υπεύθυνη για τη παροχή φροντίδας καθώς και το οικογενειακό περιβάλλον του ασθενή που διαδραματίζει ιδιαιτέρως σημαντικό ρόλο για τη ψυχολογική υποστήριξη του. Τα υφιστάμενα παρακλίνια συστήματα αποτυγχάνουν να ενσωματώσουν στη λειτουργικότητα τους το σύνολο των εμπλεκόμενων ρόλων, αφού επικεντρώνονται μονομερώς στη ιατρική σκοπιά ή στην κοινωνική έκφανση τους. Taking into account that bedside care delivery systems mainly concern the patient, whose illness is often accompanied by difficulties in moving the limbs or coordinating brain functions with the limbs, the absence of easy command in the systems is a significant brake on the acceptance of the use of these systems by the primary user. Therefore, the requirement of ease of use in similar environments is imperative not only for the pleasure of users but also for security issues. However, bedside systems are not just about the patient. They concern a group of specialists, who are responsible for providing care as well as the patient's family environment, which plays a particularly important role in his psychological support. The existing bedside systems fail to integrate into their functionality the set of involved roles, since they focus unilaterally on the medical point of view or on their social manifestation.
Ω σκοπός της παρούσας εφεύρεσης είναι να εξαλείψει όλα τα ανωτέρω μειονεκτήματα και παραλείψεις προσφέροντας μία τεχνική μέθοδο παρακλίνιας φροντίδας ασθενών που θα επιτρέπει: 1) Την συνδυαστική παρακολούθηση των ζωτικών ενδείξεων του ασθενούς με τη χρήση εμπορικών συσκευών μέτρησης που παρέχουν τη δυνατότητα σύνδεσης σε Η/Υ σε πραγματικό χρόνο από το σύνολο του εμπλεκόμενου προσωπικού από φορητές ή σταθερές συσκευές (Η/Υ, tablet, κινητά). Η καινοτομία του συστήματος έγκειται στη δυνατότητα επεξεργασίας μετρήσεων από συσκευές [πιεσόμετρα, ζυγαριές, μετρητές σακχάρου, μετρητές δραστηριότητας (αναφέρονται ενδεικτικά και όχι περιοριστικά)] που λειτουργούν με διαφορετικά λογισμικά, πρωτόκολλα επικοινωνίας και επιχειρησιακές προδιαγραφές. 2) Την ευρεία εμπλοκή του ασθενή με τον κοινωνικό του περίγυρο, τα μέσα κοινωνικής δικτύωσης. 3) Την προσωποποιημένη ενημέρωση του για το διαιτολόγιο, τα φάρμακα και ρουτίνες υγείας καθώς και νέα και ειδήσεις. 4) Την αποτίμηση της συναισθηματικής του κατάστασης με την εκμετάλλευση καινοτόμων τεχνολογιών μηχανικής όρασης και μηχανικής μάθησης κατά τη διάρκεια τηλεδιάσκεψης με το γιατρό. 5) Την αποκατάσταση της φυσικής και πνευματικής του κατάστασης με την χρησιμοποίηση σοβαρών παιχνιδιών τύπου Cognitive -Exergames με τη διαφορά ότι ο χειρισμός τους επιτελείται από μέρη του σώματος που είναι επιθυμητή η βελτίωση της κίνησης. Η καταγραφή και επεξεργασία της κίνησης για το χειρισμό του παιχνιδιού επιτελείται με καινοτόμες τεχνολογίες μηχανικής όρασης απαλείφοντας την απαίτηση εξειδικευμένων και κοστοβόρων μηχανημάτων. 6) Την εύχρηστη εντολοδότηση από τον ασθενή στο σύστημα λαμβάνοντας υπόψη τα κινητικά προβλήματα του ασθενή με τη εκμετάλλευση των δυνατοτήτων έξυπνου κουμπιού. The purpose of the present invention is to eliminate all the above disadvantages and omissions by offering a technical method of outpatient patient care that will allow: 1) The combined monitoring of the patient's vital signs using commercial measuring devices that provide the possibility of connecting to a PC in real time by all the staff involved from mobile or fixed devices (PC, tablet, mobile). The innovation of the system lies in the ability to process measurements from devices [sphygmomanometers, scales, sugar meters, activity meters (mentioned as indicative and not limiting)] operating with different software, communication protocols and operational specifications. 2) The broad involvement of the patient with his social environment, social media. 3) Personalized information on diet, medications and health routines as well as news and updates. 4) The assessment of his emotional state by exploiting innovative machine vision and machine learning technologies during a teleconference with the doctor. 5) The restoration of his physical and mental condition by using serious games of the Cognitive-Exergames type with the difference that their manipulation is performed by parts of the body that are desired to improve movement. Motion capture and processing for game manipulation is accomplished with innovative machine vision technologies, eliminating the need for specialized and costly machinery. 6) The user-friendly command from the patient to the system taking into account the mobility problems of the patient by exploiting the smart button capabilities.
Η εφεύρεση αφορά στη τεχνική μέθοδο παροχής φροντίδας υγείας που περιλαμβάνει υπηρεσίες ενημέρωσης, παρακολούθησης, πληροφόρησης και ψυχαγωγίας για ασθενείς παροδικών ή χρόνιων νοσημάτων, ανθρώπους ηλικιωμένους ή ανάπηρους, οι ζωές των οποίων είναι συνυφασμένες με τη κλίνη φροντίδας τους (είτε αυτή βρίσκεται στο νοσοκομείο, σε κλινική, κέντρο αποκατάστασης, είτε στο σπίτι τους). Η περιγραφόμενη μέθοδος παροχής φροντίδας υλοποιείται στην πράξη με την ανάπτυξη του πληροφοριακού συστήματος « SISΕI » (Smart Infotainment System with Emotional Intelligence). The invention relates to the technical method of providing health care that includes information, monitoring, information and entertainment services for patients with transient or chronic diseases, elderly or disabled people, whose lives are intertwined with their care bed (whether it is in the hospital, in clinic, rehabilitation center, or at their home). The described method of providing care is implemented in practice with the development of the information system "SISEI" (Smart Infotainment System with Emotional Intelligence).
Κατά την εισαγωγή του ασθενή σε μία μονάδα παροχής μακροχρόνιας φροντίδας καί αποκατάστασης, εισάγονται στο παρακλίνιο πληροφοριακό σύστημα όλα τα δεδομένα που σχετίζονται με την ιατροφαρμακευτική περίθαλψή του από τον αρμόδιο νοσηλευτή. Τα δεδομένα αποτελούνται από το ιατρικό του ιστορικό, εξετάσεις, αλλεργίες, φάρμακα, λαμβανόμενες θεραπείες, διατροφικές συνήθειες, ρουτίνες φυσικής αγωγής καί ύπνου. Δημιουργείται κατ' αυτό το τρόπο ο ηλεκτρονικός προσωπικός φάκελος υγείας του ασθενή. Πέραν της ωφέλιμης αποφυγής γραφικής ύλης για την καταγραφή των στοιχείων, αποφεύγεται σε πολλές περιπτώσεις η αποφυγή σφαλμάτων όπου αυτά μεταφέρονται αυτούσια στο σύστημα, ενώ παράλληλα είναι δυνατή η επισκόπηση του φακέλου υγείας από το εξουσιοδοτημένο προσωπικό μέσω σταθερού ηλεκτρονικού υπολογιστή, tablet ή/και κινητού τηλεφώνου. Επιπρόσθετα, παρέχεται η δυνατότητα προβολής των δεδομένων σε μορφή γραφημάτων, τα οποία προσφέρουν μία συμπυκνωμένη οπτική της λαμβανόμενης πληροφορίας, τον εντοπισμό έκτοπων τιμών (outliers) και την εξαγωγή ασφαλέστερων συμπερασμάτων σε αντίθεση με την απλή καταγραφή. When the patient is admitted to a long-term care and rehabilitation unit, all the data related to his medical treatment are entered into the bedside information system by the competent nurse. The data consists of his medical history, tests, allergies, medications, treatments received, eating habits, exercise and sleep routines. In this way, the electronic personal health file of the patient is created. In addition to the beneficial avoidance of stationery to record the data, in many cases the avoidance of errors is avoided where these are directly transferred to the system, while at the same time it is possible to review the health record by authorized personnel via a desktop computer, tablet and/or mobile phone . In addition, it is possible to view the data in the form of graphs, which offer a condensed view of the received information, the detection of outliers and the derivation of safer conclusions in contrast to simple recording.
Κατά τη διάρκεια της αποκατάστασής του, ο ασθενής θεραπεύεται στη κλίνη του και πλησίον του τοποθετείται το tablet γενικής χρήσης στερεωμένο σε ένα βραχίονα ο οποίος εξυπηρετεί κινησιολογικά όλες τις απαιτήσεις του ασθενή. Η επιλογή του tablet γενικής χρήσης για το παρακλίνιο τερματικό δίνει ευελιξία ως προς την επιλογή του βραχίονα, ανάλογα με τις εκάστοτε απαιτήσεις, καθώς υπάρχει στο εμπόριο πλήθος διαθέσιμων μοντέλων που είναι συμβατά με κάθε μέγεθος tablet. Στον ασθενή χορηγείται επιπλέον ο μετρητής δραστηριότητας (activity tracker), τον οποίο φορά συνέχεια, ενώ σε τακτά χρονικά διαστήματα το νοσηλευτικό προσωπικό λαμβάνει μετρήσεις από τον ασθενή με τη χρήση έξυπνων συσκευών (tables / smartphones) που συνδέονται σε δίκτυο Wi-Fi. During his rehabilitation, the patient is treated in his bed and next to him is placed the universal tablet attached to an arm which kinesiologically serves all the patient's requirements. The choice of universal tablet for the bedside terminal gives flexibility in the choice of the arm depending on the requirements, as there are a number of commercially available models that are compatible with all tablet sizes. The patient is also given an activity tracker, which he wears at all times, while at regular intervals the nursing staff receives measurements from the patient using smart devices (tables / smartphones) connected to a Wi-Fi network.
Αναλυτικά, για κάθε ασθενή, θα υπάρχει η δυνατότητα μέτρησης των κατωτέρω δεικτών / παραμέτρων: 1) η θερμοκρασία του ασθενή (θερμόμετρο), 2) η οξυγόνωση του αίματος καιοιπαλμοί του (παλμικό οξύμετρο), 3) η αρτηριακή πίεση του ασθενή (πιεσόμετρο), 4) η καρδιακή συχνότητα (για τον εντοπισμό αρρυθμίας), 5) το βάρος του ασθενούς και δείκτες λιπομέτρησης (ψηφιακή ζυγαριά με λιπομέτρησης), 6) η φυσική δραστηριότητας (βήματα, ύπνος) του ασθενή (activity tracker), 7) η επάρκεια του χορηγηθέντος ορού, 8) η πληρότητα του δοχείου συλλογής ούρων, 9) η παραμονή ενός (διεγερτικού και πιθανώς ανοϊκού) ασθενή εντός των τιθέμενων ορίων της κλίνης νοσηλείας, 10) η ποιότητα του βραδινού ύπνου (π.χ., βαθύς, ελαφρύς, ανήσυχος) - ιδίως για τους ασθενείς με δυσκολία ή αδυναμία επικοινωνίας με το περιβάλλον. In detail, for each patient, it will be possible to measure the following indicators / parameters: 1) the temperature of the patient (thermometer), 2) the oxygenation of the blood and its pulse (pulse oximeter), 3) the blood pressure of the patient (sphygmomanometer) . of administered serum, 8) the fullness of the urine collection container, 9) the stay of a (stimulated and possibly anorectic) patient within the established limits of the hospital bed, 10) the quality of the night's sleep (eg, deep, light, anxious) - especially for patients with difficulty or inability to communicate with the environment.
Συνεπώς το σύστημα παρέχει τη δυνατότητα αυτοματοποιημένης ή ημι-αυτοματοποιημένης καταγραφής των βιοσημάτων και της δραστηριότητας του ασθενή. Είναι σημαντικό να αναφερθεί ότι η ενσωμάτωση στο πληροφοριακό σύστημα έξυπνων συσκευών αγνοεί την ετερογένεια τους σχετικά με τα διαφορετικά λογισμικά, πρωτόκολλα επικοινωνίας και επιχειρησιακές προδιαγραφές που υποστηρίζουν. Ως εκ τούτου, το σύστημα δύναται να συνεργαστεί με μία πληθώρα έξυπνων συσκευών και δεν περιορίζεται στις ήδη υπάρχουσες ενισχύοντας σε μεγάλο βαθμό την έννοια της διαλειτουργικότητας. Therefore, the system provides the possibility of automated or semi-automated recording of the patient's biosignals and activity. It is important to mention that integrating smart devices into the information system ignores their heterogeneity regarding the different software, communication protocols and operational specifications they support. Therefore, the system can work with a multitude of smart devices and is not limited to the already existing ones, greatly enhancing the concept of interoperability.
Η καταγραφή των βιοσημάτων του ασθενή και της καθημερινής δραστηριότητάς του και η αποθήκευση σε μία βάση δεδομένων αποσκοπεί την περαιτέρω ανάλυση τους που, εκτός του εντοπισμού έκτοπων τιμών, επιτρέπει και τον αυτοματοποιημένο εντοπισμό ακραίων τιμών σε βιοσήματα αλλά και την αυτοματοποιημένη παροχή οδηγιών και συμβουλών προσαρμοσμένα στις ιδιαίτερες συνθήκες της εκάστοτε νοσηλείας. Με αυτό το τρόπο, ο ασθενής που αναπαύεται στη κλίνη του παρακολουθείται αδιάλειπτα από το παρακλίνιο σύστημα, το οποίο δύναται να παρέχει προσωποποιημένες συμβουλές καί προτροπές για την αφοσίωση στη λαμβανόμενη θεραπεία αλλά καί να επέμβει σε περίπτωση επείγουσας κατάστασης. The recording of the patient's biosignals and his daily activity and storage in a database aims at their further analysis which, in addition to the detection of outliers, also allows the automated detection of extreme values in biosignals and the automated provision of instructions and advice adapted to the special conditions of each hospitalization. In this way, the patient resting in his bed is continuously monitored by the bedside system, which can provide personalized advice and prompts for dedication to the treatment received but also intervene in the event of an emergency.
Σε τακτά χρονικά διαστήματα διενεργούνται επισκέψεις από το θεράποντα ιατρό στον ασθενή. Αντ' αυτού, το παρακλίνιο σύστημα παρέχει τη δυνατότητα διενέργειας της συνάντησης διαδικτυακά απελευθερώνοντας τον γιατρό από τη υποχρέωση φυσικής παρουσίας χωρίς όμως να στερείται τη δυνατότητα αξιολόγησης του ασθενή, των εξετάσεων του καί της φυσικής του κατάστασης αφού δύναται να έχει πρόσβαση σε αυτά μέσω του κινητού του ή ενός tablet ή ενός σταθερού Η/Υ. Η ιδιαιτερότητα του εν λόγω παρακλίνιου συστήματος είναι ότι μέσω του προβαλλόμενου βίντεο αποτιμά το συναίσθημα του ασθενή σε πραγματικό χρόνο ποσοτικοποιώντας χαρακτηριστικά της φωνής και εκφράσεις του προσώπου με τη χρήση προηγμένων αλγορίθμων μηχανικής μάθησης. Οι μετρήσεις από την αποτίμηση του συναισθήματος του ασθενή αποθηκεύονται στη βάση δεδομένων παράλληλα με τις μετρήσεις βιοσημάτων και φυσικής δραστηριότητας και συνεκτιμώνται από το εξειδικευμένο προσωπικό. Ο εντοπισμός χαμηλής ψυχικής διάθεσης του ασθενούς ενεργοποιεί το σύστημα να καλέσει έναν ψυχολόγο ή ένα οικείο πρόσωπο με σκοπό τη ψυχική ανάταση του ασθενή. Ο γιατρός καλεί τον ασθενή για να τον ενημερώσει για τη κατάστασή του, έχοντας ελέγξει την κατάσταση της υγείας του μέσω των βιοσημάτων που συλλέγονται και αποθηκεύονται αυτόματα από το σύστημα. Η συνομιλία εκκινεί και κατά τη διάρκεια της συνομιλίας συλλέγονται σε πραγματικό χρόνο οι εκφράσεις του προσώπου του ασθενούς και αναλύονται από το προβλεπτικό μοντέλο ανάλυσης συναισθήματος. Τα αποτελέσματα, πέραν της αποθήκευσης στον Ηλεκτρονικό Φάκελο Υγείας για την αξιολόγηση της συναισθηματικής κατάστασης του ασθενούς, παρουσιάζονται και στην οθόνη του γιατρού σε πραγματικό χρόνο. Visits are made by the attending physician to the patient at regular intervals. Instead, the bedside system provides the possibility of carrying out the meeting online, freeing the doctor from the obligation of physical presence, but without depriving him of the possibility of evaluating the patient, his examinations and his physical condition, since he can access them through the mobile of or a tablet or a stationary PC. The peculiarity of this bedside system is that through the projected video it assesses the patient's emotion in real time by quantifying voice characteristics and facial expressions using advanced machine learning algorithms. Measurements from the assessment of the patient's emotion are stored in the database alongside the measurements of biomarkers and physical activity and are co-evaluated by the specialized staff. Detecting the patient's low mental mood triggers the system to call a psychologist or a familiar person for the purpose of uplifting the patient. The doctor calls the patient to inform him of his condition, having checked his health status through the bio-signals automatically collected and stored by the system. The conversation starts and during the conversation the patient's facial expressions are collected in real time and analyzed by the predictive sentiment analysis model. The results, in addition to being stored in the Electronic Health File to assess the patient's emotional state, are also presented on the doctor's screen in real time.
Ο ασθενής νοσηλεύεται για την αντιμετώπιση πάθησης που έχει επιφέρει βλάβη στις κινήσεις του ή στην πνευματική του διαύγεια. Για το σκοπό της αποκατάστασής του οι γιατροί προτείνουν μία θεραπεία, η οποία περιλαμβάνει φάρμακα, ασκησιολόγιο, διατροφή, ξεκούραση. Επικουρικά, στη θεραπεία επεμβαίνει το παρακλίνιο σύστημα με μία σειρά σοβαρών παιγνίων τύπου cognitive και exer. Τα παιχνίδια τύπου cognitive αποσκοπούν στην πνευματική άσκηση της μνήμης και της διαύγειας, ενώ τα παιχνίδια τύπου exer εμπλέκουν σημεία του σώματος που αντιμετωπίζουν κινησιακές δυσκολίες στο χειρισμό μιας φιγούρας τηλεπαιχνιδιού για την καλυτέρευση της φυσικής κατάστασης. Το παρακλίνιο σύστημα SISEI παρέχει τη δυνατότητα εξάσκησης του ασθενή με τα παιχνίδια αυτά, ενώ, παράλληλα, σε ό,τι αφορά τα Exergames ο χειρισμός τους επιτελείται μόνο με τη χρήση μιας κάμερας υπολογιστή μέσω καινοτόμων μεθόδων μηχανικής όρασης και μοντέλων μηχανικής μάθησης. Οι επιδόσεις των σοβαρών παιχνιδιών μετρώνται με δείκτες (π.χ. χρόνος απόκρισης χρήστη, αριθμός λαθών, κλπ.) που ορίζονται ανά παιχνίδι με τη συμβολή του κατάλληλου ιατρικού προσωπικού και αποθηκεύονται μαζί με τα βιοσήματα, την καθημερινή δραστηριότητα και την συναισθηματική αποτίμηση για περαιτέρω αξιοποίηση από τους ειδικούς. The patient is hospitalized to treat a condition that has affected his movements or his mental clarity. For the purpose of his recovery, doctors suggest a treatment, which includes drugs, exercise program, diet, rest. Additionally, the outpatient system intervenes in the treatment with a series of serious cognitive and exer type games. Cognitive games aim to mentally exercise memory and clarity, while exer games engage parts of the body that experience motor difficulties in manipulating a video game figure to improve fitness. The SISEI bedside system allows the patient to practice with these games, while at the same time, as far as Exergames are concerned, they are manipulated only with the use of a computer camera through innovative machine vision methods and machine learning models. Serious game performance is measured by indicators (eg user response time, number of errors, etc.) defined per game with input from appropriate medical personnel and stored along with biomarkers, daily activity and emotional assessment for further utilization by experts.
Τα αποτελέσματα του παιχνιδιού αποθηκεύονται στο Ηλεκτρονικό Φάκελο Υγείας και ο θεράπων Ιατρός ή φυσικοθεραπευτής ενημερώνεται, ελέγχει τη πρόοδο του ασθενή και αν απαιτηθεί αυξάνει το επίπεδο δυσκολίας. Τα εν λόγω αποτελέσματα συνεκτιμώνται με τις μετρήσεις των βιοσημάτων και του συναισθήματος. Πέραν της ψυχαγωγίας που απολαμβάνει ο ασθενής το παρακλίνιο σύστημα μετατρέπεται σε έναν πνευματικό προπονητή βελτιώνοντας συνολικά τη φυσική και πνευματική κατάσταση του ασθενή. The results of the game are stored in the Electronic Health Record and the treating Doctor or physiotherapist is informed, checks the patient's progress and if required increases the level of difficulty. These results are taken into account with measurements of biomarkers and emotion. In addition to the entertainment enjoyed by the patient, the bedside system turns into a mental coach, improving the patient's overall physical and mental condition.
Ο ασθενής λόγω της πάθησης του ή λόγω έλλειψης εξοικείωσης με Η/Υ ή λόγω ηλικίας έχει δυσκολία στον χειρισμό του tablet. Ανάλογες δυσχέρειες δύναται να αποθαρρύνουν τον βασικό χρήστη από τη χρήση του καιτην αποδοχή του συστήματος οδηγώντας σε αποτυχία. Η ενσωμάτωση στο παρακλίνιο σύστημα του έξυπνου κουμπιού μέσω του οποίου επιτελούνται οι βασικές λειτουργίες χρησιμοποίησης του tablet διευκολύνει την αποδοχή του συστήματος από τον χρήστη και του παρέχει ένα γρήγορο τρόπο κλήσης για βοήθεια. Το έξυπνο κουμπί είναι ασύρματο, με δυνατότητα επικοινωνίας μέσω Bluetooth / BLE, καί ενσωματώνει αισθητήρες ανίχνευσης κίνησης, καθώς καί τη δυνατότητα προγραμματισμού της λειτουργίας πατήματος, παρέχοντας τη δυνατότητα τηλεχειρισμού του τερματικού με περιορισμένο αριθμό κινήσεων. Στο εμπόριο διατίθενται διάφορες υλοποιήσεις του έξυπνου κουμπιού που καλύπτουν τις απαιτήσεις του συστήματος. The patient, due to his illness or lack of familiarity with computers or age, has difficulty handling the tablet. Similar difficulties may discourage the basic user from using and accepting the system, leading to failure. The integration into the bedside system of the smart button through which the basic functions of using the tablet are performed facilitates the acceptance of the system by the user and provides him with a quick way to call for help. The smart button is wireless, able to communicate via Bluetooth / BLE, and incorporates motion detection sensors, as well as the ability to program the press function, providing the possibility of remote control of the terminal with a limited number of movements. Various implementations of the smart button are commercially available to meet the system requirements.
Όταν ένας δείκτης της κατάστασης υγείας του ασθενή διαφοροποιηθεί από το προκαθορισμένο όριο, το συμβάν θα πρέπει να γνωστοποιηθεί για την αξιολόγηση του και, πιθανώς, την εκτέλεση περαιτέρω ενεργειών νοσηλευτικής ή/και ιατρικής φροντίδας. Τα όρια δεικτών (thresholds) τίθενται από τους θεράποντες ιατρούς, εξατομικευμένα για κάθε ασθενή, μέσω της εφαρμογής του παρακλίνιου συστήματος. Ανάλογα με το χαρακτηρισμό ενός δείκτη ως ένα από τα τρία επίπεδα συναγερμού (πράσινο, κίτρινο ή κόκκινο), ενεργοποιείται και ο κατάλληλος μηχανισμός ειδοποίησης έκτακτης ανάγκης. Παράλληλα, ο ασθενής έχει τη δυνατότητα κλήσης ή σήμανσης άμεσης κατάστασης με το έξυπνο κουμπί. When an indicator of the patient's health status deviates from the predetermined threshold, the event should be reported for evaluation and, possibly, the execution of further nursing and/or medical care actions. Thresholds are set by the attending physicians, individually for each patient, through the application of the bedside system. Depending on the designation of an indicator as one of the three alarm levels (green, yellow or red), the appropriate emergency notification mechanism is activated. At the same time, the patient has the possibility to call or mark an immediate situation with the smart button.
Συνοψίζοντας, η τεχνική μέθοδος συνδυάζει με τρόπο συμπαγή, εύχρηστο και αποδοτικό όλες τις ανωτέρω υπηρεσίες. Παράλληλα, το tablet δύναται να χρησιμοποιείται για τη ενημέρωση του ασθενούς για τα τεκταινόμενα στο κόσμο, να επικοινωνεί με τα οικεία του πρόσωπα, να βλέπει και να μοιράζεται πολυμεσικό υλικό παρέχοντας του τη δυνατότητα της κοινωνικής εμπλοκής και αφαιρώνταςτη δυσάρεστη αίσθηση της απομόνωσης. In summary, the technical method combines all the above services in a compact, easy-to-use and efficient way. At the same time, the tablet can be used to inform the patient about what is happening in the world, to communicate with his family, to see and share multimedia material, providing him with the possibility of social involvement and removing the unpleasant feeling of isolation.
Στο παρακλίνιο σύστημα έχουν πρόσβαση όλοι οι εμπλεκόμενοι ρόλοι που είναι εξουσιοδοτημένοι να έχουν πρόσβαση στις πληροφορίες του ασθενή και είναι επιφορτισμένοι με τη φροντίδα του, αλλά και ο κοινωνικός του περίγυρος. Ωστόσο η πρόσβαση στις προσφερόμενες υπηρεσίες και πληροφορίες του συστήματος περιορίζεται από την αρχή ανάγκης γνώσης. Οι ρόλοι που δύναται να αλληλεπιδράσουν με τα τερματικά του συστήματος είναι οι ακόλουθοι: 1) Ασθενής, 2) Συγγενής ασθενή ή γενικότερα άτομο που έχει αναλάβει την επιμέλεια του ασθενή, 3) Νοσηλευτής/τρια που πραγματοποιεί επισκέψεις στους θαλάμους, 4) Νοσηλευτής/τρια, που βρίσκεται σε εφημερία (Στάση Νοσηλευτών), 5) Προϊστάμενος/μένη της Νοσηλευτικής Υπηρεσίας, 6) Ιατρός, από διάφορες ειδικότητες που σχετίζονται με την παρακολούθηση, θεραπεία και αποκατάσταση των ασθενών (όπως π.χ., φυσίατρος, καρδιολόγος, νευρολόγος, Γενικός ιατρός κ.ά.), 7) Εφημερεύων ιατρός, 8) Λοιπό Επιστημονικό προσωπικό, από διάφορες ειδικότητες που σχετίζονται με την παρακολούθηση, θεραπεία και αποκατάσταση των ασθενών (όπως π.χ., ψυχολόγος, φυσιοθεραπευτής, εργοθεραπευτής, κ.ά.), 9) Τεχνικό προσωπικό που έχει επιφορτιστεί τις διαδικασίες εγκατάστασης, παραμετροποίησης και ελέγχου ορθής λειτουργίας των επιμέρους τμημάτων του συστήματος, χωρίς πρόσβαση στα παραγόμενα δεδομένα, 10) Διαχειριστής, ο οποίος έχει πρόσβαση σε εργαλεία διαχείρισης λογαριασμών χρηστών, στατιστικά δεδομένα και διαγνωστικές λειτουργίες του συστήματος. The bedside system is accessible to all involved roles who are authorized to access the patient's information and are charged with their care, as well as their social environment. However, access to the offered services and system information is limited by the need-to-know principle. The roles that can interact with the terminals of the system are the following: 1) Patient, 2) Relative of the patient or in general a person who has taken care of the patient, 3) Nurse who visits the wards, 4) Nurse , who is on call (Nurses' Station), 5) Head of the Nursing Service, 6) Doctor, from various specialties related to the monitoring, treatment and rehabilitation of patients (such as, for example, physiatrist, cardiologist, neurologist, General physician, etc.), 7) Doctor on call, 8) Other Scientific staff, from various specialties related to the monitoring, treatment and rehabilitation of patients (such as, for example, psychologist, physiotherapist, occupational therapist, etc. ), 9) Technical personnel who are in charge of the installation, configuration and proper functioning control procedures of the individual parts of the system, without access to the generated data, 10) Administrator, who has access to user account management tools, statistical data and diagnostic functions of the systemic.
Η πρωτότυπη υλοποίηση της παρούσας εφεύρεσης εφαρμόζεται πιλοτικά, στο πλαίσιο του ερευνητικού έργου SISEI, σε επιλεγμένα κέντρα αποθεραπείας και αποκατάστασης, εφαρμόζοντας το ως άνω σενάριο χρήσης. Η ανάπτυξη του πρωτότυπου συστήματος SISEI αναλύεται σε λογισμικό καί υλισμικό. The original implementation of the present invention is piloted, in the context of the SISEI research project, in selected recovery and rehabilitation centers, applying the above usage scenario. The development of the original SISEI system is analyzed in software and hardware.
Αναφορικά με το λογισμικό, αυτό έχει αναπτυχθεί σε μία τμηματική αρχιτεκτονική που εξυπηρετεί την εύκολη ενσωμάτωση και αφαίρεση υπηρεσιών και χωρίζεται σε τρία επιμέρους υποσυστήματα. Τα επιμέρους υποσυστήματα, στα οποία συνίσταται το "SISEI" είναι τρία, το υποσύστημα παρασκηνίου (Back-End), το υποσύστημα διεπαφών του χρηστών (Front-End) και ο πυρήνας του συστήματος (Core System). Τα Back-End και Core System αποτελούν δομές υπολογιστικού νέφους, όπως φαίνεται και στην Εικόνα 1, παρέχοντας κατ' αίτηση υπολογιστικούς πόρους, ενώ το Front-End εγκαθίσταται στις πλατφόρμες που προορίζονται για τη χρήση του. Αναλυτικότερα, η βασική δομή του συστήματος (τρία υποσυστήματα) υποδιαιρείται σε μικρότερες υπομονάδες (modules), ως εξής: 1. Front-End Regarding the software, it has been developed in a segmented architecture that serves the easy integration and removal of services and is divided into three individual subsystems. The individual sub-systems that "SISEI" consists of are three, the Back-End Sub-System, the Front-End Sub-System and the Core System. The Back-End and Core System are cloud computing structures, as shown in Figure 1, providing on-demand computing resources, while the Front-End is installed on the platforms intended for its use. In more detail, the basic structure of the system (three subsystems) is subdivided into smaller modules (modules), as follows: 1. Front-End
i. Android App: Η εφαρμογή που εγκαθίσταται μέσα στο παρακλίνιο τερματικό. Βασική λειτουργία της εφαρμογής, εκτός από τη διεπαφή με τους χρήστες είναι η διεκπεραίωση της επικοινωνία με τους αισθητήρες μέσω του πρωτοκόλλου Bluetooth / BLE. Επίσης ενσωματώνει τις απαραίτητες βιβλιοθήκες WebRTC για την πραγματοποίηση τηλεδιασκέψεων. i. Android App: The application that is installed inside the bedside terminal. The main function of the application, apart from the user interface, is to handle the communication with the sensors via the Bluetooth / BLE protocol. It also integrates the necessary WebRTC libraries for video conferencing.
ii. Web App: Η διαδικτυακή εφαρμογή για τους χρήστες του συστήματος υλοποιημένη με τεχνολογίες JavaScript, HTML καί του framework Angular. ii. Web App: The web application for system users implemented with JavaScript, HTML and Angular framework technologies.
iii. Helpdesk App: Η διαδικτυακή εφαρμογή για τους διαχειριστές του συστήματος και το σταθμό των νοσηλευτών η οποία είναι υλοποιημένη με τεχνολογίες JavaScript και HTML και του framework Angular. iii. Helpdesk App: The online application for system administrators and the nurses' station which is implemented with JavaScript and HTML technologies and the Angular framework.
iv. WebRTC App: Η διαδικτυακή εφαρμογή που θα παρέχει όλες τις απαραίτητες λειτουργίες βίντεο τηλεδιασκέψεων. Χρησιμοποιείται τόσο από τη Web όσο και από τη Helpdesk εφαρμογή για τις βιντεοκλήσεις μεταξύ των χρηστών. Η υλοποίηση αξιοποιεί τεχνολογίες JavaScript και HTML και το framework Angular. iv. WebRTC App: The web application that will provide all the necessary video conferencing features. Used by both the Web and the Helpdesk application for video calls between users. The implementation leverages JavaScript and HTML technologies and the Angular framework.
iv. Exergame App: Η εφαρμογή για τα Exergames που λειτουργεί παράπλευρα με το παρακλίνιο τερματικό σε μικροϋπολογιστή (όπως Raspberry ή NVIDIA Jetson Nano) που διασυνδέεται με κάμερα και οθόνη ή τηλεόραση. Η εφαρμογή αυτή υλοποιείται σε Python και εκτελεί τις διαδικασίες μηχανικής όρασης και μάθησης για τον έλεγχο του παιχνιδιού και την αξιολόγηση των επιδόσεων του ασθενούς. iv. Exergame App: The application for Exergames that works side-by-side with the bedside terminal on a microcomputer (such as a Raspberry or NVIDIA Jetson Nano) that interfaces with a camera and monitor or TV. This application is implemented in Python and performs the machine vision and learning processes to control the game and evaluate the patient's performance.
1. Back-End 1. Back-End
i. Authentication Services: Διασύνδεση προγραμματισμού για διαδικτυακές υπηρεσίες με λειτουργίες πιστοποίησης χρηστών (κοινές για όλες τις front-end εφαρμογές), ώστε να μπορούν να υποστηριχθούν συνδέσεις (login) χρηστών, που είτε θα έχουν εγγράφει στο σύστημα, είτε θα χρησιμοποιούν για την σύνδεση τους λογαριασμούς από δημοφιλείς κοινωνικά δίκτυα (όπως Facebook, Twitter κ.ά.). Επίσης, δύναται μελλοντικά να διευκολυνθεί η διαδικασία σύνδεσης των χρηστών για όλες της εφαρμογές του συστήματος με ένα μόνο login (Λειτουργία Single sign-on). Η υλοποίηση βασίζεται στη δημοφιλή βιβλιοθήκη JS - Passport. i. Authentication Services: Programming interface for online services with user authentication functions (common to all front-end applications), so that user logins can be supported, who will either have registered in the system, or will use the accounts to log in from popular social networks (such as Facebook, Twitter, etc.). Also, in the future, the user login process for all system applications can be facilitated with a single login (Single sign-on function). The implementation is based on the popular JS library - Passport.
ii. API Services: Διασύνδεση προγραμματισμού για διαδικτυακές υπηρεσίες που θα επικοινωνεί με τις Front-end διεπαφές του συστήματος, όπως την Android εφαρμογή του παρακλίνιου τερματικού και την Web εφαρμογή. Η λύση βασίζεται στην πλατφόρμα nodejs και το framework expresses. ii. API Services: Programming interface for online services that will communicate with the Front-end interfaces of the system, such as the Android application of the bedside terminal and the Web application. The solution is based on the nodejs platform and the expresses framework.
iii. Admin API Services: Διασύνδεση προγραμματισμού για διαδικτυακές υπηρεσίες σχετικά με τις λειτουργίες διαχείρισης του συστήματος, που θα επικοινωνεί με την Helpdesk διεπαφή (frontend) του συστήματος. Η λύση βασίζεται στην πλατφόρμα nodejs και το framework expresses. iv. Emotion Analysis Services: Διασύνδεση προγραμματισμού για διαδικτυακές υπηρεσίες αναφορικά με την ανάλυση των συναισθημάτων με τη χρήση μοντέλων μηχανικής μάθησης Συγκεκριμένα, το υποσύστημα αναλύει τις εικόνες καί βίντεο που του στέλνεται από τις εφαρμογές χρηστών καί κάνει εκτίμηση της συναισθηματικής κατάστασης με αναγωγή σε 6 βασικά συναισθήματα: λύπη, ευτυχία, φόβος, θυμός, έκπληξη καί αηδία. Παράδειγμα μοντέλου μηχανικής μάθησης που έχει ενσωματωθεί αφορά τη χρήση CNN - Convolutional Neural Networks που έχουν εκπαιδευτεί στο dataset FER-2013. iii. Admin API Services: Programming interface for online services related to system management functions, which will communicate with the Helpdesk interface (frontend) of the system. The solution is based on the nodejs platform and the expresses framework. iv. Emotion Analysis Services: Programming interface for online services regarding the analysis of emotions using machine learning models Specifically, the subsystem analyzes images and videos sent to it by user applications and evaluates the emotional state by reducing it to 6 basic emotions: sadness, happiness, fear, anger, surprise and disgust. An example of an embedded machine learning model is the use of CNNs - Convolutional Neural Networks trained on the FER-2013 dataset.
v. Video Recording Services: Διασύνδεση προγραμματισμού για διαδικτυακές υπηρεσίες σχετικές με τη διαδικασία της καταγραφής των βιντεοκλήσεων. Το υποσύστημα έχει υλοποιηθεί στη γλώσσα python με ενσωμάτωση της βιβλιοθήκης WebRTC. v. Video Recording Services: Programming interface for online services related to the process of recording video calls. The subsystem is implemented in python language with integration of WebRTC library.
νι. Cron Server: Κατάλληλη εφαρμογή (τύπου Cron) για την εκτέλεση εργασιών (Jobs) στο Background τις κατάλληλες χρονικές στιγμές που θα έχουν χρονοπρογραμματιστεί (schedule). Όπως για παράδειγμα να στέλνονται emails με αναφορές στους γιατρούς κάποια συγκεκριμένη χρονική στιγμή, π.χ. μια φορά την εβδομάδα. Η λύση βασίζεται στην πλατφόρμα nodejs και το framework expresses. ni. Cron Server: Suitable application (Cron type) for executing jobs (Jobs) in the Background at the appropriate times that will be scheduled. For example, sending emails with references to doctors at a specific time, e.g. once a week. The solution is based on the nodejs platform and the expresses framework.
1. vii. Websocket Server: Εφαρμογή για την λειτουργία των Websockets. Ώστε να επιτυγχάνεται η επικοινωνία μεταξύ των εφαρμογών σε πραγματικό χρόνο όπου και όποτε αυτό απαιτείται. Η λύση βασίζεται στην πλατφόρμα nodejs και το framework expresses. Core System 1. vii. Websocket Server: Application for the operation of Websockets. So that communication between applications is achieved in real time wherever and whenever this is required. The solution is based on the nodejs platform and the expresses framework. Core System
i. Database: Απαραίτητη βάση δεδομένων SQL για να αποθηκεύονται όλες οι απαιτούμενες πληροφορίες/δεδομένα του συστήματος. Η παρούσα υλοποίηση βασίζεται στη βάση δεδομένων MariaDB. i. Database: Required SQL database to store all required system information/data. The present implementation is based on the MariaDB database.
ii. Redis: Σύστημα που επιτρέπει τις εφαρμογές που θα τρέχουν στο back-end να επικοινωνούν άμεσα μεταξύ τους χρησιμοποιώντας και μηχανισμούς cache για αύξηση της απόδοσης. ii. Redis: System that allows applications that will run in the back-end to communicate directly with each other using cache mechanisms to increase performance.
iii. coturn: Turn Server για την υποστήριξη της webRTC επικοινωνίας μεταξύ των εφαρμογών με τη χρήση του framework coturn σε docker container iii. coturn: Turn Server to support webRTC communication between applications using the coturn framework in a docker container
Κάθε υπομονάδα (module) τύπου web service υλοποιεί ένα προς ένα νοητό τμήμα της λειτουργικότητας του συνολικού συστήματος εξυπηρετώντας μία συνεργασία client-server βασισμένη πάνω στο αρχιτεκτονικό μοντέλο REST. Τα συστήματα που υποστηρίζουν το μοντέλο REST δεν γνωρίζουν τη προηγούμενη κατάσταση (stateless) και διαχωρίζουν τις ανησυχίες μεταξύ πελάτη - εξυπηρετητή. Αυτό σημαίνει ότι δεν απαιτείται η γνώση της κατάστασης του καθενός από τον άλλο, όπως επίσης δεν απαιτείται και η γνώση πρότερων μηνυμάτων. Τα modules αποτελούν τμήματα της νεφουπολογιστικής δομής. Το σύνολο τους διαδραματίζει μαζί με τις υπομονάδες (Cron-Websocket Servers) το ρόλο του εξυπηρετητή στη συνεργασία client-server του συστήματος. Το ρόλο του πελάτη (client) έχουν επωμιστεί οι διαδικτυακές εφαρμογές, οι οποίες ζητούν πληροφορίες-δεδομέναγνώση από τους εξυπηρετητές μέσω http αιτημάτων. Σχετικά με τον πυρήνα του συστήματος, αποτελείται ουσιαστικά από την βάση δεδομένων, την Redis και τον coturn. Τα τρία modules λειτουργούν αλληλουποστηριστικά με την Redis, ως μνήμη cache, αυξάνει την συνολική απόδοση. Each sub-unit (module) of the web service type implements one by one a conceivable part of the functionality of the overall system serving a client-server collaboration based on the REST architectural model. Systems that support the REST model do not know the previous state (stateless) and separate concerns between client and server. This means that knowledge of each other's status is not required, nor is knowledge of previous messages required. Modules are parts of the cloud computing structure. All of them together with the sub-modules (Cron-Websocket Servers) play the role of the server in the client-server cooperation of the system. The role of the client has been assumed by online applications, which request information-data from the servers through http requests. About the core of the system, it basically consists of the database, Redis and coturn. The three modules work mutually supportively with Redis, as a cache memory, increasing overall performance.
Σε ό,τι αφορά την πλευρά του ασθενή, όλες οι προαναφερθείσες λειτουργίες επιτυγχάνονται με τη χρήση υλικού που δύναται να περιλαμβάνει τις ακόλουθες κατηγορίες συσκευών: 1) Ταμπλέτα, 2) Έξυπνο κουμπί άμεσης επέμβασης και τηλεχειρισμού, 3) Έξυπνο ρολόι, 4) Πιεσόμετρο, 5) Ζυγαριά, 6) Οξύμετρο, 7) Ανιχνευτής δραστηριότητας (Activity tracker). Οι συσκευές επικοινωνούν με την εφαρμογή Android μέσω Bluetooth / BLE. Για τις παραπάνω κατηγορίες συσκευών διατίθεται στο εμπόριο μεγάλη ποικιλία μοντέλων από πολλούς κατασκευαστές και η επιλογή μεταξύ αυτών εξαρτάται από τις απαιτήσεις της κλινικής δομής στην οποία θα εγκατασταθεί το σύστημα και τις ανάγκες ιατρικής παρακολούθησης των ασθενών. Το σύστημα δύναται να υποστηρίξει οποιοδήποτε μοντέλο με δυνατότητα επικοινωνίας μέσω Bluetooth / BLE, παρέχοντας ανεξαρτησία από το εκάστοτε υλικό και επιτρέποντας τη συνεχή αναβάθμιση της τεχνολογικής υποδομής. Η ενσωμάτωση νέων μοντέλων συσκευών στο σύστημα προϋποθέτει τη διαθεσιμότητα του πρωτοκόλλου επικοινωνίας ή αντίστοιχου μηχανισμού από την πλευρά του κατασκευαστή. Για την πρωτότυπη υλοποίηση του συστήματος έχει ενσωματωθεί τουλάχιστον ένα μοντέλο για κάθε μία από τις παραπάνω κατηγορίες συσκευών. Ενδεικτικά αναφέρονται οι κατασκευαστές iHealth Labs, Beurer, Jumper Medical καί Xiaomi, επιλεγμένα μοντέλ προγραμματιζόμενο έξυπνο κουμπί έχει χρησιμοπ α των οποίων έχουν ενσωματωθεί, ενώ για το οιηθεί το μοντέλο puck.js της Espruino. As far as the patient side is concerned, all the aforementioned functions are achieved using hardware that may include the following categories of devices: 1) Tablet, 2) Smart button for immediate intervention and remote control, 3) Smart watch, 4) Blood pressure monitor, 5) Scale, 6) Oximeter, 7) Activity tracker. The devices communicate with the Android app via Bluetooth / BLE. For the above categories of devices, a wide variety of models are commercially available from many manufacturers and the choice between them depends on the requirements of the clinical structure in which the system will be installed and the medical monitoring needs of the patients. The system can support any model with the ability to communicate via Bluetooth / BLE, providing independence from the respective hardware and allowing the continuous upgrade of the technological infrastructure. The integration of new device models into the system requires the availability of the communication protocol or corresponding mechanism from the manufacturer's side. For the original implementation of the system, at least one model has been integrated for each of the above categories of devices. The manufacturers iHealth Labs, Beurer, Jumper Medical and Xiaomi are mentioned as examples, selected models of programmable smart buttons have been integrated, while for example the puck.js model of Espruino.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GR20210100825A GR20210100825A (en) | 2021-11-25 | 2021-11-25 | Original method destined for the communication and the continuous follow-up of the corporal and emotional condition of patients via a system set aside the bed |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GR20210100825A GR20210100825A (en) | 2021-11-25 | 2021-11-25 | Original method destined for the communication and the continuous follow-up of the corporal and emotional condition of patients via a system set aside the bed |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| GR20210100825A true GR20210100825A (en) | 2023-06-13 |
Family
ID=87201455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| GR20210100825A GR20210100825A (en) | 2021-11-25 | 2021-11-25 | Original method destined for the communication and the continuous follow-up of the corporal and emotional condition of patients via a system set aside the bed |
Country Status (1)
| Country | Link |
|---|---|
| GR (1) | GR20210100825A (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583431A (en) * | 2019-01-02 | 2019-04-05 | 上海极链网络科技有限公司 | A kind of face Emotion identification model, method and its electronic device |
| CN110705419A (en) * | 2019-09-24 | 2020-01-17 | 新华三大数据技术有限公司 | Emotion recognition method, early warning method, model training method and related device |
| CN110717410A (en) * | 2019-09-23 | 2020-01-21 | 湖南检信智能科技有限公司 | Voice emotion and facial expression bimodal recognition system |
| WO2020209846A1 (en) * | 2019-04-09 | 2020-10-15 | Somniferum Labs LLC | Pain level determination method, apparatus, and system |
| US20210042680A1 (en) * | 2019-08-06 | 2021-02-11 | International Business Machines Corporation | Alert generation based on a cognitive state and a physical state |
-
2021
- 2021-11-25 GR GR20210100825A patent/GR20210100825A/en unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583431A (en) * | 2019-01-02 | 2019-04-05 | 上海极链网络科技有限公司 | A kind of face Emotion identification model, method and its electronic device |
| WO2020209846A1 (en) * | 2019-04-09 | 2020-10-15 | Somniferum Labs LLC | Pain level determination method, apparatus, and system |
| US20210042680A1 (en) * | 2019-08-06 | 2021-02-11 | International Business Machines Corporation | Alert generation based on a cognitive state and a physical state |
| CN110717410A (en) * | 2019-09-23 | 2020-01-21 | 湖南检信智能科技有限公司 | Voice emotion and facial expression bimodal recognition system |
| CN110705419A (en) * | 2019-09-24 | 2020-01-17 | 新华三大数据技术有限公司 | Emotion recognition method, early warning method, model training method and related device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11038969B2 (en) | Platform independent realtime medical data display system | |
| Farahani et al. | Healthcare iot | |
| Chang et al. | A context-aware, interactive M-health system for diabetics | |
| Volkov et al. | Digital twins, internet of things and mobile medicine: a review of current platforms to support smart healthcare | |
| Banos et al. | Physiodroid: Combining wearable health sensors and mobile devices for a ubiquitous, continuous, and personal monitoring | |
| Yuan et al. | Web-based real-time remote monitoring for pervasive healthcare | |
| Jeddi et al. | Remote patient monitoring using artificial intelligence | |
| US20160364549A1 (en) | System and method for patient behavior and health monitoring | |
| Sahu et al. | The internet of things in geriatric healthcare | |
| US20180279880A1 (en) | System and method for enhanced patient monitoring and care | |
| US20200234813A1 (en) | Multi-disciplinary clinical evaluation in virtual or augmented reality | |
| Szydło et al. | Mobile and wearable devices in an open and universal system for remote patient monitoring | |
| US20170061823A1 (en) | System for tracking and monitoring personal medical data and encouraging to follow personalized condition-based profile and method thereof | |
| WO2017194642A1 (en) | System and method for tracking informal observations about a care recipient by caregivers | |
| Baumann et al. | Implementing blockchain to enhance usability of patient-generated data | |
| Ramdurai | A study on mobile apps in the healthcare industry | |
| TWI749621B (en) | Medication reminding and reporting system and method | |
| Smith et al. | Feasibility of mobile phone-based management of chronic illness | |
| KR20190061826A (en) | System and method for detecting complex biometric data cure of posttraumatic stress disorder and panic disorder | |
| TW201351338A (en) | Smart digital medical module and healthcare service integrated system platform for senior citizens | |
| GR20210100825A (en) | Original method destined for the communication and the continuous follow-up of the corporal and emotional condition of patients via a system set aside the bed | |
| US20190244711A1 (en) | System and method for timing delivery of queries to telehealth patients | |
| EP4345827A1 (en) | A prototype method for the communication and continuous monitoring of the physical and emotional state of the patients through a bedside system | |
| Gachet et al. | Big data processing of bio-signal sensors information for self-management of health and diseases | |
| Menon et al. | A visual framework for an iot-based healthcare system based on cloud computing |