GR1008903B - Μεθοδολογια δυναμικης επικοινωνιας σε νοηματικη γλωσσα - Google Patents

Abstract

Η μεθοδολογία δυναμικής επικοινωνίας σε νοηματική γλώσσα παρέχει τη δυνατότητα δυναμικής σύνταξης νοηματικών φράσεων από συστατικά - νοηματικά λήμματα και μορφήματα της επιλογής του συντάκτη. Η αναπαράσταση του νοηματικού "κειμένου" γίνεται με χρήση τρισδιάστατης απεικόνισης μέσω εικονικού βοηθού/νοηματιστή, η οποία βασίζεται στην κωδικοποίηση των νοηματικών λημμάτων ως προς τα φωνολογικά τους χαρακτηριστικά, ενώ παρέχεται η δυνατότητα αποθήκευσης, επαναχρησιμοποίησης, διόρθωσης, συγκόλλησης και τροποποίησης του νοηματικού περιεχομένου. Στις δυνατότητες που παρέχονται στο συντάκτη περιλαμβάνονται η χρήση δακτυλοσυλλαβισμού και εικονικού πληκτρολογίου δακτυλικού αλφαβήτου, το οποίο επιτρέπει την αναπαράσταση μεταξύ αλφαριθμητικών δεδομένων και νοηματικής γλώσσας, καθώς και η παραπομπή σε πλήρες δίγλωσσο λεξικό αντιστοίχισης μιας φωνούμενης και μιας νοηματικής γλώσσας, το οποίο παρέχει όλες τις δυνατές συνδέσεις μεταξύ των μορφών της φωνούμενης και της νοηματικής γλώσσας για την ίδια έννοια.

Description

Τίτλος Διπλώματος Ευρεσιτεχνίας: Μεθοδολογία Δυναμικής Επικοινωνίας σε Νοηματική Γλώσσα Περιγραφή

Τεχνικό πρόβλημα που αντιμετωπίζεται

Η δυναμική επικοινωνία σε νοηματική γλώσσα μέσω σύνθεσης νέων μηνυμάτων ή με την επαναχρησιμοποίηση παλαιότερων αρχείων «κειμένου» στο σύνολό τους, κατά ένα συγκεκριμένο μέρος τους ή με την τροποποίηση τους, έχει παραμείνει για δεκαετίες αδύνατη, δεδομένου ότι οι νοηματικές γλώσσες είναι γλώσσες που αρθρώνονται στις τρεις διαστάσεις με χρήση πολλών παράλληλων τροπικοτήτων άρθρωσης μέσα στο ίδιο χρονικό διάστημα και κατ' αυτή την έννοια αποτελούν εξαιρετικά δύσκολο αντικείμενο καταγραφής σε μορφή κειμένου.

 Για την πληρέστερη κατανόηση του τεχνικού προβλήματος, σημειώνεται ότι οι νοηματικές γλώσσας είναι φυσικά γλωσσικά συστήματα, όπως και οι φωνούμενες γλώσσες, με τη διαφορά ότι χρησιμοποιούν τον τρισδιάστατο χώρο καθώς και έναν μηχανισμό άρθρωσης κατάλληλο για τον χώρο αυτό. Τα στοιχεία που απαρτίζουν την άρθρωση του νοήματος -της μικρότερης σημασιολογικής μονάδας μιας νοηματικής γλώσσας- είναι τα ακόλουθα:

             Χειρομορφή

              Κατεύθυνση της παλάμης

             Κίνηση του/των χεριού/χεριών

             Θέση άρθρωσης (πάνω στο σώμα του νοηματιστή ή στο νοηματικό χώρο)

             Μη χειροκινησιακά χαρακτηριστικά (κορμός, κεφαλή, εκφράσεις του προσώπου, κατεύθυνση του βλέμματος...)

Οι τροπικότητες της νοηματικής άρθρωσης μπορούν να περιλαμβάνουν την παράλληλη χρήση των χεριών, του κορμού, της κεφαλής, στοιχείων του προσώπου και τη χρήση του βλέμματος. Για τον λόγο αυτό, οι νοηματικές γλώσσες χρησιμοποιούν το βίντεο ως μέσο καταγραφής του γλωσσικού μηνύματος. Το συγκεκριμένο μέσο όμως είναι δύσκολα επεξεργάσιμο και μόνον από ειδικούς (π.χ. διαδικασία μοντάζ), ενώ ακόμα και όταν γίνεται η επεξεργασία του από ειδικούς, η δημιουργία ενός νέου αρχείου ενιαίου «κειμένου» από άλλα διαφορετικά αρχεία ενέχει μια σειρά τεχνικών και φυσιολογικών δυσκολιών, όπως να βρίσκεται το βιντεοσκοπούμενο άτομο σε παρόμοια φυσική κατάσταση με εκείνη της προηγούμενης εγγραφής, να φοράει τα ίδια ή παρόμοια ρούχα, να μην έχει αλλάξει δραματικά μακιγιάζ ή το χρώμα και το σχήμα των μαλλιών του, να εξασφαλίζεται το ίδιο είδος φωτισμού, να τηρείται η ίδια απόσταση από την κάμερα κατά τη βιντεοσκόπηση, να χρησιμοποιείται ίδιας ποιότητας κάμερα κ.ο.κ.. Επίσης θα πρέπει να σημειωθεί ότι ένα αρχείο νοηματικού βίντεο δεν εξασφαλίζει κατά κανέναν τρόπο την ανωνυμία του νοηματιστή με την έννοια ότι εκθέτει το πρόσωπο που παρουσιάζεται

 σε δημόσια θέαση, σε αντίθεση με ένα γραπτό κείμενο, το οποίο ακόμα και όταν είναι ενυπόγραφο δεν εκθέτει το πρόσωπο του συντάκτη του.

 Για όλους αυτούς τους λόγους, η έλλειψη ευρέως αποδεκτών συστημάτων γραφής σε παγκόσμιο επίπεδο, έχει δημιουργήσει το κρίσιμο τεχνικό πρόβλημα το οποίο συνίσταται στην αδυναμία για τα κωφά και βαρήκοα άτομα να μπορούν να συντάξουν δυναμικά ένα νοηματικό «κείμενο», με άμεσο αντίκτυπο για την επικοινωνία με χρήση νοηματικής γλώσσας σε πλήθος περιπτώσεων όπου το κείμενο είναι απαραίτητο, όπως π.χ. στην επικοινωνία σε περιβάλλον εκπαίδευσης (δημιουργία εκπαιδευτικού υλικού και ασκήσεων από πλευράς του διδάσκοντα καθώς και δυνατότητα απαντήσεων ή σύνταξης ερωτημάτων από πλευράς διδασκόμενου), καθώς και στην επικοινωνία με το Δημόσιο, όπου, για παράδειγμα, η συμπλήρωση αιτήσεων αποτελεί τη συνηθέστερη διαδικασία διάδρασης.

Προτεινόμενη λύση στο τεχνικό πρόβλημα

 Προκειμένου να επιλυθεί το συγκεκριμένο τεχνικό πρόβλημα, έχει αναπτυχθεί μια μεθοδολογία σύνδεσης διαφορετικών επιμέρους τεχνολογιών που επιτρέπουν σε ένα κωφό ή βαρήκοο άτομο, αλλά και σε οποιονδήποτε επιθυμεί να επικοινωνήσει με χρήση νοηματικής γλώσσας, να συντάξει δυναμικά νοηματικό «κείμενο» το οποίο ο συντάκτης του έχει τη δυνατότητα να αποθηκεύει, να επαναχρησιμοποιεί, να διορθώνει, να συγκολλά σε άλλο κείμενο ή να τροποποιεί σύμφωνα με τις επικοινωνιακές του ανάγκες (Αξίωση 1). Επίσης, με ανάλογο δυναμικό τρόπο, μπορεί να κάνει χρήση του δακτυλικού αλφαβήτου για τη συμπλήρωση οποιασδήποτε φόρμας /αίτησης ή για να εισαγάγει κύρια ονόματα και τοπωνύμια στο νοηματικό κείμενο που συντάσσει (Αξίωση 2).

Η τρέχουσα κατάσταση διεθνώς και η τεχνολογική καινοτομία που προτείνεται

Στο περιβάλλον των τεχνολογιών και μεθοδολογιών για την επίλυση διάφορων προβλημάτων αναπαράστασης ή/και μετάφρασης νοηματικής γλώσσας έχουν εγκριθεί διάφορες πατέντες τόσο στην Ευρώπη όσο και στις ΗΠΑ που απαντούν σε θέματα αναγνώρισης μεμονωμένων χειρονομιών, προβολή λημμάτων με χρήση βίντεο και γραφικών, μετάφραση λημμάτων από και προς νοηματική γλώσσα, καθώς και χρήση εικονικών βοηθών για την αναπαράσταση νοηματικής γλώσσας.

Στη συνέχεια παραθέτουμε μια σειρά από ενδεικτικές πατέντες στη θεματική περιοχή της νοηματικής γλώσσας.

      - ΕΡ2016562Α2: Method for providing affective characteristics to computer generated avatar during gameplaY

             EP2118840A4: Interactive user controlled avatar animations

             EP0560587A2: Sign language translation system and  method 

              US20060134585: Interactive animation system for sign language

       - US20060079325: Avatar database for mobile video communications

       - US8566077B2: Sign language translator

              US5544050 A: Sign language learning system and method

       - US5047952: Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove

       - US5734923: Apparatus for interactively editing and outputting sign language information using graphical user interface

              US5890120: Matching, synchronization, and superposition on orginal speaking subject images of modified signs from sign language database corresponding to recognized speech segments US5953693: Sign language generation apparatus and sign language translation apparatus US6116907: System and method for encoding and retrieving visual signals

       - US20040012643: Systems and methods for visually communicating the meaning of information to the hearing impaired

              US20080195373: Digital Sign Language Translator

              WO 2001059741 A1: Sign language to speech converting method and apparatus

Η σειρά των πατεντών που αναφέρονται ανωτέρω έχει ως αντικείμενο είτε την αναπαραγωγή ή αναγνώριση μεμονωμένων νοηματικών λημμάτων βάσει της χειρομορφής που χρησιμοποιείται κατά την άρθρωσή τους (ένα από τα αναγκαία συστατικά της άρθρωσης του νοηματικού λήμματος όπως καταγράφονται παραπάνω), είτε την απόδοση νοηματικών λημμάτων με γραφικά, είτε την ανάπτυξη εικονικών βοηθών για την αναπαραγωγή νοηματικής γλώσσας, είτε τη μετάφραση σε επίπεδο μεμονωμένου λήμματος. Οι συγκεκριμένες τεχνολογίες έχουν αποτελέσει τεχνολογικά στοιχεία αναφοράς που επέτρεφαν την ανάπτυξη δίπλα σε αυτά και της παρούσας προτεινόμενης λύσης στο τεχνικό πρόβλημα της δυναμικής παραγωγής νοηματικού «κειμένου» σύμφωνα με τις επικοινωνιακές ανάγκες του συντάκτη του. Η βασική διαφορά της παρούσας προτεινόμενης λύσης από τις συναφείς προϋπάρχουσες προσεγγίσεις εστιάζεται στα εξής σημεία:

       1. Λαμβάνεται υπ' όψιν το σύνολο των στοιχείων που απαρτίζουν την άρθρωση του νοήματος (Χειρομορφή, Κατεύθυνση της παλάμης, Κίνηση του/των χεριού/χεριών, Θέση άρθρωσης (πάνω στο σώμα του νοηματιστή ή στο νοηματικό χώρο), Μη χειροκινησιακά χαρακτηριστικά (κορμός, κεφαλή, εκφράσεις του προσώπου, κατεύθυνση του βλέμματος...) ώστε να ελαχιστοποιούνται οι αμφισημίες και να επιτυγχάνεται όσο το δυνατό φυσικότερη αναπαράσταση κατά την συνθετική άρθρωση.

       2. Παρέχεται η δυνατότητα σύνταξης νοηματικών φράσεων με βάση τη γραμματική μιας δεδομένης νοηματικής γλώσσας. Με αυτό τον τρόπο γίνεται η μετάβαση από το επίπεδο της λέξης/λήμματος στο επίπεδο της δυναμικής σύνθεσης της φράσης/πρότασης και έτσι στην πραγματική σύνταξη κειμένου.

       3. Γίνεται εκμετάλλευση της δυνατότητα παρουσίασης του νοηματικού κειμένου από εικονικό νοηματιστή (avatar). Έτσι αποφεύγονται τόσο οι περιορισμοί επεξεργασίας που ενέχει η χρήση βίντεο, όσο και η ελλιπής/μη φυσική αναπαράσταση με χρήση γραφικών.

Τα αναλυτικά στοιχεία της λύσης στο τεχνικό πρόβλημα

Για την εφαρμογή της μεθοδολογίας δυναμικής επικοινωνίας με χρήση νοηματικής γλώσσας, χρησιμοποιούμε απλές συσκευές τύπου προσωπικού υπολογιστή ή φορητού υπολογιστή ή tablet που υπάρχουν ευρέως στο εμπόριο, στις οποίες ενσωματώνονται μια σειρά από τεχνολογίες και εργαλεία.

 Στη συνέχεια παρουσιάζονται τα χαρακτηριστικά των λειτουργιών που χρησιμοποιεί η περιγραφόμενη μεθοδολογία δυναμικής επικοινωνίας με χρήση νοηματικής γλώσσας.

Στο άτομο που κάνει χρήση της δυναμικής σύνθεσης νοημάτων παρέχονται οι εξής τρεις κύριες δυνατότητες:

•     Αναζήτηση των λέξεων που ο συντάκτης θα χρησιμοποιήσει, προκειμένου να συνθέσει το «κείμενό» του. Η διεργασία αυτή αφορά αναζήτηση σε μεγάλου όγκου δίγλωσσο λεξικό για ένα ζεύγος γλωσσών μεταξύ μιας φωνούμενης και μιας νοηματικής γλώσσας, π.χ. για το ζεύγος Ελληνικά-Ελληνική Νοηματική Γλώσσα (ΕΝΓ).

•     Δυναμική σύνδεση νοηματικής γλώσσας με χρήση εικονικού βοηθού. Ο συντάκτης μπορεί να δημιουργεί νοηματικό «κείμενο» συνθέτοντας δυναμικά νοηματικές φράσεις. Αυτό επιτυγχάνεται με βάση την επιλογή των λέξεων που θέλει να χρησιμοποιήσει μέσα από τη διαδικασία της αναζήτησης στο δίγλωσσο λεξικό. Τα νοηματικά λήμματα που αναλογούν στις λέξεις έχουν κωδικοποιηθεί κατάλληλα ώστε να επιτρέπουν την αναπαράστασή τους από εικονικό νοηματιστή (avatar). Το νοηματικό «κείμενο» το οποίο συντάσσεται με αυτό τον τρόπο, αποδίδεται από τρισδιάστατο εργαλείο εικονικού νοηματιστή, μπορεί να χρησιμοποιηθεί άμεσα, να τροποποιηθεί, να διορθωθεί ή να αποθηκευτεί για μελλοντική χρήση.

•     Χρήση εικονικού πληκτρολογίου δακτυλικού αλφαβήτου που επιτρέπει σε κωφούς/βαρήκοους χρήστες να εισάγουν αλφαριθμητικά δεδομένα της φωνούμενης Ελληνικής μέσω δακτυλικών συμβόλων μιας δεδομένης νοηματικής γλώσσας π.χ. της Ελληνικής Νοηματικής Γλώσσας (ΕΝΓ), αλλά και να οπτικοποιεί ήδη υπάρχοντα αλφαριθμητικά δεδομένα (όπως ονόματα, τοπωνύμια κ.ά.).

5

 Η δυνατότητα δακτυλοσυλλαβισμού επιτρέπει τη συμπλήρωση στοιχείων σε διάφορες φόρμες αλλά ενσωματώνεται και στη δυναμική σύνθεση για την απόδοση κύριων ονομάτων και τοπωνυμίων.

Τα εργαλεία ηου έχουν αναπτυχθεί διεθνώς και που έχουν κατάλληλα τροποποιηθεί και προσαρμοσθεί στην προτεινόμενη μεθοδολογία δυναμικής επικοινωνίας με χρήση νοηματικής γλώσσας, είναι τα ακόλουθα:

·     Μεγάλου όγκου δίγλωσσο λεξικό: Το συγκεκριμένο λεξικό περιλαμβάνει ζεύγη μιας φωνούμενης και μιας νοηματικής γλώσσας σε μεγάλη κάλυψη. Για τις ανάγκες της δυναμικής σύνθεσης, ένα τέτοιο λεξικό πρέπει να περιλαμβάνει τα λήμματα της νοηματικής γλώσσας που καλύπτει, κωδικοποιημένα ως προς τα φωνολογικά τους χαρακτηριστικά, τα οποία καταγράφονται σε μια βιβλιοθήκη μορφών και κινήσεων, ώστε να μπορούν να μεταφράζονται σε αντίστοιχες κινήσεις από έναν εικονικό νοηματιστή (avatar). Το λεξικό που αφορά λημματολόγιο νοηματικής γλώσσας και χρησιμοποιεί η προτεινόμενη μεθοδολογία, αφορά το ζεύγος Ελληνικά-Ελληνική Νοηματική Γλώσσα (ΕΝΓ).

•    Εργαλείο δυναμικής σύνδεσης λεξικών μονάδων και φράσεων νοηματικής γλώσσας με χρήση εικονικού βοηθού : Στηρίζεται στο προαναφερθέν δίγλωσσο λεξικό φωνούμενης και νοηματικής γλώσσας και επιτρέπει στο συντάκτη ενός κειμένου να συνθέτει δυναμικά νοηματικές φράσεις με χρήση εικονικού βοηθού (avatar τρισδιάστατου νοηματιστή) για την προβολή τους, επιλέγοντας συνδυασμούς κατάλληλα κωδικοποιημένων λημμάτων του λεξικού ή τροποποιώντας τα γραμματικά χαρακτηριστικά τους (π.χ., γένος, αριθμό, πρόσωπο).

•    Εικονικό πληκτρολόγιο δακτυλικού αλφαβήτου: Με το πληκτρολόγιο αυτό, αντιστοιχίζονται τόσο τα γράμματα του αλφαβήτου (24 για το ελληνικό αλφάβητο) όσο και τα αριθμητικά ψηφία 0-9 σε χειρομορφές που αναλογούν στο δακτυλικό αλφάβητο και σε καθορισμένες αριθμητικές οπτικές κωδικοποιήσεις. Ένα κωφό/βαρήκοο άτομο μπορεί με αυτό το εικονικό πληκτρολόγιο αφενός να εισαγάγει, μέσω χειρομορφικών συμβόλων, αλφαριθμητικά δεδομένα της φωνούμενης γλώσσας σε συγκεκριμένα πεδία π.χ. μιας ιστοσελίδας, αφετέρου να οπτικοποιεί ήδη υπάρχοντα αλφαριθμητικά δεδομένα (όπως ονόματα, τοπωνύμια, αριθμητικά δεδομένα, κ.ά.) που εντοπίζει σε ένα γραπτό κείμενο ή να εισαγάγει αντίστοιχο υλικό σε ένα «κείμενο» που συντάσσει δυναμικά, όπως π.χ. για να απαντήσει σε ερωτήσεις στα μαθήματα Γεωγραφίας ή Ιστορίας στο περιβάλλον της Εκπαίδευσης.

Χαρακτηριστικά λειτουργίας της τεχνικής λύσης του προβλήματος

Τα εργαλεία που περιγράφηκαν παραπάνω μπορούν να ενεργοποιούνται από το συντάκτη, όποτε τα χρειάζεται, δεδομένου ότι προσφέρονται με την μορφή πρόσθετων (Add-Ons) που είναι ανά πάσα στιγμή

6

διαθέσιμα κατά την πλοήγηση στις πλατφόρμες στις οποίες ενσωματώνονται. Η ενεργοποίηση των συγκεκριμένων εργαλείων γίνεται με την βοήθεια κουμπιών (buttons) που φέρουν εικονίδια και έχουν ευκρινές μέγεθος. Για να γίνουν τα συστήματα φιλικότερα προς τον χρήστη, προτείνεται να υιοθετούνται χρωματικές συμβάσεις στη δημιουργία της διεπαφής, που είναι γνωστό ότι διευκολύνουν σε μεγάλο βαθμό την εστίαση στα ενεργά στοιχεία της οθόνης, επίσης προτείνεται η χρήση αναδυόμενων πλαισίων διαλόγου (pop-up windows) για ενημερωτικούς ή διαδραστικούς σκοπούς, όπου αυτό είναι απαραίτητο. Επιπρόσθετα, σε σημαντικά σημεία αλληλεπίδρασης του χρήστη με τα συστήματα υπάρχει η δυνατότητα εμφάνισης συμβουλών-εργαλείου (tooltip), οι οποίες βασίζονται σε βίντεο με σύντομες επεξηγήσεις στη μητρική νοηματική γλώσσα του συντάκτη, για την ενέργεια που κάθε φορά αναμένεται να εκτελεστεί.

 Η προτεινόμενη μεθοδολογία δυναμικής επικοινωνίας σε νοηματική γλώσσα, συνδυάζει και προσαρμόζει στο ελληνικό περιβάλλον ήδη υφιστάμενες τεχνολογίες που υπάρχουν διεθνώς όπως είναι το λεξικό λημμάτων μεταξύ μιας φωνούμενης και μιας νοηματικής γλώσσας, τη χρήση εικονικού νοηματιστή για την οπτικοποίηση του αποτελέσματος αλλά και τη χρήση εικονικού πληκτρολογίου δακτυλικού αλβαφήτου. Ένα παράδειγμα για τη λειτουργία της μεθοδολογίας, δίδεται αμέσως παρακάτω.

Κατά την έναρξη της διαδικασίας δυναμικής σύνθεσης μιας νοηματικής φράσης, ο συντάκτης προχωρά στην αναζήτηση εκείνων των στοιχείων του λεξικού που θα χρησιμοποιήσει, μέσα από το δίγλωσσο λεξικό (Αξίωση 4). Το ίδιο λεξικό μπορεί να υποστηρίξει την ανάγνωση ενός ψηφιακού κειμένου στο διαδικτυακό τόπο όπου έχει ενσωματωθεί το σύστημα, όπου ο χρήστης με προβλήματα ακοής έχει την δυνατότητα να αναζητήσει επεξήγηση στη νοηματική γλώσσα που μιλάει, για μια λέξη που περιέχεται σε αυτό. Η άγνωστη λέξη πρώτα επιλέγεται επάνω στο κείμενο από τον χρήστη και μετά με τη χρήση μιας διαδικτυακής υπηρεσίας αναζητάται στο δίγλωσσο λεξικό, το οποίο περιέχει αντιστοιχίες λημμάτων με συνδέσμους οπτικού υλικού στη συγκεκριμένη νοηματική γλώσσα. Το αποτέλεσμα της αναζήτησης είναι ένα σύνολο συνδέσμων που αντιστοιχούν σε επεξηγήσεις νοηματικού λόγου, τις οποίες διαθέτει το υποκείμενο σύστημα για μια λέξη της φωνούμενης γλώσσας. Εάν υπάρχει διαθέσιμο έστω και ένα νοηματικό βίντεο, αυτό αναπαράγεται, ενώ ο χρήστης έχει την ευχέρεια να δει και'όλες τις άλλες αντιστοιχισμένες αποδόσεις του λήμματος στη νοηματική γλώσσα, αν υπάρχουν περισσότερες από μία. Επιπλέον, παράλληλα με την παρουσίαση του λήμματος σε μορφή βίντεο, υπάρχει δυνατότητα ο χρήστης να δει και παραδείγματα χρήσης της άγνωστης κειμενικής λέξης στο νοηματικό λόγο, πράγμα το οποίο βοηθά στην κατανόηση του γραπτού κειμένου της φωνούμενης γλώσσας.

Στη συνέχεια ακολουθεί η δυναμική σύνθεση των φράσεων της νοηματικής γλώσσας και η αναπαραγωγή τους με τη βοήθεια εικονικού βοηθού (Avatar) μέσα από τη χρήση ενός φυλλομετρητή και με τη βοήθεια

7

ενός java applet. Όσον αφορά στη σύνθεση φράσεων νοηματικής γλώσσας, εμφανίζεται αρχικά στο συντάκτη η δυνατότητα να επιλέξει τα λήμματα που θα χρησιμοποιήσει. Το κάθε λήμμα περιέχει (αδιαφανείς για τον χρήστη του) πληροφορίες φωνολογικής κωδικοποίησης, έτσι ώστε να είναι δυνατή η αναπαραγωγή τους από τον εικονικό βοηθό. Η διεπαφή (interface) μεταξύ ανθρώπου-μηχανής (Αξίωση 3) είναι σχεδιασμένη έτσι ώστε να παρέχει την δυνατότητα στο συντάκτη του «κειμένου» να επιλέξει και να αλλάξει τη σειρά εμφάνισης των λημμάτων κατά βούληση ή να επιλέξει να χρησιμοποιήσει - στη φράση που συνθέτει - την απόδοση μιας λέξης με δακτυλοσυλλαβισμό. Ο συντάκτης του «κειμένου», γενικότερα μπορεί να λάβει επεξηγηματικές πληροφορίες σε καθορισμένα σημεία της όλης διαδικασίας μέσω συμβουλών-εργαλείων (tooltip) ή και οδηγιών σε πολυμεσική μορφή, όπου αυτό κρίνεται απαραίτητο για την ορθή χρήση του εργαλείου δυναμικής σύνθεσης νοηματικών μονάδων. Εν συνεχεία και αφού ο συντάκτης του «κειμένου» έχει επιλέξειτα λήμματα που επιθυμεί να χρησιμοποιήσει, μπορεί να αλλάξει τη σειρά τους, έτσι ώστε η φράση που δημιουργείται να ανταπο κρίνεται στη δομή της χρησιμοποιούμενης νοηματικής γλώσσας. Μετά ακολουθεί η σύνθεση της φράσης από τα επιλεγμένα λήμματα και αμέσως μετά η αναπαραγωγή της από τον εικονικό βοηθό.

Τέλος, ο συντάκτης του κειμένου μπορεί, ανάλογα με τις επικοινωνιακές ανάγκες, να επιλέξει και τη χρήση του εικονικού πληκτρολόγιο δακτυλικού αλφαβήτου το οποίο αποτελείται από εικονικάπλήκτρα που αντιστοιχούν στο δακτυλικό αλφάβητο της νοηματικής γλώσσας επιλογής. Το κάθε πλήκτρο περιλαμβάνει ένα εικονίδιο το οποίο αναπαριστά οπτικά μια χειρομορφή μαζί με το ισοδύναμο γράμμα της αλφαβήτου τη αντίστοιχης φωνούμενης γλώσσας. Αλλα πλήκτρα παρέχονται για τα αριθμητικά ψηφία 0-9. Εδώ πρέπει να επισημανθεί ότι υποστηρίζεται η αμφίδρομη αντιστοίχιση του δακτυλικού αλφαβήτου με το αλφάβητο της φωνούμενης γλώσσας και τα αριθμητικά ψηφία. Αναλυτικότερα, όταν ο χρήστης επιλέξει μια χειρομορφή, τότε σε καθορισμένο πεδίο εμφανίζεται το αντίστοιχο γράμμα ή αριθμός και αντίστροφα εμφανίζεται στην οθόνη η χειρομορφή που αντιστοιχεί στο γράμμα ή τον αριθμό που επέλεξε ο χρήστης του πληκτρολογίου. Το συγκεκριμένο πληκτρολόγιο είναι ιδιαίτερα χρήσιμο στις περιπτώσεις που κωφοί/βαρήκοοι χρειάζεται να εισαγάγουν σε φόρμες στοιχεία όπως αριθμούς, ονόματα, διευθύνσεις υποστηρίζει την παροχή συμβουλών-εργαλείων (to μορφή, για την καλύτερη κατανόηση και την ορθή χ σύστημα δυναμικής σύνθεσης νοηματικών φρά «κειμένου».

     κλπ. Η διεπαφή χρήστη του πληκτρολογίου oltips) καθώς και οδηγιών χρήσης σε πολυμεσική ρήση της. Το πληκτρολόγιο ενσωματώνεται και στο σεων για χρήση από το συντάκτη νοηματικού

Claims (4)

ΑΞΙΩΣΕΙΣ

       1. Μεθοδολογία δυναμικής επικοινωνίας σε νοηματική γλώσσα, προκειμένου να επιτευχθεί η επικοινωνία μεταξύ κωφών ή βαρήκοων ατόμων αλλά και σε οποιονδήποτε επιθυμεί να επικοινωνήσει με τη χρήση νοηματικής γλώσσας, χαρακτηριζόμενη από το ότι ο συντάκτης του νοηματικού «κειμένου» έχει τη δυνατότητα να το αποθηκεύσει, να το επαναχρησιμοποιήσει συνολικά ή κατά ένα μέρος του, να το διορθώσει, να το συγκολλήσει σε άλλο νοηματικό κείμενο ή να το τροποποιεί σύμφωνα με τις εκάστοτε επικοινωνιακές του ανάγκες.

       2. Μεθοδολογία σύμφωνα με την αξίωση 1, χαρακτηριζόμενη από το ότι ο χρήστης της μπορεί να επιλέξει, για τη σύνθεση νοηματικού «κειμένου», μεταξύ φωνούμενων λέξεων, μεμονωμένων γραμμάτων ή αριθμών με σκοπό την προβολή τους μέσω της χρήσης εικονικού νοηματιστή [avatar).

       3. Εγκατάσταση η οποία περιλαμβάνει τα μέσα για την εφαρμογή της προτεινόμενης μεθοδολογίας σύμφωνα με την αξίωση 1, χαρακτηριζόμενη από το ότι περιλαμβάνει κατάλληλες και φιλικές διεπαφές χρήστη μέσα από απλές συσκευές τύπου προσωπικού υπολογιστή, ή φορητού υπολογιστή ή ταμπλέτας, για την αναζήτηση, τη σύνθεση αλλά και την οπτικοποίηση νοηματικού «κειμένου» προς το χρήστη.

       4. Εγκατάσταση σύμφωνα με την αξίωση 3, χαρακτηριζόμενη από το ότι περιλαμβάνει λεξικό λημάτων με ζεύγη αντιστοίχισης φωνούμενης και νοηματικής γλώσσας, με πλήρη υποστήριξη του Ελληνικού περιβάλλοντος.