CZ36833U1 - Communication system for people with disabilities - Google Patents
Communication system for people with disabilities Download PDFInfo
- Publication number
- CZ36833U1 CZ36833U1 CZ2023-40646U CZ202340646U CZ36833U1 CZ 36833 U1 CZ36833 U1 CZ 36833U1 CZ 202340646 U CZ202340646 U CZ 202340646U CZ 36833 U1 CZ36833 U1 CZ 36833U1
- Authority
- CZ
- Czechia
- Prior art keywords
- control unit
- communication system
- person
- disability
- data storage
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims description 64
- 238000013500 data storage Methods 0.000 claims description 15
- 230000008921 facial expression Effects 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 3
- 210000003734 kidney Anatomy 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 6
- 230000001447 compensatory effect Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001584 occupational therapy Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/04—Devices for conversing with the deaf-blind
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Telephonic Communication Services (AREA)
Description
Dorozumívací systém pro osoby se zdravotním postiženímCommunication system for people with disabilities
Oblast technikyField of technology
Technické řešení s týká dorozumívacího systému pro osoby s částečným nebo úplným omezením schopnosti řeči.Technical solution s refers to a communication system for people with partial or complete speech impairment.
Dosavadní stav technikyCurrent state of the art
V současné době je dostupná celá řada kompenzačních pomůcek pro osoby se zdravotním postižením, přičemž je možné v ergoterapeutických katalozích s nabídkou kompenzačních pomůcek listovat podle typu zdravotního postižení (např. nedoslýchavost, nevidomost atp.).Currently, a whole range of compensatory aids for people with disabilities is available, while it is possible to browse occupational therapy catalogs with an offer of compensatory aids according to the type of disability (e.g. hearing loss, blindness, etc.).
Jeden následek zdravotního postižení se však z pohledu nabídky kompenzačních pomůcek může považovat za přehlížený, a to omezení, nebo dokonce ztráta, schopnosti řeči. Řeč je poměrně složitá činnost a je k ní zapotřebí souhra různých tělesných orgánů, které se mnohdy pro zdravotní postižení člověku nedostává. Řeč působením nepříznivých vlivů slábne, někdy až úplně zanikne.However, one consequence of disability can be considered overlooked from the point of view of the offer of compensatory aids, and that is the limitation, or even loss, of the ability to speak. Speech is a relatively complex activity and it requires the interplay of various body organs, which is often not available to a person due to a disability. Due to adverse influences, speech weakens, sometimes it even disappears completely.
Co se týče známých kompenzačních pomůcek pro osoby, jejichž zdravotní postižení se negativně projevuje na schopnosti řeči, tak je znám vynález z přihlášky vynálezu US 4241521 A, který prezentuje dorozumívací zařízení, které je tvořené maticí symbolů. Osoba, která se chce dorozumívat stiská symboly podle toho, co chce sdělit. Symboly se rozsvěcují, přičemž svítící symboly si může druhá osoba vyložit jako sdělení.With regard to known compensatory aids for persons whose disability has a negative effect on the ability to speak, the invention from the invention application US 4241521 A is known, which presents a communication device which is made up of a matrix of symbols. A person who wants to communicate presses symbols according to what he wants to convey. The symbols light up, and the illuminated symbols can be interpreted by the other person as a message.
Nevýhody výše uvedeného vynálezu spočívají v tom, že se předpokládá u osoby se zdravotním postižením schopnost ovládat matici symbolů, a toho některé osoby s kombinovaným zdravotním postižením řeči a motoriky nejsou schopny. Další nevýhoda je v omezené nabídce matice symbolů ke komunikaci.Disadvantages of the above-mentioned invention are that it is assumed that a person with a disability has the ability to control a matrix of symbols, and some people with combined speech and motor disabilities are not capable of this. Another disadvantage is the limited selection of matrix symbols for communication.
Úkolem technického řešení je vytvoření dorozumívacího systému, který by dokázal pomáhat lidem s omezenou schopností řeči komunikovat se svým okolím, aniž by technické řešení od osoby se zdravotním postižením vyžadovalo větší kooperaci, než je samotný pokus o řeč.The task of the technical solution is to create a communication system that could help people with limited speech ability to communicate with their surroundings, without the technical solution requiring more cooperation from the disabled person than the actual attempt to speak.
Podstata technického řešeníThe essence of the technical solution
Vytčený úkol je vyřešen pomocí dorozumívacího systému pro osoby se zdravotním postižením podle níže uvedeného technického řešení.The set task is solved using a communication system for people with disabilities according to the technical solution below.
Podstata dorozumívacího systému pro osoby se zdravotním postižením, spočívá v tom, že je tvořen řídicí jednotkou, jejímž úkolem je správný chod dorozumívacího systému. Přesněji je úkolem řídicí jednotky zajistit součinnost součástí systému a eventuálně pokud je dostatečně hardwarově výkonná, tak na základě instrukcí ze softwarového modulu pro rekonstrukci sdělení z digitálního A/V záznamu osoby se zdravotním postižením zrekonstruovat sdělení, a to reprodukovat každému se kterým chce osoba zdravotně postižená komunikovat.The essence of the communication system for persons with disabilities is that it consists of a control unit whose task is the correct operation of the communication system. More precisely, the task of the control unit is to ensure the cooperation of the system components and, eventually, if the hardware is powerful enough, to reconstruct the message based on the instructions from the software module for the reconstruction of the message from the digital A/V recording of a person with a disability, and to reproduce it to anyone with whom the person with a disability wants to communicate.
Nedílnou součástí dorozumívacího systému je alespoň jedna kamera, jejíž obrazový záznam osoby se zdravotním postižením je předáván do řídicí jednotky, a dále alespoň jeden mikrofon jehož zvukový záznam osoby se zdravotním postižením je předáván do řídicí jednotky. Kamera a mikrofon mají za úkol pořizovat A/V záznam osoby se zdravotním postižením.An integral part of the communication system is at least one camera whose video recording of a person with a disability is transmitted to the control unit, and also at least one microphone whose audio recording of a person with a disability is transmitted to the control unit. The camera and microphone have the task of making an A/V recording of a person with a disability.
Další nedílnou součástí dorozumívacího systému je alespoň jeden displej pro zobrazení obrazového sdělení vysílaného řídicí jednotkou, a dále alespoň jeden reproduktor pro přehrání zvukovéhoAnother integral part of the communication system is at least one display for displaying the visual message transmitted by the control unit, and also at least one speaker for playing the audio
- 1 CZ 36833 U1 sdělení vyslaného řídicí jednotkou. Úkolem displeje a reproduktoru je poskytnout rekonstruované sdělení osoby se zdravotním postižením okolí. Při použití více displejů je jeden displej určen pro osobu se zdravotním postižením, pro kontrolu, zda bylo její sdělení správně rozklíčováno.- 1 CZ 36833 U1 message sent by the control unit. The task of the display and speaker is to provide a reconstructed message to the disabled person in the surroundings. When multiple displays are used, one display is intended for a person with a disability, to check whether their message has been decoded correctly.
Poslední, ale neméně důležitou nedílnou součástí dorozumívacího systému je datové úložiště, na kterém je uložen alespoň jeden softwarový modul pro rekonstrukci sdělení osoby se zdravotním postižením z jejího A/V záznamu. Softwarový modul zahrnuje algoritmy, pomocí kterých je možné digitálně odezírat ze rtů, či přiřadit gestům a mimice osoby se zdravotním postižením konkrétní významy, atp. podle konkrétního naprogramování. Současně je na datovém úložišti uložena databáze gest, mimiky a zvuků osoby se zdravotním postižením. Do databáze jsou ukládány rozklíčované obrazy gest, mimiky a zvuků, které umožňují přesnější a rychlejší rekonstrukci sdělení osoby se zdravotním postižením, pokud se vyskytnou v A/V záznamu. Tato databáze se může vložit do lékařského chorobopisu a využívat i pro potřeby lékařů.The last but no less important integral part of the communication system is the data storage, which stores at least one software module for reconstructing the communication of a person with a disability from their A/V recording. The software module includes algorithms with which it is possible to digitally read lips, or assign specific meanings to the gestures and facial expressions of a person with a disability, etc. according to specific programming. At the same time, a database of gestures, facial expressions and sounds of a person with a disability is stored in the data storage. De-rooted images of gestures, facial expressions and sounds are stored in the database, which enable a more accurate and faster reconstruction of the communication of a person with a disability, if they occur in an A/V recording. This database can be inserted into the medical record and also used for the needs of doctors.
V rámci dorozumívacího systému podle technického řešení je výhodné, pokud dorozumívací systém zahrnuje dva mikrofony s ledvinovou směrovou charakteristikou, přičemž tělesa mikrofonů svírají společný úhel 90°. Použití dvou mikrofonů a jejich vzájemné uspořádání se používá pro získání tzv. stereozáznamu s co nejvíce eliminovaným tzv. hřebenovým filtrem, jinými slovy je záznam zvuku čistý a měkký pro půlkruh směrem od mikrofonů.Within the communication system according to the technical solution, it is advantageous if the communication system includes two microphones with kidney directional characteristics, whereby the bodies of the microphones form a common angle of 90°. The use of two microphones and their mutual arrangement is used to obtain a so-called stereo recording with the so-called comb filter eliminated as much as possible, in other words, the sound recording is clean and soft for the semicircle away from the microphones.
Rovněž je výhodné v rámci dorozumívacího systému podle technického řešení, pokud dorozumívací systém zahrnuje dvě kamery, přičemž zorné pole jedné z kamer je nasměrované na osobu se zdravotním postižením, zatímco zorné pole druhé z kamer je nasměrované na obličej osoby se zdravotním postižením. Použití dvou kamer zvyšuje rozlišení rekonstrukce video záznamu, neboť doplňkový záběr na obličej umožňuje algoritmům softwarového modulu ve video záznamu rychleji rozpoznávat mimiku obličeje a pohyb rtů pro odezírání.It is also advantageous within the intercom system according to the technical solution if the intercom system includes two cameras, the field of view of one of the cameras being directed at the person with a disability, while the field of view of the second of the cameras is directed at the face of the person with a disability. The use of two cameras increases the resolution of the video recording reconstruction, as the additional face shot allows the algorithms of the software module in the video recording to more quickly recognize the facial expressions and the movement of the lips for reading.
Je výhodné pro dorozumívací systém podle technického řešení, pokud je datové úložiště integrováno v řídicí jednotce. Tím, že je datové úložiště nedílnou součásti řídicí jednotky získá dorozumívací systém autonomii pro použití bez nutnosti být připojen k počítačové síti internet. Ačkoliv jsou možnosti připojení k internetu, či k jiným počítačovým sítím, na vzestupu, stále existují místa a situace, kde toto připojení není možné. Autonomie dorozumívacího systému tento fakt překonává.It is advantageous for the communication system according to the technical solution if the data storage is integrated in the control unit. Since the data storage is an integral part of the control unit, the communication system gains autonomy for use without the need to be connected to the Internet computer network. Although the possibilities of connecting to the Internet or other computer networks are on the rise, there are still places and situations where this connection is not possible. The autonomy of the communication system overcomes this fact.
Alternativně k výše uvedenému je pro dorozumívací systém podle technického řešení výhodné, pokud je datové úložiště součástí serveru, přičemž komunikační připojení řídicí jednotky k datovému úložišti serveru je uskutečněno připojením řídicí jednotky a serveru k internetu, či k alternativní počítačové síti. Oproti provedení s integrovaným datovým úložištěm do řídicí jednotky tato varianta přináší výhodou v tom, že řídicí jednotka může být z hlediska hardwaru dimenzována pouze pro řízení pořizování A/V záznamů a pro zajištění přehrávání rekonstruovaných sdělení, neboť výpočetní výkon pro softwarové moduly datového úložiště zajistí server. Nižší potřebný výkon řídicí jednotky snižuje spotřebu energie, umožňuje nasazení levnějších a dostupnějších hardwarových prostředků.As an alternative to the above, it is advantageous for the communication system according to the technical solution if the data storage is part of the server, while the communication connection of the control unit to the server data storage is made by connecting the control unit and the server to the Internet or to an alternative computer network. Compared to the design with integrated data storage in the control unit, this variant brings the advantage that the control unit can only be dimensioned in terms of hardware to manage the acquisition of A/V recordings and to ensure the playback of reconstructed messages, as the computing power for the software modules of the data storage will be provided by the server . The lower required performance of the control unit reduces energy consumption, enabling the deployment of cheaper and more accessible hardware resources.
Dorozumívací systém zahrnuje aktivační senzor, jehož úkolem je, aby dorozumívací systém neměl snahu rekonstruovat gestikulaci, mimiku a zvuky osoby se zdravotním postižením, pokud si to osoba vysloveně nepřeje.The intercom system includes an activation sensor, the task of which is that the intercom system does not attempt to reconstruct the gestures, facial expressions and sounds of a person with a disability, unless the person expressly wishes to do so.
Přínosem technického řešení je rekonstrukce sdělení přicházejících od osoby se zdravotním postižením, která má omezenou schopnost řeči. Dorozumívací systém usnadňuje jak proces sdělování, tak i proces porozumění. To je výhodné jak pro osoby se zdravotním postižením, tak pro osoby blízké, ošetřující či lidi v jejich okolí, s nimiž chtějí osoby zdravotně postižené komunikovat, protože si nemusí osvojovat žádné alternativní způsoby komunikace.The benefit of the technical solution is the reconstruction of messages coming from a disabled person who has limited speech. The communication system facilitates both the process of communication and the process of understanding. This is beneficial both for people with disabilities and for their loved ones, caregivers or people around them, with whom disabled people want to communicate, because they do not have to adopt any alternative methods of communication.
- 2 CZ 36833 U1- 2 CZ 36833 U1
Objasnění výkresůClarification of drawings
Uvedené technické řešení bude blíže objasněno na následujících vyobrazeních, kde:The mentioned technical solution will be explained in more detail in the following illustrations, where:
obr. 1 schematicky znázorňuje dorozumívací systém s řídicí jednotkou s integrovaným datovým úložištěm; a obr. 2 schematicky znázorňuje dorozumívací systém s řídicí jednotkou připojenou k serveru pomocí sítě internet.Fig. 1 schematically shows a communication system with a control unit with integrated data storage; and Fig. 2 schematically shows a communication system with a control unit connected to a server via the Internet.
Příklad uskutečnění technického řešeníAn example of the implementation of a technical solution
Rozumí se, že dále popsané a zobrazené konkrétní případy uskutečnění technického řešení jsou představovány pro ilustraci, nikoliv jako omezení technického řešení na uvedené příklady. Odborníci znalí stavu techniky najdou nebo budou schopni zajistit za použití rutinního experimentování větší či menší počet ekvivalentů ke specifickým uskutečněním technického řešení, která jsou zde popsána, ať už se jedná o hardwarové a softwarové vybavení, mobilní či stacionární provedení, typy a počty snímačů či reprodukčních zařízení nebo další technické podpůrné prostředky.It is understood that the following described and shown specific cases of implementation of the technical solution are presented for illustration, not as a limitation of the technical solution to the examples given. Experts familiar with the state of the art will find or be able to provide, using routine experimentation, a greater or lesser number of equivalents to the specific implementation of the technical solution described here, whether it is hardware and software equipment, mobile or stationary design, types and numbers of sensors or reproduction equipment or other technical support means.
V současné době se využívá technologie komunikace mezi hardwarem napřímo mezi jednotlivými kusy hardwaru, tak či prostřednictvím počítačové sítě (LAN, internet) nebo eventuálně sítě věcí (IoT), ve které je každý kus hardwaru samostatnou entitou. Samotná výměna elektrických signálů probíhá drátově, či bezdrátově (Wi-Fi, Bluetooth atp.).Currently, the technology of communication between hardware is used directly between individual pieces of hardware, either through a computer network (LAN, Internet) or eventually the Internet of Things (IoT), in which each piece of hardware is a separate entity. The exchange of electrical signals itself takes place via wire or wireless (Wi-Fi, Bluetooth, etc.).
Technické prostředky v dorozumívacím systému podle technického řešení může odborník zapojit dle možností, jenž mu současný stav techniky umožňuje.According to the technical solution, the expert can engage the technical means in the communication system according to the possibilities that the current state of technology allows him.
Dorozumívací sytém je tvořen technickými prostředky pro A/V záznam. Co se týká audia jedná se o mikrofony 3, které zachycený zvuk odesílají v digitální podobě ke zpracování. Co se týká videa, jedná se o kamery 2, jenž zachycený obraz odesílají v digitální podobě ke zpracování. Činnost mikrofonů 3 a kamer 2 je ovládána řídicí jednotkou 1, přičemž mohou kamery 2 a mikrofony 3 přijmout nadřazené instrukce přímo od uživatele pomocí tlačítek na nich existujících.The communication system consists of technical means for A/V recording. As for audio, there are 3 microphones that send the captured sound in digital form for processing. As for the video, there are 2 cameras that send the captured image in digital form for processing. The operation of the microphones 3 and the cameras 2 is controlled by the control unit 1, while the cameras 2 and the microphones 3 can receive superior instructions directly from the user by means of the buttons existing on them.
Digitální kamery 2 a mikrofony 3 jsou v podstatě katalogové zboží, přičemž výběr záleží na konkrétním úsudku odborníka, jenž dorozumívací systém zhotovuje.Digital cameras 2 and microphones 3 are basically catalog goods, and the choice depends on the specific judgment of the expert who makes the communication system.
Co se týče čistoty audio záznamu, tak je přínosné pro jeho strojové zpracování, pokud jsou použity dva mikrofony 3 s ledvinovou směrovou charakteristikou, jejichž tělesa svírají vzájemný úhel 90°. Jimi zaznamenávaný stereozáznam je pro strojové zpracování dobře „čitelný“.Regarding the clarity of the audio recording, it is beneficial for its machine processing if two microphones 3 with kidney directional characteristics are used, the bodies of which form a mutual angle of 90°. The stereo recording they record is well "readable" for machine processing.
Avšak výše uvedený počet a typ mikrofonů 3 není omezením na jediné správné uskutečnění. Dorozumívací systém může pracovat i s jediným mikrofonem 3, či s celou prostorovou soustavou mikrofonů 3. Záleží na tom, zda je dorozumívací systém stacionární, či přenosný, rovněž záleží na výpočetním výkonu řídicí jednotky 1 nebo serveru 9 dorozumívacího systému a vytrénování softwarového modulu 7, a rovněž záleží na míře zdravotního postižení osoby, jejíž sdělení mají být rekonstruována, ať již z částečného nebo úplného omezení schopnosti řeči.However, the above number and type of microphones 3 is not limited to a single correct implementation. The communication system can work with a single microphone 3 or with the entire spatial system of microphones 3. It depends on whether the communication system is stationary or portable, it also depends on the computing power of the control unit 1 or the server 9 of the communication system and the training of the software module 7, and it also depends on the degree of disability of the person whose messages are to be reconstructed, whether due to a partial or complete limitation of the ability to speak.
Dorozumívací systém umí pracovat s jednou kamerou 2, která má v zorném poli buď celou osobu se zdravotním postižením, či jen její obličej. V nejlepším možném provedení dorozumívacího systému jsou použity dvě kamery 2, přičemž zorné pole jedné je zaměřeno na osobou se zdravotním postižením jako na celek, zatímco zorné pole druhé je zaměřeno na obličej. Zejména u osob s méně výraznou mimikou a gesty je výhodné použití dvou kamer 2. Kamery 2 pořizují digitální záznam obrazu v reálném čase, který je s minimální prodlevou odesílán ke strojovému zpracování podleThe communication system can work with one camera 2, which has either the entire person with a disability in the field of view, or only their face. In the best possible embodiment of the communication system, two cameras 2 are used, the field of view of one being focused on the disabled person as a whole, while the field of view of the other is focused on the face. Especially for people with less expressive facial expressions and gestures, the use of two cameras 2 is advantageous. Cameras 2 take a digital recording of the image in real time, which is sent with minimal delay to machine processing according to
- 3 CZ 36833 U1 algoritmů softwarového modulu 7. Rozlišení digitálního záznamu je dáno datovou propustností, aby bylo možná strojová analýza v reálném čase, s tím, že platí klasické pravidlo, že čím je záznam detailnější, tím více pixelů je na každém snímku záznamu pro strojovou analýzu.- 3 CZ 36833 U1 algorithms of the software module 7. The resolution of the digital recording is determined by the data throughput to allow machine analysis in real time, with the classical rule that the more detailed the recording, the more pixels there are in each frame of the recording for machine analysis.
Co se týče displeje 4 a reproduktoru 5, tak jejich jediným úkolem je předat rekonstruované sdělení od osoby se zdravotním postižením okolí. Displej 4 může být v dorozumívacím systému pouze jeden, ale i několik, např. pro skupinovou komunikaci, či např. pro současné sdílení sdělení na více místech současně (pokoj sester a pokoj osoby se zdravotním postižením atp.). To samé platí pro reproduktory 5. Displej 4 a reproduktor 5 mohou být od osoby se zdravotním postižením i vzdáleny např. při komunikaci s příbuznými nacházejícími se v jiném městě.As for the display 4 and the speaker 5, their only task is to transmit a reconstructed message from a person with a disability in the vicinity. There can be only one display 4 in the intercom system, but also several, e.g. for group communication, or e.g. for simultaneous sharing of messages in several places at the same time (nurses' room and room of a person with a disability, etc.). The same applies to the speakers 5. The display 4 and the speaker 5 can be remote from a person with a disability, for example, when communicating with relatives located in another city.
Na obr. 1 je schematicky znázorněn dorozumívací systém, jehož řídicí jednotka 1 má v sobě integrované datové úložiště 6. Řídicí jednotka 1 zahrnuje komponenty pro digitální komunikaci s ostatním hardwarem dorozumívacího systému, dále zahrnuje komponenty pro realizaci instrukcí a výpočtů dle softwarového modulu 7. Řídicí jednotkou 1 může být přenosný počítač, eventuálně smartphone, či tablet, avšak s dostatečným výpočetním výkonem pro vykonávání strojového zpracování dle instrukcí softwarového modulu 7.Fig. 1 shows a schematic diagram of a communication system, the control unit 1 of which has an integrated data storage 6. The control unit 1 includes components for digital communication with other hardware of the communication system, and also includes components for the implementation of instructions and calculations according to the software module 7. Control unit 1 can be a portable computer, possibly a smartphone, or a tablet, but with sufficient computing power to perform machine processing according to the instructions of the software module 7.
Co se týče programu pro rozbor A/V záznamu obsaženého v softwarovém modulu 7, tak ten je možné zakoupit v základním nastavení. Pro chod dorozumívacího systému byla k softwaru připojena vlastní databáze 8 gest, mimiky a zvuků, které má software v A/V záznamech vyhledávat. Databáze 8 obsahuje obrazové definice tvarů, barev, kombinace obojího, pohybů, a zvuků, které charakterizují reálný stav věcí zaznamenaný na obrazový záznam. Pro zlepšení chodu dorozumívacího systému byly použity z fotografií a videí empiricky nasbírané sady siluet a zvuků osob se zdravotním postižením při různých sděleních, aby strojově vyhledávané objekty zájmu v A/V záznamech odpovídaly skutečnosti.As for the program for the analysis of the A/V recording contained in the software module 7, it can be purchased in the basic setting. For the operation of the communication system, the software was connected to its own database of 8 gestures, facial expressions and sounds, which the software should search for in A/V recordings. Database 8 contains image definitions of shapes, colors, combinations of both, movements, and sounds that characterize the real state of affairs recorded on the image recording. To improve the operation of the communication system, empirically collected sets of silhouettes and sounds of persons with disabilities during various communications were used from photos and videos, so that the machine-searched objects of interest in the A/V recordings corresponded to reality.
Program ze softwarového modulu 7 reprodukuje zrekonstruované sdělení osoby se zdravotním postižením ve formě zvuků, textu, či obrazů.The program from software module 7 reproduces the reconstructed communication of a person with a disability in the form of sounds, text or images.
Strojové vyhodnocení A/V záznamu je možné naprogramovat tak, aby dorozumívací systém byl uveden v úplnou aktivitu konkrétním gestem, mimikou, či zvukem. Alternativně je možné do dorozumívacího systému zařadit aktivační senzor, např. tlačítko, aby osoba se zdravotním postižením dorozumívací systém sama aktivovala / deaktivovala.The machine evaluation of the A/V recording can be programmed in such a way that the communication system is brought into full activity by a specific gesture, facial expression, or sound. Alternatively, it is possible to include an activation sensor in the communication system, e.g. a button, so that a person with a disability can activate / deactivate the communication system himself.
Na obr. 2 je alternativní provedení dorozumívacího systému, ve kterém náročné strojové vyhodnocování A/V záznamu je realizováno na výpočetně výkonném serveru 9, přičemž řídicí jednotka 1 plní úkol řízení chodu dorozumívacího systému. Server 9 může být skutečným hardwarem, nebo i tzv. virtuálním strojem provozovaným v cloudovém prostředí. Podmínkou pro činnost dorozumívacího systému je komunikace pomocí počítačové sítě internet s dostatečnou rychlostí datového přenosu.In Fig. 2, there is an alternative embodiment of the communication system, in which the demanding machine evaluation of the A/V recording is implemented on a computationally powerful server 9, while the control unit 1 fulfills the task of controlling the operation of the communication system. Server 9 can be real hardware or a so-called virtual machine operating in a cloud environment. A condition for the operation of the intercom system is communication using the Internet computer network with a sufficient data transmission speed.
Databáze 8 dorozumívacího systému zkraje obsahuje základní gesta, mimiku a zvuky, přičemž je s četností používání dorozumívacího systému osobou se zdravotním postižením neustále aktualizována, čímž se dorozumívací systém neustále učí a zdokonaluje. Tento proces je automatizovaný, avšak je možné, aby do databáze byly vloženy gesta, mimika a zvuky individuálně, zejména mají-li mít speciální význam, který z běžné komunikace nemusí být zřejmý.The database 8 of the communication system from scratch contains basic gestures, facial expressions and sounds, and is constantly updated with the frequency of use of the communication system by a person with a disability, so that the communication system is constantly learning and improving. This process is automated, but it is possible for gestures, facial expressions and sounds to be entered into the database individually, especially if they are supposed to have a special meaning that may not be obvious from normal communication.
Příkladem speciálně vloženého významu do databáze 8 může být přiřazení zvolání zvukového „pomoc“ přes reproduktor 5 a vygenerování nápisu „pomoc“ přes displej 4 vztyčením palce ruky směrem k zemi osoby se zdravotním postižením.An example of a specially inserted meaning in the database 8 can be assigning the voice call "help" through the speaker 5 and generating the inscription "help" through the display 4 by raising the thumb of the hand towards the ground of the disabled person.
- 4 CZ 36833 U1- 4 CZ 36833 U1
Průmyslová využitelnostIndustrial applicability
Dorozumívací systém pro osoby se zdravotním postižením podle technického řešení nalezne uplatnění při ergoterapeutické péči o osoby se zdravotním postižením a při jejich navracení do 5 běžného života. Dále při lékařském vyšetření dětí, kdy je potřeba součinnosti vyšetřovaného s vyšetřujícím. Dítě je samo s osobou, které důvěřuje, a zdravotník přes dorozumívací systém dává instrukce, aby došlo ke správnému vyšetření.The communication system for persons with disabilities, according to the technical solution, will find application in occupational therapy care for persons with disabilities and in their return to 5 ordinary life. Furthermore, during the medical examination of children, when cooperation between the examinee and the examiner is needed. The child is alone with a person he trusts, and the health worker gives instructions over the communication system to ensure that the examination is carried out correctly.
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2023-40646U CZ36833U1 (en) | 2023-01-03 | 2023-01-03 | Communication system for people with disabilities |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2023-40646U CZ36833U1 (en) | 2023-01-03 | 2023-01-03 | Communication system for people with disabilities |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CZ36833U1 true CZ36833U1 (en) | 2023-02-08 |
Family
ID=85226978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2023-40646U CZ36833U1 (en) | 2023-01-03 | 2023-01-03 | Communication system for people with disabilities |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ36833U1 (en) |
-
2023
- 2023-01-03 CZ CZ2023-40646U patent/CZ36833U1/en active IP Right Grant
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8751042B2 (en) | Methods of robot behavior generation and robots utilizing the same | |
| US20200090393A1 (en) | Robot and method for operating the same | |
| US20170303052A1 (en) | Wearable auditory feedback device | |
| CN109074117A (en) | Built-in storage and cognition insight are felt with the computer-readable cognition based on personal mood made decision for promoting memory | |
| CN107658016B (en) | Nounou intelligent monitoring system for elderly healthcare companion | |
| CN109729485A (en) | For adjusting the method, equipment and computer program of hearing aid device | |
| CN108596107A (en) | Lip reading recognition methods and its device, AR equipment based on AR equipment | |
| CN110178159A (en) | Audio/video wearable computer system with integrated form projector | |
| CN116868163A (en) | Medical intelligent system and method | |
| US20210409876A1 (en) | Method for Adjusting a Hearing Aid Device and System for Carrying Out the Method | |
| CN107895101A (en) | The Nounou intelligent monitoring devices accompanied for health care for the aged | |
| Mitek | Technology Basics for Telemedicine | |
| US11810219B2 (en) | Multi-user and multi-surrogate virtual encounters | |
| JP7537189B2 (en) | Method, program, and device | |
| JP2019018265A (en) | Customer service system | |
| CZ36833U1 (en) | Communication system for people with disabilities | |
| JP2004248125A (en) | Device and method for switching video, program for the method, and recording medium with the program recorded thereon | |
| JP6758351B2 (en) | Image management system and image management method | |
| Karia et al. | Application of waterfall design process in designing of a holistic system for children with hearing impairment in resource-constrained settings | |
| JP6930280B2 (en) | Media capture / processing system | |
| KR101900684B1 (en) | Apparatus and method for virtual reality call | |
| Thomsen | Technology Acceptance for Hearing Aids: An Analysis of Adoption and Innovation | |
| WO2021250730A1 (en) | Message generating device, message presenting device, message generating method, and message generating program | |
| JP2020088637A (en) | Conference support system and conference robot | |
| JP7249371B2 (en) | Information processing device, information processing method, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FG1K | Utility model registered |
Effective date: 20230208 |