KR101830908B1 - Smart glass system for hearing-impaired communication - Google Patents
Smart glass system for hearing-impaired communication Download PDFInfo
- Publication number
- KR101830908B1 KR101830908B1 KR1020170100074A KR20170100074A KR101830908B1 KR 101830908 B1 KR101830908 B1 KR 101830908B1 KR 1020170100074 A KR1020170100074 A KR 1020170100074A KR 20170100074 A KR20170100074 A KR 20170100074A KR 101830908 B1 KR101830908 B1 KR 101830908B1
- Authority
- KR
- South Korea
- Prior art keywords
- communication
- voice
- module
- signal
- hearing
- Prior art date
Links
- 208000032041 Hearing impaired Diseases 0.000 title claims abstract description 89
- 239000004984 smart glass Substances 0.000 title claims abstract description 66
- 230000006854 communication Effects 0.000 title claims description 176
- 238000004891 communication Methods 0.000 title claims description 175
- 230000003190 augmentative effect Effects 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 206010011878 Deafness Diseases 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 210000000988 bone and bone Anatomy 0.000 claims description 5
- 210000004556 brain Anatomy 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 210000003205 muscle Anatomy 0.000 claims description 4
- 239000011521 glass Substances 0.000 claims description 2
- 230000000887 hydrating effect Effects 0.000 claims description 2
- 210000004905 finger nail Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 5
- 208000016354 hearing loss disease Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 206010048865 Hypoacusis Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0237—Character input methods using prediction or retrieval techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- Optics & Photonics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Child & Adolescent Psychology (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Telephone Function (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템에 관한 것으로, 더욱 상세하게는 상대방의 음성을 텍스트, 영상 및 음성 중 적어도 하나로 변환하여 수화를 모르는 상대방이 청각장애인에게 의사를 전달할 수 있도록 함과 아울러, 상대방의 의사를 인지한 청각장애인의 의사를 증강현실기술을 이용하여 가상의 키보드에 타이핑한 텍스트를 음성으로 변환하여 수화를 모르는 상대방에게 청각장애인의 의사를 전달할 수 있도록 함으로써, 청각장애인과 수화를 모르는 상대방 간의 자유로운 대화를 가능하게 하는 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템에 관한 것이다.The present invention relates to a smart glass system for communication of the hearing impaired, and more particularly, to a smart glass system for converting a voice of a counterpart into at least one of text, image and voice so that the opponent who does not know sign language can transmit the opinion to the hearing impaired person, By using the augmented reality technology to convert the text typed into a virtual keyboard into a voice to communicate the doctors of the hearing impaired to the unknown who does not know the sign language, To a smart glass system for deaf persons communication that enables free conversation between opponents.
최근 스마트 폰이나 태블릿 컴퓨터 등과 같은 휴대용 전자 기기의 광범위한 보급과 더불어 스마트 밴드, 스마트 와치, 스마트 글래스 등과 같은 웨어러블 전자 기기의 보급도 점차 확산되고 있다.Recently, widespread use of portable electronic devices such as smart phones and tablet computers, and widespread use of wearable electronic devices such as smart bands, smart watches, and smart glasses are spreading.
웨어러블 전자 기기란, 일반적으로 팔찌, 시계, 안경 등과 같이 신체의 일부분에 착용할 수 있는 형태로 된 전자 기기를 뜻한다. 또한, 네트워크 연결이 가능하여 상호 데이터의 송수신이 가능한 전자 기기이다.A wearable electronic device generally refers to an electronic device such as a bracelet, a watch, or a pair of glasses that can be worn on a part of the body. In addition, it is an electronic device capable of network connection and mutual data transmission / reception.
이러한 웨어러블 전자 기기는 인간의 신체의 일부분에 착용되어, 삶의 질을 향상하기 위해 사용되는 특성을 가지고 있다. 이는 액세서리처럼 전자 기기를 몸에 단순히 착용만 하는 것이 아니라, 웨어러블 전자 기기 착용자와 가장 가까운 위치에서 소통할 수 있는 전자 기기이다. 웨어러블 전자 기기의 장점은 주변 환경의 상세한 정보나 착용자의 신체 변화를 실시간으로 끊이지 않고 지속적으로 수집할 수 있다는 것이다. 예를 들어, 스마트 글래스의 경우 시선 상에 있는 주변 정보의 기록 또는 확인이 가능하며, 스마트 밴드는 체온, 심장박동과 같은 생체신호의 꾸준한 수집이 가능하다.These wearable electronic devices have characteristics that are used to improve the quality of life worn by a part of the human body. This is not an electronic device as an accessory, but an electronic device that can communicate with a wearer in the closest position to the wearer. The advantage of the wearable electronic device is that it can continuously collect detailed information about the surrounding environment and the body change of the wearer in real time. For example, in the case of smart glass, it is possible to record or check the surrounding information on the gaze, and the smart band enables steady collection of bio-signals such as body temperature and heart rate.
특히, 스마트 글래스는 그 구조적인 특성상 사람의 시선과 같은 입체 영상 획득을 위한 카메라의 설치가 용이하여, 현재 스마트 글래스를 활용하는 기술 발전이 적극적으로 고려되고 있다.In particular, smart glass is easy to install a camera for stereoscopic image acquisition such as a human eye due to its structural characteristics, and technology development utilizing current smart glass is actively considered.
한편, 청각장애인의 인구는 국내 약 27만명(보건복지부 자료, 2014년 기준), 전세계 약 3억6천만명(세계보건기구의 추산, 2013년 기준) 정도가 있다. 청각의 상실은 기능적, 경제적, 사회적 정서적 측면에 심각한 영향을 미치기 때문에, 자막 서비스를 통한 미디어 접근은 청각 장애인이 소외되지 않도록 하는 데 중요한 역할을 한다. 또한, 세계 각지의 미디어 규제 기관에서 이를 기본 인권으로 다루기 시작하는 추세이기도 하다.On the other hand, the population of hearing-impaired people is about 270,000 in Korea (based on the Ministry of Health and Welfare in 2014) and about 360 million worldwide (estimated by the World Health Organization in 2013). Because loss of hearing has a serious impact on functional, economic, and social emotional aspects, media access through closed captioning services plays an important role in ensuring that hearing impaired people are not alienated. It is also a trend that media regulatory agencies around the world are starting to treat them as basic human rights.
최근에는 이러한 청각장애인들이 유용하게 사용할 수 있는 보조장치 개발이 활발해지고 있으나, 주로 청각장애인들이 정보를 용이하게 받아 들일 수 있도록 하는 방향성으로의 개발에 집중되어 있다. 이러한 개발의 방향성은 청각장애인들에게 수동적인 사회활동만을 가능하게 할 뿐이며, 일반적으로 수화를 모르는 대중들과의 원활한 커뮤니케이션이 부족하다는 문제점은 여전히 존재한다. 오히려, 청각장애인들에게 정보를 전달했다는 것을 빌미로 청각장애인들에게 책임을 미루는 경우도 발생하게 된다.In recent years, development of assistive devices that can be useful for the hearing-impaired people has been actively developed, but the development is focused mainly on the development of a direction that enables the hearing-impaired people to easily accept information. The direction of this development only makes passive social activities possible for people with hearing impairment, and there is still a problem of lack of smooth communication with the general public who do not know sign language. On the contrary, it may happen that deferring responsibility to the hearing-impaired people for the purpose of informing the hearing-impaired.
따라서, 상기와 같은 문제점을 해결함과 동시에, 청각장애인들의 능동적인 사회활동을 가능하게 하는 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템을 제안하고자 한다.Accordingly, the present invention solves the above problems and proposes a smart glass system for the hearing-impaired communication which enables active social activities of the hearing-impaired persons.
본 발명은 상기 종래 기술이 갖는 문제점을 해결하기 위해 창출된 것으로서,The present invention has been made to solve the above problems of the prior art,
본 발명은 상대방의 음성을 청각장애인이 용이하게 인지할 수 있도록 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템을 활용해 상대방의 음성을 텍스트, 영상 및 음성 중 적어도 하나로 제공하고자 하는 것이다.The present invention is to provide a voice of the other party as at least one of text, image and voice by utilizing a smart glass system for deaf persons communication so that a deaf person can easily recognize the voice of the other party.
또한, 본 발명은 상대방이 청각장애인의 의사를 용이하게 인지할 수 있도록 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템을 활용해 청각장애인의 의사를 증강현실키보드로 타이핑하여 음성으로 제공하고자 하는 것이다.In addition, the present invention aims to provide a voice of a hearing impaired person using augmented reality keyboard by utilizing a smart glass system for communication of the hearing impaired so that the other party can easily recognize the intention of the hearing impaired person.
또한, 본 발명은 청각장애인을 위한 스마트 글래스를 착용한 청각장애인의 원활한 사회활동을 위해, 청각장애인의 의사를 음성으로 제공할 때, 청각장애인의 선택에 따라 음성의 종류를 선택 가능하게 하고자 하는 것이다.In addition, the present invention aims to enable the selection of the type of voice according to the choice of the hearing-impaired person when the hearing-impaired person's voice is provided to the hearing-impaired person for smooth social activities of the hearing-impaired person wearing smart glass for the hearing impaired .
또한, 본 발명은 청각장애인과 외국인간의 의사소통을 위해 청각장애인을 위한 스마트 글래스에 번역기능을 제공하여 외국어를 수화 영상 또는 텍스트로 제공하고자 하는 것이다.The present invention also provides a translation function for a smart glass for the hearing impaired to communicate a foreign language with a sign language video or text for communication between a deaf person and a foreign person.
또한, 본 발명은 청각장애인을 위한 스마트 글래스 착용자간의 의사소통이 가능하도록 각 나라의 수화를 인식하고 번역하고자 하는 것이다.In addition, the present invention seeks to recognize and translate the sign language of each country so as to enable communication between smart glass wearers for the hearing impaired.
이러한 목적을 달성하기 위한 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템은,According to an aspect of the present invention, there is provided a smart glass system for communication of the hearing impaired,
본 발명의 바람직한 일 실시예에서, 인터넷에 연결되어 다른 스마트 기기와 통신이 가능한 스마트 글래스를 포함할 수 있고, 음성입력모듈을 이용하여 상대방의 음성을 제1 커뮤니케이션신호로 변환하는 커뮤니케이션 수신부, 영상입력모듈을 이용하여 수신된 청각장애인 커뮤니케이션을 위한 스마트 글래스 착용자의 손짓으로 표현한 의사를 제2 커뮤니케이션신호로 변환하는 커뮤니케이션 송신부 및 디스플레이모듈을 이용하여 상기 커뮤니케이션 수신부 및 상기 커뮤니케이션 송신부에서 발생하는 신호 중 적어도 하나의 신호를 출력하는 커뮤니케이션 출력부를 포함할 수 있다.In a preferred embodiment of the present invention, the communication device may include a smart glass connected to the Internet and capable of communicating with another smart device, and may include a communication receiving unit for converting a voice of the other party into a first communication signal using a voice input module, At least one of signals generated by the communication receiving unit and the communication transmitting unit using a communication transmitting unit and a display module for converting the doctor represented by the hand gesture of the wearer of the smart glass for the hearing impaired communication received by using the module into the second communication signal, And a communication output unit for outputting a signal.
본 발명의 바람직한 일 실시예에서, 상기 커뮤니케이션 수신부는 상기 음성입력모듈을 이용하여 상기 상대방의 음성으로부터 변환된 제1 음성신호를 제1 커뮤니케이션신호로 변환하는 제1 커뮤니케이션변환모듈을 더 포함할 수 있다.In one preferred embodiment of the present invention, the communication receiver may further include a first communication conversion module for converting the first voice signal converted from the voice of the other party into the first communication signal using the voice input module .
본 발명의 바람직한 일 실시예에서, 상기 제1 커뮤니케이션신호는 텍스트, 영상 및 음성 중 적어도 하나의 데이터를 포함할 수 있다.In a preferred embodiment of the present invention, the first communication signal may include at least one of text, image, and voice.
본 발명의 바람직한 일 실시예에서, 상기 영상데이터는 수화를 하는 아바타 영상데이터를 더 포함할 수 있다.In a preferred embodiment of the present invention, the image data may further include avatar image data for hydrating.
본 발명의 바람직한 일 실시예에서, 상기 커뮤니케이션 송신부는 상기 영상입력모듈을 이용하여 상기 착용자의 손짓으로부터 변환된 상기 손짓영상신호를 상기 커뮤니케이션 출력부에 출력된 증강현실가상키보드 타이핑에 인식하고, 상기 타이핑한 텍스트신호를 생성하는 증강현실처리모듈을 더 포함할 수 있다.In one preferred embodiment of the present invention, the communication transmitting unit recognizes the gesture image signal converted from the gesture of the wearer using the image input module in the augmented reality virtual keyboard typing output to the communication output unit, And an augmented reality processing module that generates a text signal.
본 발명의 바람직한 일 실시예에서, 상기 타이핑에 인식되는 손짓영상신호는 손가락의 손톱을 기준으로 인식될 수 있다.In a preferred embodiment of the present invention, the gesture image signal perceived by the typing can be recognized based on the nail of the finger.
본 발명의 바람직한 일 실시예에서, 상기 텍스트신호에 포함된 텍스트는 상기 증강현실가상키보드의 일부분에 출력된 활용빈도가 높은 단어를 상기 손짓영상으로 터치하는 자동단어완성기능을 이용해 작성된 텍스트가 포함될 수 있다.In a preferred embodiment of the present invention, the text included in the text signal may include a text created using an automatic word completion function for touching a high-frequency word outputted to a part of the augmented reality virtual keyboard with the gesture image have.
본 발명의 바람직한 일 실시예에서, 상기 커뮤니케이션 송신부는 상기 텍스트신호를 제2 커뮤니케이션신호로 변환하는 제2 커뮤니케이션변환모듈을 더 포함할 수 있다.In a preferred embodiment of the present invention, the communication transmitter may further include a second communication conversion module for converting the text signal into a second communication signal.
본 발명의 바람직한 일 실시예에서, 상기 제2 커뮤니케이션변환모듈은 상기 착용자의 근육의 움직임이나 뇌파를 인식하는 sEMG센서 및 BMI센서 중 적어도 하나의 센서를 포함할 수 있고, 상기 센서에 의해 생성된 데이터는 상기 제2 커뮤니케이션변환모듈을 이용하여 상기 제2 커뮤니케이션신호로 변환될 수 있다.In a preferred embodiment of the present invention, the second communication conversion module may include at least one of a sEMG sensor and a BMI sensor for recognizing the motion of the wearer's muscles or brain waves, and the data generated by the sensor May be converted into the second communication signal using the second communication conversion module.
본 발명의 바람직한 일 실시예에서, 상기 커뮤니케이션 송신부는 상기 제2 커뮤니케이션변환모듈을 통해 변환된 제2 커뮤니케이션신호를 상기 상대방에게 음성으로 출력하는 음성출력모듈을 더 포함할 수 있다.In one preferred embodiment of the present invention, the communication transmitter may further include a voice output module for outputting the second communication signal converted through the second communication conversion module to the other party by voice.
본 발명의 바람직한 일 실시예에서, 상기 커뮤니케이션 출력부는 상기 제1 커뮤니케이션신호가 상기 착용자에게 음성으로 출력되는 골전도 스피커모듈을 더 포함할 수 있다.In a preferred embodiment of the present invention, the communication output unit may further include a bone conduction speaker module in which the first communication signal is output as a voice to the wearer.
이상 설명한 바와 같이, 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템은 상대방의 음성이 텍스트로 제공되어 청각장애인이 상대방의 음성을 용이하게 인지할 수 있는 효과가 있다.As described above, the smart glass system for communication of the hearing impaired according to the present invention has the effect that the voice of the other party is provided as text so that the hearing impaired person can easily recognize the voice of the other party.
또한, 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템은 청각장애인이 외국인과 의사소통을 할 수 있는 효과가 있다.In addition, the smart glass system for the hearing-impaired communication according to the present invention has an effect that a hearing-impaired person can communicate with a foreigner.
또한, 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템은 각 나라의 청각장애인간의 의사소통을 할 수 있는 효과가 있다.In addition, the smart glass system for communication of the hearing impaired according to the present invention has the effect of enabling communication between hearing-impaired persons in each country.
또한, 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템은 수화를 모르는 상대방에게 청각장애인의 의사가 음성으로 제공되어 수화를 모르는 상대방이 청각장애인의 의사를 용이하게 인지할 수 있는 효과가 있다.In addition, the smart glass system for communication of the hearing impaired according to the present invention has an effect that a person who does not know sign language is provided with a voice of a deaf person, so that the opponent who does not know sign language can easily recognize the intention of the hearing impaired person.
또한, 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템은 청각장애인의 의사가 청각장애인을 위한 스마트 글래스를 통해 음성으로 전달될 때, 청각장애인의 선택에 따라 음성의 종류를 선택할 수 있도록 하는 효과가 있다.In addition, the smart glass system for communication of the hearing impaired according to the present invention has the effect of enabling the kind of the voice to be selected according to the choice of the hearing impaired person when the doctors of the hearing impaired are delivered through the smart glass for the hearing impaired have.
또한, 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템은 수화를 모르는 상대방과 청각장애인의 대화 내용을 저장할 수 있는 효과가 있다.In addition, the smart glass system for communication of the hearing impaired according to the present invention has the effect of storing conversation contents between the opponent who does not know sign language and the hearing impaired person.
또한, 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템은 수화를 모르는 상대방과 청각장애인의 저장된 대화 내용을 필요시 불러올 수 있는 효과가 있다.In addition, the smart glass system for communication of the hearing impaired according to the present invention has the effect of invoking the stored conversation contents of the person who does not know sign language and the hearing impaired person when necessary.
도 1은 본 발명에 따른 청각장애인을 위한 스마트 글래스의 전체 사시도이다.
도 2는 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템의 커뮤니케이션 수신부의 개략적인 구성도이다.
도 3은 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템의 커뮤니케이션 송신부의 개략적인 구성도이다.
도 4는 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템의 개략적인 구성도이다.
도 5는 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템을 활용한 청각장애인 커뮤니케이션을 위한 스마트의 사용 상태도이다.
도 6은 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템을 활용한 청각장애인 커뮤니케이션을 위한 스마트의 사용 상태도이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템을 활용하기 위한 개략적인 방법이다.1 is an overall perspective view of a smart glass for the hearing impaired according to the present invention.
2 is a schematic block diagram of a communication receiving unit of a smart glass system for communication of the hearing impaired according to an embodiment of the present invention.
3 is a schematic block diagram of a communication transmitter of a smart glass system for communication of the hearing impaired according to an embodiment of the present invention.
4 is a schematic block diagram of a smart glass system for communication of the hearing impaired according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a state of use of smart for communication of the hearing impaired using a smart glass system for communication of the hearing impaired according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a state of use of smart for communication of the hearing impaired using a smart glass system for communication of the hearing impaired according to an embodiment of the present invention.
7A and 7B are schematic diagrams for explaining a smart glass system for communication of the hearing impaired according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세하게 설명한다. 다만, 실시예가 본 발명의 범위를 제한하는 것은 아니며, 이는 본 발명의 이해를 돕기 위한 것으로 해석되어야 할 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. It should be understood, however, that the embodiments are not intended to limit the scope of the present invention, which should be construed to facilitate understanding of the present invention.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used only to illustrate specific embodiments and are not intended to limit the embodiments. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terminology used herein is used to properly describe the embodiments of the present invention, which may vary depending on the intent of the user or the custom in the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this embodiment belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein Do not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. In the following description of the embodiments, a detailed description of related arts will be omitted if it is determined that the gist of the embodiments may be unnecessarily blurred.
도 1은 본 발명에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)을 활용한 청각장애인을 위한 스마트 글래스(100)의 전체 사시도이다.1 is an overall perspective view of a
도 1을 참조하면, 청각장애인 커뮤니케이션을 위한 스마트 글래스(100)는 인터넷에 연결되어 다른 스마트 기기와 통신이 가능한 스마트 글래스를 포함할 수 있다. 이러한 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)은 상대방의 음성을 제1 커뮤니케이션신호(220a)로 변환하는 음성입력모듈(210), 제1 커뮤니케이션변환모듈(220) 중 적어도 하나가 포함된 커뮤니케이션 수신부(200), 청각장애인의 의사를 손짓으로 입력하여 제2 커뮤니케이션신호(330a)으로 변환하는 영상입력모듈(310), 증강현실처리모듈(320), 제2 커뮤니케이션변화모듈(330) 중 적어도 하나가 포함된 커뮤니케이션 송신부(300)를 포함할 수 있다.Referring to FIG. 1, the
또한, 커뮤니케이션 수신부(200) 및 커뮤니케이션 송신부(300)에서 발생하는 신호 중 적어도 하나의 신호를 출력하는 디스플레이 모듈(410) 및 골전도 스피커모듈(420) 중 적어도 하나가 포함된 커뮤니케이션 출력부(400)를 포함할 수 있다.The communication output unit 400 includes at least one of a
음성입력모듈(210)은 상대방의 음성을 제1 음성신호(210a)로 변환할 수 있다. 음성입력모듈(210)은 종래의 스마트 폰과 같은 전자 기기에 흔히 사용되는 마이크모듈을 사용할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 음성입력모듈(210)에 입력되는 상대방 음성의 감도를 향상시키는 지향성 마이크모듈을 사용하는 것이 바람직할 수 있다. 이러한 음성입력모듈(210)은, 성능이 향상된 마이크모듈로 교체할 수 있도록 탈부착이 가능한 음성입력모듈(210)을 사용할 수 있다.The
또한, 도면에는 도시되어 있지 않으나, 청각장애인 커뮤니케이션을 위한 스마트 글래스(100)는 인터넷에 연결될 수 있으며, 다른 스마트 기기와 정보를 상호 송수신할 수 있는 통신모듈(미도시)을 포함할 수 있다. 이러한 상기 통신모듈(미도시)을 이용하여 상기 착용자와 의사소통이 가능할 수 있다.Although not shown in the figure, the
또한, 상기 통신모듈(미도시)은 와이파이, 블루투스, NFC 등의 다양한 공지기술을 포함한 통신 기술을 이용할 수 있다.In addition, the communication module (not shown) may use a communication technology including various known technologies such as Wi-Fi, Bluetooth, and NFC.
한편, 도 1은 일 실시예일뿐, 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)에 사용되는 모듈들은 탈부착이 가능한 SoC모듈(미도시)에 집적될 수 있다. 또한, 상기 모듈들은 특별히 제한되는 것은 아니며, 다양한 공지 기술이 적용될 수 있음은 물론이다.Meanwhile, FIG. 1 is only an embodiment, and the modules used in the
도 2는 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)의 커뮤니케이션 수신부(200)의 개략적인 구성도이며, 도 5는 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)을 활용한 청각장애인 커뮤니케이션을 위한 스마트 글래스(100)의 사용 상태도이다.FIG. 2 is a schematic block diagram of a
도 2를 참조하면, 음성입력모듈(210)을 이용하여 상대방의 음성으로부터 획득한 제1 음성신호(210a)는 제1 커뮤니케이션변환모듈(220)을 이용하여 제1 커뮤니케이션신호(220a)로 변환될 수 있다.2, the
한편, 도 5는 텍스트로 표현된 실시예만 도시되어 있으나, 제1 커뮤니케이션신호(220a)는 텍스트, 영상 및 음성 중 적어도 하나의 데이터를 포함할 수 있다. 이때, 상기 영상데이터는 상기 상대방의 의사를 수화로 번역하여 표현하는 아바타 영상이 포함될 수 있으며, 상기 상대방의 음성은 자국어뿐만 아니라, 외국어의 음성을 포함할 수 있다.5 shows only an embodiment represented by text, the first communication signal 220a may include at least one of text, image, and voice. In this case, the image data may include an avatar image that expresses the intention of the other party by translating it into a sign language, and the voice of the other party may include voice of a foreign language as well as native language.
또한, 외국어를 변역하기 위해, 제1 커뮤니케이션변환모듈(220)은, 도면에는 도시되어 있지 않으나, 상기 외국어를 자국어 텍스트, 음성 및 영상 중 적어도 하나로 번역하기 위한 번역모듈(미도시)을 포함할 수 있다.In order to translate a foreign language, the first
이후, 도 5에서 나타나는 바와 같이, 변환된 제1 커뮤니케이션신호(220a)는 상기 착용자의 시각 또는 청각으로 인지할 수 있도록 커뮤니케이션 출력부(400)에 출력될 수 있다.5, the converted first communication signal 220a may be output to the communication output unit 400 so that the converted first communication signal 220a can be recognized by the wearer's sight or hearing.
한편, 커뮤니케이션 출력부(400)는 텍스트 또는 영상을 출력하는 렌즈(미도시), 광학모듈(미도시) 및 디스플레이모듈(410) 중 적어도 하나가 포함될 수 있으며, 커뮤니케이션 출력부(400)의 성능 향상을 위해 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)은 그래픽 카드와 같은 탈착이 가능한 영상보드(미도시)가 포함되어 구성될 수 있다.The communication output unit 400 may include at least one of a lens (not shown), an optical module (not shown), and a
또한, 청력장애등급이 4급 이하인 청각장애인은 귀에 대고 말을 하면 들을 수 있는데, 이러한 청력장애등급이 4급 이하인 청각장애인을 위해 커뮤니케이션 출력부(400)는 골전도스피커모듈(420)을 포함할 수 있다.For a hearing-impaired person with a level of hearing impairment of 4 or below, the communication output unit 400 may include a bone
도 3은 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)의 커뮤니케이션 송신부(300)의 개략적인 구성도이며, 도 6은 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)을 활용한 청각장애인 커뮤니케이션을 위한 스마트 글래스(100)의 사용 상태도이다.FIG. 3 is a schematic diagram of a
도 3을 참조하면, 영상입력모듈(310)을 이용하여 상기 청각장애인의 손짓으로부터 획득한 손짓영상신호(310a)는 증강현실처리모듈(320)을 이용하여 손짓영상신호(310a)가 텍스트신호(320a)로 변환될 수 있다.3, the gesture image signal 310a obtained from the hand gesture of the hearing impaired person using the
이후, 텍스트신호(320a)는 제2 커뮤니케이션변환모듈(330)을 이용하여 상기 상대방이 인지할 수 있는 언어로 번역된 제2 커뮤니케이션신호(330a)로 변환될 수 있다.Thereafter, the text signal 320a may be converted into a second communication signal 330a translated into a language recognizable by the other party using the second
이후, 도 6에서 나타나는 바와 같이, 변환된 텍스트신호(320a)는 상기 상대방이 음성으로 들을 수 있도록 음성출력모듈(340)을 이용하여 획득한 제2 커뮤니케이션신호(330a)를 음성으로 출력될 수 있다. 이때, 음성출력모듈(340)은 지향성스피커모듈(미도시)이 사용될 수 있으나, 이에 한정되는 것은 아니다.6, the converted text signal 320a may be outputted as a voice by using the second communication signal 330a obtained by using the
또한, 출력되는 음성은 상기 상대방이 외국인일 경우, 번역모듈(미도시)를 통하여 번역한 후, 외국어로 출력될 수 있다.In addition, if the other party is a foreigner, the output voice may be translated into a foreign language after translation through a translation module (not shown).
한편, 영상입력모듈(310)은 종래의 스마트 폰과 같은 전자 기기에 흔히 사용되는 카메라모듈을 사용할 수 있으며, 다른 성능의 카메라모듈로 교체할 수 있도록 탈부착이 가능한 영상입력모듈(310)을 사용할 수 있다.Meanwhile, the
한편, 제2 커뮤니케이션변환모듈(330)은, 도면에는 도시되어 있지 않으나, sEMG센서 및 BMI센서 중 적어도 하나의 센서를 포함할 수 있다.Meanwhile, the second
상기 sEMG센서는 상기 착용자의 근육의 움직임을 파악하여 전기적 신호로 바꾸어 주는 역할을 할 수 있다. 이러한 상기 sEMG센서를 이용하여 청각장애인인 상기 착용자가 수화로 의사표현을 할 때의 근육의 움직임을 해석하여 상기 착용자가 어떤 의사를 표현한 것인지 알 수 있다. 상기 sEMG센서를 이용하여 발생된 전기적 신호는 제2 커뮤니케이션변환모듈(330)을 이용하여 제2 커뮤니케이션신호(330a)로 변환될 수 있고, 변환된 제2 커뮤니케이션신호(330a)는 음성출력모듈(340)을 이용하여 상기 상대방에게 전달될 수 있다.The sEMG sensor can sense the movement of the wearer's muscles and convert them into electrical signals. By using the sEMG sensor, the movement of the muscles when the wearer who is a hearing-impaired person expresses his / her intention by sign language can be analyzed to know what the wearer has expressed. The electrical signal generated using the sEMG sensor may be converted into a second communication signal 330a using the second
상기 BMI센서는 상기 착용자의 뇌파를 파악하여 전기적 신호로 바꾸어 주는 역할을 할 수 있다. 이러한 상기 BMI센서를 이용하여 청각장애인인 상기 착용자가 의사표현을 할 때의 뇌파를 해석하여 상기 착용자가 어떤 의사를 표현한 것인지 알 수 있다. 상기 BMI센서를 이용하여 발생된 전기적 신호는 제2 커뮤니케이션변환모듈(330)을 이용하여 제2 커뮤니케이션신호(330a)로 변환될 수 있고, 변환된 제2 커뮤니케이션신호(330a)는 음성출력모듈(340)을 이용하여 상기 상대방에게 전달될 수 있다.The BMI sensor can detect the brain waves of the wearer and convert the brain waves into electrical signals. By using the BMI sensor, the wearer who is deaf or hard of hearing can analyze the brain waves when he / she expresses the doctor's speech, thereby knowing what kind of doctor the user has expressed. The electrical signal generated using the BMI sensor may be converted into a second communication signal 330a using the second
한편, 변환된 제2 커뮤니케이션신호(330a)는 상기 통신모듈(미도시)를 이용하여 다른 청각장애인 커뮤니케이션을 위한 스마트 글래스(100)와 송수신될 수 있는데, 이러한 상기 통신모듈(미도시)를 이용하여, 다른 국가의 청각장애인과 텍스트, 수화를 하는 아바타영상 및 번역된 음성을 통하여 의사소통을 할 수 있다.Meanwhile, the converted second communication signal 330a can be transmitted / received to / from the
도 6에 대해 추가 설명을 하자면, 상기 커뮤니케이션 출력부(400)에 출력된 증강현실가상키보드를 이용한 타이핑은 상기 손짓영상신호(310a)가 인식되어 타이핑을 할 수 있다.6, typing using the augmented reality virtual keyboard output to the communication output unit 400 may recognize the gesture image signal 310a and perform typing.
이때, 상기 타이핑에 인식되는 상기 손짓영상신호(310a)는 손가락의 손톱을 기준으로 인식되어 타이핑의 정확도를 향상시킬 수 있다.At this time, the gesture image signal 310a recognized by the typing can be recognized based on the nail of the finger, thereby improving the accuracy of typing.
또한, 상기 타이핑에 의해 작성되는 텍스트는 자동단어완성기능을 이용할 수 있다. 상기 자동단어완성기능은 활용빈도가 높은 단어를 상기 증강현실가상키보드 또는 커뮤니케이션 출력부(400)의 일부분에 출력하여 상기 손짓영상으로 터치하여 완성할 수 있어 상기 착용자와의 커뮤니케이션을 보다 신속하게 할 수 있다.Further, the text created by the typing can use the automatic word completion function. The automatic word completion function can output a word having a high frequency of use to a part of the augmented reality virtual keyboard or communication output unit 400 and can be completed by touching the gesture image, thereby making it possible to communicate with the wearer more quickly have.
또한, 도 6에 대해 추가 설명을 하자면, 음성출력모듈(340)을 이용하여 출력되는 음성은 상기 착용자의 선택에 따라 유아, 초년, 청년, 중년, 장년 및 노인 중 어느 하나의 남성 또는 여성의 목소리를 선택하여 출력할 수 있다.6, the voice output by the
이러한 기능을 실행하기 위해, 도 3 및 도 6에는 도시되어 있지는 않으나, 상기 목소리를 선택하는 음성변환버튼모듈(미도시)이 청각장애인을 위한 스마트 글래스(100)의 일부분에 설치될 수 있다.3 and 6, a voice conversion button module (not shown) for selecting the voice may be installed in a portion of the
또한, 도 3 및 도 6에는 도시되어 있지는 않으나, 상기 출력되는 음성의 볼륨을 조절하는 음성출력볼륨모듈(미도시) 역시 청각장애인을 위한 스마트 글래스(100)의 일부분에 설치될 수 있다.3 and 6, an audio output volume module (not shown) for adjusting the volume of the output audio may also be installed in a portion of the
도 4는 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)의 개략적인 구성도이다.4 is a schematic diagram of a
도 4를 참조하면, 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)은 상대방의 제1 커뮤니케이션신호(210a) 및 상기 착용자의 제2 커뮤니케이션신호(330a)를 시간의 흐름에 따른 대화 형식 데이터로 변환하여 저장하는 커뮤니케이션 데이터부(500)를 더 포함할 수 있다.Referring to FIG. 4, the
상기 대화 형식 데이터는 상기 착용자의 불러오기신호를 입력 받아 상기 렌즈(미도시)에 출력될 수 있다.The interactive data may be output to the lens (not shown) upon receipt of a call signal of the wearer.
또한, 커뮤니케이션 데이터부(500)에는, 도 4에는 도시되어 있지는 않으나, 상기 대화 형식 데이터를 저장하는 대화내용저장모듈(미도시)을 포함할 수 있다.In addition, the
상기 대화내용저장모듈(미도시)은 흔히 저장매체로 사용되는 내장형 메모리 카드를 사용할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, Micro SD 메모리 카드와 같은 외장형 메모리 카드가 삽입되는 것이 바람직할 수 있다. 상기 외장형 메모리 카드를 사용함으로써 상기 외장형 메모리카드에 저장된 상기 대화 형식 데이터를 청각장애인을 위한 스마트 글래스(100) 외의 다른 전자 기기에서도 불러올 수 있다.The conversation contents storage module (not shown) may be a built-in memory card used as a storage medium, but the present invention is not limited thereto. For example, it may be desirable to insert an external memory card such as a Micro SD memory card. By using the external memory card, the interactive data stored in the external memory card can be called up by an electronic device other than the
한편, 도 4에는 도시되어 있지는 않으나, 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)은 커뮤니케이션 제어부(미도시)를 더 포함할 수 있다.Meanwhile, although not shown in FIG. 4, the
상기 커뮤니케이션 제어부(미도시)는 구동버튼모듈(미도시), 운영체제전용모듈(미도시), 운영체제O/S(미도시), 커뮤니케이션 펌웨어(미도시) 등 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)을 구동에 필요한 구성들이 포함될 수 있다.The communication control unit (not shown) is connected to a
또한, 상기 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)에 사용되는 모듈들은 탈부착이 가능할 수 있어, 상기 착용자가 다른 성능의 모듈로 교체할 수 있다. 또한, 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)을 구동하는 프로그램은 특별히 제한되는 것은 아니며 다양한 공지된 기술이 적용될 수 있다.In addition, the modules used in the
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)을 활용하기 위한 개략적인 방법이다.7A and 7B are schematic diagrams for exploiting a
도 7a를 참조하면, 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)을 활용하기 위한 개략적인 방법은,Referring to FIG. 7A, a schematic method for utilizing a
커뮤니케이션 수신부(200)의 음성입력모듈(210)을 이용하여 제1 음성신호(210a)를 획득하는 상대방 음성수신단계(S10), 제1 커뮤니케이션변환모듈(220)을 이용하여 제1 음성신호(210a)를 제1 커뮤니케이션신호(220a)로 변환하는 제1 커뮤니케이션변환단계(S20), 및 커뮤니케이션 출력부(400)를 이용하여 변환된 제1 커뮤니케이션신호(220a)를 디스플레이 모듈(410)에 텍스트로 출력하는 제1 커뮤니케이션신호 출력단계(S30)를 포함하는 커뮤니케이션 수신방법을 포함할 수 있다.A counterpart voice receiving step S10 for obtaining the
도 7b를 참조하면, 본 발명의 일 실시예에 따른 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템(50)을 활용하기 위한 개략적인 방법은,Referring to FIG. 7B, a schematic method for utilizing a
상기 증강현실키보드가 디스플레이모듈(410)에 출력되는 증강현실키보드출력단계(S40), 영상입력모듈(310)을 이용하여 손짓영상신호(310a)를 획득하는 손짓영상입력단계(S50), 손짓영상신호(310a)의 데이터인 상기 손짓영상에서 손톱을 인식하는 손톱인식단계(S60), 증강현실처리모듈(320)을 이용하여 상기 증강현실키보드에 타이핑된 텍스트를 텍스트신호(320a)로 변환하는 증강현실타이핑처리단계(S70) 및 제2 커뮤니케이션변환모듈(330)을 이용하여 텍스트신호(320a)를 제2 커뮤니케이션신호(330a)로 변환한 후 음성출력모듈(340)을 이용하여 음성으로 출력하는 음성출력단계(S80)를 포함하는 커뮤니케이션 송신방법을 포함할 수 있다.An augmented reality keyboard output step S40 in which the augmented reality keyboard is output to the
이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발이 속한 분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용 및 변형을 행하는 것이 가능할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention.
50: 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템
100: 청각장애인 커뮤니케이션을 위한 스마트 글래스
200: 커뮤니케이션 수신부 210: 음성입력모듈
210a: 제1 음성신호 220: 제1 커뮤니케이션변환모듈
220a: 제1 커뮤니케이션신호 300: 커뮤니케이션 송신부
310: 영상입력모듈 310a: 손짓영상신호
320: 증강현실처리모듈 320a: 텍스트신호
330: 제2 커뮤니케이션변환모듈 330a: 제2 커뮤니케이션신호
340: 음성출력모듈 400: 커뮤니케이션 출력부
410: 디스플레이모듈 420: 골전도스피커모듈
500: 커뮤니케이션 데이터부50: Smart glass system for hearing-impaired communication
100: Smart glass for hearing-impaired communication
200: communication receiving unit 210: voice input module
210a: first audio signal 220: first communication conversion module
220a: first communication signal 300: communication transmitter
310: image input module 310a: hand gesture image signal
320: augmented reality processing module 320a: text signal
330: second communication conversion module 330a: second communication signal
340: audio output module 400: communication output unit
410: display module 420: bone conduction speaker module
500: Communication data part
Claims (11)
음성입력모듈을 이용하여 수신된 상대방의 음성을 제1 커뮤니케이션신호로 변환하는 커뮤니케이션 수신부;
영상입력모듈을 이용하여 수신된 청각장애인 커뮤니케이션을 위한 스마트 글래스 착용자의 손짓으로 표현한 의사를 제2 커뮤니케이션신호로 변환하는 커뮤니케이션 송신부; 및
디스플레이모듈을 이용하여 상기 커뮤니케이션 수신부 및 상기 커뮤니케이션 송신부에서 발생하는 신호 중 적어도 하나의 신호를 출력하는 커뮤니케이션 출력부;를 포함하며,
상기 커뮤니케이션 수신부는,
상기 음성입력모듈을 이용하여 상기 상대방의 음성으로부터 변환된 제1 음성신호를 상기 제1 커뮤니케이션신호로 변환하는 제1 커뮤니케이션변환모듈;을 더 포함하고,
상기 제1 커뮤니케이션신호는 텍스트, 영상 및 음성 중 적어도 하나의 데이터;를 포함하고,
상기 영상데이터는 수화를 하는 아바타 영상데이터;를 더 포함하고,
상기 음성은 자국어 음성 및 외국어 음성;을 더 포함하고,
상기 제1 커뮤니케이션변환모듈은 상기 외국어 음성을 자국어 텍스트, 음성 및 영상 중 적어도 하나로 번역하는 번역모듈;을 더 포함하고,
상기 커뮤니케이션 송신부는,
상기 영상입력모듈을 이용하여 상기 착용자의 손짓으로부터 변환된 손짓영상신호를 상기 커뮤니케이션 출력부에 출력된 증강현실가상키보드 타이핑에 인식하고, 상기 타이핑한 텍스트신호를 생성하는 증강현실처리모듈;
상기 텍스트신호를 제2 커뮤니케이션신호로 변환하는 제2 커뮤니케이션변환모듈; 및
상기 제2 커뮤니케이션변환모듈을 통해 변환된 제2 커뮤니케이션신호를 상기 상대방에게 음성으로 출력하는 음성출력모듈;을 더 포함하고,
상기 제2 커뮤니케이션신호가 다른 청각장애인 커뮤니케이션을 위한 스마트 글래스와 송수신되어 다른 국가의 청각장애인과 의사소통을 가능하게 하는 통신모듈;을 더 포함하고,
상기 제1 커뮤니케이션신호 및 상기 제2 커뮤니케이션신호를 시간의 흐름에 따른 대화 형식 데이터로 변환하여 저장하는 대화내용저장모듈을 포함하는 커뮤니케이션 데이터부;를 더 포함하고,
상기 음성출력모듈을 이용하여 출력되는 음성은 상기 착용자의 선택에 따라 유아, 초년, 청년, 중년, 장년 및 노인 중 어느 하나의 남성 또는 여성의 목소리를 선택하여 출력하는 음성변환버튼모듈;을 더 포함하고,
상기 모듈들은 탈부착이 가능한 것을 특징으로 하는 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템.
It includes a smart glass that can be connected to the Internet and communicate with other smart devices,
A communication receiver for converting the voice of the other party received using the voice input module into a first communication signal;
A communication transmitter for converting the doctor represented by the hand gesture of the smart glass wearer into the second communication signal for the hearing impaired communication received using the image input module; And
And a communication output unit for outputting at least one signal generated by the communication receiving unit and the communication transmitting unit using the display module,
Wherein the communication receiver comprises:
And a first communication conversion module for converting the first voice signal converted from the voice of the other party into the first communication signal using the voice input module,
Wherein the first communication signal comprises at least one of text, image and voice,
Wherein the image data further includes avatar image data for hydrating,
Wherein the voice further comprises a native language voice and a foreign language voice,
Wherein the first communication conversion module further comprises a translation module for translating the foreign language speech into at least one of native language text,
Wherein the communication transmitter comprises:
An augmented reality processing module that recognizes a fingertip image signal converted from the hand gesture of the wearer using the image input module in the augmented reality virtual keyboard typing output to the communication output unit and generates the typed text signal;
A second communication conversion module for converting the text signal into a second communication signal; And
And a voice output module for outputting the second communication signal converted through the second communication conversion module to the other party by voice,
Further comprising: a communication module for allowing the second communication signal to be transmitted to and received by a smart glass for other hearing-impaired communication so as to communicate with a hearing-impaired person in another country,
And a conversation content storage module for converting the first communication signal and the second communication signal into conversation format data according to a time,
And a voice conversion button module for selecting and outputting voice of a male or female of any one of an infant, a first year, a young adult, a middle age, a senior year, and an elderly person according to the choice of the wearer and,
Wherein said modules are detachable and attachable to said smart glass system.
상기 타이핑에 인식되는 손짓영상신호는 손가락의 손톱을 기준으로 인식되는 것을 특징으로 하는 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템.
The method according to claim 1,
Wherein the gesture image signal recognized by the typing is recognized based on the fingernail of the finger.
상기 텍스트신호에 포함된 텍스트는 상기 증강현실가상키보드의 일부분에 출력된 활용빈도가 높은 단어를 손짓영상으로 터치하는 자동단어완성기능을 이용해 작성된 텍스트를 포함하는 것을 특징으로 하는 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템.
The method according to claim 1,
Wherein the text included in the text signal includes text created using an automatic word completion function that touches a high-frequency word outputted to a part of the augmented reality virtual keyboard with a hand gesture image. Glass system.
상기 착용자의 근육의 움직임이나 뇌파를 인식하는 sEMG센서 및 BMI센서 중 적어도 하나의 센서;를 포함하고, 상기 센서에 의해 생성된 데이터는 상기 제2 커뮤니케이션변환모듈을 이용하여 상기 제2 커뮤니케이션신호로 변환되는 것을 특징으로 하는 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템.
The communication system according to claim 1, wherein the second communication conversion module comprises:
And a sensor of at least one of a sEMG sensor and a BMI sensor for recognizing the motion of the wearer's muscles or brain waves, and the data generated by the sensor is converted into the second communication signal using the second communication conversion module A smart glass system for deaf persons communication.
상기 제1 커뮤니케이션신호가 상기 착용자에게 음성으로 출력되는 골전도스피커모듈;을 더 포함하는 것을 특징으로 하는 청각장애인 커뮤니케이션을 위한 스마트 글래스 시스템.The communication apparatus according to claim 1,
And a bone conduction speaker module in which the first communication signal is output as a voice to the wearer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170100074A KR101830908B1 (en) | 2017-08-08 | 2017-08-08 | Smart glass system for hearing-impaired communication |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170100074A KR101830908B1 (en) | 2017-08-08 | 2017-08-08 | Smart glass system for hearing-impaired communication |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101830908B1 true KR101830908B1 (en) | 2018-02-21 |
Family
ID=61524485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170100074A KR101830908B1 (en) | 2017-08-08 | 2017-08-08 | Smart glass system for hearing-impaired communication |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101830908B1 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102098734B1 (en) * | 2019-08-06 | 2020-04-08 | 전자부품연구원 | Method, apparatus and terminal for providing sign language video reflecting appearance of conversation partner |
| KR102220756B1 (en) * | 2019-08-27 | 2021-02-25 | 장전주오 | Wearable device |
| KR102239491B1 (en) * | 2019-12-05 | 2021-04-13 | (주)힐링사운드 | System and method for making dental treatment circumstance |
| KR20220046303A (en) * | 2020-10-07 | 2022-04-14 | ㈜ 한국공학기술연구원 | Two-way conversation system that provides sign language interpretation |
| KR102463283B1 (en) * | 2022-05-17 | 2022-11-07 | 주식회사 엘젠 | automatic translation system of video contents for hearing-impaired and non-disabled |
| WO2023041452A1 (en) * | 2021-09-16 | 2023-03-23 | International Business Machines Corporation | Smart seamless sign language conversation device |
| KR20230079846A (en) | 2021-11-29 | 2023-06-07 | 엑스퍼트아이엔씨 주식회사 | Augmented reality smart glass and method for controlling the output of smart glasses |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015169814A (en) * | 2014-03-07 | 2015-09-28 | サカタインクス株式会社 | Method and system for supporting communication |
| US20170115742A1 (en) * | 2015-08-01 | 2017-04-27 | Zhou Tian Xing | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
-
2017
- 2017-08-08 KR KR1020170100074A patent/KR101830908B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015169814A (en) * | 2014-03-07 | 2015-09-28 | サカタインクス株式会社 | Method and system for supporting communication |
| US20170115742A1 (en) * | 2015-08-01 | 2017-04-27 | Zhou Tian Xing | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102098734B1 (en) * | 2019-08-06 | 2020-04-08 | 전자부품연구원 | Method, apparatus and terminal for providing sign language video reflecting appearance of conversation partner |
| KR102220756B1 (en) * | 2019-08-27 | 2021-02-25 | 장전주오 | Wearable device |
| KR102239491B1 (en) * | 2019-12-05 | 2021-04-13 | (주)힐링사운드 | System and method for making dental treatment circumstance |
| KR20220046303A (en) * | 2020-10-07 | 2022-04-14 | ㈜ 한국공학기술연구원 | Two-way conversation system that provides sign language interpretation |
| WO2023041452A1 (en) * | 2021-09-16 | 2023-03-23 | International Business Machines Corporation | Smart seamless sign language conversation device |
| KR20230079846A (en) | 2021-11-29 | 2023-06-07 | 엑스퍼트아이엔씨 주식회사 | Augmented reality smart glass and method for controlling the output of smart glasses |
| KR102463283B1 (en) * | 2022-05-17 | 2022-11-07 | 주식회사 엘젠 | automatic translation system of video contents for hearing-impaired and non-disabled |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101830908B1 (en) | Smart glass system for hearing-impaired communication | |
| KR102450803B1 (en) | Duplex sign language translation apparatus and the apparatus for performing the duplex sign language translation method | |
| JP4439740B2 (en) | Voice conversion apparatus and method | |
| US20150168996A1 (en) | In-ear wearable computer | |
| US20170243582A1 (en) | Hearing assistance with automated speech transcription | |
| KR20160093529A (en) | A wearable device for hearing impairment person | |
| CN103116576A (en) | Voice and gesture interactive translation device and control method thereof | |
| CN201518084U (en) | Spectacle having function of hearing aid | |
| US20170024380A1 (en) | System and method for the translation of sign languages into synthetic voices | |
| CN112001189A (en) | Real-time foreign language communication system | |
| Berger et al. | Prototype of a smart google glass solution for deaf (and hearing impaired) people | |
| KR101728707B1 (en) | Method and program for controlling electronic device by wearable glass device | |
| JP2015169814A (en) | Method and system for supporting communication | |
| US10643636B2 (en) | Information processing apparatus, information processing method, and program | |
| CN111665950A (en) | Intelligent interaction system integrated head-mounted equipment | |
| Battina et al. | Innovative study of an AI voice based smart Device to assist deaf people in understanding and responding to their body language | |
| Luzhnica et al. | Skin reading meets speech recognition and object recognition for sensory substitution | |
| KR101906549B1 (en) | A wearable device for hearing impairment person | |
| JP2002207732A (en) | Translation device | |
| KR20150115522A (en) | Device for acquiring sign language motion and sign language/text conversion system using thereof | |
| CN210606226U (en) | Dual-mode communication equipment for deaf-mute | |
| KR200475529Y1 (en) | Medical Equipment System including HMD Glasses for Person with Visual and Hearing Impairment | |
| TWM596382U (en) | Sign language image recognition device | |
| JP2021018272A (en) | Voice processing system, voice processor, and program | |
| CN220855907U (en) | Visual intelligent bracelet that sign language and pronunciation mutually turn over based on electromyographic signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |