KR102529798B1 - Device For Translating Sign Language - Google Patents

Device For Translating Sign Language Download PDF

Info

Publication number
KR102529798B1
KR102529798B1 KR1020210029970A KR20210029970A KR102529798B1 KR 102529798 B1 KR102529798 B1 KR 102529798B1 KR 1020210029970 A KR1020210029970 A KR 1020210029970A KR 20210029970 A KR20210029970 A KR 20210029970A KR 102529798 B1 KR102529798 B1 KR 102529798B1
Authority
KR
South Korea
Prior art keywords
sign language
data
translation
module
sensor
Prior art date
Application number
KR1020210029970A
Other languages
Korean (ko)
Other versions
KR20220126305A (en
Inventor
한상열
김행민
박규민
Original Assignee
주식회사 와이즈에스엔티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈에스엔티 filed Critical 주식회사 와이즈에스엔티
Priority to KR1020210029970A priority Critical patent/KR102529798B1/en
Publication of KR20220126305A publication Critical patent/KR20220126305A/en
Application granted granted Critical
Publication of KR102529798B1 publication Critical patent/KR102529798B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Abstract

본 발명은 수화 번역 장치에 관한 것으로, 더욱 상세하게는 청각 장애인과 언어 장애인이 활용하는 수화의 동작을 인식하고 언어로 번역하여 번역된 문장을 제공함으로써 수화를 모르는 사람과의 소통은 물론 수화 교육이 가능한 수화 번역 장치에 관한 것이다.The present invention relates to a sign language translation device, and more particularly, recognizes motions of sign language used by deaf and speech impaired people, translates them into a language, and provides translated sentences, thereby enabling communication with people who do not know sign language as well as sign language education. It relates to a possible sign language translation device.

Description

수화 번역 장치 {Device For Translating Sign Language}Sign language translation device {Device For Translating Sign Language}

본 발명은 수화 번역 장치에 관한 것으로, 더욱 상세하게는 청각 장애인과 언어 장애인이 활용하는 수화의 동작을 인식하고 언어로 번역하여 번역된 문장을 제공함으로써 수화를 모르는 사람과의 소통은 물론 수화 교육이 가능한 수화 번역 장치에 관한 것이다.The present invention relates to a sign language translation device, and more particularly, recognizes motions of sign language used by deaf and speech impaired people, translates them into a language, and provides translated sentences, thereby enabling communication with people who do not know sign language as well as sign language education. It relates to a possible sign language translation device.

청각 장애인과 언어 장애인의 경우 음성으로 언어 구사가 어렵기 때문에 수화로 비장애인과 소통하기 위해 수화 번역 장치가 필수적이다.In the case of hearing-impaired and speech-impaired people, it is difficult to speak language through voice, so a sign language translation device is essential to communicate with non-disabled people in sign language.

그러나, 종래의 수화 번역 장치는 카메라를 통한 영상 인식에 의존하거나, 글로브 형태로 지문자 및 지숫자 형태로 수화를 감지하는 방식이 존재하지만 원활한 의사소통에 한계가 있는 문제가 있었다. However, conventional sign language translation devices depend on image recognition through a camera or detect sign language in the form of fingerprints and index digits in the form of a globe, but have limitations in smooth communication.

그리고 수화를 습득하지 못한 청각 장애인과 언어 장애인의 경우 수화에 대한 학습이 필요하지만 오프라인 교재로 수화를 배우는데 한계가 있기 때문에 수화 교육자와 대면을 통한 학습이 이루어져야 하므로 수화 학습 과정이 제한적인 문제가 있었다.In addition, in the case of deaf and speech impaired people who have not acquired sign language, they need to learn sign language, but there is a limit to learning sign language with offline textbooks, so they have to learn face-to-face with a sign language educator, so the sign language learning process has been limited. .

상기와 같은 문제점을 해결하기 위해 안출된 것으로 본 발명의 목적은 청각 장애인과 언어 장애인이 활용하는 수화의 동작을 인식하고 언어로 번역하여 번역된 문장을 제공함으로써 수화를 모르는 사람과의 소통은 물론 수화 교육이 가능한 수화 번역 장치를 제공하는 데 있다.The purpose of the present invention has been devised to solve the above problems, and an object of the present invention is to recognize the motion of sign language used by the hearing impaired and speech impaired, translate it into a language, and provide translated sentences, thereby enabling communication with people who do not know sign language as well as sign language. It is to provide a sign language translation device capable of training.

상기와 같은 목적을 달성하기 위해 본 발명에 따른 수화 번역 장치는 유저가 손에 착용하고 유저의 수화 동작을 인식하는 센서 유닛을 구비한 수화 인식 글러브와; 상기 유저의 상반신을 촬영하여 영상 데이터를 획득하는 카메라와; 상기 수화 인식 장갑의 센서 유닛으로부터 감지된 센서 데이터와 상기 카메라에서 촬영된 영상데이터를 수신하고, 상기 센서 데이터와 영상데이터를 동기화하고, 상기 동기화된 수화 데이터를 문자로 번역하여 번역된 번역데이터를 설정된 모드에 따라 제공하는 수화 변역 단말을 포함하는 것을 특징으로 한다. In order to achieve the above object, a sign language translation apparatus according to the present invention includes a sign language recognition glove worn on a user's hand and having a sensor unit for recognizing a user's sign language motion; a camera for acquiring image data by photographing the upper body of the user; The sensor data sensed by the sensor unit of the sign language recognition glove and image data captured by the camera are received, the sensor data and image data are synchronized, and the synchronized sign language data is translated into text to set the translated translation data. It is characterized in that it includes a sign language translation terminal provided according to the mode.

상기 센서 유닛은 상기 수화 인식 글러브 내의 손가락 마디와 끝에 배치되는 휨센서 및 9축 센서, 압력센서 중 적어도 하나를 포함하는 센서모듈과; 상기 센서모듈을 통해 감지된 센서 데이터를 통합하고 통합된 센서 데이터를 상기 수화 번역 단말로 전송하는 통합제어모듈을 포함한다.The sensor unit may include a sensor module including at least one of a bending sensor, a 9-axis sensor, and a pressure sensor disposed at the knuckle and tip of the sign language recognition glove; and an integrated control module that integrates sensor data sensed through the sensor module and transmits the integrated sensor data to the sign language translation terminal.

여기서, 상기 통합제어모듈은 상기 센서모듈로부터 수집된 센서 변위 데이터를 통합하여 센서데이터를 생성하는 센서데이터관리모듈와, 상기 생성된 센서데이터를 수화 번역 단말로 전송하는 데이터통신모듈을 포함하는 것을 특징으로 한다. Here, the integrated control module includes a sensor data management module that generates sensor data by integrating sensor displacement data collected from the sensor module, and a data communication module that transmits the generated sensor data to a sign language translation terminal. do.

상기 수화 번역 단말은 상기 센서유닛으로부터 수신된 센서 데이터를 관리하는 센서데이터관리모듈과; 상기 카메라에서 수신된 영상 데이터를 관리하는 영상데이터관리모듈과; 수화번역모드를 설정할 수 있는 모드설정모듈과; 상기 센서 데이터와 영상 데이터를 동기화하여 수화 데이터를 생성하고 상기 수화 데이터에 대응되는 번역된 문장을 포함하는 번역데이터를 생성하는 수화번역모듈과; 상기 생성된 번역데이터를 수화모드에 따라 출력하는 디스플레이모듈을 포함하는 것을 특징으로 한다. The sign language translation terminal includes a sensor data management module for managing sensor data received from the sensor unit; an image data management module for managing image data received from the camera; a mode setting module capable of setting a sign language translation mode; a sign language translation module generating sign language data by synchronizing the sensor data and image data and generating translation data including a translated sentence corresponding to the sign language data; It is characterized in that it includes a display module that outputs the generated translation data according to a sign language mode.

상기 수화번역모듈은 상기 수신된 센서데이터와 영상데이터를 동기화하여 수화 데이터를 생성하는 동기화모듈과; 상기 동기화된 수화데이터와 센서데이터의 동작을 분석하고 영상데이터의 영상을 분석하여 수화번역에 필요한 필수데이터만 필터링하는 전처리모듈과; 상기 필터링된 필수 데이터와 번역기초데이터DB에 저장된 번역기초데이터 중 일치하는 번역기초데이터를 추출하여 이에 매핑된 단어를 연결하여 번역 문장을 포함하는 번역데이터를 생성하는 번역처리모듈을 포함하는 것을 특징으로 한다. The sign language translation module includes a synchronization module generating sign language data by synchronizing the received sensor data and image data; a pre-processing module for filtering only essential data required for sign language translation by analyzing operations of the synchronized sign language data and sensor data and analyzing images of image data; A translation processing module for generating translation data including translated sentences by extracting matching translation basic data from among the filtered essential data and translation basic data stored in a translation basic data DB and connecting words mapped thereto do.

상기 센서데이터는 손가락과 손의 위치, 움직임과 손가락에 가해지는 압력 정보를 포함하여 손을 들거나 내리고 손목을 뒤집고 비틀고 손가락을 피거나 쥐는 세부 움직임을 실시간으로 감지하고, 상기 영상데이터는 수화자의 상반신 영상을 포함하여 얼굴 표정, 입모양, 머리와 상체의 움직임(몸짓) 정보를 획득한다. The sensor data includes finger and hand positions, motions, and pressure applied to the fingers, and detects detailed movements such as raising or lowering the hand, flipping and twisting the wrist, and releasing or gripping the finger in real time, and the image data is an image of the speaker's upper body Including facial expression, mouth shape, head and upper body movement (gesture) information is acquired.

상기 동기화모듈은 상기 센서데이터와 영상데이터를 동기화하여 손과 손가락의 위치, 움직임과 얼굴의 표정, 입모양과 몸짓 변화를 동시에 추출하고; 상기 전처리모듈은 상기 센서데이터 중 손과 손가락의 위치 및 움직임 정보(이하, 손몸짓 정보)를 추적하는데 필요한 데이터를 제외하고 필터링하고, 영상 데이터 중 얼굴의 표정, 입모양과 몸짓 정보(이하, 비수지 정보)를 추적하는데 필요한 데이터를 제외하고 필터링하여 번역에 필요한 최소한의 데이터만 남기고 나머지 데이터를 제거하는 것을 특징으로 한다. The synchronization module synchronizes the sensor data and image data to simultaneously extract hand and finger position, movement, facial expression, mouth shape and gesture change; The pre-processing module excludes and filters data necessary for tracking position and movement information of hands and fingers (hereinafter referred to as hand gesture information) among the sensor data, and filters facial expression, mouth shape and gesture information (hereinafter referred to as non-gestural information) among image data. It is characterized by excluding the data necessary for tracking the balance information) and filtering to leave only the minimum data necessary for translation and removing the rest of the data.

상기 번역처리모듈은 필터링된 필수데이터에 포함된 손몸짓 정보와 비수지 정보를 번역기초데이터DB에 저장된 번역기초데이터와 비교하여 번역데이터를 생성하되; 상기 번역기초데이터는 손몸짓 정보만으로 구성된 문자 또는 손몸짓 정보와 몸짓 정보가 결합된 형태의 문자가 매핑된 데이터로 정의되고, 모든 수화 동작에 대한 수화 정보(손몸짓 정보와 비수지 정보)와 이에 대응되는 문자가 번역기초데이터를 형성하여 번역기초데이터DB에 저장되는 것을 특징으로 한다. The translation processing module generates translation data by comparing hand gesture information and non-hand gesture information included in the filtered essential data with translation basic data stored in a translation basic data DB; The basic translation data is defined as data mapped with characters consisting only of hand gesture information or characters in the form of a combination of hand gesture information and gesture information, and sign language information (hand gesture information and non-hand gesture information) for all sign language actions and It is characterized in that the corresponding characters form translation basic data and are stored in the translation basic data DB.

상기 모드설정모듈은 유저가 수화를 연습하는 경우 유저가 수화를 올바르게 구사하고 있는지 여부를 확인하고 가이드하여 수화를 연습할 수 있는 모드인 수화학습모드를 지원하는 수화학습모드지원모듈과; 수화자가 특정 상대방과 화상통화하는 경우 수화자의 수화를 번역하여 화상정보와 함께 번역된 수화와 문자, 선택적으로 음성을 제공하여 상대방과 수화를 통한 화상통화를 제공하는 모드인 화상통화모드를 지원하는 화상통화모드지원모듈과; 수화자의 수화를 문자, 선택적으로 음성으로 번역하여 수화를 모르는 사람에게 통역을 제공하는 모드인 수화자의 수화에 대한 통역을 지원하는 수화통역모드지원모듈을 포함하는 것을 특징으로 한다. The mode setting module includes a sign language learning mode support module that supports a sign language learning mode, which is a mode in which the user can practice sign language by confirming and guiding whether the user is using sign language correctly when practicing sign language; Video that supports the video call mode, which is a mode that provides a video call with the other party through sign language by translating the sign language of the called party and providing the translated sign language, text, and optionally voice along with video information when the called party is making a video call with a specific other party a call mode support module; It is characterized by including a sign language interpretation mode support module supporting interpretation of the sign language of the sign language, which is a mode in which the sign language of the sign language is translated into text and optionally voice to provide interpretation to a person who does not know the sign language.

상기에서 살펴본 본 발명에 따른 수화 번역 장치는 청각 장애인과 언어 장애인이 활용하는 수화의 동작을 인식하고 언어로 번역하여 번역된 문장을 제공함으로써 수화를 모르는 사람과의 소통은 물론 수화 교육이 가능한 탁월한 효과가 발생한다.As described above, the sign language translation device according to the present invention recognizes the motion of sign language used by the hearing impaired and speech impaired, translates it into a language, and provides translated sentences. occurs.

도 1은 본 발명의 바람직한 실시예에 따른 수화 번역 장치를 개략적으로 도시한 장치 구성이고,
도 2는 도 1의 동작과 관련된 상세 블럭도이다.
도 3은 본 발명의 바람직한 실시예에 따른 수화 번역 프로세스를 개략적으로 도시한 것이고,
도 4는 본 발명의 바람직한 실시예에 따른 수화를 번역하는 과정을 개략적으로 도시한 것이다.
도 5는 손몸짓 정보와 비수지 정보가 결합된 수화를 번역하는 과정을 개략적으로 도시한 것이다.
도 6은 본 발명의 바람직한 실시예에 따른 소리글자에 대한 수화 동작을 개략적으로 도시한 것이다.
도 7은 본 발명의 바람직한 실시예에 따른 손몸짓 정보와 비수지 정보가 결합된 형태의 수화를 번역하는 것을 개략적으로 도시한 것이다.
도 8은 본 발명에 바람직한 실시예에 따른 수화학습 모드에 따라 제공되는 화면을 개략적으로 도시한 것이다.
도 9는 본 발명의 바람직한 실시예에 따른 수화학습모드시 상대방의 음성을 문자와 수화로 변환하는 구성을 개략적으로 도시한 것이다.
도 10은 본 발명에 바람직한 실시예에 따른 화상통화 모드에 따라 제공되는 화면을 개략적으로 도시한 것이다.
도 11은 본 발명의 바람직한 실시예에 따른 상대방의 음성을 문자와 수화로 변환하는 구성을 개략적으로 도시한 것이다.
도 12은 본 발명에 바람직한 실시예에 따른 수화통역 모드에 따라 제공되는 화면을 개략적으로 도시한 것이다.
도 13은 본 발명의 바람직한 실시예에 따른 수화통역모드시 상대방의 음성을 문자와 수화로 변환하는 구성을 개략적으로 도시한 것이다.1 is a device configuration schematically showing a sign language translation device according to a preferred embodiment of the present invention;
Figure 2 is a detailed block diagram related to the operation of Figure 1;
3 schematically illustrates a sign language translation process according to a preferred embodiment of the present invention;
4 schematically illustrates a sign language translation process according to a preferred embodiment of the present invention.
5 schematically illustrates a process of translating sign language in which hand gesture information and non-hand gesture information are combined.
6 schematically illustrates a sign language operation for phonetic characters according to a preferred embodiment of the present invention.
7 schematically illustrates translating sign language in a form in which hand gesture information and non-hand gesture information are combined according to a preferred embodiment of the present invention.
8 schematically illustrates a screen provided according to a sign language learning mode according to a preferred embodiment of the present invention.
FIG. 9 schematically illustrates a configuration for converting the other party's voice into text and sign language in a sign language learning mode according to a preferred embodiment of the present invention.
10 schematically illustrates a screen provided according to a video call mode according to a preferred embodiment of the present invention.
11 schematically illustrates a configuration for converting the other party's voice into text and sign language according to a preferred embodiment of the present invention.
12 schematically shows a screen provided according to a sign language interpretation mode according to a preferred embodiment of the present invention.
FIG. 13 schematically shows a configuration for converting the other party's voice into text and sign language in sign language interpretation mode according to a preferred embodiment of the present invention.

이하, 본 발명의 구체적인 실시예에 대하여 도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 바람직한 실시예에 따른 수화 번역 장치를 개략적으로 도시한 장치 구성이고, 도 2는 도 1의 동작과 관련된 상세 블럭도이다.1 is a device configuration schematically showing a sign language translation device according to a preferred embodiment of the present invention, and FIG. 2 is a detailed block diagram related to the operation of FIG.

도 1 및 2를 참조하면, 본 발명에 따른 수화 번역 장치는 유저가 손에 착용하고 유저의 수화 동작을 인식하는 센서 유닛(110)을 구비한 수화 인식 글러브(10)과 상기 유저의 상반신을 촬영하는 카메라(20)와 상기 수화 인식 장갑의 센서 유닛으로부터 감지된 센서 데이터와 상기 카메라에서 촬영된 상반신 데이터를 수신하고, 상기 센서 데이터와 상반신 데이터를 매핑하고, 상기 센서 데이터를 언어로 번역하여 번역된 문장을 제공하는 수화 변역 단말(30)을 포함하여 구성될 수 있다.1 and 2, the sign language translation apparatus according to the present invention photographs a sign language recognition glove 10 equipped with a sensor unit 110 worn on a user's hand and recognizing a user's sign language motion, and the user's upper body. Sensor data detected by the camera 20 and the sensor unit of the sign language recognition glove and upper body data photographed by the camera are received, the sensor data and upper body data are mapped, and the sensor data is translated into a language. It may be configured to include a sign language translation terminal 30 that provides sentences.

상기 수화 인식 글러브(10)는 장갑 내부에 수화를 구사하는 유저의 손가락 동작을 인식하기 위해 센서 유닛(110)이 내장된다.The sign language recognition glove 10 has a sensor unit 110 built into the glove to recognize a finger motion of a user who speaks sign language.

상기 수화 인식 장갑(10)은 오른손과 왼손을 위한 2개의 장갑이 하나의 쌍을 이루게 되고, 오른손과 왼손의 동작을 인식할 수 있다.In the sign language recognition glove 10, two gloves for the right hand and the left hand form a pair, and motions of the right hand and the left hand can be recognized.

따라서, 상기 센서 유닛(110)도 오른쪽 수화 인식 장갑과 왼쪽 수화 인식 장갑에 각각 배치되어 하나의 쌍을 이루게 된다.Accordingly, the sensor unit 110 is also disposed on the right sign language recognition glove and the left sign language recognition glove, respectively, forming a pair.

상기 센서 유닛(110)은 휨센서,압력센서, 9축 센서(가속도, 지자기, 자이로)를 포함하는 센서모듈(111)과 상기 센서모듈을 통해 감지된 센서 데이터를 통합하고 통합된 센서 데이터를 상기 수화 번역 단말로 전송하는 통합제어모듈(112)를 포함하여 구성될 수 있다.The sensor unit 110 integrates the sensor data detected through the sensor module 111 including a deflection sensor, a pressure sensor, and a 9-axis sensor (acceleration, geomagnetism, gyro) and the sensor module, and recalls the integrated sensor data. It may be configured to include an integrated control module 112 for transmitting to a sign language translation terminal.

여기서, 상기 센서모듈(111)은 손가락 마디와 끝, 손바닥 내부와 맞닿는 부분에 복수 개가 배치될 수 있으며, 배치되는 센서의 수가 많을수록 수화 동작의 정밀한 인식이 가능하다.Here, a plurality of sensor modules 111 may be disposed at the knuckles and tips of the fingers and at the part that comes into contact with the inside of the palm, and the more sensors are disposed, the more precise recognition of the sign language operation is possible.

보다 구체적으로, 손가락 마디별로 9축 센서 및 휨센서(111a)가 부착되고, 손가락 끝에 압력센서(111b)가 부착될 수 있으며, 상기 9축 센서 및 휨센서(111a)로부터 손과 손가락의 위치, 변위, 비틀림, 회전, 구부림 등의 미세 동작이 감지되고, 상기 압력센서(111b)를 통해 손가락 끝의 압력, 터치가 감지되어 손가락 관절의 굴절상태의 움직임, 상호 연결 동작 및 동작 피드백을 감지할 수 있다. More specifically, a 9-axis sensor and a bending sensor 111a may be attached to each finger joint, and a pressure sensor 111b may be attached to a fingertip. Microscopic motions such as displacement, twist, rotation, and bending are detected, and pressure and touch of the fingertip are sensed through the pressure sensor 111b, so that the movement of the finger joint in a bent state, interconnection motion, and motion feedback can be sensed. there is.

상기 각 센서는 위치를 특정하는 식별코드를 구비하여 식별코드를 통해 센서모듈이 식별되는 센서모듈의 위치를 식별할 수 있다.Each of the sensors has an identification code for specifying a position, and the position of the sensor module identified by the sensor module can be identified through the identification code.

그리고 상기 센서모듈(111)이 손가락과 손의 위치, 움직임에 따른 변위인 센서 변위 데이터를 감지하여 상기 통합제어모듈(112)로 전송하고, 상기 통합제어모듈(112)은 각 센서모듈의 위치를 식별하고 각 센서모듈 별 센서 변위 데이터를 통합한 센서 데이터를 생성하여 실시간으로 상기 통합제어모듈(112)로 전송한다.In addition, the sensor module 111 detects sensor displacement data, which is displacement according to the position and movement of a finger and hand, and transmits the sensor displacement data to the integrated control module 112, and the integrated control module 112 determines the location of each sensor module. It identifies and generates sensor data that integrates sensor displacement data for each sensor module and transmits it to the integrated control module 112 in real time.

상기 통합제어모듈(112)은 상기 센서모듈(111)로부터 수집된 센서 변위 데이터를 통합하여 센서데이터를 생성하는 센서데이터관리모듈(112a)와 상기 생성된 센서데이터를 수화 번역 단말(30)로 전송하는 데이터통신모듈(112b)를 포함하여 구성될 수 있다.The integrated control module 112 transmits the sensor data management module 112a generating sensor data by integrating the sensor displacement data collected from the sensor module 111 and the generated sensor data to the sign language translation terminal 30. It may be configured to include a data communication module (112b) to.

상기 데이터통신모듈(112b)은 상기 수화 번역 단말(20)과 유선 또는 무선으로 연결될 수 있으며, 무선으로 연결되는 경우 근거리 통신을 통해 데이터를 송수신할 수 있는 블루투스, RF, 지그비 등의 근거리 통신 모듈로 구성될 수 있다.The data communication module 112b may be connected to the sign language translation terminal 20 by wire or wirelessly, and when connected wirelessly, it is a short-range communication module such as Bluetooth, RF, or ZigBee capable of transmitting and receiving data through short-range communication. can be configured.

그리고 상기 수화 인식 글로브(10)는 전원을 공급하는 배터리모듈(130)과 수화자에게 피드백을 제공하는 진동모듈(120)을 더 포함하여 구성될 수 있다.The sign language recognition glove 10 may further include a battery module 130 for supplying power and a vibration module 120 for providing feedback to a sign language speaker.

상기 진동모듈(120)은 수화의 시작, 끝, 문장 맺음 등을 알려주어 수화자가 수화를 원활하게 구사하는 것을 가이드하는 진동피드백을 제공할 수 있다.The vibration module 120 may provide vibration feedback for guiding the sign language to be used smoothly by notifying the start, end, and ending of a sign language.

상기 배터리모듈(130)은 외부 충전 커넥터와 연결되어 외부의 연결선을 통해 배터리 충전이 가능하도록 구성될 수 있다. The battery module 130 may be configured to be connected to an external charging connector so that the battery can be charged through an external connection line.

상기 카메라(20)는 수화 번역 단말(30)과 별도로 구비될 수 있으며, 상기 수화 번역 단말(30)에 내장되어 제공될 수 있다. The camera 20 may be provided separately from the sign language translation terminal 30 or may be provided by being built into the sign language translation terminal 30 .

상기 카메라(20)는 수화자의 상반신에 대한 영상 데이터를 촬영하여 수화 번역 단말(30)에 전송하는 역할을 담당한다.The camera 20 is responsible for capturing image data of the upper body of the sign language speaker and transmitting the image data to the sign language translation terminal 30 .

수화는 손의 움직임으로 구성되는 손몸짓 수화와 손 이외의 움직임으로 구성되는 비수지 신호를 포함하여 구성될 수 있다.Sign language may include hand gesture sign language composed of hand movements and non-hand gestures composed of movements other than hands.

상기 손몸짓 수화는 손의 모양, 손의 위치, 손의 움직임, 손바닥과 손가락의 방향에 따라 하나 또는 2개 이상이 동작이 결합되어 문자를 이루게 된다.The hand gesture sign language forms a character by combining one or two or more gestures according to the shape of the hand, the position of the hand, the movement of the hand, and the direction of the palm and fingers.

비수지 신호는 얼굴 표정, 입 모양, 머리와 상체의 움직임을 포함할 수 있다.Non-response signals may include facial expressions, mouth shapes, and head and upper body movements.

즉, 수화는 손몸짓 수화만으로 변역이 가능한 문자가 존재하지만, 손몸짓 수화와 비수지 신호가 결합되어 번역이 가능한 문자가 존재한다.That is, in sign language, there are characters that can be translated only with sign language of hand gestures, but there are characters that can be translated by combining sign language of hand gestures and non-response signals.

따라서, 센서데이터에 포함된 손과 손가락의 위치 및 움직임 뿐만 아니라, 상반신에 대한 영상 데이터에 포함된 얼굴 표정, 입모양, 머리와 상체의 움직임(몸짓)을 추출하여 결합할 경우 보다 정확한 문자로의 번역이 가능하다.Therefore, when extracting and combining not only the positions and movements of hands and fingers included in the sensor data, but also facial expressions, mouth shapes, and head and upper body movements (gestures) included in the image data for the upper body, more accurate characters can be obtained. Translation is possible.

상기 수화 번역 단말(30)은 상기 센서유닛(110)으로부터 수신된 센서 데이터를 관리하는 센서데이터관리모듈(310)과 상기 카메라(20)에서 수신된 영상 데이터를 관리하는 영상데이터관리모듈(320)과 수화번역모드를 설정할 수 있는 모드설정모듈(330)과 상기 센서 데이터와 영상 데이터를 동기화하여 수화 데이터를 생성하고 상기 수화 데이터에 대응되는 번역된 문장을 포함하는 번역데이터를 생성하는 수화번역모듈(340)과 상기 생성된 번역데이터를 수화모드에 따라 출력하는 디스플레이모듈(350)을 포함하여 구성될 수 있다.The sign language translation terminal 30 includes a sensor data management module 310 for managing sensor data received from the sensor unit 110 and an image data management module 320 for managing image data received from the camera 20. A sign language translation module ( 340) and a display module 350 that outputs the generated translation data according to a sign language mode.

상기 수화 번역 단말(30)은 카메라를 구비하여 화상 통화를 지원하는 휴대폰 등의 휴대 단말로 구성될 수 있다.The sign language translation terminal 30 may be configured as a portable terminal such as a mobile phone equipped with a camera and supporting video calls.

상기 센서데이터관리모듈(310)은 상기 센서유닛(110)으로부터 수신된 실시간 센서 데이터를 저장 관리하는 역할을 담당한다.The sensor data management module 310 is responsible for storing and managing real-time sensor data received from the sensor unit 110 .

그리고 상기 영상데이터관리모듈(320)은 카메라(20)로부터 실시간으로 수신된 수화자의 얼굴과 상반신을 포함하는 영상데이터를 저장 관리하는 역할을 담당한다.The image data management module 320 is responsible for storing and managing image data including the face and upper body of the talker received in real time from the camera 20 .

여기서, 상기 영상데이터관리모듈(320)는 영상데이터로부터 얼굴 표정, 입모양, 몸짓 등의 특징을 추출하는 통상의 영상추출알고리즘을 포함하여 구성될 수 있다.Here, the image data management module 320 may include a conventional image extraction algorithm for extracting features such as facial expressions, mouth shapes, and gestures from image data.

상기 모드설정모듈(330)은 수화모드를 설정할 수 있는 인터페이스를 제공하고, 상기 수화모드는 수화학습모드, 화상통화모드, 수화통역모드를 포함하여 구성될 수 있다.The mode setting module 330 provides an interface for setting a sign language mode, and the sign language mode may include a sign language learning mode, a video call mode, and a sign language interpretation mode.

보다 구체적으로, 상기 모드설정모듈(330)은 수화학습모드를 지원하는 수화학습모드지원모듈(331)과 화상통화모드를 지원하는 화상통화모드지원모듈(332)과 수화자의 수화에 대한 통역을 지원하는 수화통역모드지원모듈(333)를 포함하여 구성될 수 있다.More specifically, the mode setting module 330 includes a sign language learning mode support module 331 that supports a sign language learning mode, a video call mode support module 332 that supports a video call mode, and interpretation of sign language of a sign language. It may be configured to include a sign language interpretation mode support module 333 that does.

그리고 상기 모드설정모듈(330)은 유저의 음성을 문자 및 수화영상으로 변환하는 구성을 더 포함하여 구성될 수 있다.The mode setting module 330 may further include a component that converts the user's voice into text and sign language images.

보다 구체적으로, 상기 모드설정모듈(330)은 선택된 모드에 따라 음성을 인식하고 이를 문자와 수화동작에 따른 수화영상으로 변환하는 음성수화변환모듈(334)을 더 포함하여 구성될 수 있다.More specifically, the mode setting module 330 may further include a voice sign language conversion module 334 for recognizing voices according to the selected mode and converting them into sign language images according to text and sign language operations.

상기 음성수화변환모듈(334)는 음성을 인식하여 문자로 변환하는 음성인식모듈(334a)과 인식된 문자의 수화동작을 추출하여 제공하는 수화동작변환모듈(334b)을 포함하여 구성될 수 있다.The voice sign language conversion module 334 may include a voice recognition module 334a that recognizes voice and converts it into text and a sign language action conversion module 334b that extracts and provides sign language actions of recognized text.

수화학습모드인 경우 "수화동작 학습" 메뉴가 선택되고, 유저가 음성을 발음하면, 상기 음성인식모듈(334a)이 이를 인식하고 문자로 변환하고, 상기 수화동작변환모듈(334b)이 문자에 대응된 수화 동작의 수화영상을 추출하여 문자와 상기 수화영상을 디스플레이하도록 제공할 수 있다.In case of the sign language learning mode, when the "learn sign language movement" menu is selected and the user pronounces a voice, the voice recognition module 334a recognizes and converts it into text, and the sign language movement conversion module 334b responds to the text. A sign language image of a signed sign language operation may be extracted and provided to display text and the sign language image.

여기서, 상기 수화영상은 문자에 대응된 수화동작으로 구성된 개별 영상 컨텐츠가 저장된 수화영상DB로부터 추출될 수 있으며, 상기 수화영상은 가상의 캐릭터가 문자에 대응되는 수화를 동작하는 영상으로 구성될 수 있다.Here, the sign language image may be extracted from a sign language image DB in which individual image contents composed of sign language operations corresponding to characters are stored, and the sign language images may be composed of images in which a virtual character operates a sign language corresponding to a character. .

영상통화모드인 경우 수화자 또는 대화 상대방이 음성을 발음하면, 상기 음성인식모듈(334a)이 이를 인식하고 문자로 변환하고, 상기 수화동작변환모듈(334b)이 문자에 대응된 수화 동작의 수화영상을 추출하여 문자와 상기 수화영상을 음성을 발음한 상대방에게 제공할 수 있다.In the video call mode, when a talker or a conversation partner pronounces a voice, the voice recognition module 334a recognizes it and converts it into text, and the sign language motion conversion module 334b converts the sign language image of the sign language action corresponding to the text. can be extracted and provided to the other party who pronounced the voice with the text and the sign language image.

그리고 수화번역모드인 경우에도 수화를 모르는 유저가 음성을 발음하면, 상기 음성인식모듈(334a)이 이를 인식하고 문자로 변환하고, 상기 수화동작변환모듈(334b)이 문자에 대응된 수화 동작의 수화영상을 추출하여 문자와 상기 수화영상을 디스플레이하여 수화자에게 제공할 수 있다.Even in the sign language translation mode, when a user who does not know sign language pronounces a voice, the voice recognition module 334a recognizes it and converts it into text, and the sign language motion conversion module 334b converts the sign language action corresponding to the text into sign language. After extracting the image, the text and the sign language image can be displayed and provided to the sign language speaker.

따라서, 수화자와 수화를 모르는 사람 사이에 완벽한 수화 통역이 가능하도록 지원할 수 있다.Therefore, it is possible to support perfect sign language interpretation between a sign language speaker and a person who does not know sign language.

상기 수화학습모드는 유저가 수화를 연습하는 경우 유저가 수화를 올바르게 구사하고 있는지 여부를 확인하고 가이드하여 수화를 연습할 수 있는 모드이고, 화상통화모드는 수화자가 특정 상대방과 화상통화하는 경우 수화자의 수화를 번역하여 화상정보와 함께 번역된 수화와 문자, 선택적으로 음성을 제공하여 상대방과 수화를 통한 화상통화를 제공하는 모드이고, 수화통역모드는 수화자의 수화를 문자, 선택적으로 음성으로 번역하여 수화를 모르는 사람에게 통역을 제공하는 모드이다.The sign language learning mode is a mode in which a user can practice sign language by checking and guiding whether the user is using the sign language correctly when practicing sign language, and the video call mode is a mode in which a sign language is used by a sign language when a sign language is being practiced. This is a mode that translates sign language and provides translated sign language, text, and optionally voice along with video information to provide a video call with the other party through sign language. It is a mode that provides interpretation to those who do not know.

유저는 상기 모드 중 원하는 모드를 선택할 수 있으며, 상기 모드설정모듈(330)은 선택된 모드의 인터페이스를 유저에게 제공한다. The user can select a desired mode among the modes, and the mode setting module 330 provides the user with an interface of the selected mode.

상기 수화학습모드지원모듈(331)은 수화 학습을 가이드하는 학습가이드 데이터를 제공하고, 상기 학습가이드 데이터에 따라 학습자가 수화를 동작하면 수화번역모듈(340)이 번역 데이터를 생성하여 학습자가 올바르게 수화를 동작했는지 여부를 확인할 수 있는 인터페이스를 제공한다.The sign language learning mode support module 331 provides study guide data for guiding sign language learning, and when a learner operates sign language according to the study guide data, the sign language translation module 340 generates translation data so that the learner can correctly sign language. Provides an interface that can check whether the

그리고 상기 화상통화모드지원모듈(332)는 수화자가 지정한 상대방과 화상 통화를 연결하고 수화자 화상과 상대방 화상을 동시에 디스플레이하고, 수화자가 수화를 동작하면 수화번역모듈(340)이 번역 데이터를 생성하면 상기 번역 데이터를 수화자 화상과 함께 표시하여 화상통화가 가능한 인터페이스를 제공한다.Further, the video call mode support module 332 connects a video call with the other party designated by the sign language, displays the image of the called party and the image of the other party at the same time, and when the sign language is operated by the sign language and the sign language translation module 340 generates translation data The translation data is displayed together with the recipient's image to provide an interface capable of making a video call.

그리고 상기 수화통역지원모듈(333)은 수화 인식 글로브(10)를 착용한 수화자가 수화를 동작하면 감지된 동작에 따라 수화번역모듈(340)이 번역 데이터를 생성하여 번역된 문자를 디스플레이하여 수화를 모르는 제 3자에게 수화 통역기 역할을 제공한다.In the sign language interpretation support module 333, when a sign language wearing the sign language recognition glove 10 operates sign language, the sign language translation module 340 generates translation data according to the detected movement, displays the translated text, and uses sign language. Act as a sign language interpreter for an unknown third party.

상기 화상통화모드지원모듈(332)는 상대방이 음성으로 대화하는 경우 음성을 인식하여 문자를 추출하고, 가상의 캐릭터에 추출된 문자에 대한 수화 동작을 매핑하여 수화와 문자가 디스플레이되도록 지원할 수 있다.The video call mode support module 332 may support display of the sign language and text by recognizing the voice of the other party, extracting text, and mapping a sign language operation for the extracted text to a virtual character.

이를 위해, 상기 화상통화모드지원모듈(332)은 음성을 인식하여 문자로 변환하는 음성인식모듈(332a)과 인식된 문자의 수화동작을 추출하여 제공하는 수화동작변환모듈(332b)를 포함하여 구성될 수 있다.To this end, the video call mode support module 332 includes a voice recognition module 332a that recognizes voice and converts it into text and a sign language action conversion module 332b that extracts and provides sign language actions of recognized text. It can be.

한편, 상기 수화번역모듈(340)은 상기 수신된 센서데이터와 영상데이터를 동기화하여 수화 데이터를 생성하는 동기화모듈(341)과 상기 동기화된 수화데이터와 센서데이터의 동작을 분석하고 영상데이터의 영상을 분석하여 수화번역에 필요한 필수데이터만 필터링하는 전처리모듈(342)과 상기 필터링된 필수 데이터와 번역기초데이터DB에 저장된 번역기초데이터 중 일치하는 번역기초데이터를 추출하여 이에 매핑된 단어를 연결하여 번역 문장을 포함하는 번역데이터를 생성하는 번역처리모듈(343)을 포함하여 구성될 수 있다. Meanwhile, the sign language translation module 340 analyzes the synchronizing module 341 generating sign language data by synchronizing the received sensor data and image data, and the operation of the synchronized sign language data and sensor data, and converts an image of the image data. The pre-processing module 342 analyzes and filters only essential data necessary for sign language translation, and extracts matching basic translation data from among the filtered essential data and basic translation data stored in the basic translation data DB, connects the words mapped thereto, and translates sentences. It may be configured to include a translation processing module 343 for generating translation data including.

도 3은 본 발명의 바람직한 실시예에 따른 수화 번역 프로세스를 개략적으로 도시한 것이고, 도 4는 본 발명의 바람직한 실시예에 따른 수화를 번역하는 과정을 개략적으로 도시한 것이고, 도 5는 손몸짓 정보와 비수지 정보가 결합된 수화를 번역하는 과정을 개략적으로 도시한 것이다.FIG. 3 schematically illustrates a sign language translation process according to a preferred embodiment of the present invention, FIG. 4 schematically illustrates a sign language translation process according to a preferred embodiment of the present invention, and FIG. 5 shows hand gesture information. It schematically illustrates a process of translating a sign language in which a and non-resinance information are combined.

수화 인식 글러브(10)에 내에 구비된 센서모듈(111)로부터 상기 센서데이터는 손가락과 손의 위치, 움직임과 손가락에 가해지는 압력 정보를 포함한다.The sensor data from the sensor module 111 included in the sign language recognition glove 10 includes information on the positions and movements of fingers and hands and pressure applied to the fingers.

따라서, 손을 들거나 내리고 손목을 뒤집고 비틀고 손가락을 피거나 쥐는 세부 움직임을 실시간으로 감지할 수 있다.Therefore, detailed movements such as raising or lowering a hand, flipping and twisting a wrist, and extending or squeezing a finger can be detected in real time.

그리고 상기 카메라(20)로부터 획득된 영상데이터는 수화자의 상반신과 얼굴 영상을 포함할 수 있으며, 상기 영상데이터로부터 얼굴 표정, 입모양, 머리와 상체의 움직임(몸짓) 정보를 획득할 수 있다.The image data acquired from the camera 20 may include images of the upper body and face of the talker, and information on facial expression, mouth shape, and movement (gesture) of the head and upper body may be obtained from the image data.

따라서, 상기 센서데이터와 영상데이터를 동기화할 경우 손과 손가락의 위치, 움직임과 얼굴의 표정, 입모양과 몸짓 변화를 동시에 추출할 수 있다.Therefore, when the sensor data and image data are synchronized, the positions of hands and fingers, movements, facial expressions, mouth shapes and changes in gestures can be simultaneously extracted.

그리고 상기 전처리모듈(342)은 동기화된 수화데이터 중에서 번역에 필요한 필수 데이터를 필터링하는 역할을 담당한다.Also, the pre-processing module 342 serves to filter essential data required for translation from among the synchronized sign language data.

동기화된 수화데이터에는 수화를 번역하는데 불필요한 데이터를 포함하고 있으며, 수화를 번역하는데 불필요한 데이터를 제거하고 필수 데이터만 필터링함으로써 실시간으로 번역하는 과정에 데이터량으로 인한 번역 처리 속도가 저하되는 것을 방지할 수 있다.Synchronized sign language data includes data unnecessary for sign language translation, and by removing data unnecessary for sign language translation and filtering only essential data, it is possible to prevent the translation processing speed from slowing down due to the amount of data during the real-time translation process. there is.

보다 구체적으로, 상기 전처리모듈(342)은 센서데이터 중 손과 손가락의 위치 및 움직임 정보(이하, 손몸짓 정보)를 추적하는데 필요한 데이터를 제외하고 필터링하고, 영상 데이터 중 얼굴의 표정, 입모양과 몸짓 정보(이하, 비수지 정보)를 추적하는데 필요한 데이터를 제외하고 필터링하여 번역에 필요한 최소한의 데이터만 남기고 나머지 데이터를 제거하는 역할을 담당한다.More specifically, the pre-processing module 342 excludes and filters data necessary for tracking hand and finger position and movement information (hereinafter, hand gesture information) among sensor data, and filters facial expressions, mouth shapes and Excluding data necessary for tracking gesture information (hereinafter referred to as non-residual information) and filtering to leave only the minimum data necessary for translation and removing the rest of the data.

상기 번역처리모듈(343)은 필터링된 필수데이터에 포함된 손몸짓 정보와 비수지 정보를 번역기초데이터DB에 저장된 번역기초데이터와 비교하여 번역데이터를 생성하게 된다. The translation processing module 343 compares hand gesture information and non-response information included in the filtered essential data with basic translation data stored in the basic translation data DB to generate translation data.

상기 번역기초데이터는 손몸짓 정보만으로 구성된 문자 또는 손몸짓 정보와 몸짓 정보가 결합된 형태의 문자가 매핑된 데이터로 정의되고, 모든 수화 동작에 대한 수화 정보(손몸짓 정보와 비수지 정보)와 이에 대응되는 문자가 번역기초데이터를 형성하여 번역기초데이터DB에 저장될 수 있다.The basic translation data is defined as data mapped with characters consisting only of hand gesture information or characters in the form of a combination of hand gesture information and gesture information, and sign language information (hand gesture information and non-hand gesture information) for all sign language actions and Corresponding characters may form basic translation data and be stored in the basic translation data DB.

도 6은 본 발명의 바람직한 실시예에 따른 소리글자에 대한 수화 동작을 개략적으로 도시한 것이다.6 schematically illustrates a sign language operation for phonetic characters according to a preferred embodiment of the present invention.

도 6을 참조하면, 수화로 단어는 물로 소리글자(자음, 모음)을 표현할 수 있으며, 특정 소리글자와 이에 대한 수화의 동작에 대한 손가락과 손의 움직임 정보를 매핑하여 번역기초데이터로 저장되고, 수화자로부터 감지된 수화 동작이 상기 저장된 손가락과 손의 움직임 정보와 일치할 경우 수화 동작을 식별하고, 이에 매핑된 특정 소리글자를 추출하여 수화를 문자로 번역할 수 있다.Referring to FIG. 6, in sign language, words can express phonetic characters (consonants and vowels) with water, and finger and hand movement information for specific phonetic characters and corresponding sign language operations is mapped and stored as basic translation data, When the sign language motion detected by the sign language user matches the stored finger and hand motion information, the sign language motion may be identified, and a specific phonetic character mapped thereto may be extracted and the sign language may be translated into text.

도 7은 본 발명의 바람직한 실시예에 따른 손몸짓 정보와 비수지 정보가 결합된 형태의 수화를 번역하는 것을 개략적으로 도시한 것이다. 7 schematically illustrates translating sign language in a form in which hand gesture information and non-hand gesture information are combined according to a preferred embodiment of the present invention.

도 7을 참조하면, 손몸짓 정보가 관자놀이에 검지를 갖다대는 동작으로 동일하다 하더라도, 비수지 정보가 입을 닫았을 때는 "생각"이라는 뜻으로 번역되고, 입을 열었을 때는 "왜"라는 뜻으로 번역된다.Referring to FIG. 7 , even if the hand gesture information is the same as a motion of bringing the index finger to the temple, the non-hand gesture information is translated to mean "thought" when the mouth is closed, and translated to mean "why" when the mouth is opened. .

따라서, 손몸짓 정보가 동일하더라도 비수지 정보 차이로 다르게 번역될 수 있으므로 손몸짓 정보와 비수지 정보가 동기화되어 결합되면 정확한 수화의 번역이 가능하다. Therefore, even if the hand gesture information is the same, it can be translated differently due to differences in non-hand gesture information. Therefore, accurate sign language translation is possible when the hand gesture information and non-hand gesture information are synchronized and combined.

그리고 단어가 손몸짓 정보와 비수지 정보가 결합된 형태의 수화로 매핑되어 등록된 경우 감지된 수화동작과 영상데이터의 비수지 정보를 동시에 분석하여 수화를 문자로 번역할 수 있다.In addition, when a word is mapped and registered as a sign language in which hand gesture information and non-handwriting information are combined, the sign language can be translated into text by simultaneously analyzing the detected sign language motion and non-handling information of image data.

이하, 본 발명의 구체적인 모드별 수화 번역 방법에 대하여 살펴보기로 한다.Hereinafter, a sign language translation method for each specific mode of the present invention will be reviewed.

1. 수화학습 모드1. Sign language learning mode

도 8은 본 발명에 바람직한 실시예에 따른 수화학습 모드에 따라 제공되는 화면을 개략적으로 도시한 것이다.8 schematically illustrates a screen provided according to a sign language learning mode according to a preferred embodiment of the present invention.

수화 번역 단말(30)의 모드지원모듈(330)은 유저가 모드를 직접 선택할 수 있는 인터페이스를 제공하고, 수화학습 모드가 선택되면 수화학습모드지원모듈(331)이 수화학습을 위한 인터페이스를 유저에게 제공한다.The mode support module 330 of the sign language translation terminal 30 provides an interface through which the user can directly select a mode, and when the sign language learning mode is selected, the sign language learning mode support module 331 provides an interface for sign language learning to the user. to provide.

그리고 유저 인증을 통해 유저를 식별하고 수화학습 컨텐츠를 유저에게 제공한다.Then, the user is identified through user authentication and sign language learning contents are provided to the user.

여기서, 유저가 최초 접속한 경우 상기 수화학습모드지원모듈(331)은 유저 식별정보(ID/PW)를 설정받아 유저를 등록하고, 등록된 유저인 경우 등록된 유저 식별정보(ID/PW)를 유저를 식별할 수 있다.Here, when a user accesses for the first time, the sign language learning mode support module 331 receives user identification information (ID/PW) and registers the user, and if the user is a registered user, the registered user identification information (ID/PW) Users can be identified.

식별된 유저는 수화 인식 글로브(10)를 착용하고, 카메라(20)를 활성화하여 수화 학습을 준비한다.The identified user wears the sign language recognition glove 10 and activates the camera 20 to prepare for sign language learning.

그리고 상기 수화학습모드지원모듈(331)은 유저가 최초 접속한 경우 유저의 수화 레벨을 평가하기 위한 테스트를 제공할 수 있으며, 테스트에 따라 유저의 수화 레벨을 결정하여 등록하고, 결정된 레벨에 따라 수화 학습 컨텐츠를 유저에게 제공할 수 있다.The sign language learning mode support module 331 may provide a test for evaluating the user's sign language level when the user accesses the first time, determines and registers the user's sign language level according to the test, and registers the sign language level according to the determined level. Learning content may be provided to the user.

상기 수화 학습 컨텐츠는 소리글자, 단어, 문장(문자 언어)과 이들의 수화 동작으로 구성된 레벨 별 수화컨텐츠로 구성될 수 있으며, 수화 레벨에 따라 수화컨텐츠를 추출하여 유저에게 제공할 수 있다. The sign language learning content may be composed of sign language content for each level composed of phonetic characters, words, sentences (text language) and their sign language operations, and the sign language content may be extracted according to the sign language level and provided to the user.

수화컨텐츠는 문자 언어와 이에 대한 모범 수화 동작을 제공하고, 유저의 수화 동작을 입력받아 유저가 올바르게 수화 동작을 수행하는지 여부를 확인하는 수화 숙지 방식과 특정 문자 언어를 제공하고 유저의 수화 동작을 입력받아 유저가 올바르게 수화 동작을 수행하는지 여부를 확인하는 테스트 학습방식으로 제공될 수 있다.Sign language content provides a sign language and exemplary sign language behaviors for it, receives the user's sign language behavior, provides a sign language familiarization method that checks whether the user performs the sign language behavior correctly, provides a specific text language, and inputs the user's sign language behavior It can be provided as a test learning method to check whether the user correctly performs a sign language operation.

유저가 수화 인식 글로브(10)를 착용한 상태에서 수화 동작을 수행하면 수화 인식 글로브(10)내에 실장된 센서 유닛(110)이 수화 동작에 따른 손과 손가락의 위치 및 움직임을 감지하여 센서데이터를 수화 번역 단말(30)로 전송하고, 카메라(20)는 유저의 상반신에 대한 영상을 촬영하여 영상데이터를 수화 번역 단말(30)로 전송한다.When a user performs a sign language operation while wearing the sign language recognition glove 10, the sensor unit 110 mounted in the sign language recognition glove 10 detects the position and movement of the hand and fingers according to the sign language operation and provides sensor data. The image data is transmitted to the sign language translation terminal 30, and the camera 20 captures an image of the user's upper body and transmits the image data to the sign language translation terminal 30.

상기 수화 번역 단말(30)은 상기 센서 데이터와 영상데이터를 동기화하고, 필터링하여 수화 동작 정보을 추출하고, 변역기초데이터DB에 저장된 번역기초데이터와 비교하여 수화 동작 정보에 대응된 문자 언어를 추출하여 수화를 문자 언어로 번역한다.The sign language translation terminal 30 synchronizes and filters the sensor data and image data, extracts sign language operation information, compares it with the translation basic data stored in the translation basic data DB, extracts the text language corresponding to the sign language operation information, and converts the sign language into sign language. translate into written language.

상기 수화학습모드지원모듈(331)은 유저로부터 입력된 수화 동작 정보로부터 번역된 문자 언어가 제공된 수화컨텐츠와 일치하는지 여부를 확인하여 그 결과에 따라 수화 학습을 가이드할 수 있다.The sign language learning mode support module 331 may check whether the text language translated from the sign language operation information input from the user matches the provided sign language content, and guide sign language learning according to the result.

도 9는 본 발명의 바람직한 실시예에 따른 수화학습모드시 상대방의 음성을 문자와 수화로 변환하는 구성을 개략적으로 도시한 것이다.FIG. 9 schematically illustrates a configuration for converting the other party's voice into text and sign language in a sign language learning mode according to a preferred embodiment of the present invention.

또한, 상기 수화학습모드지원모듈(331)은 유저가 음성을 문자와 수화 영상으로 변환하여 제공하도록 지원할 수 있다.In addition, the sign language learning mode support module 331 may support the user to convert voice into text and sign language images and provide them.

보다 구체적으로, 상기 수화학습모드지원모듈(331)은 유저가 수화 동작을 익히고 싶은 경우 수화동작학습 메뉴를 제공하고, 수화동작학습 메뉴가 선택되면, 음성수화변환모듈(334)을 통해 음성을 인식하여 문자와 수화 영상으로 변환하여 제공할 수 있다.More specifically, the sign language learning mode support module 331 provides a sign language motion learning menu when the user wants to learn sign language motions, and when the sign language motion learning menu is selected, the voice sign language conversion module 334 recognizes the voice. It can be converted into text and sign language images and provided.

따라서, 수화를 직접하면서 학습하는 경우 뿐만 아니라, 음성을 수화로 변환하여 수화동작을 익힐 수 있으므로 수화 학습의 효과를 높일 수 있다.Therefore, since sign language operation can be learned by converting voice into sign language as well as when learning sign language directly, the effect of sign language learning can be enhanced.

2. 화상통화 모드2. Video call mode

도 10은 본 발명에 바람직한 실시예에 따른 화상통화 모드에 따라 제공되는 화면을 개략적으로 도시한 것이다.10 schematically illustrates a screen provided according to a video call mode according to a preferred embodiment of the present invention.

수화 번역 단말(30)의 모드지원모듈(330)은 유저가 모드를 직접 선택할 수 있는 인터페이스를 제공하고, 화상통화 모드가 선택되면 화상통화모드지원모듈(332)은 화상 통화를 위한 인터페이스를 유저에게 제공한다.The mode support module 330 of the sign language translation terminal 30 provides an interface for the user to directly select a mode, and when the video call mode is selected, the video call mode support module 332 provides an interface for video call to the user. to provide.

상기 화상통화모드지원모듈(332)은 유저가 특정한 상대방과 화상통화를 연결하고 유저의 화상과 상대방의 화상을 구분하여 디스플레이하도록 지원할 수 있다.The video call mode support module 332 may support a user to connect a video call with a specific counterpart and to distinguish and display the user's image and the other party's image.

여기서, 화상통화모드지원모듈(332)은 상대방이 수화를 사용하는 경우와 음성을 사용하는 경우 2가지 모두를 지원하도록 구성될 수 있다.Here, the video call mode support module 332 may be configured to support both when the other party uses sign language and when the other party uses voice.

상대방이 수화를 사용하는 경우 본 발명에 따른 수화 번역 장치를 구비해야만 상대방의 수화가 번역되어 제공될 수 있다. 그러나, 상대방이 음성을 사용하는 경우에는 통화 접속이 가능한 일반 단말을 사용할 수 있으며, 상기 화상통화모드지원모듈(332)은 음성인식 모듈을 구비하여 상대방의 음성을 문자 또는 수화로 변환하여 표시되도록 지원할 수 있다. When the other party uses sign language, the sign language of the other party can be translated and provided only when the sign language translation device according to the present invention is provided. However, when the other party uses voice, a general terminal capable of call connection can be used, and the video call mode support module 332 includes a voice recognition module to convert the other party's voice into text or sign language and display it. can

도 11은 본 발명의 바람직한 실시예에 따른 화상통화모드시 상대방의 음성을 문자와 수화로 변환하는 구성을 개략적으로 도시한 것이다.11 schematically illustrates a configuration for converting the other party's voice into text and sign language in a video call mode according to a preferred embodiment of the present invention.

상기 화상통화모드지원모듈(332)는 상대방이 음성으로 대화하는 경우 음성을 인식하여 문자를 추출하고, 가상의 캐릭터에 추출된 문자에 대한 수화 동작을 매핑하여 수화와 문자가 디스플레이되도록 지원할 수 있다.The video call mode support module 332 may support display of the sign language and text by recognizing the voice of the other party, extracting text, and mapping a sign language operation for the extracted text to a virtual character.

이를 위해, 상기 화상통화모드지원모듈(332)은 음성 수화 번역 메뉴가 선택되면, 음성수화변환모듈(334)을 통해 음성을 인식하여 문자로 변환하고, 인식된 문자에 대응된 수화동작의 수화영상을 추출하여 상대방 단말에 제공할 수 있다.To this end, when the voice sign language translation menu is selected, the video call mode support module 332 recognizes voice and converts it into text through the voice sign language conversion module 334, and converts a sign language image of a sign language operation corresponding to the recognized text. can be extracted and provided to the counterpart terminal.

따라서, 수화자 간은 물론, 수화자와 비수화자 및 수화자와 수화를 모르는 사람과의 영상 통화를 완벽하게 지원할 수 있다.Therefore, it is possible to perfectly support video calls between sign language recipients as well as between sign language recipients and non-sign language recipients, and between recipients and recipients who do not know sign language.

그리고 상대방이 소지한 통화 단말에 카메라 기능이 없는 경우 상대방의 음성과 음성을 문자로 변환하여 디스플레이 하도록 지원할 수 있다. In addition, when a call terminal possessed by the other party does not have a camera function, the other party's voice and voice may be converted into text and displayed.

유저가 수화 인식 글로브(10)를 착용한 상태에서 수화 동작을 수행하면 수화 인식 글로브(10)내에 실장된 센서 유닛(110)이 수화 동작에 따른 손과 손가락의 위치 및 움직임을 감지하여 센서데이터를 수화 번역 단말(30)로 전송하고, 카메라(20)는 유저의 상반신에 대한 영상을 촬영하여 영상데이터를 수화 번역 단말(30)로 전송한다.When a user performs a sign language operation while wearing the sign language recognition glove 10, the sensor unit 110 mounted in the sign language recognition glove 10 detects the position and movement of the hand and fingers according to the sign language operation and provides sensor data. The image data is transmitted to the sign language translation terminal 30, and the camera 20 captures an image of the user's upper body and transmits the image data to the sign language translation terminal 30.

상기 수화 번역 단말(30)은 상기 센서 데이터와 영상데이터를 동기화하고, 필터링하여 수화 동작 정보을 추출하고, 변역기초데이터DB에 저장된 번역기초데이터와 비교하여 수화 동작 정보에 대응된 문자 언어를 추출하여 수화를 문자 언어로 번역한다.The sign language translation terminal 30 synchronizes and filters the sensor data and image data, extracts sign language operation information, compares it with the translation basic data stored in the translation basic data DB, extracts the text language corresponding to the sign language operation information, and converts the sign language into sign language. translate into written language.

상기와 같이 수화가 문자 언어로 번역되면 유저의 화상정보와 번역된 문자 언어정보를 상대방 단말로 전송한다.When the sign language is translated into text language as described above, the user's image information and the translated text language information are transmitted to the other party's terminal.

따라서, 수화자 간 화상통화는 물론 수화자와 비수화자 간 영상통화 지원이 가능하다.Therefore, it is possible to support video calls between called parties as well as between called parties and non-signed parties.

3. 수화통역 모드3. Sign Language Interpretation Mode

도 12는 본 발명에 바람직한 실시예에 따른 수화통역 모드에 따라 제공되는 화면을 개략적으로 도시한 것이다.12 schematically shows a screen provided according to a sign language interpretation mode according to a preferred embodiment of the present invention.

수화 번역 단말(30)의 모드지원모듈(330)은 유저가 모드를 직접 선택할 수 있는 인터페이스를 제공하고, 수화통역 모드가 선택되면 화상통화모드지원모듈(332)은 수화통역 지원을 위한 인터페이스를 유저에게 제공한다.The mode support module 330 of the sign language translation terminal 30 provides an interface through which the user can directly select a mode, and when the sign language interpretation mode is selected, the video call mode support module 332 provides an interface for supporting sign language interpretation to the user. provide to

상기 수화통역모드지원모듈(333)은 수화자인 유저의 수화 동작을 인식하여 수화를 모르는 제 3자가 알 수 있도록 문자로 번역하여 디스플레이하도록 지원할 수 있다.The sign language interpretation mode support module 333 may recognize sign language motions of a user who is a sign language, translate them into text so that a third party who does not know sign language can understand them, and display them.

따라서, 수화자의 수화 동작이 실시간으로 문자로 번역되어 수화 번역 단말(30)을 통해 디스플레이되므로 제3자가 수화를 몰라도 수화자와 실시간 대화가 가능하다. Therefore, since the sign language operation of the sign language is translated into text in real time and displayed through the sign language translation terminal 30, real-time conversation with the sign language is possible even if a third party does not know the sign language.

도 13은 본 발명의 바람직한 실시예에 따른 수화통역모드시 상대방의 음성을 문자와 수화로 변환하는 구성을 개략적으로 도시한 것이다.FIG. 13 schematically shows a configuration for converting the other party's voice into text and sign language in sign language interpretation mode according to a preferred embodiment of the present invention.

또한, 상기 수화통역모드지원모듈(333)은 유저가 음성을 문자와 수화 영상으로 변환하여 제공하도록 지원할 수 있다.In addition, the sign language interpretation mode support module 333 may support the user to convert voice into text and sign language images and provide them.

보다 구체적으로, 상기 수화통역모드지원모듈(331)은 유저가 수화 동작을 상대방에 전달하고 싶은 경우 음성수화변역 메뉴를 제공하고, 음성수화번역 메뉴가 선택되면, 음성수화변환모듈(334)을 통해 음성을 인식하여 문자와 수화 영상으로 변환하여 수화자에게 제공할 수 있다.More specifically, the sign language interpretation mode support module 331 provides a voice sign language translation menu when the user wants to transmit a sign language operation to the other party, and when the voice sign language translation menu is selected, through the voice sign language conversion module 334. It can recognize the voice and convert it into text and sign language images and provide them to the signer.

따라서, 수화자의 수화는 문자로 변역하고, 상대방의 음성은 문자 및 수화영상으로 변환하여 제공함으로써 수화를 모르는 사람에게 정확한 수화 통역 서비스를 제공할 수 있다.Therefore, by converting the sign language of the sign language into text and converting the voice of the other party into text and sign language images, an accurate sign language interpretation service can be provided to a person who does not know sign language.

이상에서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명의 보호범위는 상기 실시예에 한정되는 것이 아니며, 해당 기술분야의 통상의 지식을 갖는 자라면 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the detailed description of the present invention described above has been described with reference to preferred embodiments of the present invention, the scope of protection of the present invention is not limited to the above embodiments, and those skilled in the art It will be understood that the present invention can be variously modified and changed without departing from the spirit and technical scope.

10 : 수화 인식 글러브 110 : 센서유닛
120 : 진동모듈 130 : 배터리 모듈
20 : 카메라
30 : 수화 번역 단말 310 : 센서데이터관리모듈
320 : 영상데이터관리모듈 330 : 모드설정모듈
340 : 수화번역모듈 350 : 디스플레이모듈10: sign language recognition glove 110: sensor unit
120: vibration module 130: battery module
20 : camera
30: sign language translation terminal 310: sensor data management module
320: image data management module 330: mode setting module
340: sign language translation module 350: display module

Claims (7)

유저가 손에 착용하고 유저의 수화 동작을 인식하는 센서 유닛을 구비한 수화 인식 글러브와;
상기 유저의 상반신을 촬영하여 영상 데이터를 획득하는 카메라와;
상기 센서유닛으로부터 수신된 센서 데이터를 관리하는 센서데이터관리모듈과; 상기 카메라에서 수신된 영상 데이터를 관리하는 영상데이터관리모듈과; 수화번역모드를 설정할 수 있는 모드설정모듈과; 상기 센서 데이터와 영상 데이터를 동기화하여 수화 데이터를 생성하고 상기 수화 데이터에 대응되는 번역된 문장을 포함하는 번역데이터를 생성하는 수화번역모듈과; 상기 생성된 번역데이터를 수화모드에 따라 출력하는 디스플레이모듈을 포함하여 상기 수화 인식 글로브의 센서 유닛으로부터 감지된 센서 데이터와 상기 카메라에서 촬영된 영상데이터를 수신하고, 상기 센서 데이터와 영상데이터를 동기화하고, 상기 동기화된 수화 데이터를 문자로 번역하여 번역된 번역데이터를 설정된 모드에 따라 제공하는 수화 번역 단말을 포함하되;
상기 수화번역모듈은
상기 수신된 센서데이터와 영상데이터를 동기화하여 수화 데이터를 생성하는 동기화모듈과; 상기 동기화된 수화데이터와 센서데이터의 동작을 분석하고 영상데이터의 영상을 분석하여 수화번역에 필요한 필수데이터만 필터링하는 전처리모듈과; 상기 필터링된 필수 데이터와 번역기초데이터DB에 저장된 번역기초데이터 중 일치하는 번역기초데이터를 추출하여 이에 매핑된 단어를 연결하여 번역 문장을 포함하는 번역데이터를 생성하는 번역처리모듈을 포함하고;
상기 번역처리모듈은
필터링된 필수데이터에 포함된 손몸짓 정보와 비수지 정보를 번역기초데이터DB에 저장된 번역기초데이터와 비교하여 번역데이터를 생성하되;
상기 번역기초데이터는 손몸짓 정보만으로 구성된 문자 또는 손몸짓 정보와 몸짓 정보가 결합된 형태의 문자가 매핑된 데이터로 정의되고, 모든 수화 동작에 대한 수화 정보(손몸짓 정보와 비수지 정보)와 이에 대응되는 문자가 번역기초데이터를 형성하여 번역기초데이터DB에 저장되는 것을 특징으로 하는 수화 번역 장치.
a sign language recognition glove equipped with a sensor unit worn by a user and recognizing a user's sign language motion;
a camera for acquiring image data by photographing the upper body of the user;
a sensor data management module for managing the sensor data received from the sensor unit; an image data management module for managing image data received from the camera; a mode setting module capable of setting a sign language translation mode; a sign language translation module generating sign language data by synchronizing the sensor data and image data and generating translation data including a translated sentence corresponding to the sign language data; A display module outputting the generated translation data according to a sign language mode receives sensor data detected by a sensor unit of the sign language recognition glove and image data captured by the camera, and synchronizes the sensor data and image data; , a sign language translation terminal for translating the synchronized sign language data into text and providing the translated translation data according to a set mode;
The sign language translation module
a synchronization module generating sign language data by synchronizing the received sensor data and image data; a pre-processing module for filtering only essential data required for sign language translation by analyzing operations of the synchronized sign language data and sensor data and analyzing images of image data; A translation processing module for generating translation data including translated sentences by extracting matching translation basic data from among the filtered essential data and translation basic data stored in a translation basic data DB and connecting words mapped thereto;
The translation processing module
Generating translation data by comparing hand gesture information and non-hand gesture information included in the filtered essential data with basic translation data stored in the basic translation data DB;
The basic translation data is defined as data mapped with characters consisting only of hand gesture information or characters in the form of a combination of hand gesture information and gesture information, and sign language information (hand gesture information and non-hand gesture information) for all sign language actions and A sign language translation device characterized in that corresponding characters form translation basic data and are stored in a translation basic data DB.
 제 1항에 있어서,
상기 센서 유닛은
상기 수화 인식 글러브 내의 손가락 마디와 끝에 배치되는 휨센서 및 9축 센서, 압력센서 중 적어도 하나를 포함하는 센서모듈과;
상기 센서모듈을 통해 감지된 센서 데이터를 통합하고 통합된 센서 데이터를 상기 수화 번역 단말로 전송하는 통합제어모듈을 포함하고;
상기 통합제어모듈은
상기 센서모듈로부터 수집된 센서 변위 데이터를 통합하여 센서데이터를 생성하는 센서데이터관리모듈와, 상기 생성된 센서데이터를 수화 번역 단말로 전송하는 데이터통신모듈을 포함하는 것을 특징으로 하는 수화 번역 장치.
According to claim 1,
The sensor unit
a sensor module including at least one of a bending sensor, a 9-axis sensor, and a pressure sensor disposed at the knuckles and tips of the sign language recognition glove;
an integrated control module for integrating sensor data sensed through the sensor module and transmitting the integrated sensor data to the sign language translation terminal;
The integrated control module
and a sensor data management module generating sensor data by integrating sensor displacement data collected from the sensor module, and a data communication module transmitting the generated sensor data to a sign language translation terminal.
 삭제delete 삭제delete 제 1항에 있어서,
상기 센서데이터는 손가락과 손의 위치, 움직임과 손가락에 가해지는 압력 정보를 포함하여 손을 들거나 내리고 손목을 뒤집고 비틀고 손가락을 피거나 쥐는 세부 움직임을 실시간으로 감지하고,
상기 영상데이터는 수화자의 상반신 영상을 포함하여 얼굴 표정, 입모양, 머리와 상체의 움직임(몸짓) 정보를 획득하고;
상기 동기화모듈은
상기 센서데이터와 영상데이터를 동기화하여 손과 손가락의 위치, 움직임과 얼굴의 표정, 입모양과 몸짓 변화를 동시에 추출하고;
상기 전처리모듈은
상기 센서데이터 중 손과 손가락의 위치 및 움직임 정보(이하, 손몸짓 정보)를 추적하는데 필요한 데이터를 제외하고 필터링하고, 영상 데이터 중 얼굴의 표정, 입모양과 몸짓 정보(이하, 비수지 정보)를 추적하는데 필요한 데이터를 제외하고 필터링하여 번역에 필요한 최소한의 데이터만 남기고 나머지 데이터를 제거하는 것을 특징으로 하는 수화 번역 장치.
According to claim 1,
The sensor data detects in real time detailed movements such as raising or lowering the hand, flipping and twisting the wrist, opening or squeezing the finger, including information on the position and movement of the finger and hand and the pressure applied to the finger,
The image data acquires facial expression, mouth shape, head and upper body movement (gesture) information including an image of the speaker's upper body;
The synchronization module
synchronizing the sensor data and image data to simultaneously extract positions, movements of hands and fingers, and changes in facial expressions, mouth shapes, and gestures;
The pre-processing module
Among the sensor data, data necessary for tracking hand and finger position and movement information (hereinafter referred to as hand gesture information) is excluded and filtered, and facial expression, mouth shape and gesture information (hereinafter referred to as non-hand gesture information) among image data are filtered. A sign language translation device characterized in that filtering excluding data necessary for tracking leaves only minimum data necessary for translation and removing remaining data.
 삭제delete 제 1항에 있어서,
상기 모드설정모듈은
유저가 수화를 연습하는 경우 유저가 수화를 올바르게 구사하고 있는지 여부를 확인하고 가이드하여 수화를 연습할 수 있는 모드인 수화학습모드를 지원하는 수화학습모드지원모듈과;
수화자가 특정 상대방과 화상통화하는 경우 수화자의 수화를 번역하여 화상정보와 함께 번역된 수화와 문자, 선택적으로 음성을 제공하여 상대방과 수화를 통한 화상통화를 제공하는 모드인 화상통화모드를 지원하는 화상통화모드지원모듈과;
수화자의 수화를 문자, 선택적으로 음성으로 번역하여 수화를 모르는 사람에게 통역을 제공하는 모드인 수화자의 수화에 대한 통역을 지원하는 수화통역모드지원모듈을 포함하는 것을 특징으로 하는 수화 번역 장치.According to claim 1,
The mode setting module
a sign language learning mode support module supporting a sign language learning mode, which is a mode in which the user can practice sign language by checking and guiding whether the user is using sign language correctly when practicing sign language;
Video that supports the video call mode, which is a mode that provides a video call with the other party through sign language by translating the sign language of the called party and providing the translated sign language, text, and optionally voice along with video information when the called party is making a video call with a specific other party a call mode support module;
A sign language translation apparatus comprising a sign language interpretation mode support module supporting interpretation of a sign language of a sign language, which is a mode in which sign language of a sign language is translated into text and optionally voice to provide interpretation to a person who does not know the sign language.
KR1020210029970A 2021-03-08 2021-03-08 Device For Translating Sign Language KR102529798B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210029970A KR102529798B1 (en) 2021-03-08 2021-03-08 Device For Translating Sign Language

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210029970A KR102529798B1 (en) 2021-03-08 2021-03-08 Device For Translating Sign Language

Publications (2)

Publication Number Publication Date
KR20220126305A KR20220126305A (en) 2022-09-16
KR102529798B1 true KR102529798B1 (en) 2023-05-11

Family

ID=83445296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210029970A KR102529798B1 (en) 2021-03-08 2021-03-08 Device For Translating Sign Language

Country Status (1)

Country Link
KR (1) KR102529798B1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3345070B2 (en) * 1993-02-02 2002-11-18 株式会社日立製作所 Sign language interpreting apparatus and method
WO1997008895A1 (en) * 1995-08-30 1997-03-06 Hitachi, Ltd. Chirological telephone system
KR100549994B1 (en) * 2003-10-01 2006-02-08 학교법인 포항공과대학교 Finger language recognition method and apparatus
KR101869304B1 (en) * 2016-10-21 2018-06-20 주식회사 네오펙트 System, method and program for recognizing sign language
KR20200094570A (en) * 2019-01-30 2020-08-07 한밭대학교 산학협력단 Sign Language Interpretation System Consisting Of Sign Language Gloves And Language Converting Glasses

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2005-0032296호(2005.4.7. 공개) 1부.*
공개특허공보 제10-2018-0044171호(2018.5.2. 공개) 1부.*
국제공개공보 WO97/08895(1997.3.6. 공개) 1부.*

Also Published As

Publication number Publication date
KR20220126305A (en) 2022-09-16

Similar Documents

Publication Publication Date Title
KR101777807B1 (en) Sign language translator, system and method
CN108427910B (en) Deep neural network AR sign language translation learning method, client and server
US20140129207A1 (en) Augmented Reality Language Translation
US11482134B2 (en) Method, apparatus, and terminal for providing sign language video reflecting appearance of conversation partner
CN109558788B (en) Silence voice input identification method, computing device and computer readable medium
KR102174922B1 (en) Interactive sign language-voice translation apparatus and voice-sign language translation apparatus reflecting user emotion and intention
WO2017195775A1 (en) Sign language conversation assistance system
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
KR102037789B1 (en) Sign language translation system using robot
KR102529798B1 (en) Device For Translating Sign Language
Patwary et al. Speaking system for deaf and mute people with flex sensors
JP2007142957A (en) Remote interaction method and apparatus
KR102009150B1 (en) Automatic Apparatus and Method for Converting Sign language or Finger Language
KR20210073856A (en) Portable sign languauge translator and sign languauge translation method using the same
KR20200094570A (en) Sign Language Interpretation System Consisting Of Sign Language Gloves And Language Converting Glasses
JP2021051693A (en) Utterance system, utterance recommendation device, utterance recommendation program, and utterance recommendation method
Saleem et al. Full duplex smart system for Deaf & Dumb and normal people
KR101839244B1 (en) Sigh language assisting system expressing feelings
KR101410321B1 (en) Apparatus and method for silent voice recognition and speaking
KR20170029390A (en) Method for voice command mode activation
TWM596382U (en) Sign language image recognition device
KR20160015704A (en) System and method for recognition acquaintance by wearable glass device
CN111310530B (en) Sign language and voice conversion method and device, storage medium and terminal equipment
CN210402846U (en) Sign language translation terminal and sign language translation server
Verma et al. Design and Control of a Robotic Hand for Generating Gestures Based on Indian Sign Language

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right