KR102304608B1 - Sign language interpretation / translation service system using motion recognition apparatus and avatar display - Google Patents

Sign language interpretation / translation service system using motion recognition apparatus and avatar display Download PDF

Info

Publication number
KR102304608B1
KR102304608B1 KR1020180128143A KR20180128143A KR102304608B1 KR 102304608 B1 KR102304608 B1 KR 102304608B1 KR 1020180128143 A KR1020180128143 A KR 1020180128143A KR 20180128143 A KR20180128143 A KR 20180128143A KR 102304608 B1 KR102304608 B1 KR 102304608B1
Authority
KR
South Korea
Prior art keywords
sign language
interpretation
translation
deaf
recognition device
Prior art date
Application number
KR1020180128143A
Other languages
Korean (ko)
Other versions
KR20200046665A (en
Inventor
유승수
Original Assignee
주식회사 멀틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 멀틱스 filed Critical 주식회사 멀틱스
Priority to KR1020180128143A priority Critical patent/KR102304608B1/en
Publication of KR20200046665A publication Critical patent/KR20200046665A/en
Application granted granted Critical
Publication of KR102304608B1 publication Critical patent/KR102304608B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

본 발명은 농인에게 동작인식 센서들이 부착된 장갑형태의 수어인식장치를 착용하도록 하거나 농인들의 손모양에 의한 수어를 인식하는 동작인식 센서를 통해 농인들의 수어를 통역하여 아바타 형태로 디스플레이 장치에 표현하고, 일반인이나 민원 담당자의 답변을 아바타 형태의 인물을 손을 통해 디스플레이 장치에서 농인에게 디스플레이하도록 하여 농인과 일반인이나 민원담당자간 원할한 수어 통역 및 번역 서비스가 가능한 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에 관한 것으로, 게시판(홈페이지)이 선택되거나, 텍스트를 입력하면 수어를 애니메이션으로 구성하여 아바타로 재생하는 수어 번역 시스템; 수어를 못하는 일반인이 텍스트를 입력하면 아바타 에니메이션을 통해 디스플레이하고, 농인의 손가락 움직임에 대하여 이를 텍스트로 전환하여 디스플레이하는 수어 통역 시스템; 상기 수어 번역 시스템과 수어 통역 시스템의 품질 향상에 이용되는 수어 통역/번역 서버; 상기 수어 번역 시스템과 수어 통역 시스템의 수어 번역과 통역에 필요한 각종 데이터를 제공하는 데이터베이스; 및 농인이 손에 착용하는 것으로, 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서로 구성되어 농인이 손에 착용한 후 수어를 구사하면 상기 수어 통역 시스템에서 해당 동작을 인식하여 텍스트로 통역될 수 있도록 하는 동작인식장치;를 포함하여 구성된다.The present invention allows the deaf to wear a sign language recognition device in the form of a glove to which motion recognition sensors are attached, or interprets the sign language of the deaf through a gesture recognition sensor that recognizes sign language by the hand shape of the deaf and expresses it on a display device in the form of an avatar. , Sign language interpretation using an avatar and a motion recognition device that enables smooth sign language interpretation and translation services between the deaf and the general public or civil servants by displaying an avatar-shaped person to the deaf person on the display device through the hands of the public or the person in charge of civil affairs A translation service system, comprising: a sign language translation system configured to form an animation into an avatar when a bulletin board (homepage) is selected or text is input; a sign language interpreting system for displaying text through an avatar animation when a non-sign language person inputs text, and converting the motion of the deaf's fingers into text for display; a sign language interpretation/translation server used to improve the quality of the sign language translation system and the sign language interpretation system; a database for providing various data necessary for sign language translation and interpretation by the sign language translation system and the sign language interpretation system; and a plurality of motion recognition sensors that the deaf person wears on their hands and recognizes hand gestures with built-in sensors. It is configured to include; a motion recognition device that enables interpretation.

Description

동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템{Sign language interpretation / translation service system using motion recognition apparatus and avatar display}Sign language interpretation / translation service system using motion recognition apparatus and avatar display}

본 발명은 한국수화언어(이하, 한국수어) 통역/번역 서비스에 관한 것으로, 더욱 상세하게는 동작인식(Motion Recognition)장치를 통해 입력된 한국수어의 동작을 한국어로 변환하여 청인에게 제공하고 또한 청인이 문장이나 단어로 표현하는 한국어를 한국수어로 변환하여 농인이 이해할 수 있는 3D 아바타의 디스플레이를 통해 제공하는 한국수어 통역/번역 서비스 시스템에 관한 것이다.The present invention relates to a Korean sign language language (hereinafter referred to as Korean sign language) interpretation/translation service, and more particularly, to a Korean sign language motion input through a motion recognition device is converted into Korean and provided to a hearing person. It relates to a Korean sign language interpretation/translation service system that converts Korean expressed in sentences or words into Korean sign language and provides it through a display of a 3D avatar that can be understood by the deaf.

한국수어는 손의 모양과 움직임, 몸동작 및 표정 등으로 표현하는 농인의 의사전달 방법이다. 그러나 대부분의 청인들은 한국수어를 이해하지 못하기 때문에 농인과 의사 소통을 하기 위해서는 통역사가 필요하다. 그러나, 통역사의 수가 절대적으로 부족하기 때문에 농인들이 일상 생활에서 상시적인 통역사의 도움을 받는다는 것은 현실적으로 많은 어려움이 존재한다.Korean sign language is a communication method for the deaf who expresses hand shapes and movements, body movements, and facial expressions. However, most hearing people do not understand Korean sign language, so an interpreter is needed to communicate with the deaf. However, since the number of interpreters is absolutely insufficient, it is practically difficult for the deaf to receive regular help from interpreters in their daily life.

또한, 한국수어는 손의 모양과 움직임을 이용하는 의사 표시 방법일 뿐 아니라 농인들이 이해하는 고유의 언어이다. 농인에게 국어, 영어 등 청인이 사용하는 언어는 외국어와 마찬가지이기 때문에, 신문, 웹페이지 등 시각적인 문자로 내용을 전달하는 매체일지라도 농인들이 읽고 이해하기 어려운 점이 있다.In addition, Korean sign language is not only a method of expressing intentions using the shape and movement of the hand, but also a unique language understood by the deaf. Since the languages used by hearing people, such as Korean and English for the deaf, are the same as foreign languages, it is difficult for the deaf to read and understand even media that convey content through visual text such as newspapers and web pages.

다시 말하면 농인이 의사소통을 위해서 사용할 수 있는 수단은 문자와 한국수어를 들 수 있다. 하지만 소리를 듣는 능력이 떨어지는 농인은 소리를 표현하는 문자를 이해하는 것이 매우 어렵기 때문에 문자를 읽고 그 의미를 이해(해독)하는 능력도 떨어진다. 통상적으로 농인이 정상인에 비하여 독해능력 향상 속도가 1/3 수준에 불과한 것으로 보고되어 있다.In other words, the means that the deaf can use for communication are letters and Korean sign language. However, the deaf person, who has poor hearing ability, has a very difficult time understanding the text that expresses the sound, so the ability to read and understand (decipher) the meaning of the text is also reduced. In general, it is reported that the speed of improvement in reading comprehension is only 1/3 of that of the deaf compared to the normal person.

즉, 농인에게 한국수어는 문자보다 강력한 의사소통수단 및 정보전달수단이다. 특히 선천적인 농인의 경우 농인을 위한 한국어 교육을 별도로 받지 않으면 한글의 읽기 및 의미해독에 큰 어려움이 있기 때문에 한국수어는 의사소통에 더욱 중요한 수단이 된다.In other words, for the deaf, Korean sign language is a more powerful means of communication and information delivery than text. In particular, in the case of congenital deaf people, if they do not receive a separate Korean language education for the deaf, Korean sign language becomes a more important means of communication because they have great difficulties in reading and deciphering the meaning of Hangul.

오늘날 컴퓨터나 스마트폰의 보급 및 인터넷의 사용이 보편화 됨에 따라 청인들은 온라인을 이용하여 인터넷 뱅킹, e-러닝, 민원업무 해결 등 다양한 서비스를 선택할 수 있고 이를 통해 많은 정보를 습득할 수 있지만, 문자로 표현된 온라인상의 정보의 해독이 어려운 농인들은 청인에 비해 정보의 접근 및 취득에 큰 차별을 느낄 수 있다.Today, as computers and smart phones are disseminated and the use of the Internet becomes common, hearing people can choose various services such as Internet banking, e-learning, and civil affairs resolution using online, and through this, they can acquire a lot of information, but Deaf people, who have difficulty in deciphering the expressed online information, may feel a big difference in access and acquisition of information compared to hearing people.

최근 이에 따라 모든 공공기관 및 민간 웹사이트의 운영주체는 농인 등 취약계층이 웹사이트를 통하여 원하는 서비스를 이용할 수 있도록 이른바 웹 접근성(web accessibility)을 높이고, 이를 의무적으로 준수하여야 한다.As a result, all public institutions and private website operators must increase the so-called web accessibility and obligately comply with it so that the vulnerable, such as the deaf, can use the desired services through the website.

즉, 웹사이트에서의 정보전달은 대부분 음성과 문자로 표현되는 말과 글로 이루어져서 수어를 주로 사용하는 농인의 교육/학습권, 노동권, 문화향유권, 정보접근권 등을 제한하고, 이러한 제한은 농인들이 사회에서 청인처럼 활동하는 것을 어렵게 하므로 말과 글로 표현된 정보를 수어로 바꾸어 표현 및 전달하여야 한다.In other words, information delivery on the website consists mostly of speech and text expressed in voice and text, which limits the education/learning rights, labor rights, cultural enjoyment rights, and information access rights of the deaf who mainly use sign language. Since it makes it difficult to act like a hearing person, information expressed in spoken and written words must be expressed and delivered in sign language.

한편, 농인의 웹 접근성을 보장할 수 있는 콘텐츠를 웹 페이지 제작자가 만들기 위해서는 한국어문장을 수어로 번역하는 시스템이 필요하다.On the other hand, in order for web page creators to create content that can guarantee web accessibility for the deaf, a system that translates Korean sentences into sign language is needed.

대한민국 등록특허공보 제10-1104777호의 "수어 애니메이션 생성을 위한 시스템 및 방법"에서는 수어 생성 엔진이 3D로 된 아바타 애니메이션을 랜더링(rendering)하기 때문에 그래픽 카드 등에 대한 종속성이 있어서 전용 하드웨어 및 소프트웨어를 갖추어야만 하고, 웹 페이지 제작자가 수어를 직접 습득하거나 수어 통역사의 도움을 받아야만 하는 등 물리적 및 현실적인 한계가 있을 수밖에 없다는 문제가 있었다.In "System and method for generating sign language animation" of Korean Patent Publication No. 10-1104777, since the sign language generating engine renders 3D avatar animation, there is a dependency on the graphic card, etc., so it is necessary to have dedicated hardware and software. In addition, there was a problem in that there were physical and practical limitations, such as the need for web page creators to learn sign language directly or to get help from a sign language interpreter.

또한 대한민국 공개특허 10-2015-0102148호의 "3D 아바타를 활용한 웹 콘텐츠 기반의 수어 통역 시스템 및 방법"에서는 웹 페이지 제작자가 수어 통역사나 별도의 전용 하드웨어 및 소프트웨어를 구축할 필요 없이 청각, 언어장애인용 수어 웹페이지를 용이하게 제작할 수 있고, 아울러 청각·언어장애인이 인터넷 웹 페이지를 편리하게 이용할 수 있도록 하고 있으나, 이는 단지 청각, 언어장애인이 웹 페이지를 편리하게 이용하는 데만 한정되어 있을 뿐, 청각, 언어 장애인이 민원창구와 같은 현장에 방문했을 경우에는 민원담당자가 청인인 경우 별도의 수어 통역사의 도움을 여전히 받아야 한다는 문제점은 해결하지 못하고 있는 실정이다.In addition, in "Web content-based sign language interpretation system and method using 3D avatar" of Korean Patent Application Laid-Open No. 10-2015-0102148, the web page creator does not need to build a sign language interpreter or separate dedicated hardware and software for hearing and speech-impaired users. Sign language webpages can be easily created and Internet webpages can be conveniently used by the hearing and speech impaired, but this is only limited to the convenient use of webpages by the hearing and speech impaired. In case the disabled person visits the same site as the civil complaint window, the problem that a separate sign language interpreter is still needed if the person in charge of civil complaints is a hearing person has not been solved.

그러므로, 수어를 제1언어로 사용하는 농인은 공공기관 정보에 대한 접근 및 취득이 어렵기 때문에 홈페이지 정보를 수어로 번역하여 제공하는 체계를 개발하여 정보취득 차별화를 해소할 필요가 있고, 또한 공공기관은 방문하는 농인을 위하여 의무적으로 통역사를 배정, 행정 서비스를 제공하여야 하지만 통역사 부족 등의 이유로 그 효과는 미미한 상태이므로, 전용 민원창구를 구축, 농인들이 수어로 의사를 전달하면 이를 통역하여 답변을 즉시 전달할 수 있는 ICT기반의 통역 시스템의 개발이 필요하다. Therefore, since it is difficult for the deaf who uses sign language as their first language to access and acquire information from public institutions, it is necessary to develop a system that translates and provides website information into sign language to solve the differentiation in information acquisition, and also public institutions must assign an interpreter and provide administrative services for the visiting deaf, but the effect is insignificant due to the lack of interpreters. It is necessary to develop an ICT-based interpretation system that can deliver

특허문헌 1. 대한민국 등록특허공보 제10-1104777호 - 수어 애니메이션 생성을 위한 시스템 및 방법Patent Document 1. Republic of Korea Patent Publication No. 10-1104777 - System and method for generating sign language animation 특허문헌 2. 대한민국 공개특허 10-2015-0102148호 - 3D 아바타를 활용한 웹 콘텐츠 기반의 수어 통역 시스템 및 방법Patent Document 2. Republic of Korea Patent Publication No. 10-2015-0102148 - Web content-based sign language interpretation system and method using 3D avatar

따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 공공기관 민원창구를 방문한 농인은 센서들이 부착된 장갑형태의 동작인식 장치를 착용, 민원내용을 수어를 입력하면 한국수어 통번역 시스템에서는 입력된 농인의 수어를 한국어로 변환하여 민원담당자에게 전달한다. Therefore, the present invention is to solve all the disadvantages and problems of the prior art as described above, and a deaf person who visits a civil complaint window at a public institution wears a gesture recognition device in the form of a glove with sensors attached to it, The sign language interpretation and translation system converts the deaf sign language input into Korean and delivers it to the person in charge of civil affairs.

민원담당자는 전달받은 농인의 민원에 대한 답변을 한국어로 입력하게 되고 이는 한국수어 통번역 시스템을 통해 다시 한국수어로 변환 되어 출력장치를 통해 아바타로 구연된다. The person in charge of civil affairs inputs the received response to the deaf's complaint in Korean, which is converted back into Korean sign language through the Korean sign language interpretation and translation system, and is spoken as an avatar through an output device.

본 발명의 목적은 농인과 일반인이나 민원담당자 등 청인과의 원할한 의사소통이 가능하게 하는 동작인식장치와 아바타를 이용한 한국수어 통역/번역 서비스 시스템을 제공하는데 그 목적이 있다.It is an object of the present invention to provide a Korean sign language interpretation/translation service system using an avatar and a motion recognition device that enables smooth communication between the deaf and hearing people such as the general public or civil servants.

상기한 목적을 달성하기 위하여 본 발명의 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템은 한국어로 표현된 게시판(홈페이지)을 선택하거나, 한국어로 텍스트를 입력하면 이를 수어로 변환하고 변환된 수어를 애니메이션으로 구성하여 아바타로 재생하는 수어 번역 시스템; 공공기관 민원상담 창구를 방문한 농인이 표현한 수어를 한국어로 변환하여 민원담당자에게 출력해주는 수어 통역 시스템; 상기 수어 번역 시스템과 수어 통역 시스템의 품질 향상에 이용되는 수어 통역/번역 서버; 상기 수어 번역 시스템과 수어 통역 시스템의 수어 번역과 통역에 필요한 각종 데이터를 제공하는 데이터베이스; 및 농인이 손에 착용하는 것으로, 내장된 다수의 센서에서 손동작의 움직임을 인식하여 농인이 수어를 표현하면 상기 수어 통역 시스템에서 해당 동작을 인식하여 텍스트로 통역될 수 있도록 하는 동작인식장치;를 포함하여 구성됨을 특징으로 한다.In order to achieve the above object, the sign language interpretation/translation service system using the gesture recognition device and the avatar of the present invention selects a bulletin board (homepage) expressed in Korean or inputs text in Korean, converts it into sign language and converts the converted sign language A sign language translation system that consists of animations and plays as avatars; a sign language interpretation system that converts the sign language expressed by the deaf who visited the civil affairs consultation window of a public institution into Korean and outputs it to the person in charge of civil affairs; a sign language interpretation/translation server used to improve the quality of the sign language translation system and the sign language interpretation system; a database for providing various data necessary for sign language translation and interpretation by the sign language translation system and the sign language interpretation system; and a motion recognition device worn by the deaf on their hands, which recognizes the movement of hand gestures from a plurality of built-in sensors, and when the deaf expresses sign language, the sign language interpretation system recognizes the corresponding movement and translates it into text; includes; It is characterized in that it is composed.

본 발명에 의하면 다음과 같은 효과가 있다.According to the present invention, the following effects are obtained.

첫째, 농인이 센서들이 부착된 장갑형태의 동작인식장치를 착용하고 수어를 구현하면 한국수어 통번역 시스템에서는 수어의 인식결과를 한국어로 변환하여 디스플레이 장치에 출력하여 민원담당자에게 제공하고, 농인의 민원에 대한 민원 담당자의 답변 또한 한국수어 통번역 시스템을 통해 수어로 변환되어 아바타 형태의 인물로 출력 장치에서 농인에게 수어로 디스플레이하도록 하여 농인과 일반인이나 민원담당자간 원할한 수어 통역 및 번역 서비스 제공이 가능하다.First, when a deaf person wears a glove-type gesture recognition device with sensors attached and implements sign language, the Korean sign language interpretation and translation system converts the recognition result of sign language into Korean, outputs it to the display device, and provides it to the civil affairs officer and responds to the complaints of the deaf. The response of the person in charge of civil complaints for Korea is also converted into sign language through the Korean sign language interpretation and translation system and displayed as an avatar-type person on the output device in sign language to provide a smooth sign language interpretation and translation service between the deaf and the general public or civil servants.

둘째, 수어를 제1언어로 사용하는 농인은 공공기관 정보에 대한 접근 및 취득이 용이해지고, 공공기관은 물론 일반기관의 홈페이지 정보를 수어로 번역하여 정보취득 차별화를 해소할 수 있다.Second, deaf people who use sign language as their first language can easily access and acquire information from public institutions, and can resolve information acquisition differentiation by translating website information of public institutions as well as general institutions into sign language.

셋째, 공공기관은 방문하는 농인을 위하여 의무적으로 통역사를 배정, 행정 서비스를 제공하는데, 농인들을 위한 전용 민원창구를 구축, 농인들이 수어로 의사를 전달하면 이를 통역한 답변을 즉시 전달할 수 있다. Third, public institutions are obliged to assign interpreters and provide administrative services for the deaf.

넷째, 농인 전문 번역사들이 많지 않은 지방 관공서(경찰서, 파출도, 동사무소 등)의 경우 민원인들의 고충을 보다 많이 해결할 수 있다.Fourth, in the case of local government offices (police stations, police stations, dong offices, etc.) where there are not many translators specialized for the deaf, it is possible to solve more complaints of complaints.

도 1은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 번역 시스템을 설명하기 위한 도면이다.
도 3은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 한국어→수어 변환을 위한 형태소 분석 엔진을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 통역 시스템을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 농인의 수어 동작 수신을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템에서 농인의 수어 동작 분석을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 민원관리 서비스를 설명하기 위한 도면이다.
도 9는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.
도 10은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통역/번역 서버에서의 품질관리를 설명하기 위한 도면이다.
도 11은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 단어, 수어 동작 등록 관리의 실시예를 설명하기 위한 도면이다.
도 12는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 영상, 동영상 오류 등록 관리의 실시예를 설명하기 위한 도면이다.
도 13은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 동작 로그 및 통계 관리 등록의 실시예를 설명하기 위한 도면이다.
도 14는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 서비스 모니터링 실시 예를 설명하기 위한 도면이다.
도 15는 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시예를 설명하기 위한 블록 구성도이다.
도 16은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제2실시예를 설명하기 위한 블록 구성도이다.
도 17은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통·번역 서버의 실시 예를 설명하기 위한 블록 구성도이다.1 is a diagram for explaining a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
2 is a diagram for explaining a sign language translation system of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
3 is a diagram for explaining a morpheme analysis engine for converting Korean to sign language in a sign language interpretation/translation service system using a gesture recognition device and an avatar according to the present invention.
4 is a diagram for explaining a 3D avatar sign language image management service of a sign language interpretation/translation service system using a gesture recognition device and an avatar according to the present invention.
5 is a diagram for explaining an interpretation system of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
6 is a view for explaining the reception of sign language gestures by the deaf in the sign language interpretation/translation service system using the gesture recognition device and the avatar according to the present invention.
7 is a diagram for explaining the analysis of sign language motions of the deaf in the sign language interpretation/translation service system using the motion recognition device and the avatar according to the present invention.
8 is a diagram for explaining a civil complaint management service of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
9 is a diagram for explaining a 3D avatar sign language image management service of a sign language interpretation/translation service system using a gesture recognition device and an avatar according to the present invention.
10 is a diagram for explaining quality management in a sign language interpretation/translation server of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
11 is a diagram for explaining an embodiment of word and sign language gesture registration management of a sign language interpretation/translation service system using a gesture recognition device and an avatar according to the present invention.
12 is a view for explaining an embodiment of the sign language image and video error registration management of the sign language interpretation/translation service system using the gesture recognition device and the avatar according to the present invention.
13 is a diagram for explaining an embodiment of registering an operation log and statistics management of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
14 is a diagram for explaining an embodiment of a service monitoring of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
15 is a block diagram for explaining a first embodiment of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
16 is a block diagram illustrating a second embodiment of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.
17 is a block diagram for explaining an embodiment of a sign language interpretation/translation server of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.

본 발명의 바람직한 실시 예를 첨부된 도면에 의하여 상세히 설명하면 다음과 같다.A preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings as follows.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며 이 경우는 해당되는 발명의 설명부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀두고자 한다. 또한 실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다. In addition, the terms used in the present invention have been selected as widely used general terms as possible, but in certain cases, there are also terms arbitrarily selected by the applicant. It is intended to clarify that the present invention should be understood as the meaning of the term, not the name. In addition, in describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present invention pertains and are not directly related to the present invention will be omitted. This is to more clearly convey the gist of the present invention without obscuring the gist of the present invention by omitting unnecessary description.

본 발명에 따른 수어 통역/번역 서비스 시스템은 수어를 제1언어로 사용하는 농인이 공공기관 정보에 대한 접근 및 취득이 어렵기 때문에 홈페이지 정보를 수어로 번역하여 제공하는 체계를 개발하여 정보취득 차별화를 해소함은 물론, 공공기관을 방문하는 농인을 위하여 전용 민원창구를 구축, 농인들이 수어로 의사를 전달하면 이를 통역하여 답변을 즉시 전달할 수 있는 ICT기반의 통역 시스템에 관한 것이다. In the sign language interpretation/translation service system according to the present invention, it is difficult for the deaf who uses sign language as a first language to access and acquire information from public institutions. It is related to an ICT-based interpretation system that not only solves the problem, but also establishes an exclusive civil complaint window for the deaf visiting public institutions, interprets them when they communicate in sign language, and delivers answers immediately.

이를 위하여 기본적으로 수어 번역 시스템, 수어 통역 시스템 및 수어 DB의 구축이 필수적이다.For this purpose, it is basically essential to construct a sign language translation system, a sign language interpretation system, and a sign language DB.

여기서, 수어 번역 시스템은 형태소 분석 엔진을 활용 한국어 단어를 의미가 통하는 수어로 도출하는 번역 프로세스와, 도출된 수어를 3D 동작 애니메이션 표현 프로세스 및 3D 동작애니메이션으로 표현된 영상을 사용자가 재생할 수 있는 UI가 필요하다.Here, the sign language translation system uses a morpheme analysis engine to derive a translation process for deriving a Korean word into a sign language with meaning, a 3D motion animation expression process for the derived sign language, and a 3D motion animation UI that allows a user to play back images necessary.

또한 수어 통역 시스템은, 농인의 수어를 인식 가능한 센서식 모션 캡쳐 프로세스와, 인식한 농인의 수어를 기 구축된 수어 DB와 비교, 한국어로 변환하여 민원 담당자에게 전달하는 통역 프로세스 개발이 필요하다.In addition, for the sign language interpretation system, it is necessary to develop a sensor-type motion capture process that can recognize the sign language of the deaf, and an interpretation process that compares the recognized sign language with an established sign language DB, converts it into Korean, and delivers it to the person in charge of civil affairs.

도 1은 본 발명에 따른 수어 통역/번역 서비스를 설명하기 위한 도면이고, 도 2는 본 발명에 따른 수어 통역/번역 서비스의 홈페이지 번역 시스템의 실시 예를 나타낸 도면이다.1 is a diagram for explaining a sign language interpretation/translation service according to the present invention, and FIG. 2 is a diagram showing an embodiment of a home page translation system for a sign language interpretation/translation service according to the present invention.

본 발명에 따른 수어 통역/번역 서비스 시스템은 도 1 내지 도 2에 나타낸 바와 같이, 각각 독립된 통역과 번역 두 개의 어플리케이션인 수어 번역 시스템(100), 수어 통역 시스템(200)과 두 어플리케이션을 지원하기 위한 서버인 수어 통역/번역 서버(300), 데이터베이스(400) 및 동작인식장치(500)로 구성된다.As shown in FIGS. 1 and 2, the sign language interpretation/translation service system according to the present invention is a sign language translation system 100, a sign language interpretation system 200, which are two independent applications for interpretation and translation, respectively. The server is composed of a sign language interpretation/translation server 300 , a database 400 , and a motion recognition device 500 .

여기서, 수어 번역 시스템(홈페이지 번역 서비스)(100)과 수어 통역 시스템(200)은 미리 정의된 API를 통해 번역과 통역에 필요한 데이터베이스(DB)(400)에 접근하거나 각종 외부 접속 사이트(예를 들면, 대덕구 홈페이지) DB에 접근할 수 있도록 구성된다.Here, the sign language translation system (website translation service) 100 and the sign language interpretation system 200 access the database (DB) 400 necessary for translation and interpretation through a predefined API, or access various external access sites (for example, , Daedeok-gu homepage) is configured to access DB.

여기서 수어 번역 시스템(100)에서는 공공기관 홈페이지를 상시적으로 정보가 변하지 않는 웹페이지 부분과 정보의 변화가 큰 웹게시판 부분으로 구분하고, 공공기관의 담당자가 각 부분의 정보를 농인이 이해하기 쉬운 한국어로 요약 입력하면 이를 수어로 번역하는 요약분석 엔진(게시판 요약 입력)과 엔진에서 도출된 수어를 수어동작 DB를 참조하여 연속되는 수어(수화)영상을 생성하고 저장하는 수어 영상 생성부(수화영상 서비스)로 구성될 수 있다.Here, in the sign language translation system 100, the public institution homepage is divided into a web page part where information does not change at all times and a web bulletin board part with a large change in information, and the person in charge of the public institution can easily understand the information of each part for the deaf. A summary analysis engine that translates a summary input into sign language (input summary input on the bulletin board) and a sign language image generator (sign image) that generates and stores continuous sign language (sign language) images by referring to the sign language operation DB service) can be configured.

그리고 수어 통역 시스템(200)은 민원창구를 방문한 농인이 민원담당자와 대화를 통한 즉시적인 의사소통을 위한 시스템으로, 기준점 초기화 요청부, 동작모방부, 수어동작 분석 모듈인 통역 요청부, 한국어를 입력하여 한국어를 수어로 번역하기 위한 번역요청부, 아바타 애니메이션이 저장되어 있는 파일 추출부 및 애니메이션을 구성하고 재생하는 수어 재생부로 구성되는 수어 통역 서비스부(210)와, 동작인식장치(500)의 동작인식 센서를 초기화하는 기준점 초기화부와 기준점 정렬부 및 수어인식 센서의 신호를 해석하는 수어인식센서 신호 해석부로 구성되는 WiFi 신호 해석 엔진부(수화인식장치 신호 해석 엔진)(220)로 구성될 수 있다.In addition, the sign language interpretation system 200 is a system for the deaf who visited the civil complaint window to communicate with the person in charge of civil affairs immediately through dialogue. The operation of the sign language interpretation service unit 210 and the gesture recognition device 500 comprising a translation request unit for translating Korean into sign language, a file extraction unit storing avatar animations, and a sign language reproduction unit composing and playing animations A WiFi signal analysis engine unit (sign language recognition device signal analysis engine) 220 consisting of a reference point initialization unit for initializing the recognition sensor, a reference point alignment unit, and a sign language recognition sensor signal analysis unit for interpreting the signals of the sign language recognition sensor. .

수어 통역/번역 서버(300)는 상기 수어 번역 시스템(100)과 수어 통역 시스템(200)에서 통역 및 번역되는 수어에 대한 데이터를 제공하하도록 입력된 요약문장의 번역 요청을 받고 분석하는 요약분석 API 모듈, 요약된 한국어 문장의 형태소를 분석하는 모듈과 도출된 한국어 형태소에 상응하는 수어 단어를 추출하는 수화동작 DB매핑 모듈로 구성되는 요약분석 엔진부, 추출된 수어단어를 영상으로 만드는 수화영상 생성부 및 동작인식 장치를 착용한 농인의 수어를 인식하여 수어단어를 추출하고 추출된 수어에 상응하는 한국어로 변환하는 수화통역 엔진부로 구성되는 수어 통·번역 시스템(310)과, 수어단어 관리, 수어동작 관리, 관용적 수어관리, 영상관리, 오류리포팅 관리, 동작로그 관리, 통계 관리 및 시스템 상태 모니터링이 포함되는 수어 통·번역 품질관리 시스템(320)으로 구성된다. 이러한 오류 리포팅, 수어영상 관리는 등록, 수정, 삭제 및 조회가 가능하다.The sign language interpretation/translation server 300 receives and analyzes a translation request of a summary sentence input to provide data on sign language interpreted and translated by the sign language translation system 100 and the sign language interpretation system 200 . A summary analysis engine unit consisting of a module, a module for analyzing the morphemes of a summarized Korean sentence, and a sign language DB mapping module for extracting sign language words corresponding to the derived Korean morphemes, and a sign language image generation unit for converting the extracted sign language words into an image And a sign language interpretation/translation system 310 consisting of a sign language interpretation engine unit that recognizes the sign language of the deaf wearing a motion recognition device, extracts sign language words, and converts them into Korean corresponding to the extracted sign language, sign language management, sign language operation It consists of a sign language interpretation/translation quality management system 320 that includes management, idiomatic sign language management, video management, error reporting management, operation log management, statistics management, and system status monitoring. Such error reporting and sign language management can be registered, corrected, deleted, and inquired.

그에 따라 민원담당자가 입력장치를 통해 텍스트를 입력하면 수어 통·번역 서버(300)에서 형태소를 분석하여 수어로 변환이 가능한 한국어를 도출하고 데이터베이스(400)를 참조하여 상응하는 수어를 출력하는 수어 통역 서비스를 제공하며 이때, 도 4에서와 같이 아바타를 애니메이션으로 구성하여 모니터 등을 통해 디스플레이 한다. 이때, 한국어 형태소 분석은 번역을 요청한 텍스트를 수어에 적합한 형태로 분석-변환하여 미리 구축된 DB로부터 수어 3D 애니메이션 영상의 구성과 재생에 필요한 데이터를 불러올 수 있도록 한다. 그리고 DB에는 수어의 동작 단위를 구성하는 수어동작 DB와 수어동작의 시간별 목록이 들어있는 수어 단어DB로 구성할 수 있다.Accordingly, when the civil affairs officer inputs text through the input device, the sign language interpretation/translation server 300 analyzes the morphemes to derive Korean that can be converted into sign language, and refers to the database 400 to output the corresponding sign language interpretation. The service is provided, and at this time, as shown in FIG. 4 , the avatar is configured as an animation and displayed through a monitor or the like. In this case, the Korean morpheme analysis analyzes and transforms the requested text into a form suitable for sign language so that data necessary for the construction and reproduction of sign language 3D animation images can be retrieved from a pre-built DB. In addition, the DB can be composed of a sign language action DB constituting the sign language action unit and a sign language word DB containing a list of sign language actions by time.

데이터베이스(400)는 수어동작을 저장하는 수어 동작 스토리지, 수어영상 스토리지, 수어단어 DB, 수어 동작 DB, 관용적 수어DB, 영상DB, 로그DB 및 통계 DB로 구성된다.The database 400 is composed of sign language action storage, sign language image storage, sign language word DB, sign language action DB, idiomatic sign language DB, image DB, log DB and statistics DB for storing sign language motions.

동작인식장치(500)는 농인이 착용하는 것으로, 공공기관이나 은행 등에서 업무를 보고자 하는 경우 농인이 손에 착용한 후 수어를 구사하면 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서로 구성되어 있다.The gesture recognition device 500 is worn by the deaf, and when the deaf person wears it on his hand and speaks sign language when he/she wants to work at a public institution or bank, the built-in sensor recognizes the movement of the hand gesture. Consists of.

수어 통·번역 시스템(310)은 형태소 분석 엔진(형태소 분석)을 통해 입력된 한국어 품사를 분석하여, 의미를 포함하는 단어의 원형과 고유명사, 시제, 어미, 접사 등으로 분류한다. 형태소 분석 결과를 활용하여 번역이 가능한 수어 단어와 불가능한 비수어 단어로 분리 한다. 수어로 번역이 가능한 한국어 단어는 기 구축된 수어 동작DB를 참조하여 수어로 변환, 영상으로 생성된다. 공공기관 담당자는 예를 들면 PC를 통해 홈페이지 콘텐츠 중 수어정보 제공이 필요한 것으로 판단되는 웹페이지 및 웹게시판을 선택, 내용을 요약하여 입력한다. 입력 내용은 번역 시스템에서 수어로 번역되고 수어 영상은 해당되는 웹 페이지 및 웹 게시판에 아이콘을 통해 수어영상이 있음을 사용자에게 알리게 된다. 사용자가 해당 아이콘은 선택하면 홈페이지상에 수어 영상을 출력하는 플레이어가 별도의 페이지로 나타나고 이를 통해 사용자는 번역 영상을 확인할 수 있고 영상의 오류가 있을 시에는 오류를 등록하고 수정을 요청할 수 있다. 또한 어플리케이션의 품질개선을 위해 관리자는 추출된 동영상 파일을 웹 서버에 업로드하여 오류를 리포팅 하거나 관리할 수 있다. 또한 오류보고나 관리의 오용 및 악의적인 이용을 방지하기 위해 해당 홈페이지의 회원 정보를 활용할 수 있다.The sign language interpretation/translation system 310 analyzes the Korean part-of-speech input through the morpheme analysis engine (morpheme analysis), and classifies the words into prototypes, proper nouns, tenses, endings, affixes, and the like of words containing meaning. Using the result of morphological analysis, it is divided into translatable sign language words and non-sign language words that cannot be translated. Korean words that can be translated into sign language are converted into sign language and created as images by referring to the established sign language operation DB. The person in charge of the public institution selects, for example, a web page and a web bulletin board judged to require sign language information provision among homepage contents through a PC, and summarizes the contents. The input contents are translated into sign language by the translation system, and the sign language image is notified to the user that there is a sign language image through an icon on the corresponding web page and web bulletin board. When the user selects the icon, the player that outputs the sign language image appears on the homepage as a separate page, and through this, the user can check the translated image. In addition, in order to improve the quality of the application, the administrator can report or manage errors by uploading the extracted video file to the web server. In addition, in order to prevent the misuse and malicious use of error reporting or management, the member information of the website can be used.

도 3은 본 발명에 따른 수어 통역/번역 서비스 시스템의 형태소 분석 엔진을 설명하기 위한 도면이고, 도 4는 본 발명에 따른 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.3 is a diagram for explaining a morpheme analysis engine of a sign language interpretation/translation service system according to the present invention, and FIG. 4 is a diagram for explaining a 3D avatar sign language image management service of the sign language interpretation/translation service system according to the present invention. .

본 발명에 따른 수어 통역/번역 서비스 시스템의 형태소 분석 엔진은 도 3에 나타낸 바와 같은데, 한국수어 형태소 변환의 프로세스는 문장단위로 입력된 텍스트를 통상적으로 사용되는 형태소 단위로 분류한 후, 복수의 수어 단어와 수어로 표현할 수 없는 비수어 단어로 분리해서 추출한다. 그리고 추출된 단어는 수어 단어 DB에 들어있는 수어 데이터와 매칭되고 비수어 단어는 표현이 가능한 지화 데이터와 매칭된다. 이를 위하여 앞에서와 같이 수어동작 DB와 수어단어 DB를 구축하였다.The morpheme analysis engine of the sign language interpretation/translation service system according to the present invention is as shown in FIG. 3 . The process of morpheme conversion in Korean sign language classifies the text input in sentence units into commonly used morpheme units, and then a plurality of sign language It is extracted by separating it into words and non-sign words that cannot be expressed in sign language. And the extracted word is matched with sign language data contained in the sign word DB, and the non-sign language word is matched with expressible localization data. For this, a sign language DB and sign language DB were constructed as before.

한편 이러한 변환 엔진의 실시 예는 한국어 문장에서 형태소를 분석하여 문장의 단어 및 품사 리스트를 추출한다. Meanwhile, the embodiment of the conversion engine extracts a list of words and parts of speech in a Korean sentence by analyzing morphemes.

또한 부가정보로 동음이의어 사전(DB에 구축)을 이용하여 동음 이의어를 구분할 필요가 있다.In addition, it is necessary to classify homonyms using a homonym dictionary (built in DB) as additional information.

그에 따라 단어의 의미와 정의되고, 품사 리스트와 부가 정보에 따라 추측, 강조 및 시제가 정리된다.Accordingly, the meaning and definition of the word is arranged, and the guess, emphasis, and tense are arranged according to the part-of-speech list and additional information.

그에 따라 수어 영상 관리는 수어번역 어플리케이션이 최종적으로 재생한 포멧의 영상을 일반적으로 통용되는 영상 포멧(mp3, avi)으로 변환한 파일로 업로드하여 아바타 디스플레이를 통해 서비스를 제공할 수 있게 된다. 이때, 관리자는 공공기관 홈페이지로부터 파일을 등록, 삭제, 수정, 조회하는 권한을 받고 이 권한을 통해 필요한 영상을 업로드 하거나 오류를 보고할 수 있다.Accordingly, the sign language image management can provide a service through the avatar display by uploading the image of the format finally reproduced by the sign language translation application into a file converted into a commonly used image format (mp3, avi). At this time, the administrator receives the right to register, delete, modify, and inquire files from the website of the public institution, and through this permission, he can upload necessary images or report errors.

도 5는 본 발명에 따른 수어 통역/번역 서비스 시스템의 통역 시스템을 설명하기 위한 도면이고, 도 6은 본 발명에 따른 수어 통역/번역 서비스 시스템의 농인의 수어 동작 수신을 설명하기 위한 도면이며, 도 7은 본 발명에 따른 수어 통역/번역 서비스 시스템에서 농인의 수어 동작 분석을 설명하기 위한 도면이다.5 is a diagram for explaining an interpretation system of a sign language interpretation/translation service system according to the present invention, and FIG. 6 is a diagram for explaining reception of a sign language operation by a deaf in the sign language interpretation/translation service system according to the present invention, FIG. 7 is a diagram for explaining the sign language behavior analysis of the deaf in the sign language interpretation/translation service system according to the present invention.

본 발명에 따른 수어 통역/번역 서비스 시스템의 통역 시스템은 도 5에 나타낸 바와 같은데, 센서가 장착된 동작인식장치로부터 받아들인 농인의 동작 정보를 바탕으로 미리 구축한 수어 단어DB 및 수어 동작DB와 매칭하여 한국어로 통역하여 주는 것으로, 2분할 화면 출력이 가능한 홀로그램 디스플레이장치를 활용하여 민원담당자와 농인이 각자에게 필요한 화면을 보면서 상호소통이 가능하도록 할 수 있다The interpretation system of the sign language interpretation/translation service system according to the present invention is as shown in FIG. 5, and is matched with the sign language word DB and sign language operation DB built in advance based on the motion information of the deaf received from the sensor-equipped motion recognition device. Therefore, by using a hologram display device that can output a two-split screen, it is possible for the civil affairs officer and the deaf to communicate with each other while looking at the screen they need.

이를 위하여 앞에서 설명한 바와 같은 통역 시스템은 민원인인 농인과 민원담당자인 청인 간 민원현장에서 즉시적인 의사소통에 적합한 것으로 신호해석 엔진과 통역 어플리케이션으로 구분된다. 신호해석엔진은 동작인식장치의 초기화를 위한 기준점 초기화부 및 정렬부 그리고 입력된 센서를 통해 인식된 수어의 동작신호 해석부로 구성되어 있다. 그리고 퉁역 어플리케이션은 해석된 동작신호를 다시 수어로 재현하여 농인에게 보여주는 동작모방 모듈과 입력된 수어 동작을 수화소(수형, 수향, 수위, 수동) 단위로 분석하고 기 구축된 수어 단어와 동작DB를 참조하여 농인이 입력한 수어의 한국어 의미를 추출하는 수화소 분석 모듈, 추출된 한국어를 민원담당자가 확인할 수 있도록 디스플레이장치에 자막을 삽입하고, 민원담당자가 한국어를 입력하면 한국어를 수어로 번역하여 농인이 확인할 수 있는 디스플레이 장치에 애니메이션으로 재생하는 수어 재생/자막 삽입 모듈로 구성된다. To this end, the interpretation system as described above is suitable for immediate communication between the deaf, the complainant, and the hearing person, who is in charge of civil complaints, and is divided into a signal analysis engine and an interpretation application. The signal analysis engine consists of a reference point initialization unit and an alignment unit for initialization of the motion recognition device, and a motion signal analysis unit of sign language recognized through the input sensor. In addition, the interpretation application reproduces the interpreted motion signal in sign language again and analyzes the motion imitation module that shows the deaf and the input sign language motion in units of sign language (number shape, water hyang, water level, manual) unit, and uses the established sign language word and motion DB. A sign language analysis module that extracts the Korean meaning of the sign language input by the deaf by reference, inserts subtitles in the display device so that the civil affairs officer can check the extracted Korean, and translates Korean into sign language when the civil affairs officer enters Korean It consists of a sign language playback/subtitle insertion module that plays an animation on a display device that can be checked.

도 8은 본 발명에 따른 수어 통역/번역 서비스 시스템의 민원관리 서비스를 설명하기 위한 도면이다.8 is a view for explaining a civil complaint management service of the sign language interpretation/translation service system according to the present invention.

본 발명에 따른 수어 통역/번역 서비스 시스템의 민원관리 서비스는 도 8에 나타낸 바와 같이, 수어 통역 어플리케이션을 통해 일어난 대화들은 민원 종료 시 자동으로 수어 통번역 서버(300)에 업로드 된다. 업로드된 내용은 DB(품질관리 DB)에 저장되며 저장된 내용들은 통계관리 서비스 예시에 나타낸 바와 같으며, 관리자들이 웹 페이지를 통해 그 로그나 통계를 열람할 수 있도록 한다.As shown in FIG. 8 , the civil complaint management service of the sign language interpretation/translation service system according to the present invention is automatically uploaded to the sign language interpretation/translation server 300 when the civil complaint is terminated. Uploaded contents are stored in DB (Quality Management DB), and the stored contents are as shown in the example of statistics management service, allowing administrators to view logs and statistics through a web page.

도 9는 본 발명에 따른 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스를 설명하기 위한 도면이다.9 is a diagram for explaining a 3D avatar sign language video management service of the sign language interpretation/translation service system according to the present invention.

본 발명에 따른 수어 통역/번역 서비스 시스템의 3D 아바타 수어 영상 관리 서비스는 도 9에 나타낸 바와 같은데, 수어 영상 관리는 수어 통역 어플리케이션이 최종적으로 재생한 포멧의 영상을 일반적으로 통용되는 영상포멧(mp3, avi)으로 변환한 파일로 업로드하는 것으로 관리자는 홈페이지로부터 파일을 등록, 삭제, 수정, 조회하는 권한을 받고 이 권한을 통해 필요한 영상을 업로드 하거나 오류를 보고하도록 구성된다.The 3D avatar sign language video management service of the sign language interpretation/translation service system according to the present invention is as shown in FIG. 9. The sign language video management uses the video in the format finally reproduced by the sign language interpretation application in a commonly used video format (mp3, avi), the administrator receives the right to register, delete, modify, and inquire the file from the homepage, and through this right is configured to upload the necessary video or report an error.

도 10은 본 발명에 따른 수어 통역/번역 서비스 시스템의 수어 통역/번역 서버에서의 품질 관리를 설명하기 위한 도면이고, 도 11는 본 발명에 따른 수어 통역/번역 서비스 시스템의 단어, 수어 동작 등록 관리의 실시 예를 설명하기 위한 도면이며, 도 12는 본 발명에 따른 수어 통역/번역 서비스 시스템의 동영상 오류 등록 관리 및 수어영상 관리의 실시 예를 설명하기 위한 도면이고, 도 13은 본 발명에 따른 수어 통역/번역 서비스 시스템의 동작 로그 및 통계 관리 등록의 실시 예를 설명하기 위한 도면이다.10 is a diagram for explaining quality management in a sign language interpretation/translation server of the sign language interpretation/translation service system according to the present invention, and FIG. 11 is a sign language interpretation/translation service system according to the present invention. 12 is a diagram for explaining an embodiment of video error registration management and sign language image management of the sign language interpretation/translation service system according to the present invention, and FIG. 13 is a sign language according to the present invention It is a diagram for explaining an embodiment of registering an operation log and statistics management of an interpretation/translation service system.

본 발명에 따른 수어 통역/번역 서비스 시스템의 수어 통역/번역 서버300)에서의 품질관리는 지속적으로 단어DB의 업데이트와 이에 따른 동작단위DB의 업데이트에 따라 더 나은 통-번역 서비스를 제공하기 위한 것으로 이러한 품질관리 시스템(320)은 단어와 수어동작의 관리를 지원하고 실제 사용한 유형을 분석할 수 있는 로그와 이를 한 눈에 확인할 수 있는 통계 관리 기능이 제공되어야 한다.The quality control in the sign language interpretation/translation server 300 of the sign language interpretation/translation service system according to the present invention is to provide a better interpretation-translation service according to the continuous word DB update and the corresponding operation unit DB update. Such a quality management system 320 should support the management of words and sign language, and provide a log that can analyze the type of actual use and a statistical management function that can check it at a glance.

이를 위하여 수어 단어 및 동작 등록 관리, 동영상 오류 리포팅, 수어 영상 관리 및 동작 로그 및 통계 관리를 포함하는 수어 통·번역 품질관리 기능과, 한국수어 통·번역 시스템과 연계되는 시스템 모니터링 및 오류 발생 즉시 원인 분석이 가능한 로그 제공하는 시스템 모니터링 기능 및 일반인/민원 담당자/관리자로 권한 부여와 개인별 등록된 정보 관리(오류리포트, 동영상, 동작로그, 통계 등)를 포함하는 권한 관리로 데이터 보안 강화 기능이 요구된다.For this purpose, sign language interpretation and translation quality management functions including sign language word and action registration management, video error reporting, sign language video management and action log and statistics management, system monitoring linked to the Korean sign language interpretation and translation system, and immediate cause of errors Data security enhancement function is required with system monitoring function that provides log that can be analyzed and authorization management including authorization to the general public / civil affairs officer / administrator and management of registered information for each individual (error report, video, operation log, statistics, etc.) .

이와 같은 기능들을 위하여 도 10에서와 같이, 한국수어 통역시스템(200)으로부터 민원 내용(동작로그, 통계)이 자동 저장과, 한국수어 단어 및 수어 동작 등록 관리, 수어영상 오류 및 수어 동영상 등록 관리, 민원 대화 내용 자동 저장 및 조회 관리 및 한국수어 통·번역 시스템의 서비스 모니터링 기능이 구성(제공)된다.For these functions, as in FIG. 10, civil complaint contents (action log, statistics) are automatically stored from the Korean sign language interpretation system 200, Korean sign language words and sign language operation registration management, sign language error and sign language video registration management, The service monitoring function of the automatic storage and inquiry management of civil complaint conversations and the Korean sign language interpretation and translation system is configured (provided).

또한 단어와 수어 동작의 등록 및 관리를 통해, 활용 범위를 확장하고 검색의 정확도를 향상시킬 수 있다. 이 둘은 도 11에서와 같이 별도의 DB에서 관리되고 업데이트시 즉시 서비스에 반영된다.In addition, through the registration and management of words and sign language actions, it is possible to expand the scope of use and improve the accuracy of the search. These two are managed in a separate DB as shown in FIG. 11 and are immediately reflected in the service when updated.

그리고 관리자가 보고한 오류 영상이나 재활용을 위한 저장한 영상의 관리를 통해 도 12에서와 같이 발생한 오류를 개선하고 사용성을 확장하는 기능을 제공한다.In addition, as shown in FIG. 12 , through the management of the error image reported by the administrator or the image stored for recycling, it provides a function to improve the error and extend the usability.

한편 자동으로 수집된 로그로부터 사용된 단어에 따라 조회하거나 해당 단어별 통계를 도 13에서와 같이 디스플레이한다. 관리자는 이를 통해 단어별 중요도를 파악할 수 있어, 이에 따른 보완의 중요도를 결정할 수 있게 할 수 있다.On the other hand, it is searched according to the words used from the automatically collected log, or statistics for each word are displayed as shown in FIG. 13 . The manager can grasp the importance of each word through this, and can determine the importance of supplementation accordingly.

도 14는 본 발명에 따른 수어 통역/번역 서비스 시스템의 모니터링 실시예를 설명하기 위한 도면이다.14 is a diagram for explaining a monitoring embodiment of a sign language interpretation/translation service system according to the present invention.

본 발명에 따른 수어 통역/번역 서비스 시스템의 모니터링 실시 예는 도 14에 나타낸 바와 같이, 공공기관(예로써, 대덕구청, 주민센터, 보건소)에 비치된 어플리케이션으로부터 해당 시점의 동작상태를 수신 받으며 프로세스 진행 중 병목구간이나 오류지점을 파악할 수 있게 하고, 연결 상태를 빠르게 파악하여 즉각적인 진단 및 조치가 가능하도록 하는 것이 바람직하다.As shown in FIG. 14, the monitoring embodiment of the sign language interpretation/translation service system according to the present invention receives the operation state at the time from the application provided in the public institution (eg, Daedeok-gu office, community center, public health center) and receives the process It is desirable to be able to identify bottlenecks or error points during the process, and to quickly identify the connection status to enable immediate diagnosis and action.

도 15은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시예를 설명하기 위한 블록 구성도이다.15 is a block diagram for explaining a first embodiment of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.

본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시예는 도 15에 나타낸 바와 같이, 수어번역 시스템(100)과, 수어 통역 시스템(200), 동작인식장치(500), 입력장치(600) 및 디스플레이 장치(700)로 구성되는 수어 통·번역 장치(1000)와 수어 통·번역 서버(300)로 구성된다.A first embodiment of a sign language interpretation/translation service system using a gesture recognition device and an avatar according to the present invention is as shown in FIG. 15 , a sign language translation system 100 , a sign language interpretation system 200 , and a gesture recognition device 500 . ), a sign language interpretation/translation device 1000 including an input device 600 and a display device 700 , and a sign language interpretation/translation server 300 .

여기서, 수어 번역 시스템(100)과 수어 통역 시스템(200)은 앞에서도 설명한 바와 같이 미리 정의된 API를 통해 번역과 통역에 필요한 DB(400)에 접근하거나 각종 외부 접속 사이트(예를 들면 대덕구 홈페이지) DB에 접근할 수 있도록 구성된다.Here, the sign language translation system 100 and the sign language interpretation system 200 access the DB 400 necessary for translation and interpretation through a predefined API as described above, or various external access sites (for example, Daedeok-gu homepage). It is configured to access DB.

여기서, 수어 번역 시스템(100)은 사용자가 농인인 경우 게시판(홈페이지)을 선택하거나, 자신이 궁금해하는 내용에 대하여 한국어를 입력하면 수어번역을 요청하는 수어번역 요청부, 수어를 애니메이션으로 구성하여 아바타로 재생하는 수어재생부 및 재생되는 애니메이션이 저장되는 파일 추출부로 구성될 수 있다. 그에 따라 농인은 게시판의 내용을 아바타 애니메이션을 통해 정확히 이해할 수 있고, 자신이 궁금해하는 단어나 문장에 대하여 아바타 에니메이션을 통해 정확한 의미를 이해할 수 있게 된다.Here, the sign language translation system 100 is a sign language translation request unit that requests a sign language translation when the user selects a bulletin board (homepage) if the user is deaf or enters Korean for the content he is curious about, It may be composed of a sign language reproducing unit that plays back and a file extracting unit in which the reproduced animation is stored. Accordingly, the deaf can accurately understand the contents of the bulletin board through the avatar animation and understand the exact meaning of the word or sentence they are curious about through the avatar animation.

그리고 수어 통역 시스템(200)은 수어를 못하는 일반인과 수어를 할 수 있는 농인간 텍스트와 아바타 에니메이션을 통한 내용 전달에 이용하기 적합한 것으로, 기준점 초기화 요청부, 동작모방부, 수어동작 분석 모듈인 통역 요청부, 한국어를 입력하여 한국어를 수어로 번역하기 위한 번역요청부, 아바타 애니메이션이 저장되어 있는 파일추출부 및 애니메이션을 구성하고 재생하는 수어 재생부로 구성되는 수어 통역 서비스부(210)와, 동작인식장치(500)의 기준점을 초기화하는 기준점 초기화부, 기준점을 정렬하는 기준점 정렬부 및 수어인식 신호의 신호를 해석하는 수어인식센서 신호 해석부로 구성되는 블루투스 신호 해석 엔진부(220)로 구성될 수 있다.In addition, the sign language interpretation system 200 is suitable for content delivery through sign language and deaf texts and avatar animations with ordinary people who cannot sign language. A sign language interpretation service unit 210 comprising a part, a translation request unit for translating Korean into sign language by inputting Korean, a file extracting unit storing avatar animations, and a sign language reproducing unit composing and playing back animation; and a motion recognition device It may be composed of a Bluetooth signal analysis engine unit 220 consisting of a reference point initialization unit for initializing the reference point of 500, a reference point alignment unit for aligning the reference points, and a sign language recognition sensor signal analysis unit for interpreting a signal of a sign language recognition signal.

수어 통역/번역 서버(300)는 도 1에서도 설명한 바와 같이 수어동작 매칭 모듈과, 문장 유연화 모듈로 구성되는 한국수어-한국어 변환부와, 형태소 분석, 단어원형 변환 및 고유명사를 추출하는 고유명사 추출부로 구성되는 한국어-한국수어 변환부 및 번역 요청 API로 구성되는 수어 통·번역 시스템(310)과, 동영상 오류 리포팅, 수어영상관리, 단어등록관리, 수어동작 등록관리, 동작 로그 관리, 통계관리, 시스템 상태 모니터링, 통계관리 API 및 동작 로그 관리 API로 구성되는 수어 통·번역 품질관리 시스템(320)으로 구성되어 수어 번역 시스템(100)과 수어 통역 시스템(200)의 품질 향상에 이용된다. As described in FIG. 1, the sign language interpretation/translation server 300 includes a Korean sign language-Korean conversion unit composed of a sign language action matching module and a sentence softening module, morpheme analysis, word circular conversion, and proper noun extraction for extracting proper nouns. A sign language interpretation/translation system 310 consisting of a Korean-Korean sign language conversion unit and translation request API consisting of parts, video error reporting, sign language image management, word registration management, sign language operation registration management, operation log management, statistics management, It consists of a sign language interpretation/translation quality management system 320 consisting of system status monitoring, statistics management API, and operation log management API, and is used to improve the quality of the sign language translation system 100 and the sign language interpretation system 200 .

데이터베이스(400)는 수어동작을 저장하는 수어 동작 스토리지, 수어 통계 DB, 수어단어 DB, 수어 동작 DB 및 품질관리 DB로 구성되어 수어 번역 시스템(100)과 수어 통역 시스템(200)의 수어 번역과 통역에 필요한 각종 데이터를 제공한다.The database 400 is composed of a sign language action storage storing sign language motions, a sign language statistics DB, a sign language word DB, a sign language action DB, and a quality management DB. It provides various data necessary for

동작인식장치(500)는 농인이 착용하는 것으로, 공공기관이나 은행 등에서 업무를 보고자 하는 경우 농인이 손에 착용한 후 수어를 구사하면 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서가 구성되어 수어 통역 시스템(200)에서 해당 동작을 인식하여 일반인(민원담당자)에게 농인의 수어를 번역한다. The gesture recognition device 500 is worn by the deaf, and when the deaf person wears it on his hand and speaks sign language when he/she wants to work at a public institution or bank, there are a number of gesture recognition sensors that recognize the movement of hand gestures from the built-in sensor. The sign language interpretation system 200 recognizes the corresponding operation and translates the sign language of the deaf to the general public (person in charge of civil complaints).

입력장치(600)는 일반인이나 농인이 텍스트를 입력할 수 있는 입력장치로 대표적으로는 키보드일 수 있다.The input device 600 is an input device capable of inputting text by ordinary people or the deaf, and may typically be a keyboard.

디스플레이 장치(700)는 농인과 일반인에게 농인의 수화를 텍스트로 표시하거나, 일반인의 텍스트 입력을 아바타 디스플레이로 디스플레이한다.The display apparatus 700 displays the sign language of the deaf to the deaf and the general public as text or displays the text input of the general public as an avatar display.

한편 이러한 제1실시예에서는 동작인식장치(500)가 수어 통·번역 장치(1000)와 일체로 구성되는 것을 나타내고 있다.Meanwhile, in this first embodiment, the gesture recognition device 500 is integrally configured with the sign language interpretation/translation device 1000 .

도 16은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제2실시예를 설명하기 위한 블록 구성도이다.16 is a block diagram illustrating a second embodiment of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.

본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제2실시예는 도 16에 나타낸 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 제1실시에서와는 달리 동작인식장치(500)가 분리형 형태로 수어 통·번역 장치(1000A)가 구성되는 것으로, 이는 농인이 개별적으로 소지하면서 이용할 수 있는 것을 설명하기 위한 것으로, 다수의 사람이 공용으로 동작인식장치(500)를 이용할 수도 있지만 개별적으로 구비할 수도 있는 것을 나타내고 있다. 이와 같이 동작인식장치(500)를 개별적으로 구비하는 경우 농인들에게 휴대가 가능하며, 해당 농인의 식별(별도의 식별자(ID) 부여)이 가능한 장갑형태의 동작인식장치를 제공하고, 해당 농인의 수어의 특성에 대하여 미리 등록시켜 놓거나, 업데이트하여 해당 농인이 공공기관이나 민간 기관 방문 시 해당 농인의 식별가능한 동작인식 장치를 이용하여 수어를 하는 경우 농인들마다 다를 수 있는 수어 동작에 대한 개별적인 인식이 가능하여 수어 통·번역 오류를 최소화하거나, 해당 농인의 특성에 따른 통역을 할 수 있다.The second embodiment of the sign language interpretation/translation service system using the gesture recognition device and avatar according to the present invention differs from the first embodiment of the sign language interpretation/translation service system using the gesture recognition device and avatar shown in FIG. The sign language interpretation/translation apparatus 1000A is configured in a separate type 500), which is to explain what the deaf person can use while individually possessing it, and a plurality of people may use the gesture recognition device 500 in common. However, it indicates that it may be provided individually. In this way, when the motion recognition device 500 is individually provided, it is portable to the deaf and provides a glove-type motion recognition device that can identify the deaf person (a separate identifier (ID) is given), and If the characteristics of sign language are registered or updated in advance, and when the deaf person visits a public or private institution, he/she uses a sign language to recognize the deaf person's identifiable gesture recognition device, individual recognition of sign language movements that may be different for each deaf person is achieved. It is possible to minimize sign language interpretation and translation errors, or to interpret according to the characteristics of the deaf person.

한편 이러한 동작인식장치(500)는 기본적으로 한 쌍으로 구비되며, 자이로 센서 외에도 각각의 동작인식장치를 개별적으로 식별하기 위한 식별자(RFID 칩 등)이 더 구비될 수 있으며, 기본적인 통신방식으로는 무선(블루투스) 방식을 이용하지만 유무선 겸용으로 구성될 수도 있다.On the other hand, such a motion recognition device 500 is basically provided as a pair, and in addition to the gyro sensor, an identifier (RFID chip, etc.) for individually identifying each motion recognition device may be further provided. (Bluetooth) method is used, but it may be configured for both wired and wireless use.

도 17은 본 발명에 따른 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통·번역 서버의 실시예를 설명하기 위한 블록 구성도이다.17 is a block diagram for explaining an embodiment of a sign language interpretation/translation server of a sign language interpretation/translation service system using a motion recognition device and an avatar according to the present invention.

동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템의 수어 통·번역 서버는 도 17에 나타낸 바와 같이, 수어 통·번역 시스템(310), 수어 통·번역 품질관리 시스템(320), 수어 통·번역 장치 정보 DB(330), 수어 통·번역 장치 담당자 DB(340), 동작인식장치 사용자 정보 및 식별정보 DB(350), 동작인식장치 사용자 정보별 수어 특성 DB(360), 동작인식장치 사용자 수어정보 분석부(370), 통신부(380) 및 제어부(390)로 구성된다.As shown in FIG. 17, the sign language interpretation/translation server of the sign language interpretation/translation service system using the gesture recognition device and the avatar is a sign language interpretation/translation system 310, a sign language interpretation/translation quality management system 320, and a sign language interpretation/translation service system. Translation device information DB (330), sign language interpretation/translation device person in charge DB (340), motion recognition device user information and identification information DB (350), gesture recognition device user information by sign language characteristic DB (360), gesture recognition device user sign language It consists of an information analysis unit 370 , a communication unit 380 , and a control unit 390 .

수어 통·번역 시스템(310), 수어 통·번역 품질관리 시스템(320)과 수어의 통·번역과 품질관리를 각각 수행한다.Sign language interpretation/translation system 310, sign language interpretation/translation quality management system 320, and sign language interpretation/translation and quality control are performed, respectively.

수어 통·번역 장치 정보 DB(330)는 수어 통·번역 장치(1000)가 여러 장소에 복수개 설치될 수 있으므로 그러한 경우 각각의 수어 통·번역 장치(1000)의 설치정보, 위치정보, 이력 정보 등을 데이터베이스화한다.Sign language interpretation/translation device information DB 330 has a plurality of sign language interpretation/translation devices 1000 installed in various places, so in such a case, installation information, location information, history information, etc. to database.

수어 통·번역 장치 담당자 DB(340)는 각각의 수어 통·번역 장치(1000)를 관리하는 관리자의 정보(이름, 전화번호, 스마트폰 번호 등)를 데이터베이스화하여 점검, 수리 등의 경우에 이용된다.Sign language interpretation/translation device person in charge DB 340 makes a database of information (name, phone number, smartphone number, etc.) of the manager who manages each sign language interpretation/translation device 1000, and is used in the case of inspection, repair, etc. do.

동작인식장치 사용자 정보 및 식별정보 DB(350)는 동작인식장치를 식별하기 위한 정보와 동작인식장치를 개별적으로 이용하는 경우 해당 사용자 정보를 데이터베이스화한 것이다.The motion recognition device user information and identification information DB 350 is a database of information for identifying the motion recognition device and the corresponding user information when the motion recognition device is used individually.

동작인식장치 사용자정보별 수어 특성 DB(360)는 일반인의 경우에도 지역이나 성별에 따라 목소리가 다르거나 발음에 차이가 있는 것처럼, 농인들도 같은 내용이나 단어에 대하여 손가락의 움직임에 약간의 차이가 있으므로 이를 감안하기 위한 것이다. 또한 이러한 특성에 따라서 수어 번역 시스템(100)과 수어 통역 시스템(200)의 품질 향상에 이용될 수 있다. 즉 서로 동일한 단어나 내용에 대하여 서로 다른 농인의 미세한 동작의 차이에 대하여 데이터베이스화하고 이를 통해 농인의 수어 동작인식에 대하여 보다 유연하게 대처할 수 있게 되는 자료를 수집하는데 이용될 수 있다. 또한 농인 사용자가 이용하는 동작인식장치가 개별적으로 구비한 경우에는 해당 농인 사용자의 동작에 대한 번역 인식률을 높일 수 있다.In the sign language characteristic DB 360 for each user information of the gesture recognition device, even in the case of ordinary people, there is a difference in voice or pronunciation depending on region or gender, so there is a slight difference in finger movement for the same contents or words in the deaf. So, to take this into account. Also, according to these characteristics, it can be used to improve the quality of the sign language translation system 100 and the sign language interpretation system 200 . That is, it can be used to collect data that allows the deaf to respond more flexibly to the sign language gesture recognition of the deaf through a database of the differences in the subtle movements of the different deaf with respect to the same word or content. In addition, when the motion recognition device used by the deaf user is individually provided, the translation recognition rate for the motion of the deaf user can be increased.

동작인식장치 사용자 수어정보 분석부(370)는 동작인식장치를 사용한 사용자의 수어를 분석한다.The gesture recognition device user sign language information analysis unit 370 analyzes the sign language of the user using the gesture recognition device.

통신부(380)는 다수의 제1내지 제N지역 수어 통·번역 장치와 각종 데이터를 송수신한다.The communication unit 380 transmits/receives various data to and from a plurality of first to Nth regional sign language interpretation and translation devices.

제어부(390)는 수어 통·번역 시스템(310), 수어 통·번역 품질관리 시스템(320), 수어 통·번역 장치 정보 DB(330), 수어 통·번역 장치 담당자 DB(340), 동작인식장치 사용자 정보 및 식별정보 DB(350), 동작인식장치 사용자정보별 수어 특성 DB(360), 동작인식장치 사용자 수어정보 분석부(370) 및 통신부(380)를 포함하는 수어 통·번역 서버(300)를 제어하며, 개별적으로 구비한 동작인식장치(500)로부터 수어관련 데이터가 전송되는 경우 이를 식별하여 수어 통·번역에 이용되거나 동작인식장치에서 전송된 동작인식 센싱 데이터의 이상을 감지한다. 즉 동작인식장치의 식별자와 함께 전송되는 수어 데이터의 이상을 감지하여 해당 지역의 수어 통·번역 담당자에게 동작인식장치의 이상을 알려 수리나 점검을 받도록 하거나, 개별적으로 구비한 동작인식장치의 이상을 해당 농인의 스마트폰으로 점검, 수리 등의 요청을 전송할 수 있다.The control unit 390 includes a sign language interpretation/translation system 310 , a sign language interpretation/translation quality management system 320 , a sign language interpretation/translation device information DB 330 , a sign language interpretation/translation device manager DB 340 , and a motion recognition device. Sign language interpretation/translation server 300 including user information and identification information DB 350, sign language characteristic DB 360 for each user information of the gesture recognition device, a sign language information analysis unit 370 for a user of the gesture recognition device, and a communication unit 380 and detects abnormalities in the motion recognition sensing data transmitted from the gesture recognition device or used for sign language interpretation and translation by identifying when sign language related data is transmitted from the individually provided gesture recognition device 500 . That is, it detects abnormalities in sign language data transmitted along with the identifier of the gesture recognition device and informs the local sign language interpreter and translator of the abnormality of the gesture recognition device for repair or inspection, or detects abnormalities in the gesture recognition device provided individually. Requests for inspection, repair, etc. can be sent to the deaf person's smartphone.

이상과 같은 예로 본 발명을 설명하였으나, 본 발명은 반드시 이러한 예들에 국한되는 것이 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서 본 발명에 개시된 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 예들에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다. Although the present invention has been described with the above examples, the present invention is not necessarily limited to these examples, and various modifications may be made within the scope without departing from the technical spirit of the present invention. Therefore, the examples disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these examples. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100 : 수어 번역 시스템 200 : 수어 통역 시스템
300 : 수어 통·번역 서버 310 : 수어 통·번역 시스템
320 : 수어 통·번역 품질관리 시스템
330 : 수어 통·번역 장치 정보 DB
340 : 수어 통·번역 장치 담당자 DB
350 : 동작인식장치 사용자 정보 및 식별정보 DB
360 : 동작인식장치 사용자정보별 수어 특성 DB
370 : 동작인식장치 사용자 수어정보 분석부
380 : 통신부 390 : 제어부
400 : 데이터베이스 500 : 동작인식장치
600 : 입력장치 700 : 디스플레이 장치
1000, 1000A : 수어 통·번역 장치100: sign language translation system 200: sign language interpretation system
300: sign language interpretation/translation server 310: sign language interpretation/translation system
320: Sign language interpretation and translation quality management system
330: Sign language interpretation/translation device information DB
340: Sign language interpretation/translation device manager DB
350: motion recognition device user information and identification information DB
360: Sign language characteristic DB for each user information of the motion recognition device
370: motion recognition device user sign language information analysis unit
380: communication unit 390: control unit
400: database 500: motion recognition device
600: input device 700: display device
1000, 1000A: Sign language interpretation/translation device

Claims (4)

게시판(홈페이지)이 선택되거나, 텍스트를 입력하면 수어를 애니메이션으로 구성하여 아바타로 재생하는 수어 번역 시스템(100);
수어를 못하는 일반인이 텍스트를 입력하면 아바타 에니메이션을 통해 디스플레이하고, 농인의 손가락 움직임에 대하여 이를 텍스트로 전환하여 디스플레이하는 수어 통역 시스템(200);
상기 수어 번역 시스템(100)과 수어 통역 시스템(200)에서 통역 및 번역되는 수어에 대한 데이터를 제공하는 수어 통역/번역 서버(300);
상기 수어 번역 시스템(100)과 수어 통역 시스템(200)의 수어 번역과 통역에 필요한 각종 데이터를 제공하는 데이터베이스(400); 및
농인이 손에 착용하는 것으로, 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서로 구성되어 농인이 손에 착용한 후 수어를 구사하면 상기 수어 통역 시스템(200)에서 해당 동작을 인식하여 텍스트로 통역될 수 있도록 하는 동작인식장치(500);를 포함하여 구성되며,
상기 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템은,
상기 수어 번역 시스템(100), 상기 수어 통역 시스템(200) 및 상기 데이터베이스(400)에 텍스트를 입력받는 입력장치(600)와,
농인과 일반인에게 농인의 수화를 텍스트로 표시하거나, 일반인의 텍스트 입력을 아바타 디스플레이로 디스플레이하는 디스플레이 장치(700)를 더 포함하여 수어 통·번역 장치(1000)를 구성하며,
상기 수어 통·번역 장치(1000)는 동작인식장치(500)를 더 포함하고,
상기 동작인식장치(500)는 상기 동작인식장치(500)를 이용하는 농인의 개인 사용자 정보와, 상기 동작인식장치(500)를 식별하기 위한 식별정보가 포함되며,
상기 수어 번역 시스템(100)과 수어 통역 시스템(200)은 미리 정의된 API를 통해 번역과 통역에 필요한 데이터베이스(DB)(400)에 접근하거나 각종 외부 접속 사이트 DB에 접근할 수 있도록 구성되고,
상기 수어 번역 시스템(100)은 공공기관 홈페이지를 정보가 변하지 않는 웹페이지 부분과 정보가 변하는 웹게시판 부분으로 구분하고, 공공기관의 담당자가 각 부분의 정보를 한국어로 입력하면 이를 수어로 번역하는 요약분석 엔진과 엔진에서 도출된 수어를 수어동작 DB를 참조하여 연속되는 수어(수화)영상을 생성하고 저장하는 수어 영상 생성부로 구성되며,
상기 수어 통역 시스템(200)은 민원창구를 방문한 농인이 민원담당자와 대화를 통한 즉시적인 의사소통을 위한 시스템으로, 기준점 초기화 요청부, 동작모방부, 수어동작 분석 모듈인 통역 요청부, 한국어를 입력하여 한국어를 수어로 번역하기 위한 번역요청부, 아바타 애니메이션이 저장되어 있는 파일 추출부 및 애니메이션을 구성하고 재생하는 수어 재생부로 구성되는 수어 통역 서비스부(210)와, 동작인식장치(500)의 동작인식 센서를 초기화하는 기준점 초기화부와 기준점 정렬부 및 수어인식 센서의 신호를 해석하는 수어인식센서 신호 해석부로 구성되는 수화인식장치 신호 해석 엔진(220)으로 구성되고,
상기 수어 통역/번역 서버(300)는 상기 수어 번역 시스템(100)과 수어 통역 시스템(200)에서 통역 및 번역되는 수어에 대한 데이터를 제공하도록 입력된 요약문장의 번역 요청을 받고 분석하는 요약분석 API 모듈, 요약된 한국어 문장의 형태소를 분석하는 모듈과 도출된 한국어 형태소에 상응하는 수어 단어를 추출하는 수화동작 DB매핑 모듈로 구성되는 요약분석 엔진부, 추출된 수어단어를 영상으로 만드는 수화영상 생성부 및 동작인식 장치를 착용한 농인의 수어를 인식하여 수어단어를 추출하고 추출된 수어에 상응하는 한국어로 변환하는 수화통역 엔진부로 구성되는 수어 통·번역 시스템(310)과, 수어단어 관리, 수어동작 관리, 관용적 수어관리, 영상관리, 오류리포팅 관리, 동작로그 관리, 통계 관리 및 시스템 상태 모니터링이 포함되는 수어 통·번역 품질관리 시스템(320)으로 구성되며, 상기 오류 리포팅, 수어영상 관리는 등록, 수정, 삭제 및 조회가 가능하고,
상기 데이터베이스(400)는 수어동작을 저장하는 수어 동작 스토리지, 수어영상 스토리지, 수어단어 DB, 수어 동작 DB, 관용적 수어DB, 영상DB, 로그DB 및 통계 DB로 구성되며,
상기 동작인식장치(500)는 농인이 착용하는 것으로, 공공기관이나 은행 등에서 업무를 보고자 하는 경우 농인이 손에 착용한 후 수어를 구사하면 내장된 센서에서 손동작의 움직임을 인식하는 다수의 동작인식센서로 구성되는 것을 특징으로 하는 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템.
a sign language translation system 100 for reproducing sign language as an avatar when a bulletin board (homepage) is selected or text is input;
a sign language interpretation system 200 for displaying text by an ordinary person who cannot speak sign language through an avatar animation, and converting it into text for the deaf's finger movements;
a sign language interpretation/translation server 300 for providing data on sign language interpreted and translated by the sign language translation system 100 and the sign language interpretation system 200;
a database 400 for providing various data necessary for sign language translation and interpretation by the sign language translation system 100 and the sign language interpretation system 200; and
It is worn by the deaf on the hand and is composed of a number of motion recognition sensors that recognize the movement of hand gestures from the built-in sensor. It is configured to include; a motion recognition device 500 to be translated into text.
Sign language interpretation/translation service system using the motion recognition device and avatar,
an input device 600 for inputting text into the sign language translation system 100, the sign language interpretation system 200 and the database 400;
The sign language interpretation/translation device 1000 is configured by further including a display device 700 that displays the sign language of the deaf to the deaf and the general public as text or displays the text input of the general public as an avatar display,
The sign language interpretation and translation device 1000 further includes a motion recognition device 500,
The motion recognition device 500 includes personal user information of the deaf who uses the motion recognition device 500 and identification information for identifying the motion recognition device 500,
The sign language translation system 100 and the sign language interpretation system 200 are configured to access a database (DB) 400 required for translation and interpretation through a predefined API or to access various external access site DBs,
The sign language translation system 100 divides the public institution homepage into a web page part in which information does not change and a web bulletin board part in which information changes, and when the person in charge of the public institution inputs information in each part in Korean, it is translated into sign language. It consists of an analysis engine and a sign language image generator that creates and stores a continuous sign language (sign language) image by referring to the sign language operation DB,
The sign language interpretation system 200 is a system for the deaf who visited the civil complaint window to communicate immediately with the civil affairs officer, and input the reference point initialization request unit, the motion imitation unit, the sign language motion analysis module, the interpretation request unit, and Korean. The operation of the sign language interpretation service unit 210 and the gesture recognition device 500 comprising a translation request unit for translating Korean into sign language, a file extraction unit storing avatar animations, and a sign language reproduction unit composing and playing animations It consists of a sign language recognition device signal analysis engine 220 consisting of a reference point initialization unit for initializing the recognition sensor, a reference point alignment unit, and a sign language recognition sensor signal analysis unit for interpreting the signals of the sign language recognition sensor,
The sign language interpretation/translation server 300 receives and analyzes a translation request of an input summary sentence so as to provide data on sign language interpreted and translated by the sign language translation system 100 and the sign language interpretation system 200 . A summary analysis engine unit consisting of a module, a module for analyzing the morphemes of a summarized Korean sentence, and a sign language DB mapping module for extracting sign language words corresponding to the derived Korean morphemes, and a sign language image generation unit for converting the extracted sign language words into an image and a sign language interpretation/translation system 310 consisting of a sign language interpretation engine unit that recognizes the sign language of the deaf wearing a motion recognition device, extracts sign language words, and converts them into Korean corresponding to the extracted sign language, sign language management, sign language operation It consists of a sign language interpretation/translation quality management system 320 that includes management, idiomatic sign language management, image management, error reporting management, operation log management, statistics management and system status monitoring, and the error reporting and sign language image management are registered, You can edit, delete and inquire,
The database 400 is composed of sign language action storage, sign language storage, sign language DB, sign language action DB, idiomatic sign language DB, image DB, log DB and statistics DB for storing sign language actions,
The motion recognition device 500 is worn by the deaf, and when the deaf person wears it on his hand and speaks sign language when he wants to work at a public institution or bank, a plurality of motion recognition sensors that recognize the movement of hand gestures from the built-in sensor Sign language interpretation/translation service system using a motion recognition device and an avatar, characterized in that it consists of
 삭제delete 삭제delete 삭제delete
KR1020180128143A 2018-10-25 2018-10-25 Sign language interpretation / translation service system using motion recognition apparatus and avatar display KR102304608B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180128143A KR102304608B1 (en) 2018-10-25 2018-10-25 Sign language interpretation / translation service system using motion recognition apparatus and avatar display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180128143A KR102304608B1 (en) 2018-10-25 2018-10-25 Sign language interpretation / translation service system using motion recognition apparatus and avatar display

Publications (2)

Publication Number Publication Date
KR20200046665A KR20200046665A (en) 2020-05-07
KR102304608B1 true KR102304608B1 (en) 2021-09-24

Family

ID=70734259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128143A KR102304608B1 (en) 2018-10-25 2018-10-25 Sign language interpretation / translation service system using motion recognition apparatus and avatar display

Country Status (1)

Country Link
KR (1) KR102304608B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230114955A (en) 2022-01-26 2023-08-02 주식회사 숨이노베이션 System for producing translation video data using outsourcing of sign language video data
KR102644927B1 (en) 2023-10-10 2024-03-06 한규범 Multi-directional online communication system providing sign language interpretation services

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102589845B1 (en) * 2022-10-20 2023-10-17 주식회사 인피닉 Method for translate sign language video, and computer program recorded on record-medium for executing method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015169814A (en) * 2014-03-07 2015-09-28 サカタインクス株式会社 Method and system for supporting communication

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101104777B1 (en) 2010-02-04 2012-01-17 한국과학기술원 System and Method for generating sign language animation
KR101612873B1 (en) 2014-02-27 2016-04-18 김조웅 Sign language interpreting system of based on web contents and method for sign language interpreting system
KR20150115522A (en) * 2014-04-04 2015-10-14 계명대학교 산학협력단 Device for acquiring sign language motion and sign language/text conversion system using thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015169814A (en) * 2014-03-07 2015-09-28 サカタインクス株式会社 Method and system for supporting communication

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230114955A (en) 2022-01-26 2023-08-02 주식회사 숨이노베이션 System for producing translation video data using outsourcing of sign language video data
KR102644927B1 (en) 2023-10-10 2024-03-06 한규범 Multi-directional online communication system providing sign language interpretation services

Also Published As

Publication number Publication date
KR20200046665A (en) 2020-05-07

Similar Documents

Publication Publication Date Title
Bragg et al. Sign language recognition, generation, and translation: An interdisciplinary perspective
CN108351871B (en) General translator
US11188711B2 (en) Unknown word predictor and content-integrated translator
Farooq et al. Advances in machine translation for sign language: approaches, limitations, and challenges
Jiménez Hurtado et al. Multimodality, translation and accessibility: a corpus-based study of audio description
US20180302687A1 (en) Personalizing closed captions for video content
US11347801B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
Camgöz et al. BosphorusSign: A Turkish sign language recognition corpus in health and finance domains
US11126794B2 (en) Targeted rewrites
KR102304608B1 (en) Sign language interpretation / translation service system using motion recognition apparatus and avatar display
CN1742273A (en) Multimodal speech-to-speech language translation and display
US10678855B2 (en) Generating descriptive text contemporaneous to visual media
JP2015162244A (en) Methods, programs and computation processing systems for ranking spoken words
KR102104294B1 (en) Sign language video chatbot application stored on computer-readable storage media
KR101612873B1 (en) Sign language interpreting system of based on web contents and method for sign language interpreting system
Dhanjal et al. An optimized machine translation technique for multi-lingual speech to sign language notation
Yimam et al. Par4Sim--Adaptive Paraphrasing for Text Simplification
Baumgärtner et al. Automated Sign Language Translation: The Role of Artificial Intelligence Now and in the Future.
Martin et al. An Indian Sign Language (ISL) corpus of the domain disaster message using Avatar
US20220084437A1 (en) Mobile-enabled cognitive braille adjustment
CN105702130A (en) Sign language interpreter
Muniandy et al. THE ROLE OF MULTIMEDIA DESIGN ELEMENTS IN COMPUTER ACCESSIBILITY FOR VISUALLY IMPAIRED: A COMPLETE REVIEW.
US11907677B1 (en) Immutable universal language assistive translation and interpretation system that verifies and validates translations and interpretations by smart contract and blockchain technology
KR102644927B1 (en) Multi-directional online communication system providing sign language interpretation services
US20240106776A1 (en) Sign Language Translation Method And System Thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant