KR20150060348A

KR20150060348A - Apparatus and method of communication between disabled person and disabled person

Info

Publication number: KR20150060348A
Application number: KR1020130144684A
Authority: KR
Inventors: 안성호
Original assignee: 한국전자통신연구원
Priority date: 2013-11-26
Filing date: 2013-11-26
Publication date: 2015-06-03

Abstract

A device and a method for communication among disabled people are disclosed. A device for communication among disabled people according to the present invention comprises: an input unit which obtains at least one input information among a hand motion image, voice data, and touch data from a speaker; a recognition unit which recognizes a purpose for representation of the speaker by analyzing the input information according to a nationality of the speaker and a type of the input information; a determination unit which determines a user mode by judging disability information of a listener who communicates with the speaker, and transforms the purpose for representation into a type corresponding to the user mode; and an output unit which outputs the purpose for representation, transformed into the type corresponding to the user mode, to the listener.

Description

[0001] APPARATUS AND METHOD FOR COMMUNICATION BETWEEN DISABLED PERSON AND DISABLED PERSON [0002]

본 발명은 장애인과 일반인 또는 장애인 사이의 의사소통 방법에 관한 것으로, 특히 청각 및 시각 장애인을 위한 수화 데이터, 음성 데이터 및 점자 데이터를 제공하는 인터페이스를 이용하여 장애의 종류 및 국적이 다른 장애인 사이에 의사소통을 할 수 있는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a communication method between a person with a disability and a general person or a person with a disability, It is about technology that can communicate.

요즘 장애인과의 의사소통을 위한 사회적 관심이 많아지고 있으나, 이를 위한 제도나 시스템, 사회적 환경, 장치 등은 턱없이 부족한 실정이다. 일반적으로 의사소통을 하는데 불편함을 겪는 시/청각 장애인과 의사소통을 하기 위해서는 수화를 사용하거나 점자를 사용하여 대화할 수 있는 방법이 있다. 그러나, 이러한 수화나 점자도 일반인들이 배우기에는 상당한 시간과 노력을 필요로 하기 때문에 대부분 많은 사람들이 의사소통 장애인과는 대화하기 어려운 점이 많다. 또한, 장애인과 장애인 사이의 의사소통이라면 더욱 어렵다. 예를 들어, 시각장애인과 청각장애인이 대화를 하는 경우 시각장애인은 말로써 대화를 시작하겠지만 청각장애인은 들을 수 없기 때문에 시각장애인이 전하고자 하는 의도를 전혀 알 수 없는 문제점이 생긴다. 반대의 경우도 마찬가지로, 청각장애인이 수화로 의사를 전달하려고 하여도 시각장애인에게는 전달할 수 없었다. Recently, social interest for communicating with people with disabilities has been increasing, but system, social environment, device and so on are insufficient. In general, there is a way to communicate with a poet / hearing impaired who is having trouble communicating, using sign language or using braille. However, it is difficult for many people to communicate with people with communication difficulties because most of these sign language and Braille characters require considerable time and effort to learn. Also, communication between the disabled and the disabled is more difficult. For example, when a blind person and a hearing-impaired person are in conversation, the blind person will start conversation by speech, but the blind person can not hear the blind person, and thus the blind person's intention is not known at all. Likewise, in the opposite case, even if a deaf person tries to communicate with a signifier, it could not be delivered to the blind.

이러한 문제점을 해결하기 위해 본 발명에서는 일반인과 장애인 사이의 의사소통은 물론, 장애인과 장애인 사이의 의사소통까지도 지원할 수 있는 의사소통 장치를 개시하고 있다.In order to solve such a problem, the present invention discloses a communication device capable of supporting communication between a general person and a disabled person as well as a communication between a disabled person and a disabled person.

관련 선행기술로는 시각 장애인과 청각 장애인의 의사전달을 위한 시스템 및 방법에 관한 한국공개특허 1999-0081035호가 있다.Related Prior Art Korean Patent Laid-Open No. 1999-0081035 discloses a system and method for communication between the visually impaired and the hearing impaired.

본 발명의 목적은 서로 다른 종류의 의사소통 장애를 갖는 장애인 사이의 의사소통 또는 장애인과 일반인 사이의 의사소통을 보다 원활하게 수행하기 위한 의사소통 장치를 제공하는 것이다.It is an object of the present invention to provide a communication device for facilitating communication between persons with disabilities having different kinds of communication disorders or communication between persons with disabilities and the general public.

또한, 본 발명의 목적은 장애인 사이의 의사소통에 있어서 상호간에 번역된 의사를 제공함으로써 국적에 상관없이 글로벌한 의사소통이 가능하도록 하는 것이다.It is also an object of the present invention to enable global communication regardless of nationality by providing mutually translated doctors in communication between persons with disabilities.

상기한 목적을 달성하기 위한 본 발명에 따른 장애인 사이의 의사소통 장치는, 화자로부터 손동작 영상, 음성 데이터 및 터치 데이터 중에서 적어도 한가지 이상의 입력정보를 획득하는 입력부; 상기 입력정보를 상기 화자의 국적 및 상기 입력정보의 종류에 따라 분석하여 상기 화자의 표현의도를 인식하는 인식부; 상기 화자와 대화하는 청자의 장애정보를 판단하여 사용자 모드를 결정하고, 상기 표현의도를 상기 사용자 모드에 상응하는 형태로 변환하는 판단부; 및 상기 사용자 모드에 상응하는 형태로 변환된 상기 표현의도를 상기 청자에게 출력하는 출력부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for communicating with a person with a disability comprising: an input unit for obtaining at least one input information from a speaker, such as a hand-operated image, voice data, and touch data; A recognition unit for analyzing the input information according to the nationality of the speaker and the type of the input information to recognize the degree of expression of the speaker; A determining unit for determining a user mode by determining fault information of a listener to talk with the speaker, and converting the expression intention into a form corresponding to the user mode; And an output unit for outputting the expression intention converted to a form corresponding to the user mode to the listener.

이 때, 입력부는 카메라를 이용하여 상기 화자의 손동작 영상을 획득하는 영상센서; 마이크를 이용하여 상기 화자의 음성 데이터를 획득하는 음성센서; 및 터치모듈을 이용하여 상기 화자가 작성한 터치 데이터를 획득하는 터치센서를 더 포함할 수 있다.In this case, the input unit may include an image sensor for acquiring a hand-operated image of the speaker using a camera; A voice sensor for acquiring voice data of the speaker using a microphone; And a touch sensor for acquiring the touch data created by the speaker using the touch module.

이 때, 의사소통 장치는 상기 화자와 상기 청자의 국적을 비교하여, 상기 국적이 다른 경우에 상기 표현의도를 상기 청자의 국적에 상응하게 번역하는 번역부를 더 포함할 수 있다.In this case, the communication device may further include a translator for comparing the nationality of the speaker and the listener, and translating the expression intention according to the nationality of the listener when the nationality is different.

이 때, 출력부는 상기 화자를 대체하는 아바타를 이용한 수화 영상 및 자막 영상 중 적어도 한가지를 출력해 주는 영상 출력부; 스피커를 통해 음성 메시지를 출력해 주는 음성 출력부; 및 하드웨어를 이용하여 점자를 출력해 주는 터치 출력부를 더 포함할 수 있다.In this case, the output unit may include an image output unit for outputting at least one of a sign language image and a caption image using an avatar replacing the speaker; An audio output unit for outputting a voice message through a speaker; And a touch output unit for outputting braille using hardware.

이 때, 데이터 저장부는 한국어, 영어, 일본어 및 중국어를 포함한 적어도 4종류 이상의 언어를 이용한 수화 데이터, 음성 데이터 및 점자 데이터를 제공할 수 있다.At this time, the data storage unit can provide sign language data, voice data, and braille data using at least four kinds of languages including Korean, English, Japanese, and Chinese.

또한, 본 발명의 일실시예에 따른 장애인 사이의 의사소통 방법은, 화자로부터 손동작 영상, 음성 데이터 및 터치 데이터 중에서 적어도 한가지 이상의 입력정보를 획득하는 단계; 상기 입력정보를 상기 화자의 국적 및 상기 입력정보의 종류에 따라 분석하여 상기 화자의 표현의도를 인식하는 단계; 상기 화자와 대화하는 청자의 장애정보를 판단하여 사용자 모드를 결정하고, 상기 표현의도를 상기 사용자 모드에 상응하는 형태로 변환하는 단계; 및 상기 사용자 모드에 상응하는 형태로 변환된 상기 표현의도를 상기 청자에게 출력하는 단계를 포함한다.According to another aspect of the present invention, there is provided a communication method for a handicapped person, comprising: acquiring at least one input information from a handwritten image, voice data, and touch data from a speaker; Analyzing the input information according to the nationality of the speaker and the type of the input information to recognize the degree of expression of the speaker; Determining a user mode by determining failure information of a listener to talk with the speaker, and converting the expression intention into a form corresponding to the user mode; And outputting the expression intention converted to a form corresponding to the user mode to the listener.

이 때, 의사소통 방법은 상기 표현의도를 상기 사용자 모드에 상응하는 형태로 변환하기 위한 데이터를 제공하는 단계를 더 포함할 수 있다.At this time, the communication method may further include providing data for converting the expression intention into a form corresponding to the user mode.

이 때, 의사소통 방법은 상기 화자와 상기 청자의 국적을 비교하여, 상기 국적이 다른 경우에 상기 표현의도를 상기 청자의 국적에 상응하게 번역하는 단계를 더 포함할 수 있다.At this time, the communication method may further include comparing the nationality of the speaker and the listener, and translating the expression intention according to the nationality of the listener when the nationality is different.

이 때, 제공하는 단계는 번역에 필요한 한국어, 영어, 일본어 및 중국어를 포함한 적어도 4종류 이상의 언어를 이용한 수화 데이터, 음성 데이터 및 점자 데이터를 제공할 수 있다.At this time, the providing step can provide sign language data, speech data and braille data using at least four kinds of languages including Korean, English, Japanese and Chinese necessary for translation.

본 발명에 따르면, 서로 다른 종류의 의사소통 장애를 갖는 장애인 사이의 의사소통 또는 장애인과 일반인 사이의 의사소통을 보다 원활하게 수행하기 위한 의사소통 장치를 제공할 수 있다.According to the present invention, it is possible to provide a communication device for facilitating communication between persons with disabilities having different kinds of communication disorders or communication between persons with disabilities and the general public.

또한, 본 발명은 장애인 사이의 의사소통에 있어서 상호간에 번역된 의사를 제공함으로써 국적에 상관없이 글로벌한 의사소통이 가능하도록 할 수 있다.In addition, the present invention can provide global communication regardless of nationality by providing mutually translated doctors in communication between persons with disabilities.

도 1은 본 발명의 일실시예에 따른 의사소통 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상센서를 이용한 의사소통 장치를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 음성센서를 이용한 의사소통 장치를 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 의사소통 방법을 나타낸 동작흐름도이다.
도 5는 본 발명의 일실시예에 따른 의사소통 방법을 자세하게 나타낸 동작흐름도이다.
도 6은 본 발명의 일실시예에 따른 데이터 저장부를 나타낸 도면이다.1 is a block diagram illustrating a communication apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating a communication apparatus using an image sensor according to an embodiment of the present invention.
3 is a block diagram illustrating a communication device using a voice sensor according to an embodiment of the present invention.
4 is a flowchart illustrating a communication method according to an embodiment of the present invention.
5 is a flowchart illustrating a communication method according to an exemplary embodiment of the present invention.
6 is a diagram illustrating a data storage unit according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 의사소통 장치를 나타낸 블록도이다.1 is a block diagram illustrating a communication apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 의사소통 장치는 화자로부터 손동작 영상, 음성 데이터 및 터치 데이터 중에서 적어도 한가지 이상의 입력정보를 획득하는 입력부(110), 획득한 입력정보를 화자의 국적 및 입력정보의 종류에 따라 분석하여 화자의 표현의도를 인식하는 인식부(120), 화자와 대화하는 청자의 장애정보를 판단하여 사용자 모드 판단부(130), 표현의도를 사용자 모드에 상응하는 형태로 변환하기 위한 데이터를 제공하는 데이터 저장부(140), 화자와 청자의 국적을 비교하여, 국적이 다른 경우에 표현의도를 청자의 국적에 상응하게 번역하는 번역부(150), 사용자 모드에 상응하는 형태로 변환된 표현의도를 출력하는 출력부(160)로 구성된다.Referring to FIG. 1, the communication apparatus according to an embodiment of the present invention includes an input unit 110 for obtaining at least one input information from handwritten images, voice data, and touch data from a speaker, A recognition unit 120 for recognizing the degree of expression of the speaker by analyzing the input information according to the type of input information, a user mode determination unit 130 for determining the trouble information of the listener who is talking with the speaker, A translator 150 for comparing the nationality of the speaker and the listener so as to translate the expression intention according to the nationality of the listener when the nationality is different, And an output unit 160 for outputting a degree of expression converted into a form corresponding to the mode.

입력부(110)는 화자가 표현하는 방법에 따라 입력정보를 획득할 수 있다. 예를 들어 청각장애인의 경우에는 수화나 문자로 의사표현을 하기 때문에, 카메라를 이용하여 청각장애인의 손동작을 획득하거나 터치모듈을 이용하여 문자 또는 그림을 입력 받아 입력정보를 획득할 수 있다. 또한, 시각장애인의 경우에는 음성이나 문자로 의사표현을 하기 때문에, 마이크를 이용하여 화자의 음성을 획득하거나 터치모듈을 이용하여 문자 또는 그림을 입력 받아 입력정보를 획득할 수 있다.The input unit 110 can acquire input information according to a method expressed by a speaker. For example, in the case of a hearing-impaired person, since a physician expresses a sign by a sign or a letter, the handwriting of the hearing-impaired person can be obtained by using a camera, or input information can be obtained by inputting a character or a picture by using a touch module. Further, in the case of the visually impaired, since the phonetic representation is performed by voice or text, it is possible to acquire the voice of the speaker by using the microphone or to input the character or figure by using the touch module.

인식부(120)는 입력부(110)를 통해 입력된 화자의 입력정보를 화자의 국적 및 입력정보의 종류에 따라 분석하여 화자가 표현의도를 인식할 수 있다. 예를 들어, 화자가 미국 국적의 시각 장애인인 경우에 입력부(110)에서 획득한 영어로 된 음성 데이터를 번역하여 표현의도를 인식할 수 있다.The recognition unit 120 analyzes the input information of the speaker inputted through the input unit 110 according to the nationality of the speaker and the type of the input information, so that the speaker can recognize the expression intention. For example, when the speaker is a visually impaired person of the American nationality, the speech data in English acquired by the input unit 110 may be translated to recognize the degree of expression.

판단부(130)는 화자와 대화하는 청자의 장애정보를 판단하여 사용자 모드를 결정하고, 화자의 표현의도를 사용자 모드에 상응하는 형태로 변환할 수 있다. 예를 들어 청각장애인이 시각장애인에게 '밥 먹었니?'라는 의사표현을 수화로 전달한다면, 판단부(130)는 청자가 시각장애인인 것을 판단하여 사용자 모드를 결정하고, 화자인 청각 장애인으로부터 획득한 수화 형태의 의사를 사용자 모드에 따라 음성 형태로 변환할 수 있다. 이와 같은 판단부(130)에서의 형태 변환 수행은 데이터 저장부(140)에 저장되어 있는 다양한 형태의 데이터를 제공받아 변환할 수 있다.The determination unit 130 may determine the user mode by determining the listener information of the listener to communicate with the speaker, and may convert the expression of the speaker into a form corresponding to the user mode. For example, if a hearing-impaired person delivers a phrase " Did you eat? &Quot; to the sign language, the determination unit 130 determines that the listener is a blind person, determines the user mode, A sign of a sign language can be converted into a voice form according to the user mode. The type conversion performed by the determination unit 130 may be performed by receiving various types of data stored in the data storage unit 140.

데이터 저장부(140)는 판단부(130) 및 번역부(150)에서 표현의도의 형태를 변환하거나 청자의 국적에 따라 의사를 번역할 때 필요한 데이터 정보를 저장할 수 있다. 이와 같은 데이터 저장부(140)는 한국어, 영어, 일본어 및 중국어를 포함한 적어도 4종류 이상의 언어를 이용한 수화 데이터, 음성 데이터 및 점자 데이터 등을 제공할 수 있다.The data storage unit 140 may store the data information necessary for converting the form of expression intention in the determination unit 130 and the translation unit 150 or translating the doctors according to the nationality of the audience. The data storage unit 140 may provide sign language data, voice data, and braille data using at least four languages including Korean, English, Japanese, and Chinese.

번역부(150)는 화자와 청자의 국적을 비교하여, 국적이 다른 경우에 표현의도를 청자의 국적에 상응하게 번역할 수 있다. 이 때, 번역부(150)는 인식부(120)에서 인식한 표현의도를 데이터 저장부(140)에 저장된 언어별 데이터 정보를 이용하여 청자의 국적에 상응하도록 번역할 수 있다.The translator 150 compares the nationality of the speaker and the listener, and if the nationality is different, the expression may be translated according to the nationality of the listener. In this case, the translating unit 150 may translate the degree of expression recognized by the recognizing unit 120 so as to correspond to the nationality of the listener using the language-specific data information stored in the data storage unit 140.

출력부(160)는 사용자 모드에 상응하는 형태로 변환된 화자의 표현의도를 청자에게 출력해준다. 이 때, 출력부(160)는 화자를 대체하는 아바타를 이용한 수화 영상 및 자막 영상 중 적어도 한가지를 청자에게 출력해 주는 영상 출력부, 청자에게 스피커를 통해 음성 메시지를 출력해 주는 음성 출력부, 청자에게 정전기 발생을 이용한 하드웨어로 점자를 출력해 주는 터치 출력부를 더 포함할 수 있다.
The output unit 160 outputs the representation of the converted speaker to the listener mode corresponding to the user mode. At this time, the output unit 160 includes an image output unit for outputting at least one of a sign language image and a caption image using an avatar replacing a speaker to a listener, an audio output unit for outputting a voice message to the listener through a speaker, And a touch output unit for outputting braille using hardware using static electricity.

도 2는 본 발명의 일실시예에 따른 영상센서를 이용한 의사소통 장치를 나타낸 블록도이다.2 is a block diagram illustrating a communication apparatus using an image sensor according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 영상센서를 이용한 의사소통 장치는 영상센서(210), 인식부(220), 판단부(230), 데이터 저장부(240), 번역부(250) 및 출력부(260)로 구성된다.2, a communication device using an image sensor according to an exemplary embodiment of the present invention includes an image sensor 210, a recognition unit 220, a determination unit 230, a data storage unit 240, 250 and an output unit 260.

영상센서(210)는 청각장애인이 수화로 의사표현을 하면 영상센서(210)의 카메라를 이용하여 수화 형태의 입력정보를 획득할 수 있다. The image sensor 210 can acquire input information in sign language using the camera of the image sensor 210 when the hearing impaired person expresses the sign by hydration.

인식부(220)에서는 획득한 입력정보를 화자인 청각장애인의 국적 및 입력정보의 종류에 따라 분석하여 화자의 표현의도를 인식할 수 있다. 이 때, 데이터 저장부(240)에 저장된 데이터를 이용하여 표현의도를 분석할 수 있다. 즉, 먼저 데이터 저장부(240)에서 수화 형태의 데이터를 검색하고, 수화 형태 데이터 중에서 다시 청각장애인의 국적에 해당하는 언어에 대한 데이터를 찾아 분석할 수 있다. 이와 같은 방법으로 데이터 저장부(240)의 데이터를 기초로 하여 입력정보를 분석하면 청각 장애인이 전달하려고 했던 내용이 무엇인지 인식할 수 있다.The recognition unit 220 can recognize the expression intention of the speaker by analyzing the acquired input information according to the nationality of the hearing impaired person who is the speaker and the type of the input information. At this time, the degree of expression can be analyzed using the data stored in the data storage unit 240. That is, first, the data storage unit 240 searches for data in the form of sign language, and from among the sign language data, the data for the language corresponding to the nationality of the hearing impaired person can be found and analyzed again. By analyzing the input information based on the data of the data storage unit 240 in this way, it is possible to recognize what contents the hearing impaired person intended to deliver.

판단부(230)에서는 화자와 대화하는 청자의 장애정보를 판단하여 사용자 모드를 결정하고, 화자의 표현의도를 사용자 모드에 상응하는 형태로 변환할 수 있다. 예를 들어, 화자인 청각장애인과 대화하는 청자가 시각장애인이라면, 사용자 모드를 시각장애인에 상응하는 형태로 결정하고, 청각장애인에게 획득한 수화 형태의 표현의도를 시각장애인에게 상응하는 음성 형태로 변환할 수 있다. 만약, 청자가 장애가 없는 일반인이라면 음성이나 자막 영상 등 일반인이 알아보기 쉬운 형태로 변환할 수 있다.The determination unit 230 may determine the user mode by determining the failure information of the listener to talk with the speaker, and may convert the expression of the speaker into a form corresponding to the user mode. For example, if a listener who speaks with a speaker, who is a speaker, is a visually impaired person, the user mode is determined as a form corresponding to the visually impaired person, and the degree of expression of the sign language form acquired by the hearing impaired person Can be converted. If the listener is a general person without a disability, it is possible to convert it into a form that can be easily understood by the general public, such as voice and subtitle images.

데이터 저장부(240)는 판단부(230) 및 번역부(250)에서 표현의도의 형태를 변환하거나 청자의 국적에 따라 의사를 번역할 때 필요한 데이터 정보를 저장할 수 있다. 이와 같은 데이터 저장부(240)는 한국어, 영어, 일본어 및 중국어를 포함한 적어도 4종류 이상의 언어를 이용한 수화 데이터, 음성 데이터 및 점자 데이터 등을 제공할 수 있다.The data storage unit 240 may store the data information necessary for converting the form of expression intention in the determination unit 230 and the translation unit 250 or translating the doctors according to the nationality of the listener. The data storage unit 240 may provide sign language data, voice data, and braille data using at least four languages including Korean, English, Japanese, and Chinese.

번역부(250)는 화자와 청자의 국적을 비교하여, 국적이 다른 경우에 표현의도를 청자의 국적에 상응하게 번역할 수 있다. 이 때, 번역부(250)는 인식부(220)에서 인식한 표현의도를 데이터 저장부(240)에 저장된 언어별 데이터 정보를 이용하여 청자의 국적에 상응하도록 번역할 수 있다. 예를 들어, 화자인 청각장애인의 국적은 미국이고 청자의 국적이 한국이라면, 청각장애인으로부터 획득한 수화 영상으로부터 인식한 표현의도를 청자인 한국인에게 상응하는 한국어로 번역할 수 있다.The translator 250 compares the nationality of the speaker and the listener, and if the nationality is different, the degree of expression can be translated according to the nationality of the listener. In this case, the translating unit 250 can translate the degree of expression recognized by the recognizing unit 220 so as to correspond to the nationality of the listener using the language-specific data information stored in the data storage unit 240. For example, if the nationality of the deaf, the speaker, is American and the nationality of the audience is Korea, then the degree of expression recognized from the sign language video acquired from the hearing impaired can be translated into Korean corresponding to the Korean audience.

출력부(260)에서는 사용자 모드에 상응하는 형태로 변환된 표현의도를 청자에게 출력해줄 수 있다. 이 때, 사용자 모드에 따라서, 영상 출력부(261), 음성 출력부(262) 또는 터치 출력부(263)를 통해 청자에게 출력해 줄 수 있다. 영상 출력부(261)는 화자를 대체하는 아바타를 이용한 수화 영상을 출력하거나, 자막 영상을 화면에 출력해 줄 수 있다. 또한, 음성 출력부(262)는 스피커를 통해서 음성 메시지를 출력할 수 있으며, 터치 출력부(263)는 별도의 하드웨어가 필요한 경우로 정전기를 이용한 점자 출력 장치 등을 사용하여 출력할 수 있다.
The output unit 260 may output the representation of the converted expression corresponding to the user mode to the listener. At this time, it can be output to the listener through the video output unit 261, the audio output unit 262, or the touch output unit 263 according to the user mode. The video output unit 261 may output a sign language video using an avatar replacing a speaker or output a caption video to a screen. Also, the voice output unit 262 can output a voice message through the speaker, and the touch output unit 263 can output using a braille output device using static electricity or the like when additional hardware is required.

도 3은 본 발명의 일실시예에 따른 음성센서를 이용한 의사소통 장치를 나타낸 블록도이다.3 is a block diagram illustrating a communication device using a voice sensor according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 음성센서를 이용한 의사소통 장치는 음성센서(310), 인식부(320), 판단부(330), 데이터 저장부(340), 번역부(350) 및 출력부(360)로 구성된다.3, a communication device using a voice sensor according to an embodiment of the present invention includes a voice sensor 310, a recognition unit 320, a determination unit 330, a data storage unit 340, a translation unit 350 and an output unit 360.

음성센서(310)에서는 시각장애인이 음성으로 의사표현을 하면 음성센서(310)의 마이크를 이용하여 음성 형태의 입력정보를 획득할 수 있다.In the voice sensor 310, when the visually impaired person expresses the voice by voice, the voice of the voice sensor 310 can be used to acquire the voice input information.

인식부(320)에서는 획득한 입력정보를 화자인 시각장애인의 국적 및 입력정보의 종류에 따라 분석하여 화자의 표현의도를 인식할 수 있다. 이 때, 데이터 저장부(340)에 저장된 데이터를 이용하여 표현의도를 분석할 수 있다. 즉, 먼저 데이터 저장부(340)에서 음성 형태의 데이터를 검색하고, 음성 형태 데이터 중에서 다시 시각장애인의 국적에 해당하는 언어에 대한 데이터를 찾아 분석할 수 있다. 이와 같은 방법으로 데이터 저장부(340)의 데이터를 기초로 하여 입력정보를 분석하면 시각장애인이 전달하려고 했던 내용이 무엇인지 인식할 수 있다.The recognition unit 320 can recognize the expression intention of the speaker by analyzing the acquired input information according to the nationality of the blind person who is the speaker and the type of the input information. At this time, the degree of expression can be analyzed using the data stored in the data storage unit 340. That is, first, the data storage unit 340 searches for voice-type data, and from among the voice-style data, data for a language corresponding to the nationality of the visually impaired person can be found and analyzed. By analyzing the input information based on the data stored in the data storage unit 340 in this way, it is possible to recognize what contents the blind person intended to deliver.

판단부(330)에서는 화자와 대화하는 청자의 장애정보를 판단하여 사용자 모드를 결정하고, 화자의 표현의도를 사용자 모드에 상응하는 형태로 변환할 수 있다. 예를 들어, 화자인 시각장애인과 대화하는 청자가 청각장애인이라면, 사용자 모드를 청각장애인에 상응하는 형태로 결정하고, 시각장애인에게 획득한 음성 형태의 표현의도를 청각장애인에게 상응하는 영상 형태로 변환할 수 있다. 만약, 청자가 장애가 없는 일반인이라면 음성 형태의 표현의도를 변환하지 않고 바로 제공할 수도 있다. The determination unit 330 may determine the user mode by determining the failure information of the listener to talk with the speaker, and may convert the user's expression intention into a form corresponding to the user mode. For example, if the listener who is talking with the blind is a hearing-impaired person, the user mode is determined to be a form corresponding to the hearing-impaired person, and the expression level of the voice form acquired by the blind is converted into a corresponding image form Can be converted. If the listener is a public person without a disability, he / she can directly provide the expression of the voice form without converting it.

데이터 저장부(340)는 판단부(330) 및 번역부(350)에서 표현의도의 형태를 변환하거나 청자의 국적에 따라 의사를 번역할 때 필요한 데이터 정보를 저장할 수 있다. 이와 같은 데이터 저장부(340)는 한국어, 영어, 일본어 및 중국어를 포함한 적어도 4종류 이상의 언어를 이용한 수화 데이터, 음성 데이터 및 점자 데이터 등을 제공할 수 있다.The data storage unit 340 may store the data information necessary for converting the form of expression intention in the determination unit 330 and the translation unit 350 or translating the doctors according to the nationality of the audience. The data storage unit 340 may provide sign language data, voice data, and braille data using at least four languages including Korean, English, Japanese, and Chinese.

번역부(350)는 화자와 청자의 국적을 비교하여, 국적이 다른 경우에 표현의도를 청자의 국적에 상응하게 번역할 수 있다. 이 때, 번역부(350)는 인식부(320)에서 인식한 표현의도를 데이터 저장부(340)에 저장된 언어별 데이터 정보를 이용하여 청자의 국적에 상응하도록 번역할 수 있다. 예를 들어, 화자인 시각장애인의 국적은 미국이고 청자의 국적이 일본이라면, 시각장애인으로부터 획득한 음성 데이터로부터 인식한 표현의도를 청자인 일본인에게 상응하는 일본어로 번역할 수 있다.The translating unit 350 compares the nationality of the speaker and the listener, and when the nationality is different, the degree of expression can be translated according to the nationality of the listener. At this time, the translating unit 350 can translate the degree of expression recognized by the recognizing unit 320 so as to correspond to the nationality of the listener using the language-specific data information stored in the data storage unit 340. For example, if the nationality of the blind, the speaker, is the United States and the nationality of the audience is Japan, the degree of expression recognized from the voice data acquired from the blind can be translated into Japanese corresponding to the Japanese celadon.

출력부(360)에서는 사용자 모드에 상응하는 형태로 변환된 표현의도를 청자에게 출력해줄 수 있다. 이 때, 사용자 모드에 따라서, 영상 출력부(361), 음성 출력부(362) 또는 터치 출력부(363)를 통해 청자에게 출력해 줄 수 있다. 이 때, 영상 출력부(361)는 화자를 대체하는 아바타를 이용한 수화 영상을 출력하거나, 자막영상을 화면에 출력해 줄 수 있다. 또한, 음성 출력부(262)는 스피커를 통해서 음성 메시지를 출력할 수 있으며, 터치 출력부(363)는 별도의 하드웨어가 필요한 경우로 정전기를 이용한 점자 출력 장치 등을 사용하여 출력할 수 있다.
The output unit 360 may output the representation of the converted expression corresponding to the user mode to the listener. At this time, it is possible to output to the listener through the video output unit 361, the audio output unit 362, or the touch output unit 363 according to the user mode. At this time, the video output unit 361 may output the sign language video using the avatar replacing the speaker or output the caption video to the screen. In addition, the voice output unit 262 can output a voice message through a speaker, and the touch output unit 363 can output using a braille output device using static electricity if additional hardware is required.

도 4는 본 발명의 일실시예에 따른 의사소통 방법을 나타낸 동작흐름도이다.4 is a flowchart illustrating a communication method according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 의사소통 방법은 먼저 화자로부터 손동작 영상, 음성 데이터 및 터지 데이터 중에서 적어도 한가지 이상의 입력정보를 획득할 수 있다(S410). 의사를 표현하려는 화자가 표현하는 방법에 따라 입력정보를 획득할 수 있는데, 예를 들어 청각장애인의 경우에는 수화를 하거나 문자를 적어서 의사표현을 하기 때문에, 카메라를 이용하여 청각장애인이 수화하는 손동작 영상을 획득하거나 터치모듈을 이용하여 청각장애인이 적는 문자 또는 그림을 데이터로 획득하는 방식을 통해 입력정보를 획득할 수 있다. 또한, 시각장애인의 경우에는 말을 하거나 문자를 적어서 의사표현을 하기 때문에, 마이크를 이용하여 시각장애인의 음성을 획득하거나 터치모듈을 이용하여 시각장애인이 적는 문자 또는 그림을 획득하는 방식으로 입력정보를 획득할 수 있다.Referring to FIG. 4, a communication method according to an embodiment of the present invention may acquire at least one input information from a handwritten image, voice data, and pop-up data from a speaker at step S410. For example, in the case of a hearing-impaired person, a sign language or a letter is used to express a doctor. Therefore, a hand-operated video image Or acquire input information through a method of acquiring characters or pictures written by the hearing impaired person using data using the touch module. In addition, in the case of the visually impaired, it is possible to acquire the voice of a visually impaired person by using a microphone or to acquire a character or a picture written by a visually impaired person by using a touch module, Can be obtained.

이렇게 획득한 입력정보를 화자의 국적 및 입력정보의 종류에 따라 분석하여 화자의 표현의도를 인식할 수 있다(S420). 이 때, 화자의 국적과 청자의 국적을 비교하여, 국적이 다르면 인식한 표현의도를 청자의 국적에 상응하게 번역할 수 있다. 이 때, 데이터 저장부에 저장된 언어별 데이터 정보를 이용하여 표현의도를 청자의 국적에 상응하도록 번역할 수 있다.The obtained input information is analyzed according to the nationality of the speaker and the type of the input information to recognize the expression intention of the speaker (S420). At this time, the nationality of the speaker is compared with the nationality of the listener, and if the nationality is different, the interpretation of the recognized expression can be translated corresponding to the nationality of the listener. At this time, the expression intention can be translated to correspond to the nationality of the listener using the language-specific data information stored in the data storage unit.

이후, 화자와 대화하는 청자의 장애정보를 판단하여 사용자 모드를 결정하고, 표현의도를 사용자 모드에 상응하는 형태로 변환할 수 있다(S430). 예를 들어 화자인 청각장애인이 청자인 시각장애인에게 '밥 먹었니?'라는 표현을 수화로 전달한다면, 청자인 시각장애인의 장애정보를 판단하여 사용자 모드를 시각장애인에 상응하는 형태로 결정하고, 사용자 모드에 따라 화자로부터 획득한 수화 형태의 표현의도를 음성 형태로 변환할 수 있다. 이와 같은 형태 변환 수행은 데이터 저장부에 저장되어 있는 다양한 형태의 데이터를 제공받아 변환할 수 있다.Thereafter, the user information is determined by determining the failure information of the listener to talk with the speaker, and the user's mode of expression may be converted into a form corresponding to the user mode (S430). For example, if the hearing impaired speaker, who is the speaker, delivers the expression "Did you eat?" To the listener, who is blind, the listener determines the user mode as a form corresponding to the blind person, The degree of expression of the sign language form acquired from the speaker according to the user mode can be converted into the speech form. The type conversion may be performed by receiving various types of data stored in the data storage unit.

이렇게 사용자 모드에 상응하는 형태로 변환된 화자의 표현의도를 청자에게 출력해 줄 수 있다(S440). 이 때, 청자의 장애정보에 따라서, 화자를 대체하는 아바타를 이용한 수화 영상 및 자막 영상 중 적어도 한가지를 출력해 주거나, 스피커를 통해 음성 메시지를 출력, 또는 정전기 발생을 이용한 하드웨어로 점자를 출력해 줄 수 있다.
In operation S440, it is possible to output to the listener the degree of expression of the converted speaker in the form corresponding to the user mode. At this time, according to the listener information of the listener, at least one of a sign language image and a caption image using an avatar replacing the speaker is outputted, a voice message is outputted through a speaker, or braille is outputted by hardware using static electricity generation .

도 5는 본 발명의 일실시예에 따른 의사소통 방법을 자세하게 나타낸 동작흐름도이다.5 is a flowchart illustrating a communication method according to an exemplary embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 의사소통 방법은 먼저 입력부의 센서 별로 화자로부터 입력을 받을 수 있다(S510). 이 때, 다양한 화자에 따라서 카메라를 이용하여 화자의 손동작 영상을 획득하는 영상센서, 마이크를 이용하여 화자의 음성 데이터를 획득하는 음성센서 및 터치모듈을 이용하여 화자가 작성한 터치 데이터를 획득하는 터치센서 등을 이용하여 입력정보를 획득할 수 있다.Referring to FIG. 5, a communication method according to an embodiment of the present invention may receive an input from a speaker according to a sensor of an input unit (S510). In this case, an image sensor for acquiring a hand-operated image of a speaker using a camera according to various speakers, a voice sensor for acquiring voice data of a speaker using a microphone, and a touch sensor And so on.

이렇게 획득한 입력정보는 화자의 국적 및 입력정보의 종류에 따라 분석하여 화자의 표현의도를 인식할 수 있다(S520). 예를 들어, 화자가 미국 국적의 시각 장애인인 경우에 입력부에서 획득한 영어로 된 음성 데이터를 번역하여 표현의도를 인식할 수 있다.The input information thus obtained can be analyzed according to the nationality of the speaker and the type of the input information to recognize the expression intention of the speaker (S520). For example, when the speaker is a visually impaired person of the American nationality, the voice data in English acquired from the input unit can be translated to recognize the expression intention.

이 후, 청자에게 상응하는 형태로 표현의도를 변환하기 위해 화자의 국적과 청자의 국적이 같은지 판단할 수 있다(S525).Thereafter, it is possible to determine whether the nationality of the speaker is the same as the nationality of the listener in order to convert the expression intention in a form corresponding to the listener (S525).

단계(S525)의 판단결과, 화자와 청자의 국적이 같지 않다면 인식한 표현의도를 청자의 국적에 상응하는 형태로 번역할 수 있다(S530).As a result of the determination in step S525, if the nationality of the speaker and the listener are not the same, the recognized representation may be translated into a form corresponding to the nationality of the listener (S530).

단계(S525)의 판단결과, 화자와 청자의 국적이 같다면, 이번에는 사용자 모드에 상응하는 출력형태가 영상 출력의 형태인지 여부를 판단할 수 있다(S535). 예를 들어, 청자가 청각장애인 또는 일반인이라면 자막영상을 통해 출력해주었을 때 알아볼 수 있기 때문에 이러한 경우 영상출력을 통해 표현의도를 출력할 수 있다.If it is determined in step S525 that the nationality of the speaker and the listener are the same, it is determined whether the output format corresponding to the user mode is the format of the video output (S535). For example, if a celadon is a hearing-impaired person or a general person, it can be recognized when a caption image is output. In this case, the expression intention can be outputted through a video output.

단계(S535)의 판단결과, 사용자 모드에 상응하는 출력형태가 영상 출력의 형태라면 표현의도를 영상출력의 형태로 변환하여(S540) 사용자에게 출력해줄 수 있다(S570).If it is determined in step S535 that the output format corresponding to the user mode is a video output format, the rendering intent may be converted into a video output format in operation S540 and output to the user in operation S570.

단계(S535)의 판단결과, 사용자 모드에 상응하는 출력형태가 영상 출력의 형태가 아니라면, 이번에는 사용자 모드에 상응하는 출력형태가 음성 출력의 형태인지 판단할 수 있다(S545). 예를 들어, 청자가 시각장애인 또는 일반인이라면 음성 데이터를 통해 출력해주었을 때 알아들을 수 있기 때문에 이러한 경우 음성 출력을 통해 표현의도를 출력할 수 있다.If it is determined in step S535 that the output format corresponding to the user mode is not the video output format, it may be determined whether the output format corresponding to the user mode is voice output (S545). For example, if a celadon is blind or a general person, it can be recognized when outputting through voice data. In this case, the expression level can be outputted through voice output.

단계(S545)의 판단결과, 사용자 모드에 상응하는 출력형태가 음성 출력의 형태라면 표현의도를 음성 출력의 형태로 변환하여(S550) 사용자에게 출력해줄 수 있다(S570).If it is determined in operation S545 that the output format corresponding to the user mode is a voice output format, the display intent may be converted into a voice output format in operation S550 and output to the user in operation S570.

단계(S545)의 판단결과, 사용자 모드에 상응하는 출력형태가 음성 출력의 형태가 아니라면 표현의도를 터치 출력의 형태로 변환하여(S560) 사용자에게 출력해 줄 수 있다(S570). 예를 들어, 청자가 시각장애인 또는 점자를 읽을 수 있는 일반인이라면 점자 데이터를 통해 출력해주었을 때 알아볼 수 있기 때문에 이러한 경우 점자 출력을 통해 표현의도를 출력할 수 있다.If it is determined that the output mode corresponding to the user mode is not the voice output mode (S545), the degree of expression may be converted into the form of the touch output (S560) and output to the user (S570). For example, if a celadon is a blind person or a general person who can read braille, it can be recognized when the braille data is output. Therefore, in this case, the braille output can output the expression intention.

이와 같은 의사소통 방법을 통해 각기 다른 종류의 장애를 갖는 사용자들이 제3자의 도움이 없이도 효율적으로 의사소통을 할 수 있다. 또한, 의사소통 장치를 통해 서로 다른 언어를 번역하여 출력해 줌으로써 사용자들의 국적에 영향을 받지 않고 의사소통을 가능할 수 있다.
Through this communication method, users with different kinds of disabilities can communicate efficiently without the help of a third party. Also, by translating and outputting different languages through a communication device, communication can be possible without being influenced by users' nationality.

도 6은 본 발명의 일실시예에 따른 데이터 저장부를 나타낸 도면이다.6 is a diagram illustrating a data storage unit according to an embodiment of the present invention.

도 6을 참조하면 본 발명의 일실시예에 따른 데이터 저장부(600)는 다양한 형태 및 다양한 국적에 상응하는 의사소통 데이터를 저장할 수 있다. 예를 들어, 다양한 형태의 입력정보에 따라 표현의도를 분석하기 위해서는 이에 해당하는 형태의 데이터가 필요하기 때문에, 입력정보의 종류인 수화 데이터, 음성 데이터 및 점자 데이터 등이 존재한다. 또한, 화자와 청자의 국적에 따라 번역이 필요한 경우에는 데이터 저장부(600)에 저장된 형태에 따른 다양한 언어 데이터를 이용하여 번역을 하여 사용할 수 있다. 이와 같은 데이터 저장부(600)에 저장되는 데이터는 의사소통 장치를 사용하는 사용자의 필요에 따라 추가로 저장할 수도 있다.
Referring to FIG. 6, the data storage unit 600 according to an embodiment of the present invention may store communication data corresponding to various forms and various nationalities. For example, in order to analyze the expression intention according to various types of input information, corresponding type data is required, so there are sign language data, voice data, and braille data, which are types of input information. When translation is required according to the nationality of the speaker and the listener, the user can translate the language data using various language data stored in the data storage unit 600 and use the translated language data. The data stored in the data storage unit 600 may be additionally stored according to the needs of the user using the communication device.

이상에서와 같이 본 발명에 따른 장애인 사이의 의사소통 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the communication apparatus and method according to the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments can be applied to various implementations All or some of the examples may be selectively combined.

110: 입력부
210: 영상센서
310: 음성센서
120, 220, 320: 인식부
130, 230, 330: 판단부
140, 240, 340, 600: 데이터 저장부
150, 250, 350: 번역부
160, 260, 360: 출력부
261, 361: 영상 출력부
262, 362: 음성 출력부
263, 363: 터치 출력부110: input unit
210: image sensor
310: voice sensor
120, 220, 320:
130, 230, 330:
140, 240, 340, 600: Data storage unit
150, 250, 350: translation unit
160, 260, 360: Output section
261, 361:
262, 362: audio output unit
263, 363: Touch output section

Claims

An input unit for obtaining at least one input information from a speaker, a hand-operated image, voice data, and touch data;
A recognition unit for analyzing the input information according to the nationality of the speaker and the type of the input information to recognize the degree of expression of the speaker;
A determining unit for determining a user mode by determining fault information of a listener to talk with the speaker, and converting the expression intention into a form corresponding to the user mode; And
An output unit for outputting the expression intention converted into a form corresponding to the user mode to the listener,
And a communication device for communicating with a disabled person.