KR101331089B1 - Apparatus for working guidance using human body communication - Google Patents

Apparatus for working guidance using human body communication Download PDF

Info

Publication number
KR101331089B1
KR101331089B1 KR1020100057035A KR20100057035A KR101331089B1 KR 101331089 B1 KR101331089 B1 KR 101331089B1 KR 1020100057035 A KR1020100057035 A KR 1020100057035A KR 20100057035 A KR20100057035 A KR 20100057035A KR 101331089 B1 KR101331089 B1 KR 101331089B1
Authority
KR
South Korea
Prior art keywords
signal
human body
user
voice
body communication
Prior art date
Application number
KR1020100057035A
Other languages
Korean (ko)
Other versions
KR20110073206A (en
Inventor
김정범
황정환
강태영
강태욱
김경수
김성은
박경환
박형일
임인기
최병건
현석봉
형창희
강성원
김진경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/950,984 priority Critical patent/US8593297B2/en
Priority to JP2010277939A priority patent/JP2011135573A/en
Publication of KR20110073206A publication Critical patent/KR20110073206A/en
Application granted granted Critical
Publication of KR101331089B1 publication Critical patent/KR101331089B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/068Sticks for blind persons
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B13/00Transmission systems characterised by the medium used for transmission, not provided for in groups H04B3/00 - H04B11/00

Abstract

정확한 보행 안내 정보를 제공할 수 있고 사용 편의성을 향상시킬 수 있는 인체 통신을 이용한 보행 안내 장치가 개시된다. 보행 안내 장치는 지팡이 등에 설치되어 보행 안내 정보 신호를 획득하고 획득한 보행 안내 정보 신호를 인체 통신이 가능한 신호로 변환한 후 사용자의 신체를 통하여 전송하는 제1 인체 통신 수단과, 제1 인체 통신 수단으로부터 사용자의 신체를 통해 전송된 신호를 수신한 후 수신한 신호를 사용자가 인지 가능한 신호로 변환하여 출력하는 제2 인체 통신 수단을 포함한다. 따라서, 비화성이 높고 안정적이며 정확도가 높은 보행 안내 정보를 제공할 수 있고 사용 편의성을 향상시킬 수 있다.Disclosed is a walking guide apparatus using human body communication that can provide accurate walking guide information and improve usability. The walking guidance apparatus is installed in a cane or the like to obtain a walking guidance information signal and converts the acquired walking guidance information signal into a signal capable of human communication, and then transmits it through a user's body, and the first human body communication means. And a second human body communication means for converting the received signal into a signal recognizable by the user after receiving the signal transmitted through the user's body from the user. Therefore, it is possible to provide walking guidance information having high incompatibility, stability and high accuracy, and improving usability.

Description

인체 통신을 이용한 보행 안내 장치{APPARATUS FOR WORKING GUIDANCE USING HUMAN BODY COMMUNICATION}Pedestrian guidance device using human body communication {APPARATUS FOR WORKING GUIDANCE USING HUMAN BODY COMMUNICATION}

본 발명은 시각 장애인용 보행 안내 장치에 관한 것으로, 더욱 상세하게는 인체 통신을 이용하여 시각 장애인에게 보행 안내를 제공할 수 있는 인체 통신을 이용한 보행 안내 장치에 관한 것이다.The present invention relates to a gait guide device for the visually impaired, and more particularly, to a gait guide device using the human body communication that can provide a walking guide to the visually impaired by using the human body communication.

본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-072-04, 과제명: 인체통신 컨트롤러 SoC].The present invention is derived from a study conducted as part of the IT source technology development project of the Ministry of Knowledge Economy [Task Management Number: 2006-S-072-04, Task name: Human Communication Controller SoC].

일반적으로 시각 장애인들은 이동시에 지팡이를 사용할 때 건널목이나 지하철 승하차 출입문, 계단 등과 같이 주의를 요하거나 특정 위치까지 안내하기 위해 보도 블록 중간에 설치된 유도 블록을 감지하여 자신의 위치 및 위험을 인지한다.In general, visually impaired people recognize their position and danger by detecting a guide block installed in the middle of a sidewalk block to require attention or to guide to a specific location, such as crossings, subway entrances and exits, and stairs when using a walking stick.

상술한 바와 같이 시각 장애인들이 이동시에 항상 휴대하는 지팡이에 IT 및 통신 기술을 적용하여 시각 장애인들에게 좀 더 편리하고 안전한 보행 안내 정보를 제공하기 위한 연구 및 개발이 IT 기술발전과 함께 새로운 연구 및 개발이 진행되고 있다.As mentioned above, research and development to provide more convenient and safe walking guidance information to the visually impaired by applying IT and communication technology to the cane that the visually impaired carry at all times is possible. This is going on.

IT 및 통신 기술을 적용한 예로는 시각 장애인들이 안전하게 보행할 수 있도록 하기 위하여 지팡이에 통신 기능을 갖는 집적회로를 설치하고, 도로 상에 설치된 통신 시스템들로부터 제공되는 정보들을 수신하여 처리한 후 시각 장애인에게 음성을 통해 보행 안내 정보를 제공하는 장치 및 방법들이 제안되고 있다.An example of applying IT and communication technology is to install an integrated circuit having a communication function on a walking stick so that the visually impaired can walk safely, receive and process information provided from communication systems installed on the road, Apparatuses and methods for providing walking guidance information through voice have been proposed.

예를 들면, 도로 또는 구조물의 특정 장소에 설치되는 통신 시스템에 도로 위치나 지형 변화, 장애물, 공사, 온도, 습도, 공해 상태, 혼잡도 등의 도로 상태 정보를 지능형 교통 시스템(ITS: Intelligent Transfer System)에 실장한 교통 통신 환경에서 이를 기반으로 하는 보행 안내 정보 제공 기술의 연구 결과들이 발표되고 있다.For example, a communication system installed at a specific place of a road or structure may provide road status information such as road position or terrain change, obstacles, construction, temperature, humidity, pollution state, and congestion degree to an intelligent transfer system (ITS). The research results of the pedestrian guidance information providing technology based on this are being published in the transportation communication environment.

지능형 교통 시스템을 시각 장애인의 지팡이에 활용한 예로는 상기 지팡이에 RFID, GPS, 적외선광 또는 가시광 통신 방식을 적용하여 보행 안내 정보를 수신하고, 수신된 보행 안내 정보를 시각 장애인에게 제공하는 장치 및 방법들이 있다.An example of using an intelligent transportation system for a cane for the visually impaired is an apparatus and method for receiving walking guidance information by applying an RFID, GPS, infrared light, or visible light communication method to the cane, and providing the received walking guidance information to the blind. There is.

상술한 방법들 중 가시광 통신 방식은 현재 국제 표준화 그룹(IEEE 802.15.7)에서 협의중에 있다. 가시광 통신 방식은 기반 교통 신호등과 조명 시설 등을 크게 변경하지 않고 다양한 도로 정보를 획득할 수 있고, 양방향 통신이 실현되는 경우 사용자의 위험상황을 실시간으로 통보할 수 있는 최적의 통신 환경을 구축할 수 있는 장점이 있다. 예를 들어, 가시광 통신 방식을 이용하는 경우 교통신호등 또는 조명 시설의 광원을 가시광 통신을 위한 LED(Light Emitting Diode) 소자로 교체하는 것만으로 GPS 방식과는 다르게 도로 및 실내외에서 위치 정보를 포함한 다양한 도로 정보를 용이하게 획득할 수 있다.Among the aforementioned methods, the visible light communication method is currently being negotiated by the International Standardization Group (IEEE 802.15.7). Visible light communication method can acquire various road information without major change of base traffic light and lighting facility, and can establish optimal communication environment that can notify user's danger situation in real time when two-way communication is realized. There is an advantage. For example, in the case of using the visible light communication method, a variety of road information including location information in the road and indoors and outdoors is different from the GPS method only by replacing a traffic light or a light source of a lighting facility with a light emitting diode (LED) element for visible light communication. Can be easily obtained.

한편, 상술한 바와 같은 종래의 통신 기능을 구비한 시각 장애인용 지팡이는 획득한 보행 안내 정보를 사용자에게 제공하는 방법으로, 지팡이와 유선으로 연결된 이어폰을 통해 보행 안내 정보를 제공하는 방법을 사용하거나, 블루투스 통신 방식을 이용하여 보행 안내 정보를 제공하는 방법을 사용한다.On the other hand, the cane for the visually impaired with the conventional communication function as described above is a method of providing the acquired walking guidance information to the user, using a method of providing walking guidance information through the earphone connected to the cane, or A method of providing walking guidance information using a Bluetooth communication method is used.

이어폰을 이용하여 도로 정보를 시각 장애인에게 제공하는 경우에는 지팡이에 연결된 이어폰 연결선의 단선이나 지팡이와 이어폰 연결선의 접촉 불량 또는 이어폰 연결선의 얽힘이나 걸림 등이 발생할 수 있기 때문에 시각 장애인의 세심한 주의가 필요하고 이로 인해 사용 중에 심리적 불안감을 유발하게 되는 단점이 있다.When providing the road information to the visually impaired by using earphones, it is necessary to pay close attention to the visually impaired because disconnection of the earphone cable connected to the cane, poor contact between the cane and the earphone cable, or entanglement or jamming of the earphone cable may occur. This has the disadvantage of causing psychological anxiety during use.

또한, 블루투스를 이용하여 획득한 보행 안내 정보를 제공하는 경우에는 지팡이에 내장된 통신 장치에 블루투스 기능을 추가하여 음성 신호를 송신하기 때문에 시각 장애인의 보행 환경에 따라 혼신이 발생될 수 있고, 이로 인해 중요한 도로 정보를 청취하지 못하게 되어 안전상 심각한 위험에 노출될 수 있는 단점이 있다.In addition, when providing walking guidance information acquired using Bluetooth, since a voice signal is transmitted by adding a Bluetooth function to a communication device built in the cane, interference may occur according to a walking environment of a visually impaired person. There is a drawback that you may not be able to hear important road information, which may expose you to serious safety risks.

본 발명의 목적은 정확하게 보행 안내 정보를 제공할 수 있고, 사용 편의성을 향상시킬 수 있는 인체 통신을 이용한 보행 안내 장치를 제공하는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to provide a walking guide apparatus using human body communication that can accurately provide walking guide information and improve usability.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 인체 통신을 이용한 보행 안내 장치는, 보행 안내 정보 신호를 획득하고 획득한 상기 보행 안내 정보 신호를 인체 통신이 가능한 신호로 변환한 후 사용자의 신체를 통하여 전송하는 제1 인체 통신 수단 및 상기 제1 인체 통신 수단으로부터 상기 사용자의 신체를 통해 전송된 신호를 수신한 후 수신한 신호를 상기 사용자가 인지 가능한 신호로 변환하여 출력한다.In order to achieve the above object of the present invention, a walking guidance apparatus using human body communication according to an aspect of the present invention obtains a walking guidance information signal and converts the obtained walking guidance information signal into a signal capable of human communication. After receiving the signal transmitted through the body of the user from the first human body communication means and the first human body communication means to transmit through the user's body and converts the received signal into a signal that the user can recognize and output.

상기 제1 인체 통신 수단은 가시광 데이터 신호를 검출하여 전기신호로 변환하는 광검출부와, 상기 광검출부로부터 제공된 전기신호를 변조하여 변조 신호를 제공하는 제1 통신부 및 상기 제1 통신부로부터 상기 변조 신호 제공받고, 상기 사용자의 신체에 상기 제공받은 변조 신호를 제공하는 제1 전극을 포함할 수 있다.The first human body communication means includes: a light detector for detecting and converting a visible light data signal into an electrical signal; a first communication unit for modulating an electrical signal provided from the light detector and providing a modulated signal; and providing the modulated signal from the first communication unit. And a first electrode configured to receive the provided modulation signal to the user's body.

상기 제1 통신부는 상기 광검출부로부터 제공된 전기 신호를 복조하는 제1 수신 모듈 및 상기 제1 수신 모듈로부터 복조된 전기 신호를 제공받고 상기 제공받은 복조된 전기 신호를 상기 사용자의 신체를 통해 전송 가능한 신호로 변조하는 제1 송신 모듈을 포함할 수 있다.The first communication unit receives a first receiving module that demodulates an electrical signal provided from the photodetector and an electrical signal demodulated from the first receiving module, and transmits the received demodulated electrical signal through the user's body. And a first transmission module for modulating with.

상기 제1 송신 모듈은 BPSK(Binary Phase Shift Keying)변조를 수행할 수 있다.The first transmission module may perform binary phase shift keying (BPSK) modulation.

상기 제1 인체 통신 수단은 상기 제1 인체 통신 수단이 상기 사용자의 신체에 접촉되는 경우 미리 정해진 인증 정보를 이용하여 사용자 인증을 수행하는 제1 제어부 및 상기 사용자의 인증을 수행하기 위한 사용자 인증 정보가 저장된 저장부를 더 포함할 수 있다.The first human body communication means may include a first control unit for performing user authentication using predetermined authentication information when the first human body communication means contacts the body of the user, and user authentication information for authenticating the user. The storage unit may further include a storage unit.

상기 제2 인체 통신 수단은 상기 사용자의 신체에 접촉되어 상기 제1 통신 수단으로부터 전송된 신호를 수신하는 제2 전극과, 상기 제2 전극을 통해 수신된 신호를 복조하여 복조된 신호를 제공하는 제2 통신부 및 상기 복조된 신호를 처리하여 음성 신호를 출력하는 음성 처리부를 포함할 수 있다.The second human body communication means may be configured to provide a demodulated signal by demodulating a second electrode that contacts the body of the user and receives a signal transmitted from the first communication means, and a signal received through the second electrode. 2 may include a communication unit and a voice processing unit for processing the demodulated signal and outputting a voice signal.

상기 음성 처리부는 상기 제1 인체 통신 수단으로부터 전송된 신호에 상응하는 음성 신호를 생성하여 출력할 수 있다.The voice processor may generate and output a voice signal corresponding to the signal transmitted from the first human body communication means.

상기 음성 처리부는 제공된 신호에 상응하여 출력될 음성이 저장된 데이터베이스를 포함할 수 있다.The voice processor may include a database in which a voice to be output corresponding to the provided signal is stored.

상기 음성 처리부는 제공된 신호가 음성 데이터인 경우 상기 제공된 음성 데이터를 음성 신호로 변환하여 출력하는 디지털 신호 처리 모듈을 더 포함할 수 있다.The voice processor may further include a digital signal processing module configured to convert the provided voice data into a voice signal and output the voice signal when the provided signal is voice data.

상기 음성 처리부는 제공된 신호를 인체음향통신을 이용하여 사용자에게 음성으로 제공할 수 있다.The voice processor may provide the provided signal as a voice to a user using human body acoustic communication.

상기 제1 인체 통신 수단은 RFID 신호, 적외선 신호 및 GPS신호 중 적어도 하나의 신호를 검출하여 상기 보행 안내 정보 신호를 획득하고, 상기 획득한 보행 안내 정보 신호를 인체 통신한 신호로 변환한 후 상기 사용자의 신체를 통하여 전송할 수 있다.The first human body communication means detects at least one signal of an RFID signal, an infrared signal, and a GPS signal to obtain the walking guidance information signal, and converts the obtained walking guidance information signal into a human body communication signal and then the user. Can be transmitted through the body.

또한, 본 발명의 목적을 달성하기 위한 본 발명의 다른 측면에 따른 인체 통신을 이용한 보행 안내 장치는, 보행 안내 정보를 포함하는 가시광 신호를 검출하고 검출된 상기 가시광 신호를 처리하여 사용자의 신체를 통해 전송하는 제1 인체 통신 수단 및 상기 제1 인체 통신 수단으로부터 상기 사용자의 신체를 통해 전송된 신호를 수신한 후 상기 수신한 신호를 처리하여 상기 수신한 신호에 상응하는 음성 신호를 출력하고, 사용자로부터 제공된 음성 신호를 가시광 신호로 변환하여 출력한다.In addition, the walking guide apparatus using the human body communication according to another aspect of the present invention for achieving the object of the present invention, by detecting a visible light signal including the walking guide information and processing the detected visible light signal through the user's body After receiving a signal transmitted through the body of the user from the first human body communication means and the first human body communication means for transmitting and processing the received signal to output a voice signal corresponding to the received signal, from the user The provided audio signal is converted into a visible light signal and output.

상기 제2 인체 통신 수단은 상기 사용자의 신체에 접촉되어 상기 제1 통신 수단으로부터 전송된 신호를 수신하는 제2 전극과, 상기 제2 전극을 통해 수신된 신호를 복조하여 복조된 신호를 제공하고, 제공된 음성 데이터를 변조하여 변조 신호를 제공하는 제2 통신부와, 상기 복조된 신호를 처리하여 음성 신호를 출력하고, 상기 사용자로부터 제공된 음성을 상기 음성 데이터로 변환하여 상기 제2 통신부에 제공하는 음성 처리부 및 상기 제2 통신부로부터 제공된 변조 신호에 상응하여 가시광 신호를 출력하는 발광부를 포함할 수 있다.The second human body communication means provides a demodulated signal by demodulating a second electrode which contacts the body of the user and receives a signal transmitted from the first communication means, a signal received through the second electrode, A second communication unit for modulating the provided voice data to provide a modulated signal, a voice processing unit for processing the demodulated signal to output a voice signal, converting the voice provided from the user into the voice data, and providing the voice data to the second communication unit And a light emitting unit configured to output a visible light signal corresponding to the modulation signal provided from the second communication unit.

상술한 바와 같은 인체 통신을 이용한 보행 안내 장치는, 시각 장애인 또는 지체부자유자 등이 의존하는 지팡이, 보행보조기구 또는 휠체어 등에 설치되어, 가시광, 적외선, RFID 신호, GPS 신호를 검출하고 변조 등의 처리를 수행한 후 사용자의 신체를 통해 신호를 전송하는 제1 인체 통신 장치 및 사용자의 신체에 부착되고 상기 제1 인체 통신 장치로부터 신체를 통해 전송된 신호를 처리하여 사용자가 인지가능한 음성으로 출력하는 제2 인체 통신 장치를 포함한다.The pedestrian guide device using the human body communication as described above is installed in a cane, a walking aid, or a wheelchair on which a visually impaired person or handicapped person depends, and detects visible light, an infrared ray, an RFID signal, a GPS signal, and processes modulation. A first human body communication device which transmits a signal through the user's body and then attaches to the user's body and processes the signal transmitted through the body from the first human body communication device and outputs a voice that is recognizable by the user. 2 includes a human body communication device.

상술한 바와 같이 본 발명의 실시예에 따른 보행 안내 장치는 유용성 및 유효성이 높은 가시광 통신을 이용하고, 인체를 통신 채널로 이용하여 보행 안내 정보를 제공하기 때문에 비화성이 높고, 안정적이며 정확도가 높은 보행 안내 정보를 제공한다.As described above, the walking guidance apparatus according to the embodiment of the present invention uses high visibility and high efficiency visible light communication, and provides walking guidance information using a human body as a communication channel, so that it has high incompatibility, stable and high accuracy. Provide walking guidance information.

또한, 지팡이와 같이 사용자가 보행시에 항상 휴대하는 물체에 제1 인체 통신 장치를 설치하고, 제2 인체 통신 장치는 사용자의 신체에 탈부착이 가능하도록 구성하고 인체를 통하여 보행 안내 정보를 획득함으로써 사용 편의성을 향상시킬 수 있다.In addition, the first human body communication device is installed on an object that the user always carries when walking, such as a cane, and the second human body communication device is configured to be detachable to the user's body and is used by acquiring walking guidance information through the human body. Convenience can be improved.

도 1은 본 발명의 일 실시예에 따른 인체 통신을 이용한 보행 안내 장치의 사용예를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 인체 통신을 이용한 보행 안내 장치 중 제1 인체 통신 장치의 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 인체 통신을 이용한 보행 안내 장치 중 제2 인체 통신 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 다른 실시예에 따른 인체 통신을 이용한 보행 안내 장치 중 제1 인체 통신 장치의 구성을 나타내는 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 인체 통신을 이용한 보행 안내 장치 중 제2 인체 통신 장치의 구성을 나타내는 블록도이다.
1 is a conceptual diagram illustrating an example of use of a walking guide apparatus using human body communication according to an exemplary embodiment of the present invention.
2 is a block diagram illustrating a configuration of a first human body communication device among the walking guidance apparatus using human body communication according to an embodiment of the present invention.
3 is a block diagram illustrating a configuration of a second human body communication device among the walking guidance apparatus using human body communication according to one embodiment of the present invention.
4 is a block diagram illustrating a configuration of a first human body communication device among the walking guidance apparatus using human body communication according to another embodiment of the present invention.
FIG. 5 is a block diagram illustrating a configuration of a second human body communication device among the walking guidance apparatus using human body communication according to another embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 내포하는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in the commonly used dictionaries should be construed as having a meaning consistent with the meaning contained in the context of the related art, and should be construed in an idealized or overly formal sense unless explicitly defined in the present application. It doesn't work.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

이하, 본 발명의 실시예에서 보행 안내 장치를 통해 사용자에게 제공되는 보행 안내 정보는 도로 위치, 지형 변화, 장애물, 공사 유무, 온도, 습도, 공해 상태, 교통 혼잡도, 신호등의 신호 상태 정보 등과 같이 보행 안내 장치가 주위의 환경으로부터 획득할 수 있고 사용자에게 제공할 수 있는 모든 정보를 포함하는 개념이다.
Hereinafter, the walking guidance information provided to the user through the walking guidance apparatus in the embodiment of the present invention is walking such as road position, terrain change, obstacle, construction presence, temperature, humidity, pollution state, traffic congestion, signal state information, etc. The concept includes all information that the guide device can obtain from the surrounding environment and provide to the user.

도 1은 본 발명의 일 실시예에 따른 인체 통신을 이용한 보행 안내 장치의 사용예를 설명하기 위한 개념도로서, 인체 통신 장치가 지팡이 및 사용자의 신체에 설치되고 인체를 통신 채널로 이용하여 사용자에게 보행 안내 정보를 제공하는 경우를 예를 들어 도시하였다.1 is a conceptual diagram illustrating an example of the use of a walking guidance device using human body communication according to an embodiment of the present invention, wherein a human body communication device is installed in a cane and a user's body and walks to a user using a human body as a communication channel. An example of providing guide information is illustrated.

도 1을 참조하면, 본 발명의 일 실시예에 따른 보행 안내 장치는 제1 인체 통신 장치(100) 및 제2 인체 통신 장치(200)를 포함할 수 있고, 상기 제1 인체 통신 장치(100)는 지팡이(10)와 같이 사용자의 신체와 접촉될 수 있는 물체에 설치될 수 있고, 상기 제2 인체 통신 장치(200)는 사용자의 손목과 같은 신체(20)에 직접 부착될 수 있다. 상기 제1 인체 통신 장치(100) 및 상기 제2 인체 통신 장치(200)는 인체 통신(Human Body Communication)을 이용하여 보행 안내 정보를 송수신한다.Referring to FIG. 1, a walking guidance apparatus according to an exemplary embodiment of the present invention may include a first human body communication device 100 and a second human body communication device 200, and the first human body communication device 100 may be used. The can be installed on an object that can be in contact with the user's body, such as the cane 10, the second human body communication device 200 may be attached directly to the body 20, such as the user's wrist. The first human body communication device 100 and the second human body communication device 200 transmit and receive walking guide information using human body communication.

인체 통신은 인체를 통신 채널로 이용하여 데이터를 송수신하는 통신 기술로 체내를 흐르는 전류의 변화를 이용하는 방식과 인체의 표면 전계 변화를 이용하는 방식으로 구분할 수 있고, 통신 범위나 상대를 명확하게 한정할 수 있기 때문에 전화나 무선통신과 달리 혼선 및 도청의 위험을 감소시킬 수 있는 장점이 있다. 본 발명의 실시예에서 제1 인체 통신 장치(100) 및 제2 인체 통신 장치(200)는 서로간의 인체 통신을 위하여 공지된 인체 통신 방법 중 어느 하나의 방법을 이용할 수 있다.Human body communication is a communication technology that transmits and receives data by using the human body as a communication channel, and can be classified into a method of using a change in current flowing through the body and a method of using a change in the surface electric field of the human body. Therefore, unlike telephone or wireless communication, there is an advantage that can reduce the risk of crosstalk and eavesdropping. In the embodiment of the present invention, the first human body communication device 100 and the second human body communication device 200 may use any one of the known human body communication methods for human body communication with each other.

도 1에서 지팡이(10)에 설치된 제1 인체 통신 장치(100)는 예를 들어, 가시광 통신 기능을 구비한 교통 신호등으로부터 송신되는 정보를 수신하고 복조한 후 복조된 정보를 사용자와 접촉하고 있는 전극을 통해 사용자의 신체에 전달하고, 제2 인체 통신 장치(200)는 사용자의 신체를 이용하여 제1 인체 통신 장치(100)로부터 제공된 정보를 처리하여 음성 신호를 출력함으로써 사용자가 음성을 통해 정보를 취득할 수 있도록 한다. 여기서, 상기 제2 인체 통신 장치(200)는 제1 인체 통신 장치(100)로부터 인체 통신을 통해 전송된 정보가 음성 데이터인 경우에는 이를 복조하여 사용자에게 제공하거나, 상기 제공된 정보가 직접적인 음성 신호가 아닌 단순히 위치 신호(예를 들면, GPS 신호)인 경우에는 이 정보에 상응하는 음성 신호를 생성하여 사용자에게 제공할 수 있다.In FIG. 1, the first human body communication device 100 installed in the cane 10 receives, for example, demodulates information transmitted from a traffic light having visible light communication function and demodulates the electrode in contact with the user. The second human body communication device 200 processes the information provided from the first human body communication device 100 by using the user's body and outputs a voice signal to the user through the voice. To be acquired. In this case, when the information transmitted through the human body communication from the first human body communication device 100 is voice data, the second human body communication device 200 demodulates the information and provides the same to the user. In the case of simply a location signal (for example, a GPS signal), a voice signal corresponding to the information may be generated and provided to the user.

또한, 상기 지팡이(10)에 설치되는 제1 인체 통신 장치(100)는 도로 또는 시설물에 설치된 RFID 태그를 인식할 수 있는 RFID 리더, 적외선광을 감지할 수 있는 적외선 센서, GPS 신호를 수신할 수 있는 GPS 수신 모듈 또는 가시광 통신 기능을 구비한 통신 모듈을 포함할 수 있다.In addition, the first human body communication device 100 installed on the cane 10 may receive an RFID reader capable of recognizing an RFID tag installed on a road or a facility, an infrared sensor capable of detecting infrared light, and a GPS signal. It may include a GPS receiving module or a communication module having a visible light communication function.

또한, 도 1에서는 제1 인체 통신 장치(100)가 시각 장애인이 주로 사용하는 지팡이(10)에 설치된 것으로 예를 들어 도시하였으나, 이는 설명의 편의를 위한 하나의 예일 뿐이며, 상기 제1 인체 통신 장치(100)는 휠체어의 손잡이 또는 보행보조기구의 손잡이 등과 같이 사용자가 접촉할 수 있는 다양한 물체에 설치될 수 있다. 그리고, 여기서 접촉의 의미는 제1 전극(140)에 직접 피부를 접촉하는 것과 전극의 재질 및 크기에 따라서 안테나 효과를 활용하는 경우에 생활 장갑 등을 착용한 상태로 접촉하는 것을 모두 포함한다.
In addition, in FIG. 1, for example, the first human body communication device 100 is installed in the cane 10 mainly used by the visually impaired, but this is only one example for convenience of description and the first human communication device. The 100 may be installed on various objects that a user may contact, such as a handle of a wheelchair or a handle of a walking aid. In addition, the meaning of the contact includes both contacting the skin directly with the first electrode 140 and contacting with a living glove when using the antenna effect according to the material and size of the electrode.

도 2는 본 발명의 일 실시예에 따른 인체 통신을 이용한 보행 안내 장치 중 제1 인체 통신 장치의 구성을 나타내는 블록도로서, 제1 인체 통신 장치가 가시광 신호를 검출하여 보행 안내 정보를 획득하도록 구성된 경우를 예를 들어 도시하였다.FIG. 2 is a block diagram illustrating a configuration of a first human body communication device among human walking communication apparatuses using human body communication according to an embodiment of the present invention, wherein the first human body communication apparatus is configured to detect visible light signals to obtain walking guidance information; FIG. The case is illustrated by way of example.

도 2를 참조하면, 제1 인체 통신 장치(100)는 제1 제어부(110), 저장부(120), 제1 통신부(130), 제1 전극(140) 및 광검출부(150)를 포함한다.Referring to FIG. 2, the first human body communication device 100 includes a first control unit 110, a storage unit 120, a first communication unit 130, a first electrode 140, and a photodetector 150. .

제1 제어부(110)는 제1 인체 통신 장치(100)에 포함된 모든 구성요소의 동작을 제어하고 관리하며, 사용자 인식 및 인증 정보등을 관리한다. 예를 들어, 제1 제어부(110)는 사용자가 제1 인체 통신 장치(100)가 설치된 물체(예를 들면, 지팡이)에 접촉하는 경우 미리 정해진 사용자의 인증 정보를 저장부(120)에 저장된 사용자 인증 정보와 비교하여 서로 일치하는 경우 제1 인체 통신 장치(100)의 동작을 활성화시키고, 상기 두 정보가 서로 일치하지 않는 경우에는 제1 인체 통신 장치(100)의 동작을 비활성화시킬 수 있다.The first control unit 110 controls and manages operations of all components included in the first human body communication device 100, and manages user recognition and authentication information. For example, the first controller 110 stores the user's authentication information in the storage 120 when the user contacts an object (for example, a wand) in which the first human body communication device 100 is installed. In comparison with the authentication information, the operation of the first human body communication device 100 may be activated. If the two information does not match, the operation of the first human communication device 100 may be deactivated.

저장부(120)는 제1 제어부(110)의 제어에 상응하여 사용자의 인식 또는 인증을 위한 인식 정보 또는 인증 정보를 저장한다.The storage unit 120 stores recognition information or authentication information for recognition or authentication of the user under the control of the first controller 110.

제1 통신부(130)는 제1 수신 모듈(131) 및 제1 송신 모듈(133)을 포함할 수 있고, 제1 제어부(110)의 제어에 의하여 광검출부(150)에서 검출된 데이터 신호를 처리한 후 제1 전극(140)을 통해 사용자의 신체로 신호를 전송한다.The first communication unit 130 may include a first receiving module 131 and a first transmitting module 133, and processes the data signal detected by the photodetector 150 under the control of the first control unit 110. After that, the signal is transmitted to the user's body through the first electrode 140.

구체적으로, 제1 수신 모듈(131)은 광검출부(150)로부터 검출된 가시광 검출 신호를 복조하여 제1 송신 모듈(133)에 전달하고, 제1 송신 모듈(133)은 제1 수신 모듈(131)로부터 검출된 데이터 신호를 제1 제어부(110)의 변조 제어 신호에 의하여 변조한 후 변조된 신호를 제1 전극(140)을 통해 사용자의 신체로 전송한다. 여기서, 제1 송신 모듈(133)은 무선 통신 기술에서 일반적으로 사용되는 다양한 변조 방법들을 적용하여 전달받은 신호를 변조할 수 있으나, 인체 통신 규격에 적합한 변조 방법으로 변조를 수행하는 것이 바람직하며, 광검출부(150)를 통해 제공된 신호가 위치를 나타내는 좌표 또는 음성 정보와 같이 비교적 단순한 데이터 신호인 경우에는 저속에서 변조 효율이 높은 BPSK 변조를 수행할 수 있다.In detail, the first receiving module 131 demodulates and transmits the visible light detection signal detected by the photodetector 150 to the first transmitting module 133, and the first transmitting module 133 receives the first receiving module 131. ) Modulates the data signal detected by the control unit by the modulation control signal of the first controller 110 and transmits the modulated signal to the user's body through the first electrode 140. Here, the first transmission module 133 may modulate the received signal by applying various modulation methods commonly used in wireless communication technology, but it is preferable to perform modulation by a modulation method suitable for the human body communication standard. When the signal provided through the detector 150 is a relatively simple data signal such as coordinates or voice information indicating a location, BPSK modulation with high modulation efficiency at low speed may be performed.

제1전극(140)은 제1 통신부(130)로부터 전달된 신호를 사용자의 신체에 전송하는 기능을 수행한다. 제1 전극(140)은 상기한 기능을 위해 제1 통신부(130)와 전기적으로 연결되고 사용자의 신체와 접촉될 수 있는 위치에 설치될 수 있다. 또한, 제1 전극은 제1 인체 통신 장치가 설치되는 물체의 형상에 상응하여 다양한 재질 및 형태로 제조될 수 있다.The first electrode 140 performs a function of transmitting a signal transmitted from the first communication unit 130 to the body of the user. The first electrode 140 may be installed at a position where the first electrode 140 is electrically connected to the first communication unit 130 and in contact with the user's body. In addition, the first electrode may be manufactured in various materials and shapes corresponding to the shape of the object on which the first human body communication device is installed.

광검출부(150)는 구현 기술이 공지되어 있는 광을 검출하고 검출된 광에 상응하는 전기신호로 변환하는 포토다이오드 및 낮은 전압 레벨을 미리 설정된 레벨로 증폭하기 위한 증폭회로를 포함할 수 있다. The photodetector 150 may include a photodiode for detecting light having a known technology and converting it into an electrical signal corresponding to the detected light, and an amplifier circuit for amplifying a low voltage level to a predetermined level.

예를 들어, 광검출부(150)는 도로 및 교통 정보를 실어서 송신하는 LED(Light Emitting Diode) 소자로 구성된 교통신호등으로부터 제공되는 가시광 신호에 대하여 포토다이오드를 통해 검출하여 전기신호로 변환한 후 상기 전기신호를 미리 설정된 레벨로 증폭한 후 제1 통신부(130)에 전달할 수 있다.
For example, the light detecting unit 150 detects a visible light signal provided from a traffic signal lamp composed of a LED (Light Emitting Diode) element for carrying and transmitting road and traffic information and converts the visible light signal through a photodiode into an electrical signal. The electric signal may be amplified to a preset level and then transferred to the first communication unit 130.

도 3은 본 발명의 일 실시예에 따른 인체 통신을 이용한 보행 안내 장치 중 제2 인체 통신 장치의 구성을 나타내는 블록도이다.3 is a block diagram illustrating a configuration of a second human body communication device among the walking guidance apparatus using human body communication according to one embodiment of the present invention.

도 3을 참조하면, 제2 인체 통신 장치(200)는 제2 제어부(210), 제2 통신부(220), 제2 전극(230) 및 음성 처리부(240)를 포함한다.Referring to FIG. 3, the second human body communication device 200 includes a second control unit 210, a second communication unit 220, a second electrode 230, and a voice processing unit 240.

제2 제어부(210)는 제2 인체 통신 장치(200)에 포함된 모든 구성요소의 동작을 제어하고 관리한다.The second control unit 210 controls and manages operations of all components included in the second human body communication device 200.

제2 통신부(220)는 제2 수신 모듈(221)을 포함할 수 있고, 제2 전극(230)을 통해 제1 인체 통신 장치가 송신한 신호를 수신하여 복조한 후 복조된 신호를 음성 처리부(240)에 제공한다.The second communication unit 220 may include a second receiving module 221 and receives and demodulates a signal transmitted by the first human body communication device through the second electrode 230, and then demodulates the demodulated signal into a voice processing unit ( 240).

제2 전극(230)은 제1 인체 통신 장치(100)가 사용자의 신체를 통하여 송신한 신호를 접촉된 사용자의 신체로부터 수신하여 제2 통신부(220)에 전달한다. 이를 위해 제2 전극(230)은 제2 통신부(220)와 전기적으로 연결되고 사용자의 신체에 접촉될 수 있도록 구성된다. 여기서 접촉의 의미는 제2 전극(230)에 직접 피부를 접촉하는 것과 전극의 재질 및 크기에 따라서 안테나 효과를 활용하는 경우에 피부에 직접 접촉하지 않고 옷등을 착용한 상태로 접촉하는 것을 모두 포함한다.The second electrode 230 receives the signal transmitted by the first human body communication device 100 through the body of the user from the body of the contacted user and transmits the signal to the second communication unit 220. To this end, the second electrode 230 is configured to be electrically connected to the second communication unit 220 and to be in contact with the user's body. Here, the meaning of the contact includes both contacting the skin directly with the second electrode 230 and contacting the skin without wearing direct contact with the skin when utilizing the antenna effect according to the material and size of the electrode. .

음성 처리부(240)는 제2 통신부(220)로부터 제공된 신호를 처리하여 사용자가 청취할 수 있는 음성 신호를 출력한다.The voice processor 240 processes a signal provided from the second communication unit 220 and outputs a voice signal that a user can listen to.

구체적으로, 음성 처리부(240)는 위치 좌표에 대응되어 출력될 음성이 저장된 데이터베이스(241)를 포함할 수 있고, 제2 통신부(220)로부터 위치 좌표가 제공되면, 제공받은 위치 좌표에 대응되는 음성을 상기 데이터베이스(241)에서 독출하여 출력함으로써, 사용자에게 위치 정보를 제공한다. 상기한 바와 같은 음성 출력을 위해 음성 처리부(240)는 일상적으로 사용되고 있는 음향 스피커를 포함할 수도 있고, 음성 신호를 이어폰(또는 헤드폰) 출력에 적합하도록 증폭한 후 음성을 제공하도록 구성될 수도 있다.In detail, the voice processor 240 may include a database 241 in which a voice to be output corresponding to the location coordinates is stored, and when the location coordinates are provided from the second communication unit 220, the voice corresponding to the received location coordinates. Reads from the database 241 and outputs the location information to the user. For the audio output as described above, the voice processing unit 240 may include an acoustic speaker that is commonly used, or may be configured to provide a voice after amplifying the voice signal to be suitable for the earphone (or headphone) output.

여기서, 제2 인체 통신 장치(200)가 제1 인체 통신 장치(100) 또는 다른 외부의 장치로부터 위치 정보를 음성 데이터로 제공받도록 구성된 경우, 음성 처리부(240)는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함하여 제2 통신부(220)로부터 제공된 음성 데이터를 사용자가 들을 수 있는 음성 신호로 변환한 후 출력하도록 구성될 수 있다.Here, when the second human body communication device 200 is configured to receive location information as voice data from the first human body communication device 100 or another external device, the voice processing unit 240 may include a digital signal processor (DSP). It may be configured to convert the voice data provided from the second communication unit 220 including a processor into a voice signal that can be heard by the user and then output the converted voice signal.

또는, 음성 처리부(240)는 상술한 바와 같이 제공된 보행 안내 정보에 상응하는 음성 신호를 스피커 또는 이어폰 단자를 통해 출력하도록 구성되는 대신에 현재 연구개발 중에 있는 인체음향통신의 방법을 활용할 수 있으며, 인체 음향통신의 기술에서는 예를 들어 고주파 신호 생성 모듈, 음성신호의 합성 모듈, 대역 통과 필터 또는 증폭 회로 등을 포함하도록 구성될 수도 있다.
Alternatively, instead of being configured to output a voice signal corresponding to the walking guidance information provided through the speaker or the earphone terminal as described above, the voice processing unit 240 may utilize a method of human acoustic communication currently under development. In the technology of the acoustic communication, it may be configured to include, for example, a high frequency signal generation module, a synthesis module of a voice signal, a band pass filter or an amplification circuit.

도 4는 본 발명의 다른 실시예에 따른 인체 통신을 이용한 보행 안내 장치 중 제1 인체 통신 장치의 구성을 나타내는 블록도이다.4 is a block diagram illustrating a configuration of a first human body communication device among the walking guidance apparatus using human body communication according to another embodiment of the present invention.

도 4를 참조하면, 본 발명의 다른 실시예에 따른 제1 인체 통신 장치(100-1)는 제1 제어부(110), 저장부(120), 제1 통신부(130-1), 제1 전극(140) 및 신호 검출부(150-1)를 포함한다.Referring to FIG. 4, the first human body communication device 100-1 according to another embodiment of the present invention may include a first control unit 110, a storage unit 120, a first communication unit 130-1, and a first electrode. 140 and the signal detector 150-1.

제1 제어부(110)는 제1 인체 통신 장치(100)에 포함된 모든 구성요소의 동작을 제어하고 관리하며, 사용자 인식 및 인증 정보등을 관리한다. 예를 들어, 제1 제어부(110)는 사용자가 제1 인체 통신 장치(100)가 설치된 물체(예를 들면, 지팡이)를 접촉하는 경우 저장부(120)에 저장된 사용자 인증 정보와 비교하여 서로 일치하는 경우 제1 인체 통신 장치(100)의 동작을 활성화시키고, 상기 두 정보가 서로 일치하지 않는 경우에는 제1 인체 통신 장치(100)의 동작을 비활성화시킬 수 있다.The first control unit 110 controls and manages operations of all components included in the first human body communication device 100, and manages user recognition and authentication information. For example, when the user touches an object (for example, a wand) in which the first human body communication device 100 is installed, the first controller 110 compares the user authentication information stored in the storage unit 120 to match each other. In this case, the operation of the first human body communication device 100 may be activated, and when the two pieces of information do not coincide with each other, the operation of the first human body communication device 100 may be deactivated.

저장부(120)는 제1 제어부(110)의 제어에 상응하여 사용자의 인식 또는 인증을 위한 인식 정보 또는 인증 정보를 저장한다.The storage unit 120 stores recognition information or authentication information for recognition or authentication of the user under the control of the first controller 110.

제1 통신부(130-1)는 제1 수신 모듈(131-1) 및 제1 송신 모듈(133-1)을 포함할 수 있고, 제1 제어부(110)의 제어에 상응하여 신호 검출부(150-1)로부터 검출된 신호를 처리한 후 제1 전극(140)을 통해 사용자의 신체로 신호를 전송한다.The first communication unit 130-1 may include a first receiving module 131-1 and a first transmitting module 133-1, and according to the control of the first control unit 110, the signal detector 150-. After processing the signal detected from 1) and transmits the signal to the user's body through the first electrode 140.

구체적으로, 제1 수신 모듈(131-1)는 신호 검출부(150-1)로부터 검출된 신호를 복조하여 제1 송신 모듈(133-1)에 전달하고, 제1 송신 모듈(133-1)은 제1 수신 모듈(131-1)로부터 전달된 신호를 제1 제어부(110)의 변조 제어 신호에 상응하여 변조한 후 변조된 신호를 제1 전극(140)을 통해 사용자의 신체로 전송한다. 여기서, 제1 송신 모듈(133-1)은 무선 통신 기술에서 일반적으로 사용되는 다양한 변조 방법들을 적용하여 제공받은 신호를 변조할 수 있으나, 인체 통신의 표준 규격에 적합한 변조 방법으로 변조를 수행하는 것이 바람직하다. In detail, the first receiving module 131-1 demodulates the signal detected by the signal detector 150-1 and transmits the demodulated signal to the first transmitting module 133-1, and the first transmitting module 133-1 The signal transmitted from the first receiving module 131-1 is modulated according to the modulation control signal of the first controller 110, and then the modulated signal is transmitted to the user's body through the first electrode 140. Here, the first transmission module 133-1 may modulate the received signal by applying various modulation methods generally used in wireless communication technology, but performing modulation by a modulation method suitable for the standard of human body communication desirable.

제1전극(140)은 제1 통신부(130-1)로부터 전달된 신호를 사용자의 신체에 제공하는 기능을 수행한다. 제1 전극(140)은 상기한 기능을 위해 제1 통신부(130-1)와 전기적으로 연결되고 사용자의 신체와 접촉될 수 있는 위치에 설치될 수 있다. 또한, 제1 전극(140)은 제1 인체 통신 장치(100-1)가 설치되는 물체의 형상에 적합하고 다양한 재질 및 형태로 제조될 수 있다.The first electrode 140 performs a function of providing a signal transmitted from the first communication unit 130-1 to the user's body. The first electrode 140 may be installed at a position in which the first electrode 140 is electrically connected to the first communication unit 130-1 and in contact with the user's body. In addition, the first electrode 140 may be manufactured in various materials and shapes suitable for the shape of the object on which the first human body communication device 100-1 is installed.

신호 검출부(150-1)는 RFID 리더, GPS 수신 모듈 또는 적외선 센서로 구성될 수 있다. 예를 들어, 신호 검출부(150-1)가 RFID 리더로 구성된 경우에는 보행중 도로 또는 시설물에 설치된 RFID 태그로부터 RFID 신호를 검출한 후 검출된 신호를 제1 수신 모듈(131-1)에 제공한다.The signal detector 150-1 may be configured as an RFID reader, a GPS receiving module, or an infrared sensor. For example, when the signal detector 150-1 is configured as an RFID reader, after detecting an RFID signal from an RFID tag installed on a road or a facility while walking, the signal detector 150-1 provides the detected signal to the first receiving module 131-1. .

또는, 신호 검출부(150-1)가 GPS 수신 모듈로 구성된 경우에는 수신된 수신된 GPS 신호를 제1 수신 모듈(131-1)에 제공하고, 신호 검출부(150-1)가 적외선 센서로 구성된 경우에는 검출한 적외선에 상응하는 신호를 제1 수신 모듈(131-1)에 제공한다.
Alternatively, when the signal detector 150-1 is configured as a GPS receiver module, the received GPS signal is provided to the first receiver module 131-1, and the signal detector 150-1 is configured as an infrared sensor. Provides a signal corresponding to the detected infrared rays to the first receiving module 131-1.

도 5는 본 발명의 다른 실시예에 따른 인체 통신을 이용한 보행 안내 장치 중 제2 인체 통신 장치의 구성을 나타내는 블록도로서, 지능형 교통 시스템(ITS)의 가시광 통신 규정에 의하여 양방향 가시광 통신이 지원되는 환경에서 사용될 수 있는 제2 인체 통신 장치(200-1)의 구성을 나타낸다.FIG. 5 is a block diagram illustrating a configuration of a second human body communication device among pedestrian guide devices using human body communication according to another embodiment of the present invention, in which two-way visible light communication is supported by a visible light communication rule of an intelligent transportation system (ITS); FIG. A configuration of the second human body communication device 200-1 that can be used in the environment is shown.

도 5를 참조하면, 본 발명의 다른 실시예에 따른 제2 인체 통신 장치(200-1)는 제2 제어부(210), 제2 통신부(220-1), 제2 전극(230), 음성 처리부(240-1) 및 발광부(250)를 포함한다.Referring to FIG. 5, the second human body communication device 200-1 according to another embodiment of the present invention may include a second control unit 210, a second communication unit 220-1, a second electrode 230, and a voice processing unit. 240-1 and the light emitting unit 250.

제2 제어부(210)는 제2 인체 통신 장치(200-1)에 포함된 모든 구성요소의 동작을 제어하고 관리한다.The second control unit 210 controls and manages operations of all components included in the second human body communication device 200-1.

제2 통신부(220-1)는 제2 수신 모듈(221-1) 및 제2 송신 모듈(223-1)을 포함할 수 있고, 제2 수신 모듈(221-1)은 제2 전극(230)을 통해 제1 인체 통신 장치가 송신한 신호를 수신하여 복조한 후 복조된 신호를 음성 처리부(240-1)에 전달한다. 제2 송신 모듈(223-1)은 음성 처리부(240-1)로부터 전달된 음성 데이터를 변조하여 발광부(250)에 전달한다.The second communication unit 220-1 may include a second receiving module 221-1 and a second transmitting module 223-1, and the second receiving module 221-1 may include the second electrode 230. After receiving and demodulating the signal transmitted by the first human body communication device through the demodulated signal is transmitted to the voice processing unit (240-1). The second transmission module 223-1 modulates the voice data transmitted from the voice processor 240-1 and transmits the modulated voice data to the light emitter 250.

제2 전극(230)은 제1 인체 통신 장치(100)가 사용자의 신체를 이용하여 송신한 신호를 접촉된 사용자의 신체로부터 수신하여 제2 통신부(220-1)에 전달한다.The second electrode 230 receives a signal transmitted by the first human body communication apparatus 100 using the user's body from the body of the contacted user and transmits the signal to the second communication unit 220-1.

음성 처리부(240-1)는 위치 좌표에 대응되어 출력될 음성이 저장된 데이터베이스(241)를 포함할 수 있고, 제2 통신부(220-1)로부터 위치 좌표가 전달되면, 제공받은 위치 좌표에 대응되는 음성을 상기 데이터베이스(241)에서 독출하여 출력함으로써, 사용자에게 위치 정보를 제공할 수 있다. 상기한 바와 같은 음성 출력을 위해 음성 처리부(240-1)는 일상적으로 사용되고 있는 음향 스피커를 포함할 수도 있고, 음성 신호를 이어폰(또는 헤드폰) 출력에 적합하도록 증폭한 후 제공하도록 구성될 수도 있다.The voice processing unit 240-1 may include a database 241 in which a voice to be output corresponding to the location coordinates is stored. When the location coordinates are transmitted from the second communication unit 220-1, the voice processing unit 240-1 may correspond to the provided location coordinates. By reading the voice from the database 241 and outputting the voice, location information can be provided to the user. For the audio output as described above, the voice processing unit 240-1 may include an acoustic speaker that is commonly used, and may be configured to amplify and provide a voice signal suitable for output of an earphone (or a headphone).

또한, 양방향 가시광 통신을 이용하여 사용자가 긴급구조 또는 재난 상황에 봉착하여 사용자의 음성을 미리 정해진 특정 목적지에 전송하고자 할 때 사용자의 음성을 획득할 수 있도록 음성 처리부(240-1)는 마이크(미도시)를 포함할 수 있다.In addition, the voice processing unit 240-1 may use a microphone (not shown) to acquire the user's voice when the user wants to transmit the user's voice to a predetermined destination by using emergency two-way visible light communication. May include).

구체적으로, 음성 처리부(240-1)는 마이크를 통해 획득한 사용자의 음성에 대한 디지털 신호 처리를 수행하여 디지털 신호로 변환한 후 제2 송신 모듈(223-1)에 전달한다.In detail, the voice processing unit 240-1 performs digital signal processing on the voice of the user acquired through the microphone, converts the digital signal into a digital signal, and transmits the digital signal to the second transmission module 223-1.

발광부(250)는 LED 소자 및 LED 소자를 구동하기 위한 구동 회로를 포함할 수 있고, 제2 송신 모듈(223-1)로부터 변조된 신호에 상응하여 LED 소자를 점멸함으로써 발생하는 가시광을 통하여 데이터를 전송한다. The light emitting unit 250 may include an LED element and a driving circuit for driving the LED element, and data may be generated through visible light generated by blinking the LED element corresponding to a signal modulated from the second transmission module 223-1. Send it.

상기한 바와 같은 가시광 통신을 위해 발광부(250)는 제2 인체 통신 장치(200-1)가 사용자에게 부착되었을 때 항상 가시 영역이 확보될 수 있는 위치에 설치되는 것이 바람직하다. 또한 보행안내장치 사용자의 요구에 따라, 제1 인체 통신 장치(100)에도 발광부(250)의 기능을 추가하는 경우에는, 양방향의 인체 통신을 위하여 제2 송신 모듈(223-1)의 출력신호를 제2 전극(230)을 통하여 전송하는 장치로 구성할 수도 있다. For the visible light communication as described above, the light emitting unit 250 is preferably installed at a position where the visible area is always secured when the second human body communication device 200-1 is attached to the user. In addition, when a function of the light emitting unit 250 is added to the first human body communication device 100 according to a user's request for a walking guide device, an output signal of the second transmission module 223-1 for bidirectional human body communication. It may be configured as a device for transmitting through the second electrode (230).

도 3 및 도 5에 도시된 본 발명의 실시예들에 따른 제2 인체 통신 장치(200 및 200-1)는 도 2 및 도 4에 도시한 제1 인체 통신 장치(100 및 100-1)이외의 인체 통신 장치들과 인체 통신을 통해 통신하는 경우, 마스터 장치의 기능을 실행할 수 있고, 사용자의 접근성 및 조작 편의성을 고려하여 손목에 부착될 수 있도록 제작되거나, 이어폰의 연결선을 최소화하고자 하는 경우에는 사용자의 귀와 근접한 위치인 팔뚝 등에 부착될 수 있는 형태로 제작되거나, 헤드셋 형태로 제작될 수도 있다.
The second human body communication apparatuses 200 and 200-1 according to the embodiments of the present invention illustrated in FIGS. 3 and 5 are other than the first human body communication apparatuses 100 and 100-1 illustrated in FIGS. 2 and 4. When communicating with the human body communication devices of the human body communication, it is possible to execute the function of the master device, to be attached to the wrist in consideration of the user's accessibility and ease of operation, or to minimize the connection line of the earphone It may be manufactured in a form that can be attached to the forearm or the like close to the user's ear, or may be manufactured in the form of a headset.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.

Claims (13)

보행 안내 정보 신호를 획득하고 획득한 상기 보행 안내 정보 신호를 인체 통신이 가능한 신호로 변환한 후 사용자의 신체를 통하여 전송하는 제1 인체 통신 수단; 및
상기 제1 인체 통신 수단으로부터 상기 사용자의 신체를 통해 전송된 신호를 수신한 후 수신한 신호를 상기 사용자가 인지 가능한 신호로 변환하여 출력하는 제2 인체 통신 수단을 포함하며,
상기 제2 인체 통신 수단은
상기 사용자의 신체에 접촉되어 상기 제1 통신 수단으로부터 전송된 신호를 수신하는 제2 전극;
상기 제2 전극을 통해 수신된 신호를 복조하여 복조된 신호를 제공하는 제2 통신부; 및
상기 복조된 신호를 처리하여 상기 제1 인체 통신 수단으로부터 전송된 신호에 상응하는 음성 신호를 생성하여 출력하는 음성 처리부를 포함하는 인체 통신을 이용한 보행 안내 장치.
First human body communication means for acquiring a walking guidance information signal and converting the acquired walking guidance information signal into a signal capable of human communication and transmitting the same through a user's body; And
A second human body communication means for converting the received signal into a signal recognizable by the user after receiving the signal transmitted through the body of the user from the first human body communication means, and outputting the signal;
The second human body communication means
A second electrode in contact with the body of the user and receiving a signal transmitted from the first communication means;
A second communication unit configured to demodulate a signal received through the second electrode and provide a demodulated signal; And
And a voice processor configured to process the demodulated signal to generate and output a voice signal corresponding to the signal transmitted from the first human body communication means.
제1항에 있어서, 상기 제1 인체 통신 수단은
가시광 데이터 신호를 검출하여 전기신호로 변환하는 광검출부;
상기 광검출부로부터 제공된 전기신호를 변조하여 변조 신호를 제공하는 제1 통신부; 및
상기 제1 통신부로부터 상기 변조 신호 제공받고, 상기 사용자의 신체에 상기 제공받은 변조 신호를 제공하는 제1 전극을 포함하는 것을 특징으로 하는 인체통신을 이용한 보행 안내 장치.
The method of claim 1, wherein the first human body communication means
A light detector detecting a visible light data signal and converting the visible light data signal into an electric signal;
A first communication unit which modulates an electric signal provided from the photodetector to provide a modulated signal; And
And a first electrode configured to receive the modulated signal from the first communication unit and to provide the received modulated signal to the body of the user.
제2항에 있어서, 상기 제1 통신부는
상기 광검출부로부터 제공된 전기 신호를 복조하는 제1 수신 모듈; 및
상기 제1 수신 모듈로부터 복조된 전기 신호를 제공받고 상기 제공받은 복조된 전기 신호를 상기 사용자의 신체를 통해 전송 가능한 신호로 변조하는 제1 송신 모듈을 포함하는 것을 특징으로 하는 인체통신을 이용한 보행 안내 장치.
The method of claim 2, wherein the first communication unit
A first receiving module for demodulating an electrical signal provided from the photodetector; And
A first transmission module configured to receive a demodulated electrical signal from the first receiving module and to modulate the received demodulated electrical signal into a signal that can be transmitted through the user's body; Device.
제3항에 있어서, 상기 제1 송신 모듈은
BPSK(Binary Phase Shift Keying)변조를 수행하는 것을 특징으로 하는 인체통신을 이용한 보행 안내 장치.
The method of claim 3, wherein the first transmission module
Walking guide device using human body communication, characterized in that for performing BPSK (Binary Phase Shift Keying) modulation.
제2항에 있어서, 상기 제1 인체 통신 수단은
상기 제1 인체 통신 수단이 상기 사용자의 신체에 접촉되는 경우 미리 정해진 인증 정보를 이용하여 사용자 인증을 수행하는 제1 제어부; 및
상기 사용자의 인증을 수행하기 위한 사용자 인증 정보가 저장된 저장부를 더 포함하는 것을 특징으로 하는 인체통신을 이용한 보행 안내 장치.
The method of claim 2, wherein the first human body communication means
A first controller configured to perform user authentication using predetermined authentication information when the first human body communication means contacts the body of the user; And
And a storage unit storing user authentication information for performing authentication of the user.
삭제delete 삭제delete 제1항에 있어서, 상기 음성 처리부는
제공된 신호에 상응하여 출력될 음성이 저장된 데이터베이스를 포함하는 것을 특징으로 하는 인체통신을 이용한 보행 안내 장치.
The method of claim 1, wherein the voice processing unit
And a database storing a voice to be output in correspondence with a provided signal.
제8항에 있어서, 상기 음성 처리부는
제공된 신호가 음성 데이터인 경우 상기 제공된 음성 데이터를 음성 신호로 변환하여 출력하는 디지털 신호 처리 모듈을 더 포함하는 것을 특징으로 하는 인체통신을 이용한 보행 안내 장치.
The method of claim 8, wherein the voice processing unit
And a digital signal processing module for converting and outputting the provided voice data into a voice signal when the provided signal is voice data.
제8항에 있어서, 상기 음성 처리부는
제공된 신호를 인체음향통신을 이용하여 사용자에게 음성으로 제공하는 것을 특징으로 하는 인체통신을 이용한 보행 안내 장치.
The method of claim 8, wherein the voice processing unit
Walking guidance apparatus using the human body communication, characterized in that to provide the provided signal to the user by using the human body acoustic communication.
제1항에 있어서, 상기 제1 인체 통신 수단은
RFID 신호, 적외선 신호 및 GPS신호 중 적어도 하나의 신호를 검출하여 상기 보행 안내 정보 신호를 획득하고, 상기 획득한 보행 안내 정보 신호를 인체 통신한 신호로 변환한 후 상기 사용자의 신체를 통하여 전송하는 것을 특징으로 하는 인체통신을 이용한 보행 안내 장치.
The method of claim 1, wherein the first human body communication means
Detecting the at least one signal among an RFID signal, an infrared signal, and a GPS signal to obtain the walking guidance information signal, converting the obtained walking guidance information signal into a human body communication signal, and transmitting the same through a user's body; Walking guidance device using a human body characterized in that.
보행 안내 정보를 포함하는 가시광 신호를 검출하고 검출된 상기 가시광 신호를 처리하여 사용자의 신체를 통해 전송하는 제1 인체 통신 수단; 및
상기 제1 인체 통신 수단으로부터 상기 사용자의 신체를 통해 전송된 신호를 수신한 후 상기 수신한 신호를 처리하여 상기 수신한 신호에 상응하는 음성 신호를 출력하고, 사용자로부터 제공된 음성 신호를 가시광 신호로 변환하여 출력하는 제2 인체 통신 수단을 포함하며,
상기 제2 인체 통신 수단은
상기 사용자의 신체에 접촉되어 상기 제1 통신 수단으로부터 전송된 신호를 수신하는 제2 전극;
상기 제2 전극을 통해 수신된 신호를 복조하여 복조된 신호를 제공하고, 제공된 음성 데이터를 변조하여 변조 신호를 제공하는 제2 통신부;
상기 복조된 신호를 처리하여 상기 제1 인체 통신 수단으로부터 전송된 신호에 상응하는 음성 신호를 생성하여 출력하고, 상기 사용자로부터 제공된 음성을 상기 음성 데이터로 변환하여 상기 제2 통신부에 제공하는 음성 처리부; 및
상기 제2 통신부로부터 제공된 변조 신호에 상응하여 가시광 신호를 출력하는 발광부를 포함하는 인체통신을 이용한 보행 안내 장치.
First human body communication means for detecting a visible light signal including walking guidance information, processing the detected visible light signal, and transmitting the detected visible light signal through a user's body; And
After receiving the signal transmitted through the body of the user from the first human body communication means and processing the received signal to output a voice signal corresponding to the received signal, converts the voice signal provided from the user into a visible light signal A second human body communication means for outputting
The second human body communication means
A second electrode in contact with the body of the user and receiving a signal transmitted from the first communication means;
A second communication unit for demodulating the signal received through the second electrode to provide a demodulated signal, and modulating the provided voice data to provide a modulated signal;
A voice processor configured to process the demodulated signal to generate and output a voice signal corresponding to the signal transmitted from the first human body communication means, convert the voice provided from the user into the voice data, and provide the voice data to the second communication unit; And
And a light emitting unit configured to output a visible light signal corresponding to the modulated signal provided from the second communication unit.
삭제delete
KR1020100057035A 2009-12-22 2010-06-16 Apparatus for working guidance using human body communication KR101331089B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/950,984 US8593297B2 (en) 2009-12-22 2010-11-19 Walking guidance apparatus using human body communication
JP2010277939A JP2011135573A (en) 2009-12-22 2010-12-14 Walking guidance apparatus using human body communication

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090129263 2009-12-22
KR1020090129263 2009-12-22

Publications (2)

Publication Number Publication Date
KR20110073206A KR20110073206A (en) 2011-06-29
KR101331089B1 true KR101331089B1 (en) 2013-11-20

Family

ID=44404026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100057035A KR101331089B1 (en) 2009-12-22 2010-06-16 Apparatus for working guidance using human body communication

Country Status (1)

Country Link
KR (1) KR101331089B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061251A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 Apparatus for communications sensing human touch and method thereof
KR20090064939A (en) * 2007-12-17 2009-06-22 한국전자통신연구원 Human body communication system and method
KR20090008865U (en) * 2008-02-29 2009-09-02 (주)카피온테크놀로지 Guidance Stick

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070061251A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 Apparatus for communications sensing human touch and method thereof
KR20090064939A (en) * 2007-12-17 2009-06-22 한국전자통신연구원 Human body communication system and method
KR20090008865U (en) * 2008-02-29 2009-09-02 (주)카피온테크놀로지 Guidance Stick

Also Published As

Publication number Publication date
KR20110073206A (en) 2011-06-29

Similar Documents

Publication Publication Date Title
US8593297B2 (en) Walking guidance apparatus using human body communication
KR101713521B1 (en) Intelligent Walking Assistive Apparatus For Visual Impairment, Aged And Feeble Person
US10869805B2 (en) System and method for providing navigation information
JP3513763B2 (en) Portable direction finding receiver and system comprising an array of single channel radiators and a portable direction finding receiver
JP2006345974A (en) Walking aid device for blind person
CN104585954A (en) Intelligent helmet device capable of monitoring miner health in real time
CN106131748A (en) A kind of intelligent sound with infrared induction identification
CN108627800A (en) Underground mining area personnel location system and method
KR101503381B1 (en) The stic with complex function
KR101331089B1 (en) Apparatus for working guidance using human body communication
KR20150093000A (en) Sound Signal Guide Apparatus using active type RFID for Blind Person
KR100747510B1 (en) Walking guidance system for the blind
KR101286090B1 (en) Apparatus, system and method for providing position information having flexible thermoelectric thin film for the blind
CN110638615A (en) Intelligent navigation helmet for blind people to go out
KR100807097B1 (en) Crosswalk guide system for the visual handicapped
JP2006339879A (en) Light transmission system and its receiving set
Seto et al. A navigation system for the visually impaired using colored navigation lines and RFID tags
CN205143869U (en) Location schoolbag based on big dipper technique
KR200475531Y1 (en) Navigation device for blind men
JPH0432891A (en) Method and device for guiding visually handicapped person
JP3956745B2 (en) Information provision system
Rithuan et al. Indoor Navigation System for Vision Impairment People through Visible Light Communications
KR100904706B1 (en) Wireless identification system using ultrasonic wave
CN211675216U (en) Intelligent navigation helmet for blind people to go out
KR20150011502A (en) Identifiable obstacles for the blind sunglasses

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161027

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 5