KR102584431B1 - Sensory substitution control device and method - Google Patents

Sensory substitution control device and method Download PDF

Info

Publication number
KR102584431B1
KR102584431B1 KR1020200128249A KR20200128249A KR102584431B1 KR 102584431 B1 KR102584431 B1 KR 102584431B1 KR 1020200128249 A KR1020200128249 A KR 1020200128249A KR 20200128249 A KR20200128249 A KR 20200128249A KR 102584431 B1 KR102584431 B1 KR 102584431B1
Authority
KR
South Korea
Prior art keywords
sensory
signal
information
sense
alternative
Prior art date
Application number
KR1020200128249A
Other languages
Korean (ko)
Other versions
KR20210056223A (en
Inventor
김무섭
문경덕
박윤경
정치윤
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/091,575 priority Critical patent/US20210137403A1/en
Publication of KR20210056223A publication Critical patent/KR20210056223A/en
Application granted granted Critical
Publication of KR102584431B1 publication Critical patent/KR102584431B1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Vascular Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Neurology (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은 감각 대체 조정 장치에 관한 것이다.
본 발명은 감각 대체 장치에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집하는 반응신호 수집부; 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집하는 환경정보 수집부, 수집된 상기 환경 정보를 기반으로 상기 감각 대체 장치에 의한 사용자의 감각 대체 효율을 분석하고, 상기 감각 대체 효율에 따라 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 감각대체효율 분석부; 및 및 분석된 감각 신호의 환경 정보별 감각 대체 효율에 따른 보정 신호를 상기 감각 대체 장치로 제공하는 조정신호 전달부를 포함한다. The present invention relates to sensory substitution control devices.
The present invention includes a response signal collection unit that collects a user's response or reaction signal to a sensory replacement signal transmitted from a sensory replacement device; An environmental information collection unit that collects information on the surrounding environment of the user receiving the replacement signal, analyzes the user's sensory replacement efficiency by the sensory replacement device based on the collected environmental information, and signals the replacement signal according to the sensory replacement efficiency. A sensory substitution efficiency analysis unit that generates an adjustment signal to adjust; and an adjustment signal transmission unit that provides a correction signal according to the sensory substitution efficiency for each environmental information of the analyzed sensory signal to the sensory substitution device.

Description

감각 대체 조정 장치 및 방법{Sensory substitution control device and method}Sensory substitution control device and method}

본 발명은 둘 이상의 다중 감각 정보를 조합하여 또 다른 다중 감각 정보로 변환하는 감각 대체 장치에 관한 것으로, 더욱 상세하게는 사용자의 신체 감각 특성에 적합하도록 입력 받은 다중 감각 정보를 다수의 목표 감각 정보로 재조합 함으로써 다중 감각 정보를 효율적으로 전달하기 위한 감각 대체 조정 장치에 관한 것이다.The present invention relates to a sensory replacement device that combines two or more multi-sensory information and converts it into another multi-sensory information. More specifically, the multi-sensory information received to suit the user's physical sensory characteristics is converted into a plurality of target sensory information. This relates to a sensory substitution coordination device for efficiently transmitting multi-sensory information through recombination.

의학 기술의 발달에 기인하여 평균 수명이 증가하면서, 고령화에 따른 시각, 청각 등의 기능이 저하되거나 사고나 병인에 의하여 감각이 손상되어 장애를 겪는 인구가 증가하면서 이들의 손상된 감각 및 지각 능력을 향상시켜 지속적인 경제 활동과 삶의 질을 향상시킬 수 있는 기술적 대안으로 감각 대체 기술에 대한 관심이 증가하고 있다.As the average lifespan increases due to the development of medical technology, the number of people suffering from disabilities due to deterioration of functions such as vision and hearing due to aging or damage to the senses due to accidents or etiology increases, improving their impaired sense and perception abilities. Interest in sensory replacement technologies is increasing as a technological alternative that can improve sustainable economic activities and quality of life.

일반적으로 감각 대체는 기능이 손상되거나 저하된 감각의 정보를 다른 형태의 감각 신호로 전환하여 전달 또는 사용하는 것을 의미한다. 이러한 감각 대체 기술은 사람의 뇌가 새로운 환경에 적응하기 위하여 구조적, 기능적으로 변화하고 재조직되는 뇌 가소성(brain plasticity)에 기반하는 것으로 알려져 있다. 사람의 감각 능력이 저하되거나 상실하였을 때 두뇌 피질의 감각 정보들을 담당하는 영역들의 재배치가 일어난다. 이러한 발달 현상은 인체의 특정 감각이 기능을 상실하였을 때 다른 감각을 사용하여 기능을 대체하고 적응하는 것을 가능하게 해준다.In general, sensory replacement refers to converting information from senses with damaged or deteriorated functions into other types of sensory signals and transmitting or using them. These sensory replacement technologies are known to be based on brain plasticity, in which the human brain changes and reorganizes structurally and functionally to adapt to a new environment. When a person's sensory abilities are reduced or lost, the areas responsible for sensory information in the brain cortex are rearranged. This developmental phenomenon makes it possible to use other senses to replace and adapt to functions when a specific sense in the human body loses its function.

기존에 공표된 감각대체 장치 또는 방법은 사람의 감각 중 특정한 단일 감각 신호를 다른 감각 신호로 변환하여 전달하거나 일부 기술의 경우 단일 감각 신호를 전달하는 목적으로 복수의 감각기관들을 전달 경로로 사용하기도 한다.Previously announced sensory replacement devices or methods convert and transmit specific single sensory signals from among the human senses into other sensory signals, or in some cases, use multiple sensory organs as a transmission path for the purpose of transmitting single sensory signals. .

그러나 대부분의 감각 대체 장치의 경우 신호를 변환하는 방법 또는 장치에 국한되어 있다. 일반적으로 감각 대체 신호를 제공받는 사용자의 경우, 감각 수용체인 감각기관에 따라 선호하는 감각이 다를 수 있으며, 제공되는 감각 대체 신호에 반응하는 정도가 다를 수 있다. 따라서 감각 대체 신호를 제공받는 사용자의 특성을 반영하지 않고 감각 대체 신호를 변환하는 경우 효율적인 정보의 전달이 어려운 문제점이 있다.
(특허문헌 1) US 8797386 B However, most sensory replacement devices are limited to methods or devices that convert signals. In general, for users who receive alternative sensory signals, preferred sensations may vary depending on the sensory organ that is the sensory receptor, and the degree of response to the provided sensory alternative signals may vary. Therefore, when the sensory alternative signal is converted without reflecting the characteristics of the user who receives the sensory alternative signal, there is a problem in that it is difficult to transmit information efficiently.
(Patent Document 1) US 8797386 B

본 발명은 종래 문제점을 해결하기 위한 것으로, 감각 대체 장치로부터 감각을 대체하기 위한 대체 신호를 제공받는 사용자의 응답이나 반응을 기반으로 감각 대체 장치가 제공하는 대체 신호를 조정할 수 있는 감각 대체 조정 장치를 제공하고자 한다. The present invention is intended to solve the conventional problems, and provides a sensory replacement adjustment device that can adjust the replacement signal provided by the sensory replacement device based on the response or reaction of the user who receives the replacement signal for replacing the sense from the sensory replacement device. We would like to provide

또한 본 발명은 감각 대체 장치를 활용한 감각 대체 과정에 있어서 사용자의 특성에 맞게 대체 신호를 조정하여 보다 효율적으로 사용자의 감각을 대체할 수 있도록 하는 감각 대체 조정 장치를 제공하고자 한다. In addition, the present invention seeks to provide a sensory replacement adjustment device that can replace the user's senses more efficiently by adjusting replacement signals to suit the user's characteristics in the sensory replacement process using the sensory replacement device.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The object of the present invention is not limited to the object mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 감각 대체 조정 장치는 감각 대체 장치에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집하는 반응신호 수집부; 상기 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집하는 환경정보 수집부; 수집된 상기 환경 정보를 기반으로 상기 감각 대체 장치에 의한 사용자의 감각 대체 효율을 분석하고, 상기 감각 대체 효율에 따라 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 감각대체효율 분석부; 및 및 분석된 상기 감각 신호의 환경 정보별 감각 대체 효율에 따른 보정 신호를 상기 감각 대체 장치로 제공하는 조정신호 전달부를 포함한다. A sensory substitution control device according to an embodiment of the present invention for achieving the above object includes a response signal collection unit that collects a user's response or reaction signal to a sensory substitution signal transmitted from the sensory substitution device; an environmental information collection unit that collects information on the surrounding environment of the user receiving the alternative signal; a sensory substitution efficiency analysis unit that analyzes the user's sensory substitution efficiency by the sensory substitution device based on the collected environmental information and generates an adjustment signal for adjusting the substitution signal according to the sensory substitution efficiency; and an adjustment signal transmission unit that provides a correction signal according to the sensory substitution efficiency for each environmental information of the analyzed sensory signal to the sensory substitution device.

여기서, 상기 대체 신호는, 영상 신호, 음성 신호를 하나 이상 포함하는 것이고, 상기 환경 정보는 밝기 정보, 실내/외 위치 정보 및 밀폐 정보 중 하나이다. Here, the alternative signal includes one or more video signals and audio signals, and the environmental information is one of brightness information, indoor/outdoor location information, and sealing information.

상기 반응신호 수집부는, 뇌파 또는 뇌전도(EEG) 신호를 측정하는 뇌파 측정기, 지속된 감각 대체 신호의 학습으로 상기 대체 신호를 제공받았던 사용자의 뇌를 측정하여 변화된 뇌기능 및 뇌구조의 반응이나 활동을 뇌영상 정보로 수집하는 자기공명영상(MRI) 중 하나가 이용되는 것이 바람직하다. The response signal collection unit is an electroencephalography (EEG) measuring device that measures brain waves or electroencephalogram (EEG) signals, and measures the brain of the user who has received the alternative signal through continuous learning of the sensory alternative signal to measure the response or activity of the changed brain function and brain structure. It is desirable to use one of the magnetic resonance imaging (MRI) methods that collect brain imaging information.

그리고, 상기 반응신호 수집부는, 학습과 인지하는 정도에 따라 반응하는 반응 신호를 수집하는 것이 바람직하다. In addition, the reaction signal collection unit preferably collects reaction signals that respond according to the degree of learning and recognition.

상기 반응신호 수집부는 뇌에서 직접적인 데이터를 수집하는 침습적 방법을 이용할 수 있다. The response signal collection unit may use an invasive method of collecting data directly from the brain.

상기 반응신호 수집부는 뇌 표면 또는 장비를 활용하는 비침습적 방법을 이용할 수 있다. The response signal collection unit may use a non-invasive method using the brain surface or equipment.

그리고 상기 감각대체 효율 분석부는, 상기 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치가 대체하는 대체 감각을 관할하는 뇌 영역의 반응 정도를 분석하여 반응도가 높을수록 감각 대체 효율은 높고, 반대로 반응도가 낮을수록 감각 대체 효율은 낮다고 판단하는 것이 바람직하다. And the sensory substitution efficiency analysis unit analyzes the degree of response of the brain area responsible for the alternative sense replaced by the sensory substitution device for the user who receives the alternative signal. The higher the response, the higher the sensory substitution efficiency, and conversely, the higher the response. It is desirable to judge that the lower the value, the lower the sensory substitution efficiency.

본 발명의 일 실시예에 따르면, 감각 대체 장치를 활용하여 적어도 하나의 감각을 하나 이상의 다른 감각으로 대체하는 사용자의 응답을 기반으로 사용자 특성에 맞게 감각 대체 장치가 제공하는 대체 신호를 조정함으로써 사용자의 감각을 보다 효율적으로 대체할 수 있는 효과가 있다. According to one embodiment of the present invention, the replacement signal provided by the sensory replacement device is adjusted to suit the user's characteristics based on the user's response to replacing at least one sense with one or more other senses using the sensory replacement device. It has the effect of replacing the senses more efficiently.

도 1은 본 발명의 일 실시예에 따른 감각 대체 조정 장치의 구성을 설명하기 위한 구성블록도.
도 2는 도 1의 감각 대체 조정 장치가 적용된 감각 대체 시스템의 전체 구성도.
도 3은 도 1의 감각 대체 조정 과정의 예시적인 개념도.
도 4은 도 1의 감각대체효율 분석부의 세부 구성을 설명하기 위한 구성블록도.
도 5는 본 발명의 일 실시예에 따른 감각 대체 조정에서 감각대체 효율을 분석하는 방법을 보여주기 위한 순서도.
도 6은 도 5에서 감각대체 장치로 조정신호를 전달하는 방법을 보여주기 위한 순서도이다.1 is a block diagram illustrating the configuration of a sensory substitution adjustment device according to an embodiment of the present invention.
Figure 2 is an overall configuration diagram of a sensory substitution system to which the sensory substitution adjustment device of Figure 1 is applied.
Figure 3 is an exemplary conceptual diagram of the sensory substitution tuning process of Figure 1;
Figure 4 is a block diagram for explaining the detailed configuration of the sensory substitution efficiency analysis unit of Figure 1.
Figure 5 is a flowchart showing a method for analyzing sensory substitution efficiency in sensory substitution coordination according to an embodiment of the present invention.
FIG. 6 is a flowchart showing a method of transmitting an adjustment signal to the sensory replacement device in FIG. 5.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms. The present embodiments only serve to ensure that the disclosure of the present invention is complete and that common knowledge in the technical field to which the present invention pertains is not limited. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Meanwhile, the terms used in this specification are for describing embodiments and are not intended to limit the present invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” means that a referenced element, step, operation and/or element precludes the presence of one or more other elements, steps, operations and/or elements. or does not rule out addition.

도 1은 본 발명에 따른 감각 대체 조정 장치를 설명하기 위한 구성블록도이다.1 is a block diagram illustrating a sensory substitution adjustment device according to the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 감각 대체 조정 장치는 반응신호 수집부(110), 환경정보 수집부(120), 감각대체효율 분석부(130) 및 조정신호 전달부(140)를 포함한다. As shown in Figure 1, the sensory substitution adjustment device according to an embodiment of the present invention includes a response signal collection unit 110, an environmental information collection unit 120, a sensory substitution efficiency analysis unit 130, and an adjustment signal transmission unit. Includes (140).

반응신호 수집부(110)는 감각 대체 장치(200)에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집한다. 여기서, 대체 신호는 영상 신호, 음성 신호를 하나 이상 포함한다.The response signal collection unit 110 collects the user's response or response signal to the sensory substitution signal transmitted from the sensory substitution device 200. Here, the replacement signal includes one or more video signals and audio signals.

이러한 본 발명의 일 실시예에서의 반응신호 수집부(110)는 뇌파 또는 뇌전도(EEG) 신호를 측정하는 뇌파 측정기, 지속된 감각 대체 신호의 학습으로 상기 대체 신호를 제공받았던 사용자의 뇌를 측정하여 변화된 뇌기능 및 뇌구조의 반응이나 활동을 뇌영상 정보로 수집하는 자기공명영상(MRI)를 포함하는 감각 대체 장치(200)로부터 반응 신호를 수집한다. The response signal collection unit 110 in this embodiment of the present invention is an electroencephalography (EEG) measuring device that measures brain waves or electroencephalogram (EEG) signals, and measures the brain of the user who has received the alternative signal through continuous learning of the alternative sensory signal. Response signals are collected from a sensory replacement device 200 that includes magnetic resonance imaging (MRI), which collects brain imaging information about changes in brain function and response or activity of brain structures.

예를 들어, 감각 대체 신호에 의한 사용자의 응답이나 반응을 수집하기 위하여 뇌파나 뇌전도 신호를 측정하는 뇌파 측정기가 이용될 수 있는데, 시각 정보의 반응을 측정하는 경우에는 후두 중심 채널(Oz)과 우측 가측 두정-후두엽(PO8)의 신호 변화를 활용하고, 청각 정보의 경우에는 우측 가측 두정-측두엽(TP8)과 우측 가측 전두엽(F8) 신호를 활용한다. For example, an electroencephalography device that measures brain waves or electroencephalogram signals can be used to collect the user's responses or reactions by sensory substitute signals. In the case of measuring the reaction of visual information, the occipital central channel (Oz) and the right Signal changes in the lateral parieto-occipital lobe (PO8) are utilized, and in the case of auditory information, signals from the right lateral parieto-temporal lobe (TP8) and right lateral frontal lobe (F8) are utilized.

그리고, 뇌기능 및 뇌구조의 변화를 측정하기 위해서는 자기공명영상기가 이용될 수 있는데 측정된 대뇌 시각 피질(VC), 청각피질(AC) 및 시각과 촉각 정보를 위해서는 측면 후두 촉각-시각 영역(LOtv) 영역이 이용되고, 촉각과 온도를 위해서는 이차 체성감각(S1, S2) 영역의 반응 정도 등이 활용될 수 있다. In addition, magnetic resonance imaging can be used to measure changes in brain function and brain structure. The measured cerebral visual cortex (VC), auditory cortex (AC), and lateral occipital tactile-visual area (LOtv) are used to measure visual and tactile information. ) area is used, and for touch and temperature, the degree of response of the secondary somatosensory (S1, S2) area can be used.

이때, 반응신호 수집부(110)는 학습과 인지하는 정도에 따라 반응하는 반응 신호를 수집하는 방법, 뇌에서 직접적인 데이터를 수집하는 침습적 방법 및 뇌 표면 또는 장비를 활용하는 비침습적 방법 모두를 포괄적으로 활용할 수 있다.At this time, the response signal collection unit 110 comprehensively uses both a method of collecting response signals that respond according to the degree of learning and recognition, an invasive method of collecting data directly from the brain, and a non-invasive method using the brain surface or equipment. You can utilize it.

환경정보 수집부(120)는 상기 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집한다. 상기 환경 정보는 밝기 정보, 실내/외 위치 정보 및 밀폐 정보 중 하나를 포함한다. 즉, 환경정보 수집부(120)는 다중 감각의 정보가 사용자에게 전달될 때 감각 억제(sensory suppression) 현상이 발생할 수 있으며, 사용자의 행동(이동/정지 등)에 따라서 억제되는 감각이 달라질 수 있기 때문에 상기 감각 대체 신호를 전달받는 사용자의 주위 환경으로 밝기 정보(Eb)나 위치 정보(Ep) 또는 사용자의 행동 정보(Ea)에 대한 정보를 수집하여 활용할 수 있다. The environmental information collection unit 120 collects information on the surrounding environment of the user who receives the alternative signal. The environmental information includes one of brightness information, indoor/outdoor location information, and enclosure information. In other words, the environmental information collection unit 120 may experience sensory suppression when information from multiple senses is transmitted to the user, and the senses suppressed may vary depending on the user's actions (movement/stop, etc.). Therefore, it is possible to collect and utilize information about brightness information (Eb), location information (Ep), or user behavior information (Ea) from the surrounding environment of the user who receives the sensory substitution signal.

감각대체효율 분석부(130)는 상기 대체 신호에 대한 사용자 반영 신호를 기반으로, 상기 수집된 환경 정보별 감각 대체 효율을 분석한다. The sensory substitution efficiency analysis unit 130 analyzes the sensory substitution efficiency for each collected environmental information based on the user reflection signal for the substitution signal.

도 4는 본 발명의 일 실시예에 따른 감각대체효율 분석부(130)의 세부 구성을 설명하기 위한 구성블록도이다. Figure 4 is a block diagram for explaining the detailed configuration of the sensory substitution efficiency analysis unit 130 according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 감각대체효율 분석부(130)는 반응신호 추출부(131), 반응도 산출부(132), 뇌 활동 데이터 추출부(133), 뇌 활성도 산출부(134), 학습부(135) 및 대체 감각 결정부(136)을 포함한다. As shown in Figure 4, the sensory substitution efficiency analysis unit 130 includes a response signal extraction unit 131, a reactivity calculation unit 132, a brain activity data extraction unit 133, a brain activity calculation unit 134, and a learning It includes a unit 135 and an alternative sensory determination unit 136.

반응 신호 추출부(131)는 후두 중심 신호 추출부와 우측 가측 두정-후두엽 추출부로 이루어진 시각 정보 반응 신호 추출부를 통해 반응신호 수집부(110)의 뇌파 신호 수집부를 통해 제공되는 뇌파 신호(시각 정보 반응 신호)에 대한 반응 신호를 추출한다. The response signal extraction unit 131 receives an EEG signal (visual information response) provided through the EEG signal collection unit of the response signal collection unit 110 through a visual information response signal extraction unit consisting of an occipital center signal extraction unit and a right lateral parieto-occipital lobe extraction unit. signal) to extract the response signal.

그리고, 반응 신호 추출부(131)는 우측 가측 두정-측두엽 신호 추출부와 우측 가측 두정-전두엽 추출부로 이루어진 청각 정보 반응 신호 추출부를 통해 In addition, the response signal extraction unit 131 is an auditory information response signal extraction unit consisting of a right lateral parieto-temporal lobe signal extraction unit and a right lateral parietal-frontal lobe extraction unit.

청각 정보 반응 신호의 경우,For auditory information response signals,

반응 신호를 추출하고, 촉각 정보 반응 신호의 경우, 대되 정수리 영역 신호 추출부를 포함하는 촉각 정보 반응 신호 추출부를 통해 반응 신호를 추출한다. A response signal is extracted, and in the case of a tactile information response signal, the response signal is extracted through a tactile information response signal extraction unit including a parietal area signal extraction unit.

반응도 산출부(132)는 반응 신호 추출부(131)가 추출한 신호의 종류에 따라 각각의 시각 정보 반응 변화율 산출부, 청각 정보 반응 변화율 산출부 및 촉각 정보 반응 변화율 산출부를 기저 정보 저장부에 저장된 기저 정보를 기반으로 변화율을 산출한다. 즉, 반응도 산출부(132)는 개별 감각 신호에 따라 구분하여 반응 변화율을 산출하되, 각 감각 정보의 반응 변화율 산출에는 분석을 위한 주파수 변환부, 델타(delta)파와 쎄타(theta)파 추출부 및 개별 신호의 반응 변화율 산출부를 포함할 수 있다. The reactivity calculation unit 132 calculates the visual information response change rate calculation unit, the auditory information response change rate calculation unit, and the tactile information response change rate calculation unit according to the type of signal extracted by the response signal extraction unit 131. Calculate the rate of change based on the information. That is, the reactivity calculation unit 132 calculates the response change rate by dividing it according to individual sensory signals, but calculating the response change rate of each sensory information includes a frequency conversion unit for analysis, a delta wave and theta wave extraction unit, and It may include a response change rate calculation unit for individual signals.

일 예로, 시각 정보에 대한 시각, 청각 및 촉각에 대한 반응도를 산출할 수 있도록, 감각 대체 장치(200)에 시각에 대한 자극이 이루어지더라도 반응 신호 추출부(131)를 통해 시각 정보 반응 신호, 청각 정보 반응 신호 및 촉각 정보 반응 신호를 각각 입력받고, 각각의 시각 정보 반응 변화율 산출부, 청각 정보 반응 변화율 산출부 및 촉각 정보 반응 변화율 산출부를 통해 각 신호의 주파수 변환을 수행한 후 델타파 및 ?矢맥? 추출하고, 이를 기저 정보와 비교를 통해 반응 변화율을 산출할 수 있다. 여기서 주파수 변환 방법은 푸리에 변환이나 고속 푸리에 변환을 이용할 수 있다. As an example, even if visual stimulation is provided to the sensory replacement device 200, a visual information response signal is generated through the response signal extractor 131 so that the responsiveness to visual, auditory, and tactile sensations for visual information can be calculated. After receiving the auditory information response signal and the tactile information response signal respectively, performing frequency conversion of each signal through each visual information response change rate calculation unit, auditory information response change rate calculation unit, and tactile information response change rate calculation unit, delta wave and ?矢Mac? The response change rate can be calculated by extracting and comparing it with the baseline information. Here, the frequency conversion method can use Fourier transform or fast Fourier transform.

여기서, 반응도의 높고 낮음의 기준으로는 기저 정보를 기준으로 반응 정도의 고저점(예, 2배 이상)과 임계점(예, 40%)을 설정하고, 고저점보다 높게 나타나면 반응도가 높음으로, 기저정보 보다 임계치 이상인 경우에는 반응의 연관성이 있음으로, 임계치 이하이면 반응도가 낮음으로 설정할 수 있다. Here, as the standard for high or low reactivity, the high and low points (e.g., more than 2 times) and the critical point (e.g., 40%) of the degree of reactivity are set based on the baseline information. If it is higher than the high or low point, the reactivity is considered high, and the base level is If the information is above the threshold, there is a correlation between responses, and if it is below the threshold, the responsiveness can be set to low.

반응도 분석에는 뇌파 신호의 주파수분석, 사건유발전위(ERP: Event-related Potential) 또는 사건유발진동반응(ERSP: Event-related Spectral Perturbation) 등의 방법을 활용할 수 있다. Methods such as frequency analysis of brain wave signals, Event-related Potential (ERP), or Event-related Spectral Perturbation (ERSP) can be used to analyze reactivity.

뇌 활동 데이터 추출부(133)는 응답 신호 수집부(110)의 뇌 활동 데이터 수집부를 통해 수집된 데이터로부터 시각 피질 영역 뇌 활동 데이터, 청각 피질 영역 뇌 활동 데이터 및 촉각 피질 영역 뇌 활동 데이터를 각각 추출한다. The brain activity data extraction unit 133 extracts visual cortex area brain activity data, auditory cortex area brain activity data, and tactile cortex area brain activity data from data collected through the brain activity data collection unit of the response signal collection unit 110, respectively. do.

뇌 활성도 산출부(134)는 상기 뇌 활동 데이터 추출부(133)에 의해 각각 추출된 시각 피질 영역 뇌 활동 데이터를 이용하여 시각 피질 활성도를 산출하는 시각 피질 활성도 산출부, 청각 피질 영역 뇌 활동 데이터를 이용하여 청각 피질 활성도를 산출하는 청각 피질 활성도 산출부 및 촉각 피질 영역 뇌 활동 데이터를 이용하여 촉각 피질 활성도를 산출하는 촉각 피질 활성도 산출부를 포함한다. 이러한 구성을 통해 뇌 활성도 산출부(134)는 각각의 시각 피질 활성도, 청각 피질 활성도 및 촉각 피질 활성도를 산출한다. The brain activity calculation unit 134 calculates visual cortex activity using the visual cortex area brain activity data extracted by the brain activity data extraction unit 133, and the auditory cortex area brain activity data. It includes an auditory cortex activity calculation unit that calculates auditory cortex activity and a tactile cortex activity calculation unit that calculates tactile cortex activity using tactile cortex area brain activity data. Through this configuration, the brain activity calculation unit 134 calculates each visual cortex activity, auditory cortex activity, and tactile cortex activity.

학습부(135)는 개별 감각에 대하여 학습을 진행함에 따라 사용자가 선호하는 감각 정보의 우선 순위와 반응도의 높고 낮음을 명시적으로 표현한다. As learning about individual senses progresses, the learning unit 135 explicitly expresses the priority of the user's preferred sensory information and the high and low level of responsiveness.

대체 감각 결정부(136)는 각각의 개별 대체 감각에 대해 상기 반응도(R)와 상기 활성도(A) 및 상기 환경 정보(E)를 이용하여 상기 감각 대체 효율(S=R+A+E)을 산출하고, 상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정한다. The alternative sense determination unit 136 determines the sensory substitution efficiency (S=R+A+E) using the reactivity (R), the activity (A), and the environmental information (E) for each individual alternative sense. Calculate, and determine at least one alternative sense with high sensory substitution efficiency among the plurality of different alternative senses as the preferred alternative sense.

여기서, 활성도는 반응도 산출부(132)를 통해 산출되고, 반응도는 뇌 활성도 산출부(135)를 통해 산출한다. Here, activity is calculated through the reactivity calculation unit 132, and reactivity is calculated through the brain activity calculation unit 135.

한편, 감각 대체 장치(200)에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고, 상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정할 수 있다. Meanwhile, when the replacement signal is provided to the user by the sensory replacement device 200 so that a plurality of different substituted senses are replaced by the substituted sense, the activity is obtained for each individual substituted sense to replace the sense. Efficiency may be calculated, and at least one substituted sense with low sensory substitution efficiency among the plurality of different substituted senses may be determined as the reinforced substituted sense.

이러한 기능을 제공하기 위하여 대체 감각 결정부(136)는 도 4의 구성 예시와 같이, 보강 피대체 감각 결정부, 우선 선호감각 결정부를 활용할 수 있으며, 이를 위하여 추가로 피대체 감각 정보량 분석부, 선호 감각 정보량 분석부 및 정보량 비교부를 활용한다. In order to provide this function, the alternative sense determination unit 136 may utilize an augmented substitute sensory information determination unit and a preference preference sensation determination unit, as shown in the configuration example of FIG. 4, and for this purpose, an additional substitute sensory information amount analysis unit and preference The sensory information amount analysis unit and the information amount comparison unit are utilized.

먼저, 조정신호 전달부는 감각 별로 전달할 수 있는 정보량을 분석한다. First, the adjustment signal transmission unit analyzes the amount of information that can be transmitted for each sense.

이어서, 피대체 감각 정보량 분석부는 감각 대체 효율 분석부의 결과 중 피대체 감각의 정보량을 분석하고, 선호 감각 정보량 분석부는 감각 대체 효율 분석부의 결과 중 우선 감각의 정보량을 분석한다. Next, the substituted sense information quantity analysis unit analyzes the information quantity of the substituted sense among the results of the sensory substitution efficiency analysis unit, and the preferred sensory information quantity analysis unit analyzes the information quantity of the preferred sense among the results of the sensory substitution efficiency analysis unit.

이후, 정보량 비교부는 우선 선호 감각의 정보량이 피대체 감각의 정보량보다 큰지의 여부를 판단한다. Thereafter, the information amount comparison unit first determines whether the information amount of the preferred sense is greater than the information amount of the substituted sense.

상기 판단 결과 우선 선호 감각의 정보량이 피대체 감각의 정보량보다 크면, 우선 선호감각 결정부는 감각 대체 장치(200)에 우선 선호 감각정보가 전달되도록 결정한다. As a result of the determination, if the information amount of the preferred sense is greater than the information amount of the substituted sense, the preferred sense determination unit determines that the preferred sense information be transmitted to the sensory replacement device 200.

이에 반해, 상기 판단 결과 우선 선호 감각의 정보량이 피대체 감각의 정보량보다 작으면, 보강 피대체 감각 결정부는 차순위의 감각을 추가한다. On the other hand, if the information amount of the preferred sense is less than the information amount of the substituted sense as a result of the above determination, the augmented substituted sense determination unit adds the next-priority sense.

이어서, 정보량 비교부는 우선순위와 차순위 감각의 정보량의 합을 피대체 감각의 정보량과 비교한다.Next, the information amount comparison unit compares the sum of the information amount of the priority and second priority senses with the information amount of the substituted sense.

상기 정보량과 비교 결과, 우선순위와 차순위 감각의 정보량의 합이 피대체 감각의 정보량보다 크면, 조정신호 전달부(140)는 감각 정보의 순서와 신호의 조합을 위한 구성 비율을 전달한다. As a result of comparing the information amount, if the sum of the information amount of the priority and second priority senses is greater than the information amount of the substituted sense, the adjustment signal transmitting unit 140 transmits the order of the sense information and the composition ratio for combining the signals.

그에 반해 상기 정보량을 비교 결과 선호 감각들의 정보량을 모두 합한 경우에도 피대체 감각의 정보량보다 작으면, 조정신호 전달부(140)는 감각 대체 장치(200)에 생성하는 정보의 해상도나 전달 대상 정보의 수정 또는 재조정을 요청한다. On the other hand, as a result of comparing the information amount, if the information amount of the preferred senses is smaller than the information amount of the substituted sense, the adjustment signal transmitting unit 140 determines the resolution of the information generated by the sensory replacement device 200 or the information to be transmitted. Request modification or readjustment.

한편, 대체감각 비율 결정부는 상기 환경 정보 수집부에서 수집한 환경 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와 사용자 환경에 적합한 대체 감각 신호의 크기 및 대체 감각 신호들의 구성 비율을 결정하고 조정신호를 조정 신호 전달부로 전달한다.Meanwhile, the alternative sense ratio determination unit determines the relative priority between a plurality of alternative signals provided to the user based on the environmental information collected by the environmental information collection unit, the size of the alternative sensory signal suitable for the user environment, and the composition ratio of the alternative sensory signals. The decision is made and the adjustment signal is transmitted to the adjustment signal transmission unit.

그리고 조정신호 전달부(140)는 분석된 상기 감각 신호의 환경 정보별 감각 대체 효율에 따른 보정 신호를 상기 감각 대체 장치(200)로 제공한다. 즉, 조정신호 전달부(140)는 상기 분석된 사용자의 감각 대체 효율에 따라 상기 감각 대체 장치(200)로 상기 대체 신호를 조정하기 위한 조정 신호를 전달한다. And the adjustment signal transmission unit 140 provides a correction signal according to the sensory substitution efficiency for each environmental information of the analyzed sensory signal to the sensory substitution device 200. That is, the adjustment signal transmission unit 140 transmits an adjustment signal for adjusting the replacement signal to the sensory replacement device 200 according to the analyzed user's sensory replacement efficiency.

여기서, 조정 신호 전달부(140)를 통해 전달되는 조정 신호는 상기 감각 대체 효율부에서 분석한 선호 대체 감각에 관한 정보와 보강 피대체 감각에 관한 정보 및 상기 수집된 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계나 대체 신호들의 구성 비율을 조정하기 위한 신호를 포함할 수 있다.Here, the adjustment signal transmitted through the adjustment signal transmission unit 140 is based on the information about the preferred alternative sense analyzed by the sensory substitution efficiency unit, the information about the augmented substitute sense, and the information about the collected environment. It may include a signal for adjusting the relative size relationship between a plurality of alternative signals provided to the user or the composition ratio of the alternative signals.

이러한 본 발명의 일 실시예에 따르면, 감각 대체 장치를 활용하여 적어도 하나의 감각을 하나 이상의 다른 감각으로 대체하는 사용자의 응답을 기반으로 사용자 특성에 맞게 감각 대체 장치가 제공하는 대체 신호를 조정함으로써 사용자의 감각을 보다 효율적으로 대체할 수 있는 효과가 있다. According to one embodiment of the present invention, the replacement signal provided by the sensory replacement device is adjusted to suit the user's characteristics based on the user's response to replacing at least one sense with one or more other senses using the sensory replacement device. It has the effect of replacing the senses more efficiently.

한편, 감각 대체 장치(200)는 시각, 청각, 촉각, 미각, 후각 정보를 포함하는 단일 또는 상기 감각 정보에서 적어도 둘 이상의 서로 다른 감각정보를 포함하는 다중 감각 정보를 적어도 하나의 다른 감각 정보로 대체하여 사용자에게 전달한다. Meanwhile, the sensory replacement device 200 replaces single sensory information including visual, auditory, tactile, taste, and olfactory information or multi-sensory information including at least two or more different sensory information from the sensory information with at least one other sensory information. and deliver it to the user.

본 발명의 일 실시예에 따른 감각 대체 조정 장치는 감각 대체 장치(200)로부터 대체 신호를 제공받는 사용자의 응답이나 반응을 기반으로 개별 사용자에게 적합하고 학습 효율을 최적화할 수 있도록 상기 감각 대체 장치(200)가 제공하는 감각 대체 신호를 조정한다. The sensory substitution adjustment device according to an embodiment of the present invention is suitable for individual users based on the response or response of the user who receives an alternative signal from the sensory substitution device 200 and is suitable for optimizing learning efficiency. 200) adjusts the sensory alternative signals provided.

일반적으로 감각 대체 신호를 제공받는 사용자의 경우, 감각 수용체인 감각기관에 따라 개인별로 선호하는 감각이 다를 수 있으며, 제공되는 감각 대체 신호에 반응하는 정도가 다를 수 있다. In general, for users who receive alternative sensory signals, the preferred sensation may differ for each individual depending on the sensory organ that is the sensory receptor, and the degree of response to the provided sensory alternative signals may vary.

따라서 동일한 감각 대체 신호라도 전달받는 사용자에 따라 신호를 조정하여 전달하여야 한다. Therefore, even if the same sensory substitution signal is delivered, the signal must be adjusted and delivered according to the receiving user.

한편, 동일한 감각 대체 신호라도 환경에 따라 사용자가 반응하는 정도는 현저하게 달라질 수 있다. Meanwhile, even with the same sensory substitution signal, the degree to which the user reacts can vary significantly depending on the environment.

예를 들어, 영상 신호로 대체된 음성 정보의 경우 낮이나 밝은 실내에서 전달되는 경우와 밤 또는 어두운 실내에서 전달받는 경우, 사용자가 느끼는 반응이나 응답은 달라질 수 있다. For example, in the case of audio information replaced by a video signal, the reaction or response felt by the user may be different when transmitted during the day or in a bright room and when received at night or in a dark room.

촉각으로 변화된 영상이나 음성 신호의 경우에도 사용자가 실내에서 있는 경우와 실외에 있는 경우에 따라 반응은 달라질 수 있다. 따라서 환경정보 수집부(120)는 상기 감각 대체 신호를 전달받는 사용자의 주위 환경에 대한 정보를 수집한다.Even in the case of video or audio signals changed through tactile sense, the response may vary depending on whether the user is indoors or outdoors. Therefore, the environmental information collection unit 120 collects information about the surrounding environment of the user who receives the alternative sensory signal.

이후, 감각대체 조정 장치(100)의 감각 대체 효율 분석부(130)는 응답 신호 수집부(110)에서 수집된 응답 신호를 기반으로 상기 감각 대체 장치(200)에 의한 사용자의 감각 대체 효율을 분석한다. Thereafter, the sensory substitution efficiency analysis unit 130 of the sensory substitution adjustment device 100 analyzes the user's sensory substitution efficiency by the sensory substitution device 200 based on the response signal collected by the response signal collection unit 110. do.

여기서, 전달되는 대체 신호에 의하여 감각 정보가 효율적으로 대체되었는지 분석은 상기 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치(200)가 대체하는 대체 감각을 관할하는 뇌 영역의 반응 정도를 분석하여 반응도가 높을수록 감각 대체 효율은 높고, 반대로 반응도가 낮을수록 감각 대체 효율은 낮다고 판단할 수 있다. Here, the analysis of whether sensory information has been efficiently replaced by the delivered alternative signal is performed by analyzing the degree of response of the brain area responsible for the alternative sense replaced by the sensory replacement device 200 for the user who receives the alternative signal. The higher the , the higher the sensory substitution efficiency, and conversely, the lower the responsiveness, the lower the sensory substitution efficiency.

예를 들어, 청각 정보로 변환된 시각 정보의 경우 대체 신호를 제공받는 사용자의 뇌 영역에서 전달되는 청각 정보에 대한 1차 반응으로 청각 피질(auditory cortex)의 반응과 함께 시각 정보에 대하여 지각하는 시각 피질(visual cortex)의 반응도를 분석함으로 청각 정보로 전달된 시각 정보의 전달을 확인할 수 있다. For example, in the case of visual information converted into auditory information, the first response to the auditory information transmitted from the user's brain region that receives the alternative signal is the response of the auditory cortex, along with the visual perception of the visual information. By analyzing the responsiveness of the visual cortex, the transmission of visual information transmitted through auditory information can be confirmed.

또한 감각 대체 효율은 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치(200)에 의해 대체되는 피대체 감각을 관할하는 뇌 영역의 활성도를 확인하여 활성도가 높을수록 감각 대체 효율은 높다고 판단하고, 활성도가 낮을수록 감각 대체 효율이 낮다고 분석할 수 있다. In addition, the sensory substitution efficiency is determined by checking the activity of the brain area responsible for the substituted sense replaced by the sensory substitution device 200 for the user who receives the substitute signal, and determining that the higher the activity, the higher the sensory substitution efficiency. It can be analyzed that the lower the value, the lower the sensory substitution efficiency.

상기 반응도에서와 동일한 예를 들어 설명하면 청각 정보로 변환된 시각 정보의 경우 대체 신호를 제공받는 사용자의 시각 피질의 활성화 정도 및 위치에 따라 시각 정보가 대체되어 전달되는지 확인할 수 있다. Using the same example as in the above response diagram, in the case of visual information converted to auditory information, it can be confirmed whether the visual information is replaced and transmitted depending on the activation level and location of the visual cortex of the user who receives the replacement signal.

따라서 본 발명의 감각대체 조정 장치는 감각 대체 효율 분석부를 통해 대체 신호를 제공받는 사용자에 대하여 상기 반응도 및 상기 활성도 중 적어도 하나를 기반으로 사용자의 상기 감각 대체 효율을 산출하고, 현재 제공되는 대체 신호가 사용자에게 효율적인지 여부를 판별할 수 있다.Therefore, the sensory substitution adjustment device of the present invention calculates the sensory substitution efficiency of the user based on at least one of the reactivity and the activity for the user who receives the alternative signal through the sensory substitution efficiency analysis unit, and the currently provided alternative signal is You can determine whether it is efficient for users.

도 2는 본 발명의 일 실시예에 따른 감각 대체 조정 장치가 적용된 대체 조정 시스템을 설명하기 위한 개략도이고, 도 3은 도 1의 감각 대체 조정 과정의 예시적인 개념도이다. FIG. 2 is a schematic diagram illustrating an alternative adjustment system to which an alternative sensory adjustment device is applied according to an embodiment of the present invention, and FIG. 3 is an exemplary conceptual diagram of the alternative sensory adjustment process of FIG. 1 .

도 2 및 도 3에 도시된 바와 같이, 활성도와 반응도를 활용하여 감각 대체 장치(200)가 다수의 서로 다른 대체 감각으로 사용자에게 상기 대체 신호를 제공하는 경우, 감각대체 조정 장치(100)가 각각의 개별 대체 감각에 대해 상기 반응도를 획득하여 상기 감각 대체 효율을 산출하고, 상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정할 수 있다. As shown in FIGS. 2 and 3, when the sensory substitution device 200 provides the alternative signal to the user through a plurality of different alternative senses by utilizing activity and reactivity, the sensory alternative adjustment device 100 The reactivity may be obtained for each individual alternative sense to calculate the sensory substitution efficiency, and at least one alternative sense with a high sensory substitution efficiency among the plurality of different alternative senses may be determined as the preferred alternative sense.

또한 감각 대체 장치(200)에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고, 상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정할 수 있다. In addition, when the substitution signal is provided to the user by the sensory substitution device 200 so that a plurality of different substituted senses are replaced by the substituted sense, the activity is obtained for each individual substituted sense to achieve the sense substitution efficiency. and can determine at least one substituted sense with low sensory substitution efficiency among the plurality of different substituted senses as the reinforced substituted sense.

아울러 감각대체 조정 장치(100)는 환경 정보 수집부(120)를 통해 수집한 환경 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와 신호의 크기 관계를 결정한다. In addition, the sensory substitution adjustment device 100 determines the relative priority and signal size relationship between a plurality of alternative signals provided to the user based on the environmental information collected through the environmental information collection unit 120.

그리고 감각대체 조정 장치(100)의 조정 신호 전달부(140)를 통해 상기 분석된 사용자의 감각 대체 효율에 따라 상기 감각 대체 장치(200)로 상기 대체 신호를 조정하기 위한 조정 신호를 전달한다. And, through the adjustment signal transmission unit 140 of the sensory substitution adjustment device 100, an adjustment signal for adjusting the substitution signal is transmitted to the sensory substitution device 200 according to the analyzed sensory substitution efficiency of the user.

조정 신호 전달부(140)를 통해 전달되는 조정 신호는 상기 감각 대체 효율 분석부(130)에서 분석한 선호 대체 감각에 관한 정보와 보강 피대체 감각에 관한 정보 및 상기 수집된 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계를 조정하기 위한 조정 신호를 포함할 수 있다. The adjustment signal transmitted through the adjustment signal transmission unit 140 is based on the information about the preferred alternative sense analyzed by the sensory substitution efficiency analysis unit 130, the information about the reinforced substitute sense, and the collected information about the environment. It may include an adjustment signal for adjusting the relative size relationship between a plurality of alternative signals provided to the user.

도 5는 본 발명의 일 실시예에 따른 감각 대체 조정에서 감각대체 효율을 분석하는 방법을 보여주기 위한 순서도이다. Figure 5 is a flowchart showing a method of analyzing sensory substitution efficiency in sensory substitution adjustment according to an embodiment of the present invention.

이하, 하기에서는 본 발명의 일 실시예에 따른 감각 대체 조정 방법에 대하여 도 5를 참조하여 설명하기로 한다. Hereinafter, the sensory substitution adjustment method according to an embodiment of the present invention will be described with reference to FIG. 5.

먼저, 감각 대체 효율 분석부는 대체 감각 신호가 시작되는 동기시점을 감지한다(S510). 상기 동기시점을 감지하는 단계(S510)는 시각 대체 신호가 전송될 때, 신호동기부가 전송 시점을 파악하여 뇌 영역의 신호 분석의 시작점으로 동기화 할 수 있도록 해줄 수 잇다. First, the sensory substitution efficiency analysis unit detects the synchronization point at which the substitute sensory signal starts (S510). The step of detecting the synchronization point (S510) can enable the signal synchronization unit to identify the transmission point and synchronize it to the starting point of signal analysis in the brain region when the time alternative signal is transmitted.

이어서, 동기 시점에서 시작하여 대뇌 감각 신호의 변화를 측정한다(S520). Next, starting from the synchronous time point, changes in cerebral sensory signals are measured (S520).

이후, 전달되는 신호가 기저신호인지 여부를 판단한다(S530). Afterwards, it is determined whether the transmitted signal is a base signal (S530).

상기 기저신호인지를 판단하는 단계(S530)에서 전달되는 신호가 기저신호이면(YES), 감각 정보를 기저 감각정보로 저장한다(S540). 여기서, 한편, 대체 신호의 전송과 함께 수집되는 뇌파 신호는 필요한 전처리 및 샘플링 과정을 거치면서 분석에 필요한 신호의 형태로 변환된다. If the signal transmitted in the step of determining whether it is a basic signal (S530) is a basic signal (YES), the sensory information is stored as basic sensory information (S540). Here, on the other hand, the EEG signal collected along with the transmission of the alternative signal is converted into a signal form required for analysis by going through necessary preprocessing and sampling processes.

그에 반해 상기 기저신호인지를 판단하는 단계(S530)에서 전달되는 신호가 기저신호가 나이면(NO), 신호에 대하여 감각 기관들의 반응도를 분석하고, 기저 감각정보가 저장된 감각 정보에 대한 감각 반응도를 분석한다(S550). 여기서, 상기 신호에 대하여 감각 기관들의 반응도를 분석하는 단계(S550)는 전달되는 감각 대체 신호에 대한 효율은 개별 감각의 변화를 측정한 결과로 나타나는 반응 정도로 기록된다. On the other hand, if the signal transmitted in the step of determining whether it is a basic signal (S530) is a basic signal (NO), the responsiveness of the sensory organs to the signal is analyzed, and the sensory responsiveness to the sensory information in which the basic sensory information is stored is determined. Analyze (S550). Here, in the step of analyzing the responsiveness of the sensory organs to the signal (S550), the efficiency of the transmitted sensory replacement signal is recorded as the degree of response resulting from measuring changes in individual senses.

이를 위하여 반응신호 추출부는 개별 감각 정보에 대한 반응신호를 추출한다. 시각 정보의 반응도(Rv)는 수집되는 뇌파의 후두 중심 채널(Oz)과 우측 가측 두정-후두엽(PO8)의 신호들의 변화율을 사용하고, 청각 정보의 반응도(Ra)는 우측 가측 두정-측두엽(TP8)과 우측 가측 전두엽(F8) 신호의 변화를 활용할 수 있다. For this purpose, the response signal extraction unit extracts response signals for individual sensory information. The reactivity of visual information (Rv) uses the rate of change of signals from the occipital center channel (Oz) and the right lateral parieto-occipital lobe (PO8) of the collected EEG, and the responsivity of auditory information (Ra) uses the rate of change of signals from the right lateral parieto-temporal lobe (TP8). ) and changes in the right lateral frontal lobe (F8) signal.

동일하게 시각 대체 정보의 촉각 변환은 상기한 시각 정보의 반응도(Rv)와 함께 촉각 정보의 반응도(Rt)를 대뇌 정수리 영역의 신호의 변화를 이용하여 반응 정보를 수집할 수 있다. Likewise, in the tactile conversion of visual alternative information, response information can be collected using the change in signals in the parietal region of the brain, including the reactivity (Rt) of the tactile information along with the reactivity (Rv) of the visual information.

그리고, 반응도 산출부(132)는 개별 감각에 대한 대체 신호들의 변화율의 측정을 위하여 먼저 대체하려는 신호에 의미가 없는 일반 정보를 전송하고 해당하는 뇌파 신호들의 측정값(Rv, Ra, Rt)들을 기저정보로 활용하기 위하여 기저정보저장부에 저장한다. In order to measure the rate of change of replacement signals for individual senses, the reactivity calculation unit 132 first transmits general information that is meaningless to the signal to be replaced and uses the measured values (Rv, Ra, Rt) of the corresponding EEG signals as a basis. It is stored in the basic information storage to be used as information.

다음 단계로, 목표로 하는 대체 신호를 전송하면서 개별 시각, 청각, 촉각 정보의 반응도(Rv, Ra, Rt)를 분석하여 기저정보부에 저장된 개별 감각의 반응도와 비교하여 차이가 클수록 반응도가 크다고 판단한다. In the next step, while transmitting the target alternative signal, the reactivity (Rv, Ra, Rt) of individual visual, auditory, and tactile information is analyzed and compared with the reactivity of individual senses stored in the basic information unit, and the greater the difference, the greater the reactivity is determined. .

감각 신호의 반응도 분석은 뇌파 신호 중 진폭의 변화가 상대적으로 쉬운 델타(delta)파와 쎄타(theta)파를 이용하여 동기화 신호에서 일정시간 지난 시점에서 동기화되어 반응하는 정도를 분석하고, 반응 정도는 기저 정보를 기준으로 동기시점을 기준으로 동기화되어 반응하는 강도(변화율)를 사용한다. Responsiveness analysis of sensory signals uses delta and theta waves, whose amplitudes are relatively easy to change among brain wave signals, to analyze the degree to which the response is synchronized after a certain period of time from the synchronization signal, and the degree of response is based on the baseline. Based on the information, the intensity (rate of change) of the synchronized response is used based on the synchronization point.

따라서 반응도 산출부(132)는 개별 감각 신호에 따라 구분하여 반응 변화율을 산출하며, 각 감각 정보의 반응 변화율 산출에는 분석을 위한 주파수 변환부, 델타(delta)파와 쎄타(theta)파 추출부 및 개별 신호의 반응 변화율 산출부를 포함할 수 있다. 여기서, 반응도의 높고 낮음의 기준으로는 기저 정보를 기준으로 반응 정도의 고저점(예, 2배 이상)과 임계점(예, 40%)을 설정하고 고저점보다 높게 나타나면 반응도가 높음으로, 기저정보 보다 임계치 이상인 경우에는 반응의 연관성이 있음으로, 임계치 이하이면 반응도가 낮음으로 설정할 수 있다. Therefore, the reactivity calculation unit 132 calculates the response change rate by dividing it according to individual sensory signals, and calculating the response change rate of each sensory information includes a frequency converter for analysis, a delta wave and theta wave extractor, and an individual It may include a signal response change rate calculation unit. Here, as a standard for high or low reactivity, a high and low point (e.g., more than 2 times) and a critical point (e.g., 40%) of the degree of reactivity are set based on the base information. If it is higher than the high and low point, the reactivity is considered high, and the base information If it is above the threshold, there is a correlation with the response, and if it is below the threshold, the reactivity can be set as low.

반응도 분석에는 뇌파 신호의 주파수분석, 사건유발전위(ERP: Event-related Potential) 또는 사건유발진동반응(ERSP: Event-related Spectral Perturbation) 등의 방법을 활용할 수 있다Methods such as frequency analysis of brain wave signals, Event-related Potential (ERP), or Event-related Spectral Perturbation (ERSP) can be used to analyze reactivity.

이후, 사용자의 반응도와 뇌 활성도 및 환경 정보를 이용하여 감각 대체 효율을 산출한다(S560). 여기서, 감각 대체 효율은 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치(200)에 의해 대체되는 피대체 감각을 관할하는 뇌 영역의 활성도를 확인하여 활성도가 높을수록 감각 대체 효율은 높다고 판단하고, 활성도가 낮을수록 감각 대체 효율이 낮다고 분석할 수 있다. Afterwards, sensory substitution efficiency is calculated using the user's responsiveness, brain activity, and environmental information (S560). Here, the sensory substitution efficiency is determined by checking the activity of the brain region responsible for the substituted sense replaced by the sensory substitution device 200 for the user who receives the substitute signal, and determining that the higher the activity, the higher the sensory substitution efficiency; It can be analyzed that the lower the activity, the lower the sensory substitution efficiency.

이를 위하여 뇌활동 데이터 추출부와 뇌 활성도 산출부를 활용한다. 상기 반응도 에서와 동일한 예를 들어 설명하면 청각 정보로 변환된 시각 정보의 경우 대체 신호를 제공받는 사용자의 시각 피질의 활성화 정도(Av) 및 위치에 따라 시각 정보가 대체되어 전달되는지 확인할 수 있다. 마찬가지로 청각피질의 활성화 정도(Aa), 촉각에 관련하는 체성 감각 피질의 활성화 정도(At)를 확인함으로써 대체 정보가 개별 피대체 정보로 변환되어 활성화되는 효율을 파악할 수 있다. 뇌 영역의 기능 변화에 따른 활성도 정보는 자기공명영상(MRI) 등의 뇌영상 정보를 활용할 수 있다.For this purpose, a brain activity data extraction unit and a brain activity calculation unit are utilized. Using the same example as in the response diagram above, in the case of visual information converted to auditory information, it can be confirmed whether the visual information is replaced and transmitted depending on the activation degree (Av) and location of the visual cortex of the user who receives the replacement signal. Likewise, by checking the degree of activation of the auditory cortex (Aa) and the degree of activation of the somatosensory cortex related to touch (At), the efficiency with which substitute information is converted into individual substitute information and activated can be determined. Activity information according to functional changes in brain regions can be obtained from brain imaging information such as magnetic resonance imaging (MRI).

따라서 감각 대체 효율부는 대체 신호를 제공받는 사용자에 대하여 개별 감각 기관에 대한 상기 반응도(R)와 상기 활성도(A) 및 상기 환경 정보(E)들을 기반으로 사용자의 상기 감각 대체 효율을 산출하여 현재 제공되는 대체 신호가 사용자에게 효율적인지 여부를 판별할 수 있다. Therefore, the sensory substitution efficiency unit calculates and currently provides the sensory substitution efficiency of the user based on the reactivity (R), activity (A), and environmental information (E) for individual sensory organs for the user who receives the substitution signal. It is possible to determine whether an alternative signal is effective for the user.

이후, 사용자의 반응도와 뇌 활성도 및 환경 정보를 이용하여 감각 대체 효율을 산출한다(S560). 즉, 마지막으로 분석된 감각 반응도를 기준으로 현재 전송되는 대체 감각 신호에 대하여 사용자가 선호하는 감각의 순서를 선정한다. 상기 예시한 방법으로 감각 대체 효율 분석부는 개별 감각에 대하여 학습이 진행함에 따라 사용자가 선호하는 감각 정보의 우선 순위와 반응도의 높고 낮음을 명시적으로 표현할 수 있다.Afterwards, sensory substitution efficiency is calculated using the user's responsiveness, brain activity, and environmental information (S560). In other words, the order of the user's preferred sensations is selected for the currently transmitted alternative sensory signals based on the last analyzed sensory responsiveness. Using the method exemplified above, the sensory substitution efficiency analysis unit can explicitly express the priority of the user's preferred sensory information and the high and low responsiveness as learning progresses for each individual sense.

이어서, 선호 감각의 우선 순위를 결정한다(S570). Next, the priority of the preferred sense is determined (S570).

따라서, 본 발명의 일 실시예에 따르면, 도 4과 도 5에서와 같이 이러한 활성도와 반응도를 활용하여 감각 대체 장치(200)가 다수의 서로 다른 대체 감각으로 사용자에게 상기 대체 신호를 제공하는 경우, 대체 감각 결정부는 각각의 개별 대체 감각에 대해 상기 반응도(R)와 상기 활성도(A) 및 상기 환경 정보(E)를 이용하여 상기 감각 대체 효율(S=R+A+E)을 산출하고, 상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정할 수 있다. Therefore, according to one embodiment of the present invention, when the sensory substitution device 200 provides the alternative signal to the user through a plurality of different alternative senses using the activity and reactivity as shown in FIGS. 4 and 5, The alternative sense determination unit calculates the sensory substitution efficiency (S=R+A+E) using the reactivity (R), the activity (A), and the environmental information (E) for each individual alternative sense, Among a plurality of different alternative senses, at least one alternative sense with high sensory substitution efficiency may be determined as the preferred alternative sense.

또한 감각 대체 장치(200)에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고, 상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정할 수 있다. In addition, when the substitution signal is provided to the user by the sensory substitution device 200 so that a plurality of different substituted senses are replaced by the substituted sense, the activity is obtained for each individual substituted sense to achieve the sense substitution efficiency. and can determine at least one substituted sense with low sensory substitution efficiency among the plurality of different substituted senses as the reinforced substituted sense.

이러한 기능을 제공하기 위하여 대체 감각 결정부는 도 4의 구성 예시와 같이 보강 피대체 감각 결정부, 우선 선호감각 결정부를 활용할 수 있으며, 이를 위하여 추가로 피대체 감각 정보량 분석부, 선호 감각 정보량 분석부 및 정보량 비교부를 활용한다. In order to provide this function, the alternative sense determination unit may utilize an augmented substitute sense determination unit and a preferred sense determination unit as shown in the configuration example of FIG. 4, and for this purpose, a substitute sensory information amount analysis unit, a preferred sensory information amount analysis unit, and Use the information volume comparison section.

대체감각 비율 결정부는 상기 환경 정보 수집부에서 수집한 환경 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와 사용자 환경에 적합한 대체 감각 신호의 크기 및 대체 감각 신호들의 구성 비율을 결정하고 조정신호를 조정 신호 전달부로 전달한다.The alternative sense ratio determination unit determines the relative priority between a plurality of alternative signals provided to the user based on the environmental information collected by the environmental information collection unit, the size of the alternative sensory signal suitable for the user environment, and the composition ratio of the alternative sensory signals, The adjustment signal is transmitted to the adjustment signal transmission unit.

조정 신호 전달부는 상기 분석된 사용자의 감각 대체 효율에 따라 상기 감각 대체 장치(200)로 상기 대체 신호를 조정하기 위한 조정 신호를 전달한다. 조정 신호 전달부를 통해 전달되는 조정 신호는 상기 감각 대체 효율부에서 분석한 선호 대체 감각에 관한 정보와 보강 피대체 감각에 관한 정보 및 상기 수집된 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계나 대체 신호들의 구성 비율을 조정하기 위한 신호를 포함할 수 있다.The adjustment signal transmission unit transmits an adjustment signal for adjusting the replacement signal to the sensory replacement device 200 according to the analyzed user's sensory replacement efficiency. The adjustment signal transmitted through the adjustment signal transmission unit is a plurality of alternatives provided to the user based on the information about the preferred alternative sense analyzed by the sensory substitution efficiency unit, the information about the augmented substitute sense, and the information about the collected environment. It may include signals for adjusting the relative size relationship between signals or the composition ratio of alternative signals.

도 6은 도 5에서 감각대체 장치로 조정신호를 전달하는 방법을 보여주기 위한 순서도이다.FIG. 6 is a flowchart showing a method of transmitting an adjustment signal to the sensory replacement device in FIG. 5.

이하, 하기에서는 감각대체 장치로 조정신호를 전달하는 방법에 대하여 도 6를 참조하여 설명하기로 한다. Hereinafter, a method of transmitting an adjustment signal to a sensory replacement device will be described with reference to FIG. 6.

먼저, 조정신호 전달부는 감각 별로 전달할 수 있는 정보량 즉, 감각 대체 효율 분석부의 결과 중 제1대체 감각인 우선 감각의 정보량과 피대체 감각의 제2 정보량을 분석한다(S610). First, the adjustment signal transmission unit analyzes the amount of information that can be transmitted for each sense, that is, the amount of information of the priority sense, which is the first substitute sense, and the amount of information of the second sense, the substituted sense, among the results of the sensory substitution efficiency analysis unit (S610).

이어서, 우선 선호 감각의 제1정보량이 피대체 감각의 제2 정보량보다 큰지의 여부를 판단한다(S620). Next, it is determined whether the first information amount of the preferred sense is greater than the second information amount of the substituted sense (S620).

상기 판단 단계(S620)에서 우선 선호 감각의 제1정보량이 피대체 감각의 제2정보량 보다 크면(YES), 우선 선호 감각정보를 전달한다(S630). In the determination step (S620), if the first information amount of the preferred sense is greater than the second information amount of the substituted sense (YES), the preferred sensory information is transmitted (S630).

상기 판단 단계(S630)에서 우선 선호 감각의 제1 정보량이 피대체 감각의 제2 정보량보다 작으면(NO), 차순위의 감각을 추가한다(S640). In the determination step (S630), if the first information amount of the preferred sense is less than the second information amount of the substituted sense (NO), the next-priority sense is added (S640).

이어서, 우선 선호 감각의 제1 정보량과 차순위 감각의 제3 정보량의 합을 피대체 감각의 제2 정보량과 비교한다(S650).Next, the sum of the first information amount of the preferred sense and the third information amount of the next-priority sense is compared with the second information amount of the substituted sense (S650).

상기 정보량과 비교하는 단계(S650)에서 우선 선호 감각의 제1 정보량과 차순위 감각의 제3 정보량의 합이 피대체 감각의 제2 정보량보다 크면(YES), 감각 정보의 순서와 신호의 조합을 위한 구성 비율을 전달한다(S660). In the step of comparing the amount of information (S650), if the sum of the first information amount of the preferred sense and the third information amount of the next-priority sense is greater than the second information amount of the substituted sense (YES), the order of sensory information and the combination of signals Conveys the composition ratio (S660).

그에 반해 상기 정보량을 비교하는 단계(S650)에서 선호 감각들의 정보량을 모두 합한 경우에도 피대체 감각의 제2 정보량보다 작으면(NO), 모든 선호 감각들의 정보량들을 합하여 피대체 감각의 제2 정보량과 비교하였는지를 판단한다(S670). On the other hand, in the step of comparing the information amounts (S650), if the sum of the information amounts of all preferred senses is less than the second information amount of the substituted sense (NO), the information amounts of all preferred senses are added together to obtain the second information amount of the substituted senses. Determine whether comparison was made (S670).

상기 정보량을 비교하는 단계(S670)에서 모든 선호 감각들의 정보량들의 합을 피대체 감각의 제2 정보량과 비교하면(YES), 감각 대체 장치(200)에 생성하는 정보의 해상도나 전달 대상 정보의 수정 또는 재조정을 요청한다(S680). In the step of comparing the information amount (S670), if the sum of the information amount of all preferred senses is compared with the second information amount of the substituted sense (YES), the resolution of the information generated in the sensory replacement device 200 or the transfer target information is modified. Or request readjustment (S680).

상기 정보량을 비교하는 단계(S670)에서 모든 선호 감각들의 정보량들의 합을 피대체 감각의 제2 정보량과 비교하지 않으면(NO, 차순위 대체 감각을 추가한다(S640). In the step of comparing the information amounts (S670), if the sum of the information amounts of all preferred senses is not compared with the second information amount of the substituted sense (NO, the next priority substitute sense is added (S640)).

도 6의 실시 예에 따르는 조정 신호를 전달하는 방법을 보다 구체적으로 설명하면 다음과 같다. The method of transmitting the adjustment signal according to the embodiment of FIG. 6 will be described in more detail as follows.

감각 대체 효율 분석부를 통해 선호 감각의 순서가 결정되면, 먼저 각 감각을 통해서 전달할 수 있는 정보량(대역폭)을 분석이 필요하다. Once the order of preferred senses is determined through the sensory substitution efficiency analysis unit, it is necessary to first analyze the amount of information (bandwidth) that can be transmitted through each sense.

일반적으로 각 감각 기관을 통해 전달할 수 있는 정보량의 한계는 사전에 파악할 수 있으며, 개별 감각에 대한 최대 정보량은 사전에 저장해서 활용할 수 있다. In general, the limit to the amount of information that can be transmitted through each sense organ can be known in advance, and the maximum amount of information for each sense can be stored and utilized in advance.

상기 정보량과 비교하는 단계(S660)에서 1순위 선호 감각의 정보량이 피대체 감각의 정보량보다 크다면 조정 신호는 1순위 감각 정보만 전달한다. In the step of comparing the information amount (S660), if the information amount of the first-priority preferred sense is greater than the information amount of the substituted sense, the adjustment signal transmits only the first-priority sensory information.

만일, 1순위 선호 감각의 정보량이 피대체 감각의 정보량보다 작은 경우에는 현재 전달되는 피대체 감각 정보가 사용자에게 효율적으로 전달되지 않으므로 정보의 전달을 위한 대역폭 확보를 위하여 2순위 선호 감각 정보를 추가하여 정보를 전달하여야 한다. If the information amount of the 1st preferred sense is less than the information amount of the substituted sense, the currently delivered substituted sense information is not efficiently delivered to the user, so to secure the bandwidth for information transfer, the 2nd preferred sense information must be added. Information must be conveyed.

만약, 1, 2순위 선호 감각 정보량의 합이 피대체 감각 정보량보다 크다면, 복수의 감각 정보 순서와 감각별 정보량을 활용하여 이들 감각 정보로 전달할 신호의 구성 비율을 계산하고, 그 신호의 구성 비율을 포함하는 조정 신호로 출력한다. If the sum of the 1st and 2nd priority sensory information amounts is greater than the amount of substituted sensory information, the composition ratio of the signal to be transmitted by these sensory information is calculated using the order of the plurality of sensory information and the amount of information for each sense, and the composition ratio of the signals is calculated. It is output as an adjustment signal containing .

한편, 1, 2순위 감각 정보를 활용하여도 피대체 감각의 정보량보다 작은 경우에는 전체 n개의 선호 감각 정보들까지 추가하는 과정을 진행하면서, 피대체 감각의 정보량보다 많은 감각의 조합을 검색한다. On the other hand, if the information amount of the 1st and 2nd priority senses is less than the information amount of the substituted sense, the process of adding a total of n preferred senses information is performed, and a combination of senses that is more than the information amount of the substituted sense is searched.

이러한 과정을 거쳐도 전체 선호 감각들의 정보량이 피대체 감각의 정보량보다 작은 경우 조정 신호 전달부는 감각 대체 장치(200)로 전달 정보의 변경을 요청하여 생성하는 정보의 해상도나 대상 정보를 변경하거나 조정하도록 전달 정보에 대한 변경 요청을 감각 대체 장치(200)로 전송한다. Even after going through this process, if the total information amount of the preferred senses is smaller than the information amount of the substituted sense, the adjustment signal transmitting unit requests the sensory substitute device 200 to change the transmitted information to change or adjust the resolution or target information of the generated information. A request to change the transmission information is transmitted to the sensory replacement device 200.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다. Above, the configuration of the present invention has been described in detail with reference to the accompanying drawings, but this is merely an example, and those skilled in the art will be able to make various modifications and changes within the scope of the technical idea of the present invention. Of course this is possible. Therefore, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be determined by the description of the claims below.

Claims (20)

감각 대체 장치에서 전달되는 감각 대체 신호에 대한 사용자의 응답이나 반응 신호를 수집하는 반응신호 수집부;
상기 감각 대체 신호를 전달받는 사용자의 주위 환경 정보를 수집하는 환경정보 수집부,
수집된 상기 사용자의 주위 환경 정보를 기반으로 상기 감각 대체 장치에 의한 사용자의 감각 대체 효율을 분석하고, 상기 감각 대체 효율에 따라 상기 사용자에게 제공되는 상기 감각 대체 신호의 상대적인 크기 관계 및 구성 비율 중 적어도 어느 하나를 조정하기 위해, 상기 감각 대체 신호를 조정하기 위한 조정 신호를 생성하는 감각대체효율 분석부; 및
상기 조정 신호를 상기 감각 대체 장치로 제공하는 조정신호 전달부를 포함하는 감각 대체 조정 장치.
A response signal collection unit that collects the user's response or reaction signal to the sensory substitution signal transmitted from the sensory substitution device;
An environmental information collection unit that collects information on the surrounding environment of the user who receives the sensory alternative signal,
Analyzing the user's sensory substitution efficiency by the sensory substitution device based on the collected environmental information of the user, and at least one of the relative size relationship and composition ratio of the sensory substitution signal provided to the user according to the sensory substitution efficiency In order to adjust any one, a sensory substitution efficiency analysis unit that generates an adjustment signal for adjusting the sensory substitution signal; and
A sensory substitution control device comprising a control signal transmission unit that provides the control signal to the sensory substitute device.
 제 1항에 있어서,
상기 반응신호 수집부는,
상기 감각 대체 신호를 제공받은 사용자의 뇌로부터 얻은 신호를 상기 반응 신호로 수집하는 감각 대체 조정 장치.
According to clause 1,
The response signal collection unit,
A sensory substitution control device that collects signals obtained from the brain of a user who has received the sensory substitution signal as the response signal.
 제 1항에 있어서,
상기 반응신호 수집부는,
상기 감각 대체 신호를 제공받고 있는 사용자의 뇌로부터 뇌파 신호를 수집하는 뇌파 신호 수집부를 포함하는 감각 대체 조정 장치.
According to clause 1,
The response signal collection unit,
A sensory substitution control device comprising an brain wave signal collection unit that collects brain wave signals from the brain of a user receiving the sensory substitution signals.
 제 1항에 있어서,
상기 반응신호 수집부는,
상기 감각 대체 신호를 제공받았던 사용자의 뇌를 측정하여 얻은 뇌 활동 데이터를 수집하는 뇌 활동 데이터 수집부를 포함하는 감각 대체 조정 장치.
According to clause 1,
The response signal collection unit,
A sensory substitution adjustment device comprising a brain activity data collection unit that collects brain activity data obtained by measuring the brain of a user who has received the sensory substitution signal.
 제 1항에 있어서,
상기 감각 대체 효율 분석부는:
상기 감각 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치가 대체하는 대체 감각을 관할하는 뇌 영역의 반응도; 및
상기 감각 대체 신호를 제공받는 사용자에 대하여 상기 감각 대체 장치에 의해 대체되는 피대체 감각을 관할하는 뇌 영역의 활성도;
중 적어도 하나를 상기 반응 신호로 획득하고,
상기 반응도 및 상기 활성도 중 적어도 하나를 기반으로 상기 감각 대체 효율을 산출하는 감각 대체 조정 장치.
According to clause 1,
The sensory substitution efficiency analysis unit:
A reactivity of a brain region responsible for an alternative sense replaced by the sensory replacement device for a user who receives the sensory replacement signal; and
Activity of a brain region responsible for a substituted sense replaced by the sensory substitute device for a user who receives the sense substitute signal;
Obtaining at least one of the reaction signals,
A sensory substitution adjustment device that calculates the sensory substitution efficiency based on at least one of the reactivity and the activity.
 제 5항에 있어서,
상기 반응도가 높을수록 상기 감각 대체 효율은 높고, 상기 반응도가 낮을수록 상기 감각 대체 효율은 낮고,
상기 활성도가 높을수록 상기 감각 대체 효율은 높고, 상기 활성도가 낮을수록 상기 감각 대체 효율은 낮은 감각 대체 조정 장치.
According to clause 5,
The higher the reactivity, the higher the sensory substitution efficiency, and the lower the reactivity, the lower the sensory substitution efficiency,
The higher the activity, the higher the sensory substitution efficiency, and the lower the activity, the lower the sensory substitution efficiency.
 제 6항에 있어서,
상기 감각 대체 효율 분석부는,
상기 감각 대체 장치가 다수의 서로 다른 대체 감각으로 사용자에게 상기 감각 대체 신호를 제공하는 경우, 각각의 개별 대체 감각에 대해 상기 반응도를 획득하여 상기 감각 대체 효율을 산출하고,
상기 다수의 서로 다른 대체 감각 중 상기 감각 대체 효율이 상대적으로 높은 적어도 하나의 대체 감각을 선호 대체 감각으로 결정하고,
상기 조정 신호 전달부는:
상기 선호 대체 감각에 관한 정보를 상기 감각 대체 장치로 전달하는 감각 대체 조정 장치.
According to clause 6,
The sensory substitution efficiency analysis unit,
When the sensory substitution device provides the sensory substitution signal to a user with a plurality of different alternative senses, the responsivity is obtained for each individual alternative sense to calculate the sensory substitution efficiency,
determining at least one alternative sense with relatively high sensory substitution efficiency among the plurality of different alternative senses as the preferred alternative sense;
The control signal transmission unit:
A sensory substitution manipulation device that transmits information regarding the preferred alternative sensation to the sensory substitution device.
 제 7항에 있어서,
상기 감각 대체 효율 분석부는,
상기 감각 대체 장치에 의해 다수의 서로 다른 피대체 감각이 상기 대체 감각으로 대체되도록 사용자에게 상기 대체 신호가 제공되는 경우, 각각의 개별 피대체 감각에 대해 상기 활성도를 획득하여 상기 감각 대체 효율을 산출하고,
상기 다수의 서로 다른 피대체 감각 중 상기 감각 대체 효율이 상대적으로 낮은 적어도 하나의 피대체 감각을 보강 피대체 감각으로 결정하고,
상기 조정신호 전달부는:
상기 보강 피대체 감각에 관한 정보를 상기 감각 대체 장치로 전달하는 감각 대체 조정 장치.
According to clause 7,
The sensory substitution efficiency analysis unit,
When the replacement signal is provided to a user so that a plurality of different substituted senses are replaced by the substituted sense by the sense substitution device, the activity is obtained for each individual substituted sense to calculate the sense substitution efficiency; ,
Determining at least one substituted sense with relatively low sensory substitution efficiency among the plurality of different substituted senses as the reinforced substituted sense,
The adjustment signal transmission unit:
A sensory replacement control device that transmits information about the augmented substituted sense to the sensory replacement device.
 제 8항에 있어서,
상기 감각 대체 효율 분석부는,
상기 감각 대체 장치가 다수의 서로 다른 대체 감각으로 사용자에게 상기 감각 대체 신호를 제공하는 경우, 상기 환경 정보 수집부에서 수집한 환경에 관한 정보를 기반으로 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 우선 순위와, 상기 다수의 대체 신호의 크기 및 상기 다수의 대체 신호의 구성 비율을 결정하고,
상기 다수의 대체 신호 간의 상대적인 우선 순위, 상기 다수의 대체 신호의 크기 관계 및 구성 비율에 따라 사용자에게 제공되는 다수의 대체 신호 간의 상대적인 크기 관계 및 구성 비율을 조정하기 위한 상기 조정 신호를 생성하여 상기 조정신호 전달부를 통해 상기 감각 대체 장치로 해당 조정 신호를 전달하는 감각 대체 조정 장치.
According to clause 8,
The sensory substitution efficiency analysis unit,
When the sensory substitution device provides the sensory substitution signal to the user through a plurality of different alternative senses, the relative priority between the plurality of alternative signals provided to the user based on the information about the environment collected by the environmental information collection unit and determining the size of the plurality of alternative signals and the composition ratio of the plurality of alternative signals,
The adjustment is made by generating the adjustment signal to adjust the relative priority between the plurality of alternative signals and the relative size relationship and composition ratio between the plurality of alternative signals provided to the user according to the size relationship and composition ratio of the plurality of alternative signals. A sensory substitution adjustment device that transmits a corresponding adjustment signal to the sensory substitution device through a signal transmission unit.
 제 9항에 있어서,
상기 감각 대체 효율 분석부는
상기 반응 신호 및 상기 환경 정보를 기반으로 다수의 대체 감각 및 피대체 감각 별로 사용자에 전달되는 정보량을 분석하는 정보량 분석부;
상기 우선 순위에 따라 상기 다수의 대체 감각 중 우선 선호 감각을 결정하는 우선 선호 감각 결정부;
상기 우선 선호 감각에 대해 분석된 정보량과 상기 피대체 감각에 대해 분석된 정보량을 비교하고, 상기 우선 선호 감각에 대한 정보량이 상기 피대체 감각에 대한 정보량 보다 작은 경우 상기 우선 선호 감각 보다 우선 순위가 낮은 차순위의 대체 감각에 대해 분석된 정보량을 상기 우선 선호 감각에 대한 정보량에 합한 값을 상기 피대체 감각에 대한 정보량과 비교하는 정보량 비교부; 및
상기 정보량 비교부의 비교 결과에 따라 상기 우선 선호 감각에 관한 대체 신호와 상기 차순위의 대체 감각에 관한 대체 신호의 크기 및 비율을 결정하는 대체 감각 비율 결정부를 포함하는 감각 대체 조정 장치.
According to clause 9,
The sensory substitution efficiency analysis unit
an information amount analysis unit that analyzes the amount of information delivered to the user for each of a plurality of alternative senses and substituted senses based on the response signal and the environmental information;
a priority sense determination unit that determines a preferred sense among the plurality of alternative senses according to the priority;
The amount of information analyzed for the preferred sense is compared with the amount of information analyzed for the substituted sense, and if the amount of information for the preferred sense is less than the amount of information for the substituted sense, the amount of information analyzed for the preferred sense is lower than the preferred sense. an information amount comparison unit that compares a value obtained by adding the amount of information analyzed for the next-priority substitute sense to the amount of information for the preferred sense with the amount of information for the substituted sense; and
A sensory substitution adjustment device comprising an alternative sense ratio determination unit that determines the size and ratio of an alternative signal for the priority preferred sense and an alternative signal for the second priority alternative sense according to a comparison result of the information quantity comparison unit.
 제 10항에 있어서,
상기 대체 감각 비율 결정부는:
상기 우선 선호 감각에 관한 정보량이 상기 피대체 감각에 대한 정보량보다 큰 경우 사용자에게 상기 우선 선호 감각에 관한 대체 신호가 전달되도록 상기 조정 신호 전달부를 통해 상기 감각 대체 장치로 제1 조정 신호를 전달하고;
상기 우선 선호 감각에 관한 정보량이 상기 피대체 감각에 대한 정보량 이하인 경우 상기 사용자에게 제1 감각 대체 신호와 함께 상기 차순위의 대체 감각에 관한 제2 감각 대체 신호가 전달되도록 상기 조정신호 전달부를 통해 상기 감각 대체 장치로 제2 조정 신호를 전달하고; 및
상기 다수의 대체 감각들에 대해 분석된 모든 정보량을 합한 값이 상기 피대체 감각에 대한 정보량보다 작은 경우 상기 감각 대체 장치에 생성하는 정보의 해상도 또는 전달 대상 정보의 수정 또는 재조정을 요청하는 감각 대체 조정 장치.
According to clause 10,
The alternative sensory ratio determination unit:
If the amount of information about the preferred sense is greater than the amount of information about the substituted sense, transmitting a first adjustment signal to the sensory replacement device through the adjustment signal transmission unit so that a replacement signal about the preferred sense is delivered to the user;
If the amount of information about the preferred sense is less than the amount of information about the substituted sense, the second sensory substitute signal about the next-priority substitute sense is transmitted to the user along with the first sense substitute signal through the adjustment signal transmission unit. transmit a second coordination signal to the replacement device; and
When the sum of all information amounts analyzed for the plurality of alternative senses is less than the information amount for the substituted senses, sensory substitution adjustment is requested to modify or readjust the resolution of the information generated by the sensory substitution device or the information to be transmitted. Device.
 제 9항에 있어서,
상기 감각 대체 효율 분석부는:
대체 감각 신호가 시작되는 동기 시점을 감지하고, 상기 동기 시점에서 시작하여 대뇌 감각 신호의 변화를 측정하고;
전달되는 신호가 기저신호인지 여부를 판단하고, 전달되는 신호가 기저신호인 경우 감각 정보를 기저 감각정보로 저장하고, 전달되는 신호가 기저신호가 아닌 경우 신호에 대하여 감각 기관들의 반응도를 분석하고; 및
개별 감각 기관들의 반응도와 기저정보부에 저장된 개별 감각의 반응도 간의 차이에 따라 대체 감각에 대한 반응도를 판단하여 선호 감각의 우선 순위를 결정하는 감각 대체 조정 장치.
According to clause 9,
The sensory substitution efficiency analysis unit:
detecting a synchronous time point at which an alternative sensory signal begins, and measuring changes in cerebral sensory signals starting from the synchronous time point;
Determine whether the transmitted signal is a basic signal, store the sensory information as basic sensory information if the transmitted signal is a basic signal, and analyze the responsiveness of sensory organs to the signal if the transmitted signal is not a basic signal; and
A sensory substitution adjustment device that determines the priority of preferred sensations by judging the responsiveness to alternative senses based on the difference between the responsiveness of individual sense organs and the responsiveness of individual senses stored in the basic information unit.
 제 1항에 있어서,
상기 감각 대체 효율 분석부는:
상기 반응신호 수집부에 의해 수집된 뇌파 신호 중 시각 정보 반응과 관련된 후두 중심 신호와 우측 가측 두정-후두엽 신호, 청각 정보 반응과 관련된 우측 가측 두정-측두엽 신호와 우측 가측 전두엽 신호, 및 촉각 정보 반응과 관련된 대뇌 정수리 영역 신호를 포함하는 뇌 반응 신호들을 추출하는 반응 신호 추출부;
상기 반응 신호 추출부에 의해 추출된 뇌 반응 신호들을 각각 주파수 변환하여 주파수 영역 뇌파 데이터를 생성하고, 상기 주파수 영역 뇌파 데이터 중 델타파 및 쎄타파 데이터를 추출하고, 상기 델타파 및 쎄타파 데이터를 기저 상태의 데이터와 비교하여 대체 감각별 반응 변화율을 산출하는 반응도 산출부;
상기 반응신호 수집부에 의해 수집된 뇌 활동 데이터 중 시각 피질 영역, 청각 피질 영역 및 촉각 피질 영역의 대체 감각 관련 뇌 활동 데이터를 추출하는 뇌 활동 데이터 추출부;
상기 대체 감각 관련 뇌 활동 데이터를 기반으로 시각 피질 활성도, 청각 피질 활성도 및 촉각 피질 활성도를 포함하는 대체 감각 관련 뇌 활성도를 산출하는 뇌 활성도 산출부;
상기 환경 정보, 상기 대체 감각별 반응 변화율 및 상기 대체 감각 관련 뇌 활성도를 이용하여 학습에 의해 상기 대체 신호를 조정하기 위한 대체 감각 조정 모델을 생성하는 학습부; 및
상기 대체 감각 조정 모델을 기반으로, 상기 대체 신호를 조정하기 위한 조정 신호를 생성하는 대체 감각 결정부를 포함하는 감각 대체 조정 장치.According to clause 1,
The sensory substitution efficiency analysis unit:
Among the EEG signals collected by the response signal collection unit, the occipital center signal and the right lateral parieto-occipital lobe signal related to the visual information response, the right lateral parietal-temporal lobe signal and the right lateral prefrontal lobe signal related to the auditory information response, and the tactile information response. a response signal extraction unit for extracting brain response signals including related parietal region signals;
The brain response signals extracted by the response signal extraction unit are frequency converted to generate frequency domain EEG data, extract delta wave and theta wave data from the frequency domain EEG data, and extract the delta wave and theta wave data as a basis. A reactivity calculation unit that compares the state data and calculates the rate of change in response for each alternative sense;
a brain activity data extraction unit that extracts alternative sensory-related brain activity data of the visual cortex area, auditory cortex area, and tactile cortex area from the brain activity data collected by the response signal collection unit;
a brain activity calculation unit that calculates alternative sense-related brain activity including visual cortex activity, auditory cortex activity, and tactile cortex activity based on the alternative sense-related brain activity data;
a learning unit that generates an alternative sense adjustment model for adjusting the alternative signal by learning using the environmental information, the response change rate for each alternative sense, and brain activity related to the alternative sense; and
An alternative sensory adjustment device comprising an alternative sensory determination unit that generates an adjustment signal for adjusting the alternative signal based on the alternative sensory tuning model. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020200128249A 2019-11-08 2020-10-05 Sensory substitution control device and method KR102584431B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/091,575 US20210137403A1 (en) 2019-11-08 2020-11-06 Sensory substitution control device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190142452 2019-11-08
KR20190142452 2019-11-08

Publications (2)

Publication Number Publication Date
KR20210056223A KR20210056223A (en) 2021-05-18
KR102584431B1 true KR102584431B1 (en) 2023-10-05

Family

ID=76158789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200128249A KR102584431B1 (en) 2019-11-08 2020-10-05 Sensory substitution control device and method

Country Status (1)

Country Link
KR (1) KR102584431B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101841625B1 (en) 2016-05-23 2018-05-14 서울대학교산학협력단 Apparatus for replacing sense based on brain stimulation, and method thereof and computer-readable recording media using the same
US20180250494A1 (en) 2017-03-02 2018-09-06 Sana Health, Inc. Methods and systems for modulating stimuli to the brain with biosensors
JP2018202054A (en) 2017-06-09 2018-12-27 キヤノン株式会社 Artificial vision apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101841625B1 (en) 2016-05-23 2018-05-14 서울대학교산학협력단 Apparatus for replacing sense based on brain stimulation, and method thereof and computer-readable recording media using the same
US20180250494A1 (en) 2017-03-02 2018-09-06 Sana Health, Inc. Methods and systems for modulating stimuli to the brain with biosensors
JP2018202054A (en) 2017-06-09 2018-12-27 キヤノン株式会社 Artificial vision apparatus

Also Published As

Publication number Publication date
KR20210056223A (en) 2021-05-18

Similar Documents

Publication Publication Date Title
Le Van Quyen et al. Spatio‐temporal characterizations of non‐linear changes in intracranial activities prior to human temporal lobe seizures
Hopkins et al. The effects of age and cochlear hearing loss on temporal fine structure sensitivity, frequency selectivity, and speech reception in noise
US5729658A (en) Evaluating intelligibility of speech reproduction and transmission across multiple listening conditions
CN102821681B (en) Brain wave measuring device and electric noise estimation method
Spitzer et al. Transformation of binaural response properties in the ascending auditory pathway: influence of time-varying interaural phase disparity
Milojcic et al. Vestibular evoked myogenic potentials in patients with superior semicircular canal dehiscence
JPH0790019B2 (en) Sleep stage monitor
de Cheveigné et al. The case of the missing delay lines: Synthetic delays obtained by cross-channel phase interaction
Boubenec et al. Detecting changes in dynamic and complex acoustic environments
Noel et al. Sensitivity of bilateral cochlear implant users to fine-structure and envelope interaural time differences
CN103081516A (en) Uncomfortable sound pressure determination system, method and program therefor, hearing aid adjustment system, and uncomfortable sound pressure determination device
Jang et al. Analysis of P1 latency in normal hearing and profound sensorineural hearing loss
Wilson et al. Power functions of loudness magnitude estimations and auditory brainstem evoked responses
Dietz et al. Lateralization of stimuli with independent fine-structure and envelope-based temporal disparities
CN104783928B (en) A kind of assessment system testing cochlear implant speech strategy performance
Stern et al. The role of consistency of interaural timing over frequency in binaural lateralization
Klug et al. Neural rate difference model can account for lateralization of high-frequency stimuli
KR102584431B1 (en) Sensory substitution control device and method
Ernst et al. Suppression and comodulation masking release in normal-hearing and hearing-impaired listeners
Shen et al. Temporal modulation transfer function for efficient assessment of auditory temporal resolution
Jesteadt et al. Temporal acuity in listeners with sensorineural hearing loss
Akeroyd A binaural beat constructed from a noise (L)
Kaczmarek Auditory perception of sound source velocity
van de Par et al. Diotic and dichotic detection using multiplied-noise maskers
Shackleton et al. The time course of binaural masking in the inferior colliculus of guinea pig does not account for binaural sluggishness

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant