KR102284154B1 - System for counting swallowing and method thereof - Google Patents
System for counting swallowing and method thereof Download PDFInfo
- Publication number
- KR102284154B1 KR102284154B1 KR1020140109615A KR20140109615A KR102284154B1 KR 102284154 B1 KR102284154 B1 KR 102284154B1 KR 1020140109615 A KR1020140109615 A KR 1020140109615A KR 20140109615 A KR20140109615 A KR 20140109615A KR 102284154 B1 KR102284154 B1 KR 102284154B1
- Authority
- KR
- South Korea
- Prior art keywords
- pharyngeal
- voice
- sensing unit
- signal
- measuring
- Prior art date
Links
- 230000009747 swallowing Effects 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 88
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 210000003800 pharynx Anatomy 0.000 claims abstract description 9
- 238000007405 data analysis Methods 0.000 claims abstract description 8
- 241000167880 Hirundinidae Species 0.000 claims description 32
- 235000006694 eating habits Nutrition 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000013523 data management Methods 0.000 claims description 8
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 2
- 235000005911 diet Nutrition 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000000378 dietary effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 206010011224 Cough Diseases 0.000 description 3
- 210000003238 esophagus Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 208000019505 Deglutition disease Diseases 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 210000003296 saliva Anatomy 0.000 description 2
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/488—Diagnostic techniques involving Doppler signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
삼킴 횟수 측정 시스템 및 그 방법을 개시한다. 삼킴 횟수 측정 시스템은 초음파 도플러 센서를 목 외부에 부착하여 인두의 상하 움직임을 측정하는 인두 움직임 센싱부(100), 상기 인두 움직임 센싱부와 병렬적으로 배치되어 음성을 측정하는 음성 센싱부(200) 및 상기 인두 움직임 센싱부에서 측정된 인두 움직임 신호와 음성 센싱부로부터 측정된 음성 신호를 분석하는 데이터 분석부(300)를 포함한다.Disclosed are a swallow count measurement system and method. The swallowing count measurement system includes a pharyngeal motion sensing unit 100 that measures the vertical movement of the pharynx by attaching an ultrasonic Doppler sensor to the outside of the neck, and a voice sensing unit 200 that is arranged in parallel with the pharyngeal motion sensing unit to measure voice. and a data analysis unit 300 for analyzing the pharyngeal motion signal measured by the pharyngeal motion sensing unit and the voice signal measured by the voice sensing unit.
Description
본 발명은 삼킴 횟수 측정 시스템에 관한 것으로, 구체적으로 삼킴 측정 장치 및 삼킴 횟수 측정 방법에 관한 것이다.
The present invention relates to a swallow count measuring system, and more particularly, to a swallow count measuring device and a swallow count measuring method.
최근 건강관리(healthcare)가 대두됨에 따라 사회적으로 다이어트에 대한 관심이 높다. 더불어, 얼마나 많은 음식을 먹는가에 대한 관심이 상당히 높아지고 있다. 사람마다 한 번에 삼킬 수 있는 음식의 양은 최대치가 정해져 있기 때문에 많은 음식을 먹기 위해서는 그만큼 삼킴의 횟수도 많아진다. Recently, with the rise of health care, social interest in diet is high. In addition, interest in how much food you eat is growing considerably. Since the maximum amount of food that each person can swallow at one time is set, the number of swallowing increases to eat a lot of food.
삼킴(swallowing)은 음식물을 구강(oral cavity)으로부터 인두(pharynx)를 거쳐 식도(esophagus)로 넘기는 과정이며(Ekberg et al., 2002), 생명 유지에 필수적인 활동이다. 일반적으로 사람은 하루 평균 580 ~ 2,000번 정도 삼키는 것으로 추정된다(Garliner, 1974; Logemann, 1983, 1998).Swallowing is the process of passing food from the oral cavity through the pharynx to the esophagus (Ekberg et al., 2002) and is an essential activity for life support. In general, it is estimated that humans swallow an average of 580 to 2,000 times a day (Garliner, 1974; Logemann, 1983, 1998).
삼킴 횟수를 정확하게 측정하면 삼킴 습관(habit)을 분석할 수 있기 때문에 식습관(dietary habits) 개선을 통하여 보다 건강해질 것으로 기대된다. 삼킴과 관련된 연구로서 삼킴 시 정상인과 삼킴 장애 환자의 삼킴 특성 분석(Lee et al., 2013)을 포함하여 다양한 연구가 수행되고 있다. Since swallowing habits can be analyzed if the number of swallowing is accurately measured, it is expected to become healthier through improvement of dietary habits. As a study related to swallowing, various studies are being conducted, including analysis of the swallowing characteristics of normal persons and patients with swallowing disorders during swallowing (Lee et al., 2013).
그러나, 삼킴의 횟수와 관련된 연구는 전무한 것으로 파악되었는데, 이는 삼킴 횟수를 과학적으로 측정할 수 있는 장비가 아직까지 개발된 적은 없기 때문이다. 만약, 삼킴 횟수를 간단하면서도 정확하게 측정할 수 있다면 삼킴 횟수와 관련하여 추정만 되고 있는 다양한 연구들을 수행할 수 있다. However, it was found that there were no studies related to the number of swallows, because a device that can scientifically measure the number of swallows has not yet been developed. If the number of swallows can be measured simply and accurately, various studies that are only estimated in relation to the number of swallows can be performed.
예컨대, 비만 환자보다는 정상인이, 정상인보다는 파킨슨병(Parkinson's disease) 환자의 삼킴 횟수가 적을 것으로 추정되고 있는데 이와 같은 가설을 검증하기 위해서는 삼킴 횟수를 정확하게 측정할 수 있는 기술이 필요하다.
For example, it is estimated that the number of swallowing is less in a normal person than in an obese patient and a patient with Parkinson's disease than a normal person.
본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로, 초음파 도플러 센서로 측정된 다양한 인두 움직임 중 삼킴 움직임만을 선별하여 일상생활 중 간단하고 정확하게 삼킴 횟수를 측정할 수 있는 삼킴 횟수 측정 시스템을 제공하는 것을 목적으로 한다.
The present invention has been devised in the technical background as described above, and it is to provide a swallowing count measurement system capable of simply and accurately measuring the number of swallows in daily life by selecting only the swallowing movement among various pharyngeal movements measured by an ultrasonic Doppler sensor. The purpose.
전술한 과제를 해결하기 위한 본 발명의 일 면에 따른 삼킴 횟수 측정 시스템은 초음파 도플러 센서를 목 외부에 부착하여 인두의 상하 움직임을 측정하는 인두 움직임 센싱부(100), 상기 인두 움직임 센싱부와 병렬적으로 배치되어 음성을 측정하는 음성 센싱부(200) 및 상기 인두 움직임 센싱부에서 측정된 인두 움직임 신호와 음성 센싱부로부터 측정된 음성 신호를 분석하는 데이터 분석부(300)를 포함한다.In a system for measuring the number of swallows according to an aspect of the present invention for solving the above-mentioned problems, the pharyngeal
인두 움직임 센싱부(100)는, 초음파 발신부(110)와 초음파 수신부(120) 및 The pharyngeal
인두 움직임 데이터를 실시간으로 송신하는 인두 움직임 데이터 송신부(130)를 포함한다.and a pharyngeal
초음파 수신부(120)는, 상기 초음파 발신부(110)와 이격되어 있는 것을 특징으로 한다.The
초음파 수신부(120)는, 상기 초음파 발신부(110)를 둘러싸고 있다.The
초음파 수신부(120)와 상기 초음파 발신부(110)는,목 외부에 부착할 수 있도록 곡면 형상으로 배치된다.The
음성 센싱부(200)는, 음성을 측정하는 마이크(210) 및 음성 데이터를 실시간으로 송신하는 음성 데이터 송신부(220)를 포함한다.The
음성 센싱부(200)는, 상기 인두 움직임 센싱부(100)와 병렬적으로 배치된다.The
본 발명의 다른 일면에 따른 삼킴 횟수 측정 방법은 인두 움직임 센싱부를 통해 인두의 상하 움직임을 측정하는 인두 움직임 신호 측정 단계(S10), 음성 신호 센싱부를 통해 음성 신호를 측정하는 음성 신호 측정 단계(S20), 상기 인두 움직임 센싱부와 상기 음성 센싱부로부터 측정된 인두 움직임 신호와 음성 신호를 데이터 통합 관리부에 저장하는 데이터 수신 단계(S30), 상기 데이터 통합 관리부에 저장된 인두 움직임 신호와 음성 신호의 잡음을 제거하는 잡음 제거 단계(S40) 및 음성 신호 대비 인두 움직임 신호 비율(pharyngeal movement-to-voice ratio)로 삼킴 시의 인두 움직임만을 선별하는 삼킴 횟수 검출 단계(S50)를 포함한다.A method for measuring the number of swallows according to another aspect of the present invention includes a pharyngeal motion signal measuring step of measuring the vertical movement of the pharynx through a pharyngeal motion sensing unit (S10), and a voice signal measuring step of measuring a voice signal through a voice signal sensing unit (S20) , a data receiving step of storing the pharyngeal movement signal and the voice signal measured from the pharyngeal movement sensing unit and the voice sensing unit in the integrated data management unit (S30), removing the noise of the pharyngeal movement signal and the voice signal stored in the integrated data management unit a noise removal step (S40) and a swallowing count detection step (S50) of selecting only the pharyngeal movement during swallowing based on a pharyngeal movement-to-voice ratio to a voice signal.
데이터 수신 단계(S30)는, 상기 인두 움직임 센싱부(100)와 상기 음성 센싱부(200)로부터 측정된 인두 움직임 신호와 음성 신호를 송신하는 단계(S31); 및The data receiving step (S30) includes: transmitting the pharyngeal motion signal and the voice signal measured from the pharyngeal
상기 인두 움직임 신호와 상기 음성 신호를 시간에 대하여 동기화하는 시각 동기화 단계(S32)를 포함한다.and a time synchronization step (S32) of synchronizing the pharyngeal movement signal and the voice signal with respect to time.
잡음 제거 단계(S40)는, 상기 데이터 수신 단계의 인두 움직임 신호와 음성 신호의 잡음을 이동평균법(moving average)을 사용하여 제거하는 잡음 제거 단계를 포함한다.The noise removing step (S40) includes a noise removing step of removing noises of the pharyngeal motion signal and the voice signal of the data receiving step using a moving average method.
삼킴 횟수 검출 단계(S50)는 잡음 제거 단계를 통해 잡음이 제거된 인두 움직임 신호와 음성 신호의 음성 신호 대비 인두 움직임 비율(pharyngeal movement-to-voice ratio)로 삼킴 신호를 증폭하는 삼킴 신호 증폭 단계(S51) 및 상기 삼킴 신호 증폭 단계에서 증폭된 삼킴 신호 중 특정 값 이상의 peak 수를 계산하여 삼킴 횟수만 검출하는 삼킴 횟수 검출 단계(S52)를 포함한다.
The swallowing count detection step (S50) is a swallowing signal amplifying step ( S51) and a swallowing count detection step (S52) of detecting only the number of swallows by calculating the number of peaks greater than or equal to a specific value among the swallowing signals amplified in the step of amplifying the swallowing signal.
본 발명의 실시예를 따르면, 정상인과 환자의 일상생활 중 인두의 움직임과 음성을 측정하는 인두 움직임 측정장치와 음성 신호 측정장치를 구성하고, 측정된 인두 움직임과 음성 신호 데이터를 분석하여 삼킴 횟수를 정확하게 파악할 수 있다. According to an embodiment of the present invention, a pharyngeal motion measuring device and a voice signal measuring device are configured to measure pharyngeal movement and voice in the daily life of normal people and patients, and the number of swallows is determined by analyzing the measured pharyngeal motion and voice signal data. can be accurately identified.
본 발명을 통해 삼킴 횟수를 정확하게 파악함으로써, 삼킴 습관(habit)을 분석할 수 있기 때문에 식습관(dietary habits)에 대한 기반 자료를 구축하고 개선 사항들을 도출할 수 있어 보다 건강 증진에 기여할 수 있다.
By accurately grasping the number of swallowing through the present invention, since it is possible to analyze a swallowing habit, it is possible to build a base data for dietary habits and derive improvements, thereby contributing to more health promotion.
도 1은 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 시스템의 전체 구성도이다.
도 2는 본 발명의 제 1실시예에 따른 삼킴 횟수 측정 장치의 사시도이다.
도 3은 본 발명의 제1 실시예에 따른 삼킴 횟수 측정용 센서부의 사시도이다.
도 4는 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 데이터 분석부의 분석 흐름도 이다.
도 5는 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 시스템의 데이터 수신 단계의 흐름도이다.
도 6은 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 시스템의 삼킴 횟수 검출 단계의 흐름도이다.
도 7은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 삼킴 횟수 측정 방법이 실행될 수 있는 컴퓨터 장치의 일 구성을 도시한 도면이다.1 is an overall configuration diagram of a system for measuring the number of swallows according to a first embodiment of the present invention.
2 is a perspective view of an apparatus for measuring the number of swallows according to a first embodiment of the present invention.
3 is a perspective view of a sensor unit for measuring the number of swallows according to the first embodiment of the present invention.
4 is an analysis flow chart of the swallow count measurement data analysis unit according to the first embodiment of the present invention.
5 is a flowchart of a data receiving step of the swallow count measurement system according to the first embodiment of the present invention.
6 is a flowchart of the swallow count detection step of the swallow count measurement system according to the first embodiment of the present invention.
7 is a diagram illustrating a configuration of a computer device in which a method for measuring the number of swallows according to an embodiment of the present invention can be executed.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided so that those who have it can easily understand the scope of the invention, and the present invention is defined by the description of the claims. On the other hand, the terms used herein are for the purpose of describing the embodiments and are not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, "comprises" or "comprising" refers to the presence or addition is not excluded.
이제 첨부한 도면을 참조하여 본 발명의 제1 실시예에 따른 삼킴 장애 측정 및 치료 장치에 대하여 도 1 내지 도 6를 참고로 상세하게 설명한다.Now, with reference to the accompanying drawings, an apparatus for measuring and treating a swallowing disorder according to a first embodiment of the present invention will be described in detail with reference to FIGS. 1 to 6 .
도 1은 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 시스템의 전체 구성도이고, 도 2는 본 발명의 제 1실시예에 따른 삼킴 횟수 측정 장치의 사시도이고, 도 3은 본 발명의 제1 실시예에 따른 삼킴 횟수 측정용 센서부의 사시도이고, 도 4는 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 데이터 분석부의 분석 흐름도 이고, 도 5는 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 시스템의 데이터 수신 단계의 흐름도이고, 도 6은 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 시스템의 삼킴 횟수 검출 단계의 흐름도 이다. 1 is an overall configuration diagram of a system for measuring the number of swallows according to a first embodiment of the present invention, FIG. 2 is a perspective view of a device for measuring the number of swallows according to a first embodiment of the present invention, and FIG. 3 is a first embodiment of the present invention A perspective view of a sensor unit for measuring the number of swallows according to an embodiment, FIG. 4 is an analysis flow diagram of a data analysis unit for measuring the number of swallows according to a first embodiment of the present invention, and FIG. 5 is a measurement of the number of swallows according to the first embodiment of the present invention 6 is a flowchart of the data receiving step of the system, and FIG. 6 is a flow chart of the swallowing count detection step of the swallowing count measuring system according to the first embodiment of the present invention.
도 1 내지 도 6에 도시한 바와 같이, 본 발명의 제1 실시예에 따른 삼킴 횟수 측정 시스템은 사람의 목에 부착하여 인두의 상하 움직임을 측정하는 인두 움직임 센싱부(100), 사람의 목에 부착하며 음성 신호를 측정하는 음성 신호 센싱부(200), 인두 움직임 센싱부(100)와 음성 신호 센싱부(200)에서 측정된 인두 움직임 신호와 음성 신호 데이터를 분석하여 삼킴 횟수를 검출하는 데이터 분석부(300)를 포함한다.1 to 6, the swallowing count measurement system according to the first embodiment of the present invention includes a pharyngeal
인두 움직임 센싱부(100)는 초음파를 발신하고 식도로 이동하는 음식물이나 침등에 의해 변조되어 반사되는 초음파의 변조 주기를 측정하여 식도로 들어가는 음식물이나 침의 이동을 확인하고, 초음파의 변조 주기의 이상 등으로 판별되는 삼킴 신호를 측정한다. 특히, 인두 움직임 센싱부 (100)는 목의 인두강 내부의 일련의 움직임을 측정하는 초음파 센서의 일종이다.The pharyngeal
도 3에 도시한 바와 같이, 인두 움직임 센싱부(100)는 초음파를 발신하는 초음파 발신부(110)와 반사되어 되돌아오는 초음파를 검출하는 초음파 수신부(120), 초음파 발신부(110)와 초음파 수신부(120)가 위치하고 있는 센서 본체(130), 측정된 인두 움직임 신호를 데이터 처리부(300)로 송신하는 인두 움직임 데이터 송신부(160)를 포함한다. 초음파 발신부(110)와 초음파 수신부(120)는 본 발명의 일 실시예와 같이 하나의 센서 본체(130) 내에 위치할 수 있으나, 초음파 발신부(110)와 초음파 수신부(120)가 각각 별개의 센서 본체(130) 내에 위치할 수도 있다.As shown in FIG. 3 , the pharyngeal
초음파 발신부(110)는 원형이나 사각형 및 다각형 등의 형상이 가능하나 한쪽 면은 목 형상에 맞춰 굴곡진 형태이며, 초음파 수신부(120)는 초음파 발신부(110)와 이격되어 있다. 이러한 초음파 수신부(120)는 초음파 발신부(110)를 둘러싸고 있다. 초음파 발신부(110)와 초음파 수신부(120)를 연결하는 연결선(115)이 설치되어 초음파 발신부(110)와 초음파 수신부(120) 간에 초음파 신호를 송수신한다.The
초음파 발신부(110)와 초음파 수신부(120) 사이에는 초음파 발신부와 동일한 형상의 초음파 흡음판(140)이 위치하고 있다. 이러한 초음파 흡음판(140)은 초음파 발신부(110)에서 발생한 초음파가 직접 초음파 수신부(120)로 전달되지 않도록 차단한다.An ultrasonic
인두 움직임 데이터 송신부(160)는 초음파 발신부(110)와 초음파 수신부(120)에 의해 측정된 인두 움직임 신호를 유선 또는 무선으로 데이터 분석부(300)에 송신한다.The pharyngeal movement data transmitter 160 transmits the pharyngeal movement signal measured by the
초음파 발신부(110)와 초음파 수신부(120) 위에는 초음파 발신부(110)와 초음파 수신부(120)를 덮는 초음파 렌즈(170)가 부착되어 있다. 초음파 렌즈(170)는 목에 직접 접촉되며, 초음파를 일정 지점으로 포커싱하여 초음파의 집중도를 높이는 역할을 한다.An ultrasonic lens 170 covering the
음성 센싱부(200)는 삼킴 신호외에 발성이나 기침 등 일상생활 중 나타날 수 있는 음성 신호를 측정한다.The
음성 센싱부(200)는 음성 신호를 수신하는 마이크(210)와 측정된 음성 신호를 데이터 처리부(300)로 송신하는 음성 데이터 송신부(220)를 포함한다.The
음성 데이터 송신부(220)는 마이크(210)에 의해 측정된 음성 신호를 유선 또는 무선으로 데이터 분석부(300)에 송신한다.The voice data transmitter 220 transmits the voice signal measured by the
음성 센싱부(200)는 본 발명의 일 실시예와 같이 하나의 센서 본체(130) 외부에 위치할 수 있으나, 센서 본체(130) 내부 또는 독립적으로 위치할 수 있다.The
도 4에 도시한 바와 같이, 데이터 분석부(300)는 인두 움직임 센싱부를 통해 인두의 상하 움직임을 측정하는 인두 움직임 신호 측정 단계(S10), 음성 신호 센싱부를 통해 음성 신호를 측정하는 음성 신호 측정 단계(S20), 인두 움직임 센싱부와 음성 센싱부로부터 측정된 인두 움직임 신호와 음성 신호를 데이터 통합 관리부에 저장하는 데이터 수신 단계(S30), 데이터 통합 관리부에 저장된 인두 움직임 신호와 음성 신호의 잡음을 제거하는 잡음 제거 단계(S40), 음성 신호 대비 인두 움직임 신호 비율(pharyngeal movement-to-voice ratio)로 삼킴 시의 인두 움직임만을 선별하는 삼킴 횟수 검출 단계(S50)를 포함한다.As shown in FIG. 4 , the
인두 움직임 신호 측정 단계(S10)는 초음파를 발신하여 초음파 변조 주기의 변화로 나타나는 인두강의 움직임을 측정한다. 초음파 신호는 인두강의 움직임이 가장 크게 나타나는 삼킴 신호 외에 호흡, 목 움직임, 발성, 기침 등 일상생활에 나타나는 모든 인두강의 움직임을 측정한다.In the pharyngeal motion signal measurement step (S10), the movement of the pharyngeal cavity is measured by transmitting ultrasonic waves and appearing as a change in the ultrasonic modulation period. Ultrasound signals measure all movements of the pharyngeal cavity in daily life, such as breathing, neck movement, vocalization, and coughing, in addition to the swallowing signal, which shows the largest movement of the pharyngeal cavity.
음성 신호 측정 단계(S20)는 기침, 발성 등 일상생활에 나타나는 모든 음성 신호를 측정한다.In the voice signal measurement step S20, all voice signals appearing in daily life, such as coughing and vocalization, are measured.
도 5에 도시한 바와 같이, 데이터 수신 단계(S30)는 인두 움직임 데이터 송신부(160)와 음성 데이터 송신부(220)에 의해 송신된 신호를 송신하는 인두 움직임 및 음성 신호 송신 단계(S31)와 동일한 시점에 발생한 인두 움직임 신호와 음성 신호를 동일 시간 축에 정렬하는 시각 동기화 단계(S32)를 포함한다.As shown in FIG. 5 , the data receiving step ( S30 ) is at the same time as the head movement and voice signal transmission step ( S31 ) of transmitting the signals transmitted by the pharyngeal movement data transmitter 160 and the voice data transmitter 220 . and a time synchronization step (S32) of aligning the pharyngeal movement signal and the voice signal generated in the same time axis.
잡음 제거 단계(S40)에서는 인두 움직임 신호와 음성 신호에 의도하지 않은 잡음을 제거하는 단계로써 각각의 신호에 대하여 이동평균필터(moving average filter)를 적용할 수 있다. 이동평균필터는 시간에 따라 측정된 신호를 일정한 구간별로 평균하고 그 평균값을 잇는 것으로 외란에 의한 신호뿐만 아니라 호흡, 목 움직임 등과 같은 미세한 인두강의 움직임으로 인해 측정된 신호를 제거할 수 있다.In the noise removing step ( S40 ), as a step of removing unintentional noise from the pharyngeal movement signal and the voice signal, a moving average filter may be applied to each signal. The moving average filter averages the signals measured over time for each section and connects the average values. It can remove not only signals caused by disturbance but also signals measured due to minute movements of the pharyngeal cavity such as respiration and neck movement.
도 6에 도시한 바와 같이, 삼킴 검출 단계(S50)는 잡음 제거 단계(S40)를 통해 잡음이 제거된 인두 움직임 신호와 음성 신호의 음성 신호 대비 인두 움직임 비율(pharyngeal movement-to-voice ratio)로 삼킴 신호를 증폭하는 삼킴 신호 증폭 단계(S51)와 증폭된 삼킴 신호 중 특정 값 이상의 peak 수를 계산하여 삼킴 횟수만 검출하는 삼킴 횟수 검출 단계(S52)를 포함한다.As shown in FIG. 6 , the swallowing detection step S50 is performed using the pharyngeal movement-to-voice ratio of the pharyngeal movement signal and the voice signal from which the noise has been removed through the noise removal step S40. It includes a swallowing signal amplification step (S51) of amplifying the swallowing signal and a swallowing count detection step (S52) of detecting only the number of swallows by calculating the number of peaks equal to or greater than a specific value among the amplified swallowing signals.
한편, 본 발명의 실시예에 따른 삼킴 횟수 측정 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(121)와, 메모리(123)와, 사용자 입력 장치(126)와, 데이터 통신 버스(126)와, 사용자 출력 장치(127)와, 저장소(128)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(122)를 통해 데이터 통신을 한다.Meanwhile, the method for measuring the number of swallows according to an embodiment of the present invention may be implemented in a computer system or recorded in a recording medium. 7 , the computer system includes at least one
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서(121)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(123) 및/또는 저장소(128)에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a
상기 메모리(123) 및 상기 저장소(128)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(123)는 ROM(124) 및 RAM(125)을 포함할 수 있다.The
따라서, 본 발명의 실시예에 따른 삼킴 횟수 측정 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 삼킴 횟수 측정 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 정렬 방법을 수행할 수 있다.Accordingly, the method for measuring the number of swallows according to an embodiment of the present invention may be implemented as a computer-executable method. When the method for measuring the number of swallows according to an embodiment of the present invention is performed in a computer device, computer readable instructions may perform the alignment method according to the present invention.
한편, 상술한 본 발명의 실시예에 따른 삼킴 횟수 측정 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the above-described method for measuring the number of swallows according to an embodiment of the present invention may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes any type of recording medium in which data that can be read by a computer system is stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Although the configuration of the present invention has been specifically described with reference to the preferred embodiment and the accompanying drawings, this is merely an example and various modifications are possible without departing from the technical spirit of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments and should be defined by the claims described below as well as the claims and equivalents.
Claims (12)
상기 인두 움직임 센싱부와 병렬적으로 배치되어 음성을 측정하는 음성 센싱부(200); 및
상기 인두 움직임 센싱부에서 측정된 인두 움직임 신호와 음성 센싱부로부터 측정된 음성 신호를 분석하는 데이터 분석부(300);
를 포함하며,
상기 데이터 분석부는
인두 움직임 센싱부를 통해 인두의 상하 움직임을 측정하고,
음성 신호 센싱부를 통해 음성 신호를 측정하며,
상기 인두 움직임 센싱부와 상기 음성 센싱부로부터 측정된 인두 움직임 신호와 음성 신호를 데이터 통합 관리부에 저장하고,
상기 데이터 통합 관리부에 저장된 인두 움직임 신호와 음성 신호의 잡음을 제거하며,
음성 신호 대비 인두 움직임 신호 비율(pharyngeal movement-to-voice ratio)로 삼킴 시의 인두 움직임만을 선별하는,
식습관 분석을 위한 삼킴 횟수 측정 시스템.
The pharyngeal motion sensing unit 100 for measuring the vertical movement of the pharynx by attaching an ultrasonic Doppler sensor to the outside of the neck;
a voice sensing unit 200 arranged in parallel with the pharyngeal motion sensing unit to measure a voice; and
a data analysis unit 300 for analyzing the pharyngeal motion signal measured by the pharyngeal motion sensing unit and the voice signal measured by the voice sensing unit;
includes,
The data analysis unit
Measuring the vertical movement of the pharynx through the pharyngeal movement sensing unit,
The voice signal is measured through the voice signal sensing unit,
storing the pharyngeal motion signal and the voice signal measured by the pharyngeal motion sensing unit and the voice sensing unit in the integrated data management unit;
Removes the noise of the pharyngeal movement signal and the voice signal stored in the integrated data management unit,
Selecting only the pharyngeal movement during swallowing by the pharyngeal movement-to-voice ratio to the voice signal,
Swallow count system for dietary analysis.
초음파 발신부(110)와 초음파 수신부(120) 및
인두 움직임 데이터를 실시간으로 송신하는 인두 움직임 데이터 송신부(130)
를 포함하는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 시스템.
According to claim 1, wherein the pharyngeal motion sensing unit 100,
The ultrasonic transmitter 110 and the ultrasonic receiver 120 and
The pharyngeal movement data transmitter 130 for transmitting the pharyngeal movement data in real time
Swallowing count measurement system for eating habits analysis, characterized in that it comprises a.
상기 초음파 발신부(110)와 이격되어 있는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 시스템.
According to claim 2, wherein the ultrasonic receiving unit 120,
Swallowing count measurement system for analyzing eating habits, characterized in that it is spaced apart from the ultrasound transmitter 110.
상기 초음파 발신부(110)를 둘러싸고 있는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 시스템.
According to claim 2, wherein the ultrasonic receiving unit 120,
Swallowing count measurement system for eating habits analysis, characterized in that surrounding the ultrasound transmitter 110.
목 외부에 부착할 수 있도록 곡면 형상으로 배치되는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 시스템.
According to claim 2, wherein the ultrasonic receiver 120 and the ultrasonic transmitter 110,
A system for measuring the number of swallows for analyzing eating habits, characterized in that it is arranged in a curved shape so that it can be attached to the outside of the neck.
음성을 측정하는 마이크(210) 및 음성 데이터를 실시간으로 송신하는 음성 데이터 송신부(220)를 포함하는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 시스템.
According to claim 1, wherein the voice sensing unit 200,
Swallowing count measurement system for analyzing eating habits, characterized in that it comprises a microphone 210 for measuring voice and a voice data transmitter 220 for transmitting voice data in real time.
상기 인두 움직임 센싱부(100)와 병렬적으로 배치되는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 시스템.
The method of claim 6, wherein the voice sensing unit 200,
A system for measuring the number of swallows for analyzing eating habits, characterized in that it is arranged in parallel with the pharyngeal motion sensing unit 100.
음성 신호 센싱부를 통해 음성 신호를 측정하는 음성 신호 측정 단계(S20);
상기 인두 움직임 센싱부와 상기 음성 센싱부로부터 측정된 인두 움직임 신호와 음성 신호를 데이터 통합 관리부에 저장하는 데이터 수신 단계(S30);
상기 데이터 통합 관리부에 저장된 인두 움직임 신호와 음성 신호의 잡음을 제거하는 잡음 제거 단계(S40); 및
음성 신호 대비 인두 움직임 신호 비율(pharyngeal movement-to-voice ratio)로 삼킴 시의 인두 움직임만을 선별하는 삼킴 횟수 검출 단계(S50);
를 포함하는 식습관 분석을 위한 삼킴 횟수 측정 방법.
a pharyngeal motion signal measuring step of measuring the vertical movement of the pharynx through the pharyngeal motion sensing unit (S10);
A voice signal measuring step of measuring a voice signal through the voice signal sensing unit (S20);
a data receiving step of storing the pharyngeal movement signal and the voice signal measured by the pharyngeal motion sensing unit and the voice sensing unit in the integrated data management unit (S30);
a noise removing step (S40) of removing noise from the pharyngeal motion signal and the voice signal stored in the integrated data management unit; and
A swallowing count detection step of selecting only the pharyngeal movement during swallowing based on a pharyngeal movement-to-voice ratio to a voice signal (S50);
A method of measuring the number of swallows for analysis of eating habits, including.
상기 인두 움직임 센싱부(100)와 상기 음성 센싱부(200)로부터 측정된 인두 움직임 신호와 음성 신호를 송신하는 단계(S31); 및
상기 인두 움직임 신호와 상기 음성 신호를 시간에 대하여 동기화하는 시각 동기화 단계(S32)
를 포함하는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 방법.
According to claim 8, wherein the data receiving step (S30),
transmitting the pharyngeal motion signal and the voice signal measured from the pharyngeal motion sensing unit 100 and the voice sensing unit 200 (S31); and
Time synchronization step of synchronizing the pharyngeal movement signal and the voice signal with respect to time (S32)
A method of measuring the number of swallows for analysis of eating habits, characterized in that it comprises a.
상기 데이터 수신 단계의 인두 움직임 신호와 음성 신호의 잡음을 이동평균법(moving average)을 사용하여 제거하는 잡음 제거 단계;
를 포함하는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 방법.
The method of claim 8, wherein the noise removing step (S40) comprises:
a noise removal step of removing noises of the pharyngeal motion signal and the voice signal of the data receiving step using a moving average method;
A method of measuring the number of swallows for analysis of eating habits, characterized in that it comprises a.
상기 잡음 제거 단계를 통해 잡음이 제거된 인두 움직임 신호와 음성 신호의 음성 신호 대비 인두 움직임 비율(pharyngeal movement-to-voice ratio)로 삼킴 신호를 증폭하는 삼킴 신호 증폭 단계(S51); 및
상기 삼킴 신호 증폭 단계에서 증폭된 삼킴 신호 중 특정 값 이상의 peak 수를 계산하여 삼킴 횟수만 검출하는 삼킴 횟수 검출 단계(S52)
를 포함하는 것을 특징으로 하는 식습관 분석을 위한 삼킴 횟수 측정 방법.
According to claim 8, wherein the swallowing count detection step (S50),
a swallowing signal amplifying step (S51) of amplifying the swallowing signal with the pharyngeal movement-to-voice ratio of the speech signal and the pharyngeal movement signal from which the noise has been removed through the noise removal step (S51); and
Swallowing count detection step of detecting only the number of swallows by calculating the number of peaks greater than or equal to a specific value among the swallowing signals amplified in the swallowing signal amplification step (S52)
A method of measuring the number of swallows for analysis of eating habits, characterized in that it comprises a.
상기 삼킴 횟수 측정 방법을 실행하는 프로그램이 기록되어 컴퓨터로 해독하는 기록매체.12. The method according to any one of claims 8 to 11,
A recording medium in which a program for executing the method for measuring the number of swallows is recorded and read by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140109615A KR102284154B1 (en) | 2014-08-22 | 2014-08-22 | System for counting swallowing and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140109615A KR102284154B1 (en) | 2014-08-22 | 2014-08-22 | System for counting swallowing and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160023345A KR20160023345A (en) | 2016-03-03 |
KR102284154B1 true KR102284154B1 (en) | 2021-07-30 |
Family
ID=55535349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140109615A KR102284154B1 (en) | 2014-08-22 | 2014-08-22 | System for counting swallowing and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102284154B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102263535B1 (en) * | 2019-07-17 | 2021-06-11 | 포항공과대학교 산학협력단 | Method, apparatus and system for mornitoring eating |
KR102539321B1 (en) * | 2020-10-14 | 2023-06-05 | 연세대학교 산학협력단 | Method, device and storage medium for swallowing monitoring and training |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004041094A2 (en) | 2002-11-05 | 2004-05-21 | Diagnostic Ultrasound Corporation | 3d ultrasound-based instrument for non-invasive measurement of amniotic fluid volume |
WO2009027865A1 (en) | 2007-08-29 | 2009-03-05 | Kimberly-Clark Worldwide, Inc. | Breastfeeding quantification |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7399278B1 (en) * | 2003-05-05 | 2008-07-15 | Los Angeles Biomedical Research Institute At Harbor-Ucla Medical Center | Method and system for measuring amniotic fluid volume and/or assessing fetal weight |
KR101302193B1 (en) * | 2011-08-03 | 2013-08-30 | 포항공과대학교 산학협력단 | Measurement and treatment apparatus for dysphagia |
KR101330802B1 (en) * | 2012-01-10 | 2013-11-18 | 인하대학교 산학협력단 | Portable Device for Self-diagnosing Laryngeal Diseases |
-
2014
- 2014-08-22 KR KR1020140109615A patent/KR102284154B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004041094A2 (en) | 2002-11-05 | 2004-05-21 | Diagnostic Ultrasound Corporation | 3d ultrasound-based instrument for non-invasive measurement of amniotic fluid volume |
WO2009027865A1 (en) | 2007-08-29 | 2009-03-05 | Kimberly-Clark Worldwide, Inc. | Breastfeeding quantification |
Non-Patent Citations (1)
Title |
---|
"초음파 도플러 센서를 이용한 삼킴장애의 정량적 평가 시스템 개발". 대한산업공학회 춘계공동학술대회 논문집(2012), p.512-517(2012.5.31.)* |
Also Published As
Publication number | Publication date |
---|---|
KR20160023345A (en) | 2016-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nandakumar et al. | Contactless sleep apnea detection on smartphones | |
US9649087B2 (en) | Method and device for apnea and hypopnea detection | |
Papapanagiotou et al. | A novel chewing detection system based on ppg, audio, and accelerometry | |
US8740793B2 (en) | Radar based systems and methods for monitoring a subject | |
AU2015361171B2 (en) | Systems and methods of identifying motion of a subject | |
JP2021191502A (en) | Evaluation device | |
US20160045161A1 (en) | Mask and method for breathing disorder identification, characterization and/or diagnosis | |
US20160026767A1 (en) | Non-invasive nutrition monitor | |
CN107529991A (en) | For the heart of detection object and/or the equipment, system and method for respiratory disorder | |
AU2012255650A1 (en) | Apnea and hypopnea detection using breath pattern recognition | |
AU2015207713A1 (en) | Pet animal collar for health & vital signs monitoring, alert and diagnosis | |
JP2012519022A (en) | Monitoring and methods of fetal movement | |
US20190038186A1 (en) | Methods and apparatus for identifying food chewed and/or beverage drank | |
JP7106729B2 (en) | Abnormality judgment device and program used for it | |
FR2868323B1 (en) | ACTIVE IMPLANTABLE MEDICAL DEVICE WITH DIAGNOSTIC MEANS FOR RESPIRATORY DISORDERS, WITH IMPROVED DETECTION OF ARTIFACT BREATHING CYCLES | |
KR102284154B1 (en) | System for counting swallowing and method thereof | |
Doheny et al. | Estimation of respiratory rate and exhale duration using audio signals recorded by smartphone microphones | |
Peruzzi et al. | A novel methodology to remotely and early diagnose sleep bruxism by leveraging on audio signals and embedded machine learning | |
US20180228131A1 (en) | Warning system for animal farrowing operations | |
US20180206762A1 (en) | Sleep apnea therapy enhancement method and apparatus | |
TW201822711A (en) | Real-time monitoring method and device for oral feeding using three physiological indices (sucking, swallowing, and breathing) to evaluate the eating ability of the test subject | |
TWM446374U (en) | Coughs recording device | |
ES2907845T3 (en) | Matrix sonography for esophageal characterization | |
US20180140254A1 (en) | Apparatus, computer-readable medium, and method for detecting biological data of target patient from attachable sensor attached to target patient | |
Dong et al. | PigV2: Monitoring pig vital signs through ground vibrations induced by heartbeat and respiration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |