KR102261797B1 - Robot system for health care service and method thereof - Google Patents
Robot system for health care service and method thereof Download PDFInfo
- Publication number
- KR102261797B1 KR102261797B1 KR1020180161669A KR20180161669A KR102261797B1 KR 102261797 B1 KR102261797 B1 KR 102261797B1 KR 1020180161669 A KR1020180161669 A KR 1020180161669A KR 20180161669 A KR20180161669 A KR 20180161669A KR 102261797 B1 KR102261797 B1 KR 102261797B1
- Authority
- KR
- South Korea
- Prior art keywords
- subject
- unit
- robot
- pain
- question
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000036541 health Effects 0.000 title abstract description 7
- 208000002193 Pain Diseases 0.000 claims abstract description 64
- 230000033001 locomotion Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 11
- 238000011084 recovery Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 5
- 230000007613 environmental effect Effects 0.000 claims abstract description 3
- 239000000428 dust Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 10
- 208000024891 symptom Diseases 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 claims description 3
- 208000001640 Fibromyalgia Diseases 0.000 claims description 2
- 208000001294 Nociceptive Pain Diseases 0.000 claims description 2
- 208000004296 neuralgia Diseases 0.000 claims description 2
- 208000021722 neuropathic pain Diseases 0.000 claims description 2
- 208000009935 visceral pain Diseases 0.000 claims description 2
- 238000001802 infusion Methods 0.000 abstract description 9
- 230000002980 postoperative effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005021 gait Effects 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 230000035882 stress Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008566 social perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Developmental Disabilities (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Manipulator (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Rehabilitation Tools (AREA)
Abstract
본 발명은 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 수술 후 회복 및 재활환자를 지원하기 위해 병원 내 의료 및 시설장비와 연계되어 환자의 건강정보를 모니터링하고 및 사용자의 의도를 능동적으로 파악하면서 회복 트레이닝을 제공하는 로봇 시스템과 상기 로봇 시스템을 실행하는 방법에 관한 것이다.
본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은 대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행하는 대화생성부(100); 상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출하는 센서제어부(200); 상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 전방향 휠을 이용하여 주행하는 로봇주행부(300); 마이크 에러이, RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자 및 발화자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 수액걸이로 보조하면서 목적지로 이동을 유도하는 객체추적부(400); 상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및 상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 한다. The present invention relates to a robot system and method for providing medical assistance services, and more particularly, to monitor patient health information in connection with medical and facility equipment in a hospital to support post-operative recovery and rehabilitation patients, and user It relates to a robot system that provides recovery training while actively grasping the intention of the robot system and a method for executing the robot system.
The robot system and method for providing a medical assistance service according to the present invention perform a questionnaire or pain conversation to a subject, extract consciousness and pain information, and a dialog generator 100 for performing daily conversations through a dialog sentence generator ; a sensor control unit 200 for extracting the subject's information from a device worn by the subject or extracting the subject's environmental information from a device in which the Internet of Things (IoT) is installed; a robot driving unit 300 for generating a movement direction from information recognizing the subject's hand gesture and driving using an omnidirectional wheel; An object tracking unit 400 that provides a microphone error, RGB-D sensor and Pan-tilt module to track the location of the subject and the speaker, and guides movement to the destination while maintaining a certain distance with the subject and assisting with an infusion hanger (400) ; A robot posture control unit 500 capable of adjusting poses and eye height for face-to-face interaction with the subject; and a training content generating unit 600 that generates and informs the content to perform recovery and rehabilitation training of the subject.
Description
본 발명은 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 수술 후 회복환자를 지원하기 위해 IoT기기를 기반으로 병원 내 의료 및 시설장비와 연계되어 환자의 건강정보를 모니터링하고 및 회복과 재활 트레이닝을 제공하는 로봇 시스템과 상기 로봇 시스템을 실행하는 방법에 관한 것이다. The present invention relates to a robot system and method for providing medical assistance services, and more particularly, to support patients recovering after surgery, based on IoT devices, in connection with medical and facility equipment in a hospital to monitor patient health information and to a robotic system that provides recovery and rehabilitation training and a method of implementing the robotic system.
인구고령화, 1인 가구의 증가, 개인주의 심화 등 사회적 인식 변화에 따른 의료서비스에 대한 질적 향상이 요구되고 있지만, 의료종사 근무자의 수는 증가하는 환자 수 대비 부족하여 업무 스트레스 증가 및 효율 저하 현상에 직면하고 있는 실정이다. 본 발명은 융합기술의 발전에 따라 인간에 대한 공감과 돌봄의 역할이 더욱 강조되는 미래사회에 비정형화된 의료정보를 통합하고 동반자 역할수행이 가능한 소셜로봇을 이용하여 다양한 사회문제를 해결하는 디지털 헬스케어의 수요 관리에 적극 대응할 수 있는 기술을 개발하고자 한다. Although the quality of medical services is required to be improved due to changes in social perception such as population aging, increase in single-person households, and intensification of individualism, the number of medical workers is insufficient compared to the increasing number of patients, leading to increased work stress and reduced efficiency. is currently doing. The present invention is a digital health solution that solves various social problems by integrating atypical medical information in a future society where empathy for humans and the role of caring are more emphasized according to the development of convergence technology and using social robots that can perform the role of companion. We aim to develop technologies that can actively respond to demand management of care.
최근, 지능 로봇은 산업분야를 벗어나 국방, 문화, 교육, 의료 등의 다양한 서비스 분야로 적용 범위를 넓히고 있다. 구체적으로, 서비스 로봇이 병원 내 특정 위치로 의약품을 운송하거나, 특정 질환을 가진 대상자와 대화를 수행하는 역할까지 담당하고 있다. 무엇보다도, 로봇의 지능을 표현하는 기술 중 하나는 로봇이 자체적으로 상호작용 대상자를 인지하고 지속적으로 추적하는 것이다. In recent years, intelligent robots are expanding the scope of application beyond industrial fields to various service fields such as national defense, culture, education, and medical care. Specifically, the service robot is also responsible for transporting medicines to a specific location in the hospital or performing a conversation with a subject with a specific disease. Above all, one of the techniques for expressing a robot's intelligence is that the robot recognizes and continuously tracks the interacting target on its own.
의료 현장에는 의료진의 업무 효율 증대와 환자를 위한 양질의 서비스 제공을 위해서 다양한 의료서비스 분야에 로봇의 활용이 시도되고 있다. 의료 서비스에 적용되는 로봇의 경우, 수술, 재활 등 전문적인 서비스에 활용되는 로봇과 함께 최근에는 환자의 스트레스 케어를 위한 개인 서비스로봇이 개발되고 있다. 개인 서비스로봇은 가정에서 주로 활용이 가능하지만, 의료기관과 같은 공공기관에서 개별 환자 맞춤형으로 헬스 케어 서비스 적용이 가능하다. In the medical field, the use of robots in various medical service fields is being attempted in order to increase the work efficiency of medical staff and to provide high-quality services for patients. In the case of robots applied to medical services, along with robots used for professional services such as surgery and rehabilitation, personal service robots for stress management of patients have recently been developed. The personal service robot can be mainly used at home, but it is possible to apply health care services tailored to individual patients in public institutions such as medical institutions.
본 발명에서는 병원 공간 내 의료 및 시설장비에 대해 IoT 기반의 다중 인식자원과의 연계기술과 개인 맞춤형 상호작용 수행이 가능한 로봇 보조기술의 융합을 통하여 특정 대상자(노인, 재활 및 수술이후 환자)의 건강정보 모니터링과 사용자의 의도를 능동적으로 파악하면서 회복 트레이닝을 복합적으로 병행하는 시스템을 제공하고자 한다. In the present invention, the health of specific subjects (the elderly, rehabilitation and post-operative patients) through the convergence of IoT-based multi-recognition resources for medical and facility equipment in the hospital space and robot assisting technology that can perform personalized interactions We want to provide a system that combines recovery training with information monitoring and active understanding of users' intentions.
본 발명은 상기의 문제점을 해결하기 위해서 안출된 것으로서, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다. The present invention has been devised to solve the above problems, and the present invention provides a medical assistance service robot system capable of conducting daily conversations with a subject through a configuration capable of recognizing voice information as a dialogue sentence and analyzing the syntax. but it has a purpose.
또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다. Another object of the present invention is to provide a medical assistance service robot system that facilitates individual patient care by extracting subject and subject environment information through a sensor included in a device worn by the subject.
또한, 본 발명은 착용형 생체신호 및 핸드제스처를 동시에 인식하고 인식된 정보로부터 대상자의 의료정보를 축적함과 동시에, IoT기기 및 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다. In addition, the present invention provides a medical assistance service robot system capable of simultaneously recognizing wearable bio-signals and hand gestures, accumulating medical information of a subject from the recognized information, and providing IoT devices and driving commands. There is this.
또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공하는 데 그 목적이 있다.In addition, the present invention tracks the user's location in real time based on IoT devices such as cameras and beacons, and finds the user by autonomous driving when calling the user in another space. An object of the present invention is to provide a robot posture control technology that performs face-to-face interaction.
또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하고 상기 대상자의 회복 또는 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다. In addition, an object of the present invention is to provide a medical assistance service robot system capable of grasping location information of a subject, assisting with an infusion hanger while maintaining a certain distance, and inducing recovery or rehabilitation training of the subject.
발명이 해결하고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be solved by the invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. will be able
본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은,A robot system and method for providing a medical assistance service according to the present invention,
대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행하는 대화생성부(100); a dialogue generating unit 100 for performing a questionnaire or pain conversation with the subject, extracting consciousness and pain information, and performing a daily conversation through a dialogue sentence generator;
상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출하는 센서제어부(200); a sensor control unit 200 for extracting the subject's information from a device worn by the subject or extracting the subject's environmental information from a device in which the Internet of Things (IoT) is installed;
상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 전방향 휠을 이용하여 주행하는 로봇주행부(300); a
마이크 에러이, RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자 및 발화자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 수액걸이로 보조하면서 목적지로 이동을 유도하는 객체추적부(400);An
상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및A robot
상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 한다. It is characterized in that it consists of; a training content generation unit 600 to inform and generate content to perform recovery and rehabilitation training of the subject.
상기 대화생성부(100)는 상기 대상자의 음성을 인식하는 제1-1단계;Step 1-1 of the conversation generating unit 100 recognizing the voice of the subject;
상기 음성을 대화문장으로 인식하는 제1-2단계;Step 1-2 of recognizing the voice as a dialogue sentence;
상기 인식된 대화문장을 분석하여 통증과 관련된 단어일 경우 슬롯을 생성하는 제1-3단계;Steps 1-3 of analyzing the recognized dialogue sentence and generating a slot if it is a word related to pain;
상기 슬롯의 생성 여부를 판단하는 제1-4단계;Steps 1-4 of determining whether the slot is created;
상기 제1-4단계에서 상기 슬롯이 생성된 경우, 기설정된 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계;a step 1-5-1 of determining a next conversation direction using a
상기 제1-4단계에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색하는 제1-5-2단계;If the slot is not created in the step 1-4, the similarity question with the highest similarity is searched for after measuring the similarity between the question and the answer using the
상기 제1-5-1단계에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성하는 제1-6-1단계;a step 1-6-1 of generating a question when the next conversation direction is determined in step 1-5-1;
상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성하는 제1-6-2단계;a step 1-6-2 of generating the similar question when the similar question having the highest degree of similarity is found in the step 1-5-2;
상기 제1-6-1단계와 제1-6-2단계에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환하는 제1-7단계;를 통해 수행된다. When the question and similar questions are generated in Steps 1-6-1 and 1-6-2, Steps 1-7 of converting text into speech are performed.
상기 대화생성부(100)에서 상기 사용자사전(110)은,The
통증의 부위를 확인하는 부위를 질문하는 부위질문;site question, which asks the site to identify the site of pain;
증상을 확인하는 증상질문;Symptomatic questions to identify symptoms;
통증이 심해지는 상황을 확인하는 상황질문;situational questions to identify situations in which the pain is exacerbated;
통증의 강도가 얼마나 심한지 확인하는 강도질문;Intensity questions to determine how severe the pain is;
통증의 빈도를 확인하는 빈도질문;frequency questions to check the frequency of pain;
아픈 기간을 확인하는 기간질문;period question to confirm the sick period;
추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인하는 후속질문;의 순서로 질문을 제공하되,Additional questions are provided in the order of; follow-up questions to confirm that the subject is free to describe pain,
상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이하는 것을 특징으로 한다. When the response of the situational question includes a word indicating constancy, it is characterized in that it is transferred to the period question.
또한, 상기 로봇주행부(300)는 상기 대상자가 핸드 제스처를 실행하는 제3-1단계;In addition, the
로봇이 상기 대상자의 핸드 제스처를 인식하는 제3-2단계;a step 3-2 in which the robot recognizes the hand gesture of the subject;
상기 핸드 제스처를 판단하는 제3-3단계;step 3-3 of determining the hand gesture;
상기 핸드 제스처가 간접명령인 경우, 간접제어에 의해 이동 목표를 설정하는 제3-4-1단계;a 3-4-1 step of setting a movement target by indirect control when the hand gesture is an indirect command;
상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정하는 제3-4-2단계;a step 3-4-2 of setting a movement direction by direct control when the hand gesture is a direct command;
상기 제3-4-1단계 및 제3-4-2단계의 설정을 통해 상기 로봇이 이동하는 제3-5단계;를 통해 수행되는 것을 특징으로 한다. It is characterized in that it is performed through; step 3-5 in which the robot moves through the settings of steps 3-4-1 and 3-4-2.
상기 객체추적부(400)는 카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출하는 제4-1단계;Step 4-1 of the
상기 검출된 얼굴을 판단하는 제4-2단계;a 4-2 step of determining the detected face;
상기 검출된 얼굴의 좌표를 확인하는 제4-3단계;a step 4-3 of confirming the coordinates of the detected face;
상기 검출된 얼굴의 좌표를 기준으로 상기 Pant-tilt 모듈과 상기 카메라의 좌표를 변환하는 제4-4단계;a step 4-4 of converting the coordinates of the Pant-tilt module and the camera based on the detected coordinates of the face;
Pan 각도를 추정하는 제4-5-1단계;Step 4-5-1 of estimating the Pan angle;
Tilt 각도를 추정하는 제4-5-2단계;Step 4-5-2 of estimating the tilt angle;
상기 제4-5-1단계 및 제4-5-2단계에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계;를 통해 수행되는 것을 특징으로 한다. Step 4-6 of measuring the gaze precision of the Pan-Tilt module using the Pan angle and the Tilt angle estimated in Step 4-5-1 and Step 4-5-2; characterized in that it is performed through do.
상기 과제의 해결 수단에 의해, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화와 더불어 문진 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. By means of solving the above problems, the present invention can provide a medical assistance service robot system capable of conducting a questionnaire conversation along with a routine conversation with a subject through a configuration capable of analyzing the syntax by recognizing voice information as a dialogue sentence. have.
또한, 본 발명은 대상자와 사회적 상호작용을 수행할 수 있도록 심리 의도 파악이 가능한 의료 보조서비스 로봇 시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of grasping the psychological intention to perform social interaction with the subject.
또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system that facilitates individual patient care by extracting subject and subject environment information through a sensor included in a device worn by the subject.
또한, 본 발명은 핸드제스처를 인식하고 인식된 정보로부터 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of recognizing a hand gesture and providing a driving command from the recognized information.
또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공할 수 있다. In addition, the present invention tracks the user's location in real time based on IoT devices such as cameras and beacons, and finds the user by autonomous driving when calling the user in another space. It is possible to provide robot posture control technology that performs face-to-face interaction.
또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하며 상기 대상자의 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of grasping the subject's location information, assisting with an infusion hanger while maintaining a certain distance, and inducing the subject's rehabilitation training.
도 1은 본 발명인 의료 보조서비스를 제공하는 로봇시스템을 나타내는 구성도이다.
도 2는 본 발명인 의료 보조서비스를 제공하는 로봇 시스템의 인지제어 방법을 나타낸 구조도이다.
도 3은 대화생성부(100) 실행을 위한 단계별 흐름도이다.
도 4는 사용자사전(110)의 통증어휘사전(intent) 구성에서 통증 어휘에 따른 통증 종류와 강도 간의 관계 도표이다.
도 5는 사용자사전(110)의 통증어휘사전(intent) 구성에서 대화를 위한 통증 어휘 사전 구축을 나타낸 일실시예이다.
도 6은 사용자사전(110)에서 수집한 통증 어휘의 Word2Vec기반 단어(A:명사, B:형용사) 임베딩 작업을 수행한 일실시예이다.
도 7은 사용자사전(110)에서 t-SNE에 의한 수집어휘 단어임베딩 시각화(A:명사, B:형용사)를 수행한 일실시예이다.
도 8은 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계(S151)의 실행을 위한 단계별 흐름도이다.
도 9는 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계(S151)의 실행을 구체적으로 나타낸 흐름도이다.
도 10은 센서제어부(200)의 구성을 나타낸 구성도이다.
도 11은 로봇주행부(300) 실행을 위한 단계별 흐름도이다.
도 12는 로봇주행부(300)의 핸드 제스처 모드 별로 로봇의 방향이동 제어하는 일실시예를 나타낸 사진이다.
도 12는 로봇주행부(300)에서 기설정된 직접명령 및 간접명령 핸드 제스처이다.
도 14는 지도서버에 필요한 시뮬레이션 환경(A)과 지도서버를 통해 추출되는 GVD 노드와 엣지 데이터(B)를 나타낸 그림이다.
도 15는 로봇주행부(300)의 제스처 판단 단계(S330)로부터 간접명령 단계(S341)를 실시하여 이동 방향을 설정하는 단계(S350)를 나타낸 일실시예 사진이다.
도 16은 객체추적부(400) 실행을 위한 단계별 흐름도이다.
도 17은 객체추적부(400)에서 RGB-D 센서와 Pan-Tilt 모듈을 이용한 3차원 객체추적 실행의 일실시예를 나타낸 사진이다.
도 18은 객체추적부(400)에서 제4-5-1단계(S451) 및 제4-5-2단계(S452)단계의 Pan 각도 추정 및 Tilt 각도를 추정하는 방식을 나타낸 기하학구성을 나타낸 사진이다.
도 19는 객체추적부(400)에서 거리와 각도별 Pan-Tilt 이미지를 나타낸 일실시예이다.
도 20은 일실시예로 본 발명에 의해 제조되는 의료 보조서비스를 제공하는 로봇의 구성도이다.
도 21은 훈련콘텐츠생성부(600)의 일실시예를 나타내는 설명도이다. 1 is a block diagram showing a robot system that provides a medical assistance service according to the present invention.
2 is a structural diagram illustrating a cognitive control method of a robot system providing a medical assistance service according to the present invention.
3 is a step-by-step flowchart for executing the dialog generating unit 100 .
4 is a diagram of the relationship between the pain type and intensity according to the pain vocabulary in the configuration of the pain vocabulary dictionary (intent) of the
5 is an embodiment showing the construction of a pain vocabulary dictionary for conversation in the configuration of the pain vocabulary dictionary (intent) of the
6 shows an embodiment in which Word2Vec-based words (A: nouns, B: adjectives) of the pain vocabulary collected from the
7 is an embodiment in which word embedding visualization (A: noun, B: adjective) of the collected vocabulary by t-SNE is performed in the
8 is a step-by-step flowchart for the execution of step 1-5-1 ( S151 ) in which the conversation generator 100 determines the next conversation direction using the
9 is a flowchart specifically illustrating the execution of step 1-5-1 ( S151 ) in which the conversation generating unit 100 determines the next conversation direction using the
10 is a configuration diagram showing the configuration of the sensor control unit 200 .
11 is a step-by-step flowchart for executing the
12 is a photograph showing an embodiment of controlling the direction movement of the robot for each hand gesture mode of the
12 is a direct command and indirect command hand gestures preset in the
14 is a diagram showing a simulation environment (A) required for the map server and GVD node and edge data (B) extracted through the map server.
15 is a picture showing an embodiment of the step (S350) of setting the moving direction by executing the indirect command step (S341) from the gesture determination step (S330) of the
16 is a step-by-step flowchart for executing the
FIG. 17 is a photograph showing an embodiment of the execution of 3D object tracking using the RGB-D sensor and the Pan-Tilt module in the
18 is a photograph showing a geometric configuration showing a method of estimating the Pan angle and Tilt angle in the 4-5-1 step (S451) and the 4-5-2 step (S452) in the
19 is an embodiment showing a Pan-Tilt image for each distance and angle in the
20 is a block diagram of a robot that provides a medical assistance service manufactured by the present invention according to an embodiment.
21 is an explanatory diagram illustrating an embodiment of the training content generation unit 600 .
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.In the entire specification, when a part “includes” a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily carry out the embodiments of the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein.
본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시 예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다.Specific details including the problem to be solved for the present invention, the means for solving the problem, and the effect of the invention are included in the embodiments and drawings to be described below. Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.
본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은 도 1에 간략이 구성도로 나타내었다. 본 발명의 구성은 대화생성부(100), 센서제어부(200), 로봇주행부(300), 객체추적부(400), 로봇자세제어부(500), 훈련콘텐츠생성부(600) 및 상기 각 구성을 통합 제어하는 통합시스템(1)으로 구성된다. A robot system and method for providing a medical assistance service according to the present invention are shown in a simplified configuration diagram in FIG. 1 . The configuration of the present invention includes a dialogue generating unit 100, a sensor control unit 200, a
먼저, 대화생성부(100)는 대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행한다. First, the dialogue generating unit 100 performs a questionnaire or pain conversation with the subject, extracts consciousness and pain information, and performs a daily conversation through a dialogue sentence generator.
상기 대화생성부(100)는 도 3에 나타난 바와 같이, 단계적인 순서에 의해 실행된다. As shown in FIG. 3 , the dialogue generating unit 100 is executed in a step-by-step sequence.
먼저, 제1-1단계(S110)는 상기 대상자의 음성을 인식한다. 상기 대화생성부(100)는 임베디드 보드를 활용한 대화 테스트 환경을 구축한다. 개발환경으로는 OS는 Ubuntu 16.04LTS. 개발언어는 Python 35.6, 가상환경 Anaconda 4.5.11, 테스트용 API Google Sppech Abril TTS로 마련될 수 있다. First, step 1-1 (S110) recognizes the subject's voice. The dialogue generator 100 builds a dialogue test environment using an embedded board. As a development environment, the OS is Ubuntu 16.04LTS. The development language can be provided with Python 35.6, virtual environment Anaconda 4.5.11, and test API Google Sppech Abril TTS.
다음으로, 제1-2단계(S120)는 상기 음성을 대화문장으로 인식한다. 상기 음성을 대화문장으로 인식하는 것은, 자연어 처리(Natural Language Processing, NLP) 단계로, 형태소분석, 정보 추출 및 정보요약 등을 통해 인식된다. Next, in step 1-2 ( S120 ), the voice is recognized as a dialogue sentence. Recognizing the voice as a dialogue sentence is a natural language processing (NLP) step, and is recognized through morpheme analysis, information extraction, information summary, and the like.
다음으로, 제1-3단계(S130)는 상기 인식된 대화문장을 분석한다. 상기 대화문장 분석은 사용자사전(110)을 통해 분석한다. 상기 사용자사전(110)은 통증어휘 분류체계 연구자료 수집 및 분류체계기반 대화매너를 위한 통증 어휘사전(Intent)으로 구성된다. 일실시예로, 통증 어휘에 따른 통증 종류와 강도 간의 관계 도표(황주성, 전지훈, 이영규, 이충민, 박민지, 김현희, “통증 어휘에 따른 통증 종류와 강도 간의 관련성”, 22권, 1호 대한물리치료사학회지, 2015.)를 이용한다. Next, in steps 1-3 ( S130 ), the recognized dialogue sentence is analyzed. The dialogue sentence analysis is analyzed through the
또한, 상기 사용자사전(110)은 통증질문에 대한 응답처리 체계 구축을 위해서 섬유근육통 진단 설문지(Fibromyalgia impace questionnaire)의 문항을 이용하여 216개 대화쌍을 수집하고 통증어휘 수집용 챗봇 개발 및 통증 어휘를 수집한다. 도 5에 나타난 바와 같이, 상기 수집한 통증 어휘의 Word2Vec기반 단어를 임베딩 작업 수행하여 분석 한뒤, 도 7에서 t-SNE에 의해 상기 수행된 임베딩 작업을 시각화한다. In addition, the
상기 사용자사전(110)은 통증어휘사전(intent) 구성에서 통증 어휘에 따른 통증 종류와 강도 간의 관계 도표를 이용한다. 도 4에 나타난 바와 같이, 상기 통증 어휘를 체성 통증, 신경변증성 통증, 내장성 통증 등으로 분류한 뒤, 강도로 분류하고 상기 강도 간의 관계를 도표화한다. The
또한, 상기 사용자사전(110)은 대화를 위한 통증 어휘 사전 구축하여 이용한다. 일실시예로, 도 5는 사용자사전(110)의 통증어휘사전(intent) 구성을 나타내었다. In addition, the
다음으로, 제1-4단계(S140)는 슬롯의 생성 여부를 판단한다. 상기 슬롯은 상기 제1-3단계(S130)에서 분석된 문장에서 통증 부위, 강도, 빈도, 아픈 상황이나 기간과 관련한 단어를 발견한 경우 상기 대화생성부(100)가 상기 관련 단어를 하나의 구멍(slot)으로 인식한 것으로, 상기 대화생성부(100)에서 상기 슬롯을 생성한 경우 상기 대상자와 대화할 수 있도록 대화 방향을 결정하여 상기 슬롯을 채운다. 상기 슬롯의 생성 여부는 질의 응답에 통증과 관련된 문구를 포함하는지 여부에 따라 판단된다. Next, in steps 1-4 ( S140 ), it is determined whether a slot is created. In the slot, when a word related to a pain site, intensity, frequency, or painful situation or period is found in the sentence analyzed in steps 1-3 ( S130 ), the conversation generating unit 100 inserts the related word into one hole. (slot), when the slot is created by the conversation generating unit 100, the conversation direction is determined so as to have a conversation with the target and the slot is filled. Whether the slot is created is determined according to whether a phrase related to pain is included in the question answer.
다음으로, 제1-5-1단계(S151)는 상기 제1-4단계(S140)에서 상기 슬롯이 생성된 경우, 기설정된 상기 사용자사전(110)을 이용하여 다음 대화 방향을 결정한다. 상기 슬롯이 생성된 경우 상기 슬롯을 채우고 다음 대화 방향을 결정한다. Next, in step 1-5-1 ( S151 ), when the slot is created in step 1-4 ( S140 ), the next conversation direction is determined using the
상기 제1-5-1단계(S151)는 도 8에 나타난 바와 같이, 상기 대화생성부(100)에서 상기 사용자사전(110)에서 부위질문, 증상질문, 상황질문, 강도질문, 빈도질문, 기간질문 및 후속질문의 순서로 질문을 제공한다. As shown in FIG. 8, in the first step 1-5-1 (S151), the part question, symptom question, situation question, intensity question, frequency question, and period in the
보다 구체적으로, 상기 부위질문은 상기 통증의 부위를 확인하는 부위를 질문한다. 일실시예로, “허리, 목, 어깨 중에 아픈데 있으세요?”로 질문할 수 있다. 상기 증상질문은 상기 통증 부위의 증상을 확인한다. 일실시예로, “증상이 어떠세요?”로 질문할 수 있다. 상기 상황질문은 상기 통증이 심해지는 상황을 확인한다. 일실시예로, “어떻게 하면 통증이 심하나요?”로 질문할 수 있다. 상기 강도질문은 상기 통증의 강도가 얼마나 심한지 확인한다. 일실시예로, “통증은 얼마나 심하나요?”로 질문할 수 있다. 상기 빈도질문은 상기 통증의 빈도를 확인한다. 일실시예로, “통증은 얼마나 자주 있어요?”로 질문할 수 있다. 상기 기간질문은 아픈 기간을 확인한다. 일실시예로, “아픈 기간이 얼마나 됐어요?”로 질문할 수 있다. 상기 후속질문은 추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인한다. 일실시예로, “더 자세히 말해 주시겠어요?”로 질문할 수 있다. More specifically, the region question asks a region that identifies the region of pain. In one embodiment, the question may be “Do you have any pain in your back, neck, or shoulder?” The symptom question identifies the symptoms of the pain area. In one embodiment, the question may be “How are your symptoms?” The situational question confirms the situation in which the pain is exacerbated. In one embodiment, a question may be asked, “How do I make the pain worse?” The intensity question confirms how severe the intensity of the pain is. In one embodiment, the question may be “How severe is the pain?” The frequency question identifies the frequency of the pain. In one embodiment, the question may be “how often do you have pain?” The period question identifies the period of illness. In one embodiment, the question may be “How long have you been sick?” The follow-up question additionally confirms that the subject is free to describe pain. In one embodiment, the question may be “Can you tell me more?”
또한, 상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이한다. 상기 상황질문에서 상황에 대한 질문에 대한 응답이 항시성을 나타내는 단어가 포함되어 있는 경우, 항상 통증이 강하다는 가정과 주기성이 없다는 가정에 의해 곧바로 통증이 시작된 시점을 묻는 질문으로 전이한다. In addition, if the answer to the situational question includes a word indicating constancy, it is transferred to the period question. When the response to the situational question contains a word indicating constancy in the situational question, the question is immediately transferred to the question asking when the pain started due to the assumption that the pain is always strong and the assumption that there is no periodicity.
상기 사용자사전(110)을 이용하여 다음 대화 방향의 결정은 도 9에 나타난 바와 같이, 상기 부위질문, 증상질문, 상황질문, 강도질문, 빈도질문, 기간질문 및 후속질문의 순서대로 진행될 때, 각 어휘가 포함되는 경우 다음 단계 질문으로 넘어가나, 상기 어휘가 포함되지 않은 경우 다시 질문한다. As shown in FIG. 9, the determination of the next conversation direction using the
또한, 상기 대화생성부(100)에서 상기 사용자사전(110)은 [표 1]에 나타난 바와 같이, 제한적 개방형 질문과 폐쇄형 질문으로 구성할 수 있다. In addition, as shown in [Table 1], the
상기 제한적 개방형 질문은 “아픈데 있으세요?”, “수술 부위 어떠세요?”, “수술 전에 아프던 곳은 어떠세요?”를 포함하고, 상기 폐쇄형 질문은 “언제부터 아팠어요?”, “얼마 동안 아파요?”, “얼마나 아파요?”, “언제가 많이 아파요?”, “어떻게 하면 아파요?”를 포함하여 설정되는 것이 바람직하다. The above limited open-ended questions included “How are you?”, “How was the surgical site?”, and “How was your pain before surgery?”, and the closed-ended questions included “When did you have pain?”, “How long did you have pain?”, It is desirable to set including “How much does it hurt?”, “When does it hurt a lot?” and “How do I get sick?”.
또한, 제1-5-2단계(S152)는 상기 제1-4단계(S140)에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색한다. 도 8에 나타난 바와 같이, 상기 제1-4단계(S140)에서 상기 대상자의 답변의 유사도의 판단은 상기 사용자사전(110)에 포함된 단어와 비교하여 어휘가 포함 여부를 판단하여 다음 단계의 질문으로 진행여부를 판단한다. In addition, in step 1-5-2 (S152), if the slot is not created in step 1-4 (S140), after measuring the similarity between the question and the answer using the
다음으로, 제1-6-1단계(S161)는 상기 제1-5-1단계(S151)에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성한다. 또한, 제1-6-2단계(S162)는 상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성한다. Next, in step 1-6-1 ( S161 ), when the next conversation direction is determined in step 1-5-1 ( S151 ), a question is generated. Also, in step 1-6-2 (S162), when a similar question having the highest degree of similarity is found in step 1-5-2, the similar question is generated.
상기 제1-6-1단계(S161) 및 제1-6-2단계(S162)는 도 8 및 도 9의 의해 진행되는 것이 바람직하다. The 1-6-1 step (S161) and the 1-6-2 step (S162) are preferably performed according to FIGS. 8 and 9 .
다음으로, 제1-7단계(S170)는 상기 제1-6-1단계(S161)와 제1-6-2단계(S162)에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환한다. Next, in step 1-7 (S170), when a question and similar questions are generated in steps 1-6-1 (S161) and 1-6-2 (S162), text is converted into speech .
다음으로, 상기 센서제어부(200)는 상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출한다. Next, the sensor control unit 200 extracts the subject's information from the device worn by the subject or extracts the subject's environment information from a device in which the Internet of Things (IoT) is installed.
보다 구체적으로, 상기 센서제어부(200)는 도 10에 나타난 바와 같이, 사물인터넷이 포함된 기기인 사물인터넷부(210), 로봇이 실행하고 상기 통합시스템(1)과 상기 사물인터넷부(210)가 데이터를 송수신하도록 마련된 로봇실행부(230)로 구성된다. More specifically, as shown in FIG. 10 , the sensor control unit 200 is executed by the IoT unit 210, which is a device including the IoT, and the
상기 사물인터넷부(210)는 미세먼지를 측정하는 미세먼지측정센서(212), 생체신호를 인식하고 핸드 제스처로 명령어 전달하는 체감형인터페이스(213), 상기 미세먼지측정센서(212)와 체감형인터페이스(213)에서 측정된 센서측정값을 Lora통신 및 BEL통신을 통해 수신 받는 Iot게이트웨이(214), 상기 Iot게이트웨이(214)로부터 센서데이터를 수신 받아 분석하는 MQTT제어부(215) 및 상기 MQTT제어부(215)로부터 On/Off 명령어를 수신 받아 실행하는 공기청정기실행부(211)로 구성된다. The IoT unit 210 includes a fine dust measuring sensor 212 for measuring fine dust, a
상기 로봇실행부(230)는 상기 MQTT제어부(215)로부터 데이터를 전달받아 스피커 또는 이미지로 출력하여 로봇을 실행한다. 보다 구체적으로, 상기 MQTT제어부(215)로부터 데이터를 전달받고 상기 MQTT제어부(215)에 공기청정기 실행을 위한 명령어를 전달하는 MQTT연결부(221), 상기 MQTT연결부(221)로부터 데이터를 전달받아 상기 통합시스템(1)으로 데이터를 전달하되, 상기 공기청정기 구동을 계획하는 데이터를 요청하는 데이터분석부(222), 상기 통합시스템(1)으로부터 상기 공기청정기 구체적인 구동을 요청하고 상기 공기청정기의 명령어를 명령하는 작업관리부(223), 상기 작업관리부(223)로부터 전달받은 상기 구체적인 구동 요청 데이터를 스피커부(231)와 이미지부(232)로 전달하는 실행부(230), 상기 실행부(230)로부터 구동 요청 데이터를 상기 스피커부(231)에서 음성을 실행하고 상기 이미지부(232)는 이미지화하여 상기 대상자에게 보여주며 선택적으로 선별하여 수행한다. 또한, 상기 스피커부(231)와 이미지부(232)에서 수행한 데이터를 저장하는 데이터저장부로 구성된다. The robot execution unit 230 receives data from the MQTT control unit 215 and outputs it to a speaker or an image to execute the robot. More specifically, the
상기 센서제어부(200)는 앞서 기술된 바와 같이, 상기 대상자의 주위 환경에서 먼지오염도가 높아지면 상기 사물인터넷부(210)가 마련된 공기청정기를 구동하는 기능 이외에도 상기 통합시스템(1)과 연동하여 상기 대상자가 미세먼지가 없거나 공기가 청정한 곳으로 이동해야 하는 경우 상기 로봇주행부(300)를 통해 전방향 휠을 이용하여 상기 로봇의 이동을 통해 상기 대상자를 이동시키도록 연동된다. As described above, the sensor control unit 200 works in conjunction with the
상기 체감형인터페이스(213)는 심전도, 근전도, 피부전도도 등의 생체신호를 측정하고 핸드 제스처로 명령어 전달한다. 상기 체감형인터페이스(213)는 로봇 혹은 IoT기기가 제공하는 외부자극을 통한 사용자의 헬스케어 정보를 취득하고, IoT 게이트웨어를 통하여 IoT기기를 제어하거나 로봇을 호출하고 대화를 수행할 수 있다. 일실시예로, 상기 체감형인터페이스(213)와 미세먼지측정센서(212)에 의해 데이터를 전달 받아 상기 스피커부(231)에서는 “많이 건조하신 모양이네요”, “현재 미세먼지 값은 000입니다”, “공기청정기를 켭니다” 등과 같은 음성을 수행하고, 상기 이미지부(232)는 상기 공기청정기의 on/off 화면이나 온도, 습도, 미세먼지 등의 값을 표시한다. The
다음으로, 상기 로봇주행부(300)는 상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 주행한다. 보다 구체적으로, 상기 로봇주행부(300)는 도 11의 나타난 단계에 의해 실행될 수 있다. Next, the
먼저, 제3-1단계(S310)는 상기 로봇주행부(300)는 상기 대상자가 핸드 제스처를 실행한다. 상기 핸드 제스처는 도 12에 나타난 바와 같이 실행될 수 있다. First, in step 3-1 (S310), the
다음으로, 제3-2단계(S320)는 로봇이 상기 대상자의 핸드 제스처를 인식한다. 상기 대상자가 실행한 핸드 제스처를 인식하기 위해 상기 대상자는 암밴드를 착용하고 상기 로봇은 상기 대상자의 암밴드를 통해 인식한다. Next, in step 3-2 ( S320 ), the robot recognizes the hand gesture of the subject. In order to recognize the hand gesture performed by the subject, the subject wears an armband, and the robot recognizes it through the subject's armband.
다음으로, 제3-3단계(S330)는 상기 핸드 제스처를 판단한다. 상기 핸드 제스처는 기설정된 제스처를 실행하여 판단된다. 일실시예로, 상기 기설정된 제스처는 도 13에 나타난 바와 같이 정의될 수 있다. 기설정된 제스처는 일실시예로 다섯가지로 지정할 수 있으며, 간접명령 및 직접명령을 전환할 수 있는 구성을 포함하는 것이 바람직하다. 상기 기설정된 제스처는 다양한게 설명될 수 있다. Next, in step 3-3 (S330), the hand gesture is determined. The hand gesture is determined by executing a preset gesture. In an embodiment, the preset gesture may be defined as shown in FIG. 13 . The preset gesture can be designated as five types as an embodiment, and it is preferable to include a configuration that can switch between an indirect command and a direct command. The preset gesture may be described in various ways.
다음으로, 제3-4-1단계(S341)는 상기 핸드 제스처가 간접명령인 경우, 상기 간접제어에 의해 이동 목표를 설정한다. 상기 제3-4-1단계(S341)의 간접명령은 GVD(General Voronoi Diagram)의 수행을 통하여 기구성된 제2지도서버에 상기 로봇 이동경로 상에서 발생하는 주요 분기점인 노드와 상기 노드간 연결선인 엣지 정보를 생성한 후 상기 로봇이 위치한 지점에서 가장 가까운 노드를 탐색한 후 이웃하는 엣지들을 후보로 하여, 상기 대상자가 제스처를 수행하면 이동 방향을 설정된다. 도 14(A)에 나타나난 바와 같이, 상기 제2지도서버 작성에 필요한 시뮬레이션 환경을 확인하고, 상기 노드와 엣지를 설정(도 14(B))한다. 이후, 상기 주어진 노드와 엣지를 통해 상기 대상자의 간접명령에 의해 이동 목표를 설정한 뒤 이동 방향을 알려준다. Next, in step 3-4-1 ( S341 ), when the hand gesture is an indirect command, a movement target is set by the indirect control. The indirect command of the 3-4-1 step (S341) is a node that is a main branch point occurring on the robot movement path and an edge that is a connection line between the nodes in the second map server structured through the execution of a General Voronoi Diagram (GVD). After generating information, the robot searches for the closest node to the point where the robot is located, and uses neighboring edges as candidates, and when the subject performs a gesture, the movement direction is set. As shown in Fig. 14(A), the simulation environment necessary for creating the second map server is checked, and the nodes and edges are set (Fig. 14(B)). Thereafter, a movement target is set by the indirect command of the subject through the given node and edge, and then the movement direction is informed.
다음으로, 제3-4-2단계(S342)는 상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정한다. 상기 제3-4-2단계(S342)의 직접명령은 전진, 후진, 좌회전, 우회전 및 상기 간접명령 전환으로 구성된다. Next, in step 3-4-2 ( S342 ), when the hand gesture is a direct command, the movement direction is set by direct control. The direct command in step 3-4-2 (S342) consists of forward, reverse, left turn, right turn, and the indirect command conversion.
다음으로, 제3-5단계(S350)는 상기 제3-4-1단계(S341) 및 제3-4-2단계(S342)의 설정을 통해 상기 로봇이 이동한다. 도 10에 나타난 바와 같이, 사용자는 제1지도서버(310)에서 제공하는 맵정보를 통하여 로봇이 이동 가능한 영역을 표시하게 되고, 제2지도서버(320)에서는 로봇이 유의미하게 이동할 후보위치 정보를 인터페이스 비쥬얼라이저를 통하여 시각화하게 된다. 여기서, 유의미한 이동 후보 위치란 방, 거실, 주방, 냉장고 앞, TV 근처 등의 시맨틱(의미론적)정보를 나타낸다.Next, in step 3-5 (S350), the robot moves through the settings in step 3-4-1 (S341) and step 3-4-2 (S342). As shown in FIG. 10 , the user displays the area in which the robot can move through the map information provided by the first map server 310 , and the
도 2에 나타난 바와 같이, 카메라, 비콘(Beacon) 등 IoT기기는 상기 Iot게이트웨이(214)를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇의 자세제어 기술을 나타낸다.As shown in Fig. 2, IoT devices such as cameras and beacons track the user's location in real time based on the IoT gateway 214, and find the user by autonomous driving when calling the user in another space, and then communicate with the user. It represents the robot's posture control technology that performs face-to-face interaction suitable for distance, eye level and face pose.
다음으로, 상기 객체추적부(400)는 RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자의 위치를 추적하고, 수액걸이로 보조하며 상기 대상자와의 일정거리를 유지하면서 목적지로 이동을 유도한다. 보다 구체적으로, 상기 객체추적부(400)는 도 15에 나타난 단계별 흐름도에 의해 실행될 수 있다. Next, the
제4-1단계(S410)는 카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출한다. Step 4-1 (S410) detects the subject's face through the RGB-D sensor of the camera.
제4-2단계(S420)는 상기 검출된 얼굴을 판단한다. 상기 제4-2단계(S420)에서 화면 내 얼굴이 검출되는 경우, 아래 제4-3단계(S430)으로 진행하고, 화면 내 얼굴이 검출되지 않는 경우 다시 처음으로 돌아가서 얼굴을 검출한다. 상기 대상자의 얼굴은 Haar-like feature에 기반한 알고리즘으로 구성된 Haar-cascade로 검출한다. Step 4-2 (S420) determines the detected face. When a face on the screen is detected in step 4-2 (S420), the process proceeds to step 4-3 (S430) below, and if the face on the screen is not detected, it goes back to the beginning and detects the face. The subject's face is detected by Haar-cascade composed of an algorithm based on Haar-like features.
제4-3단계(S430)는 상기 검출된 얼굴의 좌표를 확인한다. 상기 Haar-cascade로 검출된 얼굴을 Depth 이미지로부터 검출된 얼굴의 3차원 위치 정보를 추정한다. In step 4-3 ( S430 ), coordinates of the detected face are checked. 3D location information of the face detected from the depth image of the face detected by the Haar-cascade is estimated.
제4-4단계(S440)는 상기 검출된 얼굴의 좌표를 기준으로 상기 Pant-Tilt 모듈과 상기 카메라의 좌표를 변환한다. 상기 RGB-D 센서와 상기 Pant-Tilt 모듈 간의 기하학적 구성을 이용하여 상기 대상자 얼굴의 좌표를 기준으로 상기 Pant-Tilt 모듈과 상기 카메라의 좌표를 변환한다. Step 4-4 (S440) converts the coordinates of the Pant-Tilt module and the camera based on the detected coordinates of the face. The coordinates of the Pant-Tilt module and the camera are converted based on the coordinates of the subject's face using a geometric configuration between the RGB-D sensor and the Pant-Tilt module.
제4-5-1단계(S451)는 Pan 각도를 추정한다. 상기 Pan 각도는 3차원 공간상에서 로봇의 현재 포즈와 추적 대상자의 얼굴이 위치하는 수평위치 오차 각도를 지칭하며, 로봇의 Pan-Tilt모듈에서 상기 Pan 각도만큼 수평이동하면 로봇이 사용자를 바라보는 효과를 볼 수 있다.Step 4-5-1 (S451) estimates the Pan angle. The Pan angle refers to the horizontal position error angle at which the current pose of the robot and the face of the subject to be tracked are located in three-dimensional space, and when the robot moves horizontally by the Pan angle in the Pan-Tilt module of the robot, the effect of the robot looking at the user is obtained. can see.
제4-5-2단계(S452)는 Tilt 각도를 추정한다. 여기서 Tilt 각도는 3차원 공간상에서 로봇의 현재 포즈와 추적 대상자의 얼굴이 위치하는 수직위치 오차 각도를 지칭하며, 로봇의 Pan-Tilt 모듈에서 상기 Tilt 각도만큼 수직이동하면 로봇이 사용자의 얼굴을 바라보는 효과를 볼 수 있다. 사용자가 Tilt의 일정 각도 이상을 벗어나거나 로봇이 사용자와의 눈높이 상호작용을 수행하기 위해서 도 2의 Lift tracker가 로봇의 헤드부분의 높이를 조절하게 된다. Step 4-5-2 (S452) estimates the tilt angle. Here, the tilt angle refers to the vertical position error angle at which the current pose of the robot and the face of the subject to be tracked are located in three-dimensional space. When the robot moves vertically by the tilt angle in the Pan-Tilt module of the robot, the robot looks at the user's face. effect can be seen. In order for the user to deviate more than a certain angle of the tilt or for the robot to perform eye-level interaction with the user, the lift tracker of FIG. 2 adjusts the height of the robot's head.
상기 객체추적부(400)는, 도 18에 나타난 바와 같이, 상기 Pan-Tilt의 좌표를 
제4-6단계(S460)는 상기 제4-5-1단계(S451) 및 제4-5-2단계(S452)에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정한다. Step 4-6 (S460) determines the gaze precision of the Pan-Tilt module using the Pan angle and the Tilt angle estimated in Step 4-5-1 (S451) and Step 4-5-2 (S452). measure
상기 Pan-Tilt모듈의 응시 정밀도는 모듈에 장착된 카메라의 이미지 중심으로부터 일정 화소영역 이내에 사용자의 얼굴 중심점이 위치하는지를 통하여 결정된다.The gaze precision of the Pan-Tilt module is determined by whether the user's face center point is located within a predetermined pixel area from the image center of the camera mounted on the module.
다음으로, 상기 로봇자세제어부(500)는 상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능하다. 상기 로봇자세제어부(500)는 상기 객체추적부(400)와 마찬가지로 RGB-D 센서와 Pan-tilt 모듈을 통해 상기 대상자의 눈높이를 확인하여 상기 로봇의 눈에 해당하는 부분을 상기 대상자의 눈높이와 유사하게 위치시키고 상기 대상자의 눈과 마주볼 수 있도록 포즈를 실시한다. Next, the robot
다음으로, 상기 훈련콘텐츠생성부(600)는 상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려준다. 상기 훈련콘텐츠생성부(600)는 병원 또는 재활 훈련센터 등에서 제공하는 상기 대상자의 진료 기록 데이터와 의료진의 데이터를 송수신받아 콘텐츠를 생성할 수 있다. Next, the training content generation unit 600 informs the creation of content to perform recovery and rehabilitation training of the subject. The training content generation unit 600 may generate content by receiving and receiving the patient's medical record data and the medical staff's data provided by a hospital or a rehabilitation training center.
도 21에 나타난 바와 같이, 상기 훈련콘텐츠생성부(600)는 보행분석, 수술 후 신체반응확인, 정신질환관리서비스, 모션측정태그, 의료진코멘트 제공 및 수액측정센서로 구성될 수 있다. As shown in FIG. 21 , the training content generation unit 600 may be configured with gait analysis, post-operative physical response confirmation, mental illness management service, motion measurement tag, medical staff comment provision, and fluid measurement sensor.
상기 보행분석은 상기 대화생성부(100)에서 분석된 데이터와 상기 로봇주행부(300) 및 객체추적부(400)에 의해 수행될 수 있다. 상기 대화생성부(100)에서 분석된 상기 대상자의 통증 정도를 확인한 후, 상기 로봇주행부(300) 및 객체추적부(400)를 통해 상기 대상자의 재활 훈련 코스 및 위치를 안내한다. 또한, 상기 센서제어부(200)를 이용하여 유도 발자국의 걸음일치성, 보폭수 및 걸음속도의 보행분석을 통해 상기 대상자의 현재 상태를 피드백 제어하여 재활 콘텐츠를 업데이트 한다. The gait analysis may be performed by the data analyzed by the dialogue generating unit 100 and the
상기 수술 후 신체반응 확인은 상기 센서제어부(200) 및 객체추적부(400)의 데이터에 의해 수행될 수 있다. 상기 센서제어부(200)의 체감형인터페이스(213)와 상기 객체추적부(400)에 의해 수술 직후 다리, 팔 움직임 등의 반응을 확인하고 결과를 간호기록지에 입력한다. Confirmation of the body reaction after the operation may be performed by the data of the sensor control unit 200 and the
상기 정신질환관리서비스는 상기 대화생성부(100)에 의해 환자와의 대화를 진행하고, 우울증, 치매 등의 판별하여 의료진에게 전달한다. The mental disease management service conducts a conversation with the patient by the dialogue generating unit 100, determines depression, dementia, and the like, and delivers it to the medical staff.
상기 모션측정태그는 상기 센서제어부(200)의 체감형인터페이스(213)에 의해 행동을 분석하여 위험 상황시 상기 스피커부(231)를 이용하여 긴급 알림을 실시하고 상기 객체추적부(400)에 의해 상기 대상자의 위치를 전송한다. The motion measurement tag analyzes the behavior by the
상기 의료진코멘트 제공은 상기 대화생성부(100)를 이용하여 진료/수술 등의 안내 및 안내 사항에 대한 의료진의 코멘트를 상기 대상자에게 전달한다. The provision of the medical staff comment uses the dialogue generator 100 to deliver the medical staff's comments on guidance and guidance, such as treatment/surgery, to the subject.
상기 수액측정 센서는 상기 센서제어부(200)에 의해 수액이 기설정된 잔량 이하인 경우 의료진에게 상기 스피커부(231)을 통해 교체 알람을 전달한다. The infusion sensor transmits a replacement alarm through the
도 20에 나타난 바와 같이, 일실시예로서 본 발명에 의해 제조되는 의료 보조서비스를 제공하는 로봇은 헤드부, 상체부, 하체부로 구성될 수 있다. As shown in FIG. 20 , as an embodiment, a robot providing a medical assistance service manufactured by the present invention may be composed of a head part, an upper body part, and a lower body part.
상기 헤드부는 상단에 상기 대상자의 수액을 걸어둘 수 있는 수액걸이, 상기 Pan-Tilt모듈이 마련된 카메라 및 얼굴모양 및 정보제공이 가능한 모니터, 상기 Pan-Tilt모듈은 상기 대상자를 지속적으로 추적하기 위해 수평(pan) 수직(tilt) 방향으로 회전할 수 있도록 마련된 것으로, 상기 헤드부를 대화 대상자로 지향할 수 있는 Pan-Tilt 트래커(tracker)가 마련될 수 있다. The head part is an infusion hanger that can hang the subject's sap at the top, a camera equipped with the Pan-Tilt module, and a monitor capable of providing face shape and information, and the Pan-Tilt module is horizontal to continuously track the subject. (pan) A Pan-Tilt tracker that can be rotated in a vertical (tilt) direction and can direct the head to a conversation target may be provided.
상기 상체부는 상기 로보자세제어부(500)에 의해 상기 대상자와 눈높이를 맞출 수 있도록 상하좌우 이동되는 리프트 트래커(tracker)가 마련될 수 있다. 상기 상체부는 상기 하체부와 이동과 관계없이 상기 대상자와의 면대면 상호작용을 독자적으로 수행하기 위한 회전 및 리프팅 기능을 포함하고 있으며, 상기 상체부와 상기 Pan-Tilt모듈간의 수평각도의 오차를 보완한다. The upper body part may be provided with a lift tracker that is moved up, down, left and right so as to match the eye level with the subject by the robot
상기 하체부는 상기 로봇을 전후좌우 이동 및 회전하는 전방향 휠이 마련될 수 있다. 상기 전방향 휠을 이용하여 앞뒤 뿐만 아니라 좌우 이동 및 회전이 가능하며 장애물을 손쉽게 피하면서 상기 대상자와의 일정 거리를 유지할 수 있다. The lower body may be provided with an omnidirectional wheel for moving and rotating the robot forward, backward, left and right. By using the omnidirectional wheel, it is possible to move and rotate left and right as well as forward and backward, and it is possible to maintain a certain distance with the subject while easily avoiding obstacles.
상기 과제의 해결 수단에 의해, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화와 더불어 문진 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. By means of solving the above problems, the present invention can provide a medical assistance service robot system capable of conducting a questionnaire conversation along with a routine conversation with a subject through a configuration capable of analyzing the syntax by recognizing voice information as a dialogue sentence. have.
또한, 본 발명은 대상자와 사회적 상호작용을 수행할 수 있도록 심리 의도 파악이 가능한 의료 보조서비스 로봇 시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of grasping the psychological intention to perform social interaction with the subject.
또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system that facilitates individual patient care by extracting subject and subject environment information through a sensor included in a device worn by the subject.
또한, 본 발명은 핸드제스처를 인식하고 인식된 정보로부터 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of recognizing a hand gesture and providing a driving command from the recognized information.
또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공할 수 있다. In addition, the present invention tracks the user's location in real time based on IoT devices such as cameras and beacons, and finds the user by autonomous driving when calling the user in another space. It is possible to provide robot posture control technology that performs face-to-face interaction.
또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하며 상기 대상자의 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of grasping the subject's location information, assisting with an infusion hanger while maintaining a certain distance, and inducing the subject's rehabilitation training.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.As such, those skilled in the art to which the present invention pertains will understand that the above-described technical configuration of the present invention may be implemented in other specific forms without changing the technical spirit or essential characteristics of the present invention.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, the embodiments described above are to be understood as illustrative and not restrictive in all respects, and the scope of the present invention is indicated by the following claims rather than the above detailed description, and the meaning and scope of the claims and their All changes or modifications derived from the concept of equivalents should be construed as being included in the scope of the present invention.
1. 통합시스템
100. 대화생성부
110. 사용자사전
200. 센서제어부
210. 사물인터넷부
211. 공기청정기실행부
212. 미세먼지측정센서
214. Iot게이트웨이
215. MQTT제어부
221. MQTT연결부
222. 데이터분석부
223. 작업관리부
230. 실행부
231. 스피커부
232. 이미지부
233. 데이터저장부
300. 로봇주행부
310. 제1지도서버
320. 제2지도서버
400. 객체추적부
500. 로봇자세제어부
600. 훈련콘텐츠생성부
S110. 대화생성부(100)에서 음성인식하는 제1-1단계
S120. 대화생성부(100)에서 자연어를 처리하는 제1-2단계
S130. 대화생성부(100)에서 문장을 분석하는 제1-3단계
S140. 대화생성부(100)에서 슬롯 생성여부를 판단하는 제1-4단계
S151. 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계
S152. 대화생성부(100)에서 사용자사전(110)을 이용하여 Q&A 유사도를 측정하는 제1-5-2단계
S161. 대화생성부(100)에서 제1-5-1단계 실시후 응답을 생성하는 제1-6-1단계
S162. 대화생성부(100)에서 제1-5-2단계 실시후 유사질문을 생성하는 제1-6-2단계
S170. 대화생성부(100)에서 제1-6-1단계 및 제1-6-2단계를 실시후 문자음성을 자동변환하는 제1-7단계
S310. 로봇주행부(300)에서 제스처를 실행하는 제3-1단계
S320. 로봇주행부(300)에서 제스처를 인식하는 제3-2단계
S330. 로봇주행부(300)에서 제스처를 판단하는 제3-3단계
S341. 로봇주행부(300)에서 간접명령을 실행하는 제3-4-1단계
S342. 로봇주행부(300)에서 직접명령을 실행하는 제3-4-2단계
S350. 로봇주행부(300)에서 로봇의 이동을 실행하는 제3-5단계
S410. 객체추적부(400)에서 RGB-D센서를 이용하여 얼굴을 검출하는 제4-1단계
S420. 객체추적부(400)에서 화면 내 얼굴 검출을 판단하는 제4-2단계
S430. 객체추적부(400)에서 검출된 얼굴의 좌표를 확인하는 제4-3단계
S440. 객체추적부(400)에서 Pan-Tilt모듈과 객체 간 좌표로 변환하는 제4-4단계
S451. 객체추적부(400)에서 Pan 각도를 추정하는 제4-5-1단계
S452. 객체추적부(400)에서 Tilt 각도를 추정하는 제4-5-2단계
S460. 객체추적부(400)에서 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계1. Integrated system
100. Conversation generator
110. User Dictionary
200. Sensor control unit
210. Ministry of IoT
211. Air Purifier Execution Department
212. Fine dust sensor
214. IoT Gateway
215. MQTT control unit
221. MQTT connection
222. Data Analysis Department
223. Task Management Department
230. Executioner
231. Speaker part
232. Image section
233. Data storage unit
300. Robot Driving Unit
310. First Map Server
320. Second map server
400. Object Tracking Unit
500. Robot posture control unit
600. Training content creation department
S110. Step 1-1 of voice recognition in the dialog generating unit 100
S120. Step 1-2 of processing the natural language in the dialog generator 100
S130. Steps 1-3 of analyzing the sentence in the dialog generating unit 100
S140. Steps 1-4 in which the dialog generator 100 determines whether or not a slot is created
S151. Step 1-5-1 of determining the next conversation direction by using the
S152. Step 1-5-2 of measuring the Q&A similarity by using the
S161. Step 1-6-1 of generating a response after step 1-5-1 is performed in the dialog generating unit 100
S162. Step 1-6-2 of generating a similar question after step 1-5-2 in the dialog generating unit 100
S170. Steps 1-7 of automatically converting text-to-speech after performing steps 1-6-1 and 1-6-2 in the dialog generating unit 100
S310. Step 3-1 to execute the gesture in the
S320. Step 3-2 of recognizing a gesture in the
S330. Step 3-3 of determining the gesture in the
S341. Step 3-4-1 executing an indirect command in the
S342. Step 3-4-2 to execute a command directly from the
S350. Steps 3-5 of executing the movement of the robot in the
S410. Step 4-1 of detecting a face using the RGB-D sensor in the
S420. Step 4-2 of determining in-screen face detection in the
S430. Step 4-3 of confirming the coordinates of the face detected by the
S440. Step 4-4 converting the coordinates between the Pan-Tilt module and the object in the
S451. Step 4-5-1 of estimating the Pan angle in the
S452. Step 4-5-2 of estimating the tilt angle in the
S460. Steps 4-6 of measuring the gaze precision of the Pan-Tilt module in the
Claims (10)
상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보 추출 및 제어하는 센서제어부(200);
상기 대상자의 호출 및 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 주행하는 로봇주행부(300);
RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 목적지로 이동을 유도하는 객체추적부(400);
상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및
상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 하되,
상기 센서제어부(200)는,
미세먼지를 측정하는 미세먼지측정센서(212);
상기 대상자의 생체신호를 측정하거나 핸드 제스처로 인식된 명령어를 인식하는 체감형인터페이스(213);
상기 미세먼지측정센서(212) 및 체감형인터페이스(213)에서 측정되거나 인식된 데이터를 통신을 통해 수신받는 Iot게이트웨이(214);
상기 Iot게이트웨이(214)로부터 센서데이터를 수신받아 분석하는 MQTT제어부(215);
상기 MQTT제어부(215)로부터 On/Off 명령어를 수신받아 실행하는 공기청정기실행부(211);
상기 MQTT제어부(215)로부터 데이터를 전달받고 상기 MQTT제어부(215)에 공기청정기 실행을 위한 명령어를 전달하는 MQTT연결부(221);
상기 MQTT연결부(221)로부터 데이터를 전달받아 통합시스템(1)으로 데이터를 전달하되, 상기 공기청정기 구동을 계획하는 데이터를 요청하는 데이터분석부(222);
상기 통합시스템(1)으로부터 상기 공기청정기의 구체적인 구동을 요청하고 상기 공기청정기의 명령어를 명령하는 작업관리부(223);
상기 작업관리부(223)로부터 전달받은 상기 구체적인 구동 요청 데이터를 스피커부(231)와 이미지부(232)로 전달하는 로봇실행부(230);로 구성되고,
상기 로봇주행부(300)는,
상기 대상자가 핸드 제스처를 실행하는 제3-1단계;
로봇이 상기 대상자의 핸드 제스처를 인식하는 제3-2단계;
상기 핸드 제스처를 판단하는 제3-3단계;
상기 핸드 제스처가 간접명령인 경우, 간접제어에 의해 이동 목표를 설정하는 제3-4-1단계;
상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정하는 제3-4-2단계;
상기 제3-4-1단계 및 제3-4-2단계의 설정을 통해 상기 로봇이 이동하는 제3-5단계;를 통해 수행되며,
상기 제3-4-1단계의 간접명령은,
GVD(General Voronoi Diagram)의 수행을 통하여 기구성된 제2지도서버에 상기 로봇 이동경로 상에서 발생하는 주요 이동 후보위치의 분기점인 노드와 상기 노드간 연결선인 엣지 정보를 생성한 후,
상기 로봇이 위치한 지점에서 가장 가까운 노드를 탐색한 후 이웃하는 엣지들을 후보로 하여 상기 대상자가 제스처를 수행하면 이동 방향을 설정하고,
상기 제3-4-2단계의 직접명령은,
전진, 후진, 좌회전, 우회전 및 상기 간접명령 전환으로 구성되고,
상기 로봇주행부(300)는 상기 센서제어부(200)와 연동되어 미세먼지가 없거나 공기가 청정한 곳으로 이동해야 하는 경우 상기 대상자를 이동시키고,
상기 객체추적부(400)는,
카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출하는 제4-1단계;
상기 검출된 얼굴을 판단하는 제4-2단계;
상기 검출된 얼굴의 좌표를 확인하는 제4-3단계;
상기 검출된 얼굴의 좌표를 기준으로 상기 Pan-tilt 모듈과 상기 카메라의 좌표를 변환하는 제4-4단계;
Pan 각도를 추정하는 제4-5-1단계;
Tilt 각도를 추정하는 제4-5-2단계;
상기 제4-5-1단계 및 제4-5-2단계에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계;를 통해 수행하되,
상기 Pan-Tilt의 좌표를
상기 검출된 얼굴의 좌표를
상기 제4-5-1단계에서 Pan 각도는
상기 제4-5-2단계에서 Tilt 각도는
에 의해 추정하는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.Conduct a questionnaire or pain conversation to the subject, extract consciousness and pain information, and perform natural language processing through a dialogue sentence generator, but classify pain vocabulary into somatic pain, neuropathic pain and visceral pain, and normalize the relationship between intensity Then, when a word related to pain is found, the conversation generator 100 recognizes it as a slot and determines a conversation direction according to whether the slot is filled;
a sensor controller 200 for extracting the subject's information from the device worn by the subject or extracting and controlling the subject's environmental information from a device in which the Internet of Things (IoT) is installed;
a robot driving unit 300 for generating a moving direction from information recognizing the call and hand gestures of the subject and driving;
an object tracking unit 400 provided with an RGB-D sensor and a pan-tilt module to track the location of the subject and induce movement to the destination while maintaining a certain distance from the subject;
A robot posture control unit 500 capable of adjusting poses and eye height for face-to-face interaction with the subject; and
A training content generating unit 600 that generates and informs the content to perform recovery and rehabilitation training of the subject;
The sensor control unit 200,
a fine dust measuring sensor 212 for measuring fine dust;
a tangible interface 213 for measuring the subject's bio-signals or recognizing commands recognized as hand gestures;
Iot gateway 214 for receiving the data measured or recognized by the fine dust measurement sensor 212 and the tangible interface 213 through communication;
MQTT control unit 215 for receiving and analyzing sensor data from the IoT gateway 214;
an air purifier execution unit 211 that receives and executes an On/Off command from the MQTT control unit 215;
an MQTT connection unit 221 that receives data from the MQTT control unit 215 and transmits a command for executing the air purifier to the MQTT control unit 215;
a data analysis unit 222 that receives data from the MQTT connection unit 221 and transmits the data to the integrated system 1, but requests data for planning the operation of the air purifier;
a task management unit 223 that requests a specific operation of the air purifier from the integrated system 1 and commands a command of the air purifier;
and a robot execution unit 230 that transmits the specific driving request data received from the task management unit 223 to the speaker unit 231 and the image unit 232;
The robot driving unit 300,
a step 3-1 in which the subject executes a hand gesture;
a step 3-2 in which the robot recognizes the hand gesture of the subject;
step 3-3 of determining the hand gesture;
a 3-4-1 step of setting a movement target by indirect control when the hand gesture is an indirect command;
a step 3-4-2 of setting a movement direction by direct control when the hand gesture is a direct command;
It is performed through a; step 3-5 in which the robot moves through the settings of steps 3-4-1 and 3-4-2,
The indirect command in step 3-4-1 is,
After generating edge information, which is a connection line between nodes, which is a branch point of major movement candidate positions occurring on the robot movement path, on the second map server organized through the execution of General Voronoi Diagram (GVD),
After searching for the node closest to the point where the robot is located, the direction of movement is set when the subject performs a gesture using neighboring edges as candidates,
The direct command in step 3-4-2 is,
It consists of forward, backward, left turn, right turn and the indirect command conversion,
The robot driving unit 300 is interlocked with the sensor control unit 200 to move the subject when there is no fine dust or to move to a place where the air is clean,
The object tracking unit 400,
Step 4-1 of detecting the subject's face through the RGB-D sensor of the camera;
a 4-2 step of determining the detected face;
a step 4-3 of confirming the coordinates of the detected face;
a step 4-4 of converting the coordinates of the pan-tilt module and the camera based on the detected coordinates of the face;
Step 4-5-1 of estimating the Pan angle;
Step 4-5-2 of estimating the tilt angle;
Step 4-6 of measuring the gaze precision of the Pan-Tilt module using the Pan angle and the Tilt angle estimated in Step 4-5-1 and Step 4-5-2;
Coordinates of the Pan-Tilt
coordinates of the detected face
In the step 4-5-1, the Pan angle is
In the step 4-5-2, the tilt angle is
A robot system for providing medical assistance services, characterized in that estimated by
상기 대화생성부(100)는,
상기 대상자의 음성을 인식하는 제1-1단계;
상기 음성을 대화문장으로 인식하는 제1-2단계;
상기 인식된 대화문장을 분석하여 통증과 관련된 단어일 경우 슬롯을 생성하는 제1-3단계;
상기 슬롯의 생성 여부를 판단하는 제1-4단계;
상기 제1-4단계에서 상기 슬롯이 생성된 경우, 기설정된 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계;
상기 제1-4단계에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색하는 제1-5-2단계;
상기 제1-5-1단계에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성하는 제1-6-1단계;
상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성하는 제1-6-2단계;
상기 제1-6-1단계와 제1-6-2단계에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환하는 제1-7단계;를 통해 수행되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.The method of claim 1,
The conversation generating unit 100,
Step 1-1 of recognizing the subject's voice;
Step 1-2 of recognizing the voice as a dialogue sentence;
Steps 1-3 of analyzing the recognized dialogue sentence and generating a slot if it is a word related to pain;
Steps 1-4 of determining whether the slot is created;
a step 1-5-1 of determining a next conversation direction using a preset user dictionary 110 when the slot is created in step 1-4;
If the slot is not created in the step 1-4, the similarity question with the highest similarity is searched for after measuring the similarity between the question and the answer using the preset user dictionary 110. Step 2;
a step 1-6-1 of generating a question when the next conversation direction is determined in step 1-5-1;
a step 1-6-2 of generating the similar question when the similar question having the highest degree of similarity is found in the step 1-5-2;
When a question and a similar question are generated in Steps 1-6-1 and 1-6-2, Step 1-7 of converting text into speech; robot system provided.
상기 대화생성부(100)에서 상기 사용자사전(110)은,
섬유근육통진단설문지(Fibromyalgia Impact Questionnaire)을 바탕으로 설정되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.3. The method of claim 2,
The user dictionary 110 in the dialog generating unit 100,
A robot system that provides medical assistance services, characterized in that it is set based on the Fibromyalgia Impact Questionnaire.
상기 대화생성부(100)에서 상기 사용자사전(110)은,
통증의 부위를 확인하는 부위를 질문하는 부위질문;
증상을 확인하는 증상질문;
통증이 심해지는 상황을 확인하는 상황질문;
통증의 강도가 얼마나 심한지 확인하는 강도질문;
통증의 빈도를 확인하는 빈도질문;
아픈 기간을 확인하는 기간질문;
추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인하는 후속질문;의 순서로 질문을 제공하되,
상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이하는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.The method of claim 1,
The user dictionary 110 in the dialog generating unit 100,
site question, which asks the site to identify the site of pain;
Symptomatic questions to identify symptoms;
situational questions to identify situations in which the pain is exacerbated;
Intensity questions to determine how severe the pain is;
frequency questions to check the frequency of pain;
period question to confirm the sick period;
Additional questions are provided in the order of; follow-up questions to confirm that the subject is free to describe pain,
A robot system for providing a medical assistance service, characterized in that when the response to the situational question includes a word indicating constancy, it is transferred to the period question.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180161669A KR102261797B1 (en) | 2018-12-14 | 2018-12-14 | Robot system for health care service and method thereof |
| PCT/KR2019/016787 WO2020122485A2 (en) | 2018-12-14 | 2019-11-29 | Robot system for providing medical assistance service and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180161669A KR102261797B1 (en) | 2018-12-14 | 2018-12-14 | Robot system for health care service and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200081520A KR20200081520A (en) | 2020-07-08 |
| KR102261797B1 true KR102261797B1 (en) | 2021-06-07 |
Family
ID=71077424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180161669A KR102261797B1 (en) | 2018-12-14 | 2018-12-14 | Robot system for health care service and method thereof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102261797B1 (en) |
| WO (1) | WO2020122485A2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102614706B1 (en) | 2022-12-07 | 2023-12-14 | 의료법인 건강한의료재단 | Convalescent hospital nursing robot service system |
| KR20240053736A (en) | 2022-10-17 | 2024-04-25 | 주식회사 휠라인 | Conversational care robot |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102230493B1 (en) | 2020-08-20 | 2021-03-23 | 주식회사 씨디에스 | O2O-based no-no care system and Operation method of the Same |
| KR102256156B1 (en) * | 2020-10-29 | 2021-05-25 | 의료법인 명지의료재단 | Telemedicine system with disinfection station |
| KR102522172B1 (en) * | 2021-01-22 | 2023-04-14 | 가톨릭대학교 산학협력단 | Clinical linkage analysis system of subjective pain through voice analysis for pre-interview |
| KR102552174B1 (en) * | 2021-03-04 | 2023-07-06 | 신라대학교 산학협력단 | Method for omnidirectional robot of face-to-face interaction with human and medical service assistant robot capable of remote monitoring thereof |
| KR102597000B1 (en) * | 2021-04-26 | 2023-10-31 | 한국로봇융합연구원 | Device for asking and diagnosing a patient for surgery, and a method for collecting patient status information through the device |
| IT202100013871A1 (en) | 2021-05-27 | 2021-08-27 | Innova S R L | motor aid system |
| KR102461691B1 (en) | 2021-12-28 | 2022-11-01 | 주식회사 휠라인 | Care Robot |
| KR20240029717A (en) | 2022-08-26 | 2024-03-06 | (주)공생 | Hospital transfer management system using transfer aids and robots |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285425A (en) * | 2005-03-31 | 2006-10-19 | Mitsubishi Heavy Ind Ltd | Health care service system using robot |
| JP2016159155A (en) * | 2015-02-26 | 2016-09-05 | トヨタ自動車株式会社 | Providing personalized care based on health record of user |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020015621A (en) | 2000-08-22 | 2002-02-28 | 홍영표 | Communication system for aiding in conducting a medical service, computer system used therein and data transmission method using it |
| KR101330046B1 (en) * | 2011-09-19 | 2013-11-18 | 한국산업기술대학교산학협력단 | System for assisting elderly memory using walking assistant robot for life support of elderly, and method of assisting elderly memory using the same |
| KR101971582B1 (en) * | 2016-11-16 | 2019-08-13 | 한국과학기술원 | Method of providing health care guide using chat-bot having user intension analysis function and apparatus for the same |
-
2018
- 2018-12-14 KR KR1020180161669A patent/KR102261797B1/en active IP Right Grant
-
2019
- 2019-11-29 WO PCT/KR2019/016787 patent/WO2020122485A2/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285425A (en) * | 2005-03-31 | 2006-10-19 | Mitsubishi Heavy Ind Ltd | Health care service system using robot |
| JP2016159155A (en) * | 2015-02-26 | 2016-09-05 | トヨタ自動車株式会社 | Providing personalized care based on health record of user |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240053736A (en) | 2022-10-17 | 2024-04-25 | 주식회사 휠라인 | Conversational care robot |
| KR102614706B1 (en) | 2022-12-07 | 2023-12-14 | 의료법인 건강한의료재단 | Convalescent hospital nursing robot service system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020122485A2 (en) | 2020-06-18 |
| KR20200081520A (en) | 2020-07-08 |
| WO2020122485A3 (en) | 2021-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102261797B1 (en) | Robot system for health care service and method thereof | |
| Pham et al. | Delivering home healthcare through a cloud-based smart home environment (CoSHE) | |
| US20210202090A1 (en) | Automated health condition scoring in telehealth encounters | |
| US20220331028A1 (en) | System for Capturing Movement Patterns and/or Vital Signs of a Person | |
| JP6351978B2 (en) | Motion information processing apparatus and program | |
| EP3483785A1 (en) | System and method for guiding social interactions | |
| Benssassi et al. | Wearable assistive technologies for autism: opportunities and challenges | |
| Mead et al. | Automated proxemic feature extraction and behavior recognition: Applications in human-robot interaction | |
| US11699529B2 (en) | Systems and methods for diagnosing a stroke condition | |
| US20150320343A1 (en) | Motion information processing apparatus and method | |
| JP2021525421A (en) | Robotic dialogue for observable signs of health | |
| Chaaraoui et al. | Abnormal gait detection with RGB-D devices using joint motion history features | |
| Efthimiou et al. | The MOBOT rollator human-robot interaction model and user evaluation process | |
| Zlatintsi et al. | Multimodal signal processing and learning aspects of human-robot interaction for an assistive bathing robot | |
| Zou et al. | eyeSay: Make eyes speak for ALS patients with deep transfer learning-empowered wearable | |
| Zlatintsi et al. | Social human-robot interaction for the elderly: two real-life use cases | |
| Fotinea et al. | The MOBOT human-robot communication model | |
| Paulo et al. | An innovative robotic walker for mobility assistance and lower limbs rehabilitation | |
| Chance et al. | What's “up”?—Resolving interaction ambiguity through non-visual cues for a robotic dressing assistant | |
| Fotinea et al. | The mobot human-robot interaction: Showcasing assistive hri | |
| JP2023047410A (en) | Portable device, program and method for presenting information based on object recognition in accordance with user's dynamic state | |
| Mridha et al. | ML-DP: a smart emotion detection system for disabled person to develop a smart city | |
| Garbey et al. | A Digital Telehealth System to Compute Myasthenia Gravis Core Examination Metrics: Exploratory Cohort Study | |
| Loghmani et al. | Towards socially assistive robots for elderly: An end-to-end object search framework | |
| Perera et al. | Intelligent Wheelchair with Emotion Analysis and Voice Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |