KR102261797B1 - Robot system for health care service and method thereof - Google Patents

Robot system for health care service and method thereof Download PDF

Info

Publication number
KR102261797B1
KR102261797B1 KR1020180161669A KR20180161669A KR102261797B1 KR 102261797 B1 KR102261797 B1 KR 102261797B1 KR 1020180161669 A KR1020180161669 A KR 1020180161669A KR 20180161669 A KR20180161669 A KR 20180161669A KR 102261797 B1 KR102261797 B1 KR 102261797B1
Authority
KR
South Korea
Prior art keywords
subject
unit
robot
pain
question
Prior art date
Application number
KR1020180161669A
Other languages
Korean (ko)
Other versions
KR20200081520A (en
Inventor
윤상석
Original Assignee
신라대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 신라대학교 산학협력단 filed Critical 신라대학교 산학협력단
Priority to KR1020180161669A priority Critical patent/KR102261797B1/en
Priority to PCT/KR2019/016787 priority patent/WO2020122485A2/en
Publication of KR20200081520A publication Critical patent/KR20200081520A/en
Application granted granted Critical
Publication of KR102261797B1 publication Critical patent/KR102261797B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12Target-seeking control
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Manipulator (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 수술 후 회복 및 재활환자를 지원하기 위해 병원 내 의료 및 시설장비와 연계되어 환자의 건강정보를 모니터링하고 및 사용자의 의도를 능동적으로 파악하면서 회복 트레이닝을 제공하는 로봇 시스템과 상기 로봇 시스템을 실행하는 방법에 관한 것이다.
본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은 대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행하는 대화생성부(100); 상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출하는 센서제어부(200); 상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 전방향 휠을 이용하여 주행하는 로봇주행부(300); 마이크 에러이, RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자 및 발화자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 수액걸이로 보조하면서 목적지로 이동을 유도하는 객체추적부(400); 상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및 상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 한다.
The present invention relates to a robot system and method for providing medical assistance services, and more particularly, to monitor patient health information in connection with medical and facility equipment in a hospital to support post-operative recovery and rehabilitation patients, and user It relates to a robot system that provides recovery training while actively grasping the intention of the robot system and a method for executing the robot system.
The robot system and method for providing a medical assistance service according to the present invention perform a questionnaire or pain conversation to a subject, extract consciousness and pain information, and a dialog generator 100 for performing daily conversations through a dialog sentence generator ; a sensor control unit 200 for extracting the subject's information from a device worn by the subject or extracting the subject's environmental information from a device in which the Internet of Things (IoT) is installed; a robot driving unit 300 for generating a movement direction from information recognizing the subject's hand gesture and driving using an omnidirectional wheel; An object tracking unit 400 that provides a microphone error, RGB-D sensor and Pan-tilt module to track the location of the subject and the speaker, and guides movement to the destination while maintaining a certain distance with the subject and assisting with an infusion hanger (400) ; A robot posture control unit 500 capable of adjusting poses and eye height for face-to-face interaction with the subject; and a training content generating unit 600 that generates and informs the content to perform recovery and rehabilitation training of the subject.

Description

의료 보조서비스를 제공하는 로봇 시스템 및 그 방법{ROBOT SYSTEM FOR HEALTH CARE SERVICE AND METHOD THEREOF}A robot system for providing medical assistance services and a method therefor {ROBOT SYSTEM FOR HEALTH CARE SERVICE AND METHOD THEREOF}

본 발명은 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 수술 후 회복환자를 지원하기 위해 IoT기기를 기반으로 병원 내 의료 및 시설장비와 연계되어 환자의 건강정보를 모니터링하고 및 회복과 재활 트레이닝을 제공하는 로봇 시스템과 상기 로봇 시스템을 실행하는 방법에 관한 것이다. The present invention relates to a robot system and method for providing medical assistance services, and more particularly, to support patients recovering after surgery, based on IoT devices, in connection with medical and facility equipment in a hospital to monitor patient health information and to a robotic system that provides recovery and rehabilitation training and a method of implementing the robotic system.

인구고령화, 1인 가구의 증가, 개인주의 심화 등 사회적 인식 변화에 따른 의료서비스에 대한 질적 향상이 요구되고 있지만, 의료종사 근무자의 수는 증가하는 환자 수 대비 부족하여 업무 스트레스 증가 및 효율 저하 현상에 직면하고 있는 실정이다. 본 발명은 융합기술의 발전에 따라 인간에 대한 공감과 돌봄의 역할이 더욱 강조되는 미래사회에 비정형화된 의료정보를 통합하고 동반자 역할수행이 가능한 소셜로봇을 이용하여 다양한 사회문제를 해결하는 디지털 헬스케어의 수요 관리에 적극 대응할 수 있는 기술을 개발하고자 한다. Although the quality of medical services is required to be improved due to changes in social perception such as population aging, increase in single-person households, and intensification of individualism, the number of medical workers is insufficient compared to the increasing number of patients, leading to increased work stress and reduced efficiency. is currently doing. The present invention is a digital health solution that solves various social problems by integrating atypical medical information in a future society where empathy for humans and the role of caring are more emphasized according to the development of convergence technology and using social robots that can perform the role of companion. We aim to develop technologies that can actively respond to demand management of care.

최근, 지능 로봇은 산업분야를 벗어나 국방, 문화, 교육, 의료 등의 다양한 서비스 분야로 적용 범위를 넓히고 있다. 구체적으로, 서비스 로봇이 병원 내 특정 위치로 의약품을 운송하거나, 특정 질환을 가진 대상자와 대화를 수행하는 역할까지 담당하고 있다. 무엇보다도, 로봇의 지능을 표현하는 기술 중 하나는 로봇이 자체적으로 상호작용 대상자를 인지하고 지속적으로 추적하는 것이다. In recent years, intelligent robots are expanding the scope of application beyond industrial fields to various service fields such as national defense, culture, education, and medical care. Specifically, the service robot is also responsible for transporting medicines to a specific location in the hospital or performing a conversation with a subject with a specific disease. Above all, one of the techniques for expressing a robot's intelligence is that the robot recognizes and continuously tracks the interacting target on its own.

의료 현장에는 의료진의 업무 효율 증대와 환자를 위한 양질의 서비스 제공을 위해서 다양한 의료서비스 분야에 로봇의 활용이 시도되고 있다. 의료 서비스에 적용되는 로봇의 경우, 수술, 재활 등 전문적인 서비스에 활용되는 로봇과 함께 최근에는 환자의 스트레스 케어를 위한 개인 서비스로봇이 개발되고 있다. 개인 서비스로봇은 가정에서 주로 활용이 가능하지만, 의료기관과 같은 공공기관에서 개별 환자 맞춤형으로 헬스 케어 서비스 적용이 가능하다. In the medical field, the use of robots in various medical service fields is being attempted in order to increase the work efficiency of medical staff and to provide high-quality services for patients. In the case of robots applied to medical services, along with robots used for professional services such as surgery and rehabilitation, personal service robots for stress management of patients have recently been developed. The personal service robot can be mainly used at home, but it is possible to apply health care services tailored to individual patients in public institutions such as medical institutions.

본 발명에서는 병원 공간 내 의료 및 시설장비에 대해 IoT 기반의 다중 인식자원과의 연계기술과 개인 맞춤형 상호작용 수행이 가능한 로봇 보조기술의 융합을 통하여 특정 대상자(노인, 재활 및 수술이후 환자)의 건강정보 모니터링과 사용자의 의도를 능동적으로 파악하면서 회복 트레이닝을 복합적으로 병행하는 시스템을 제공하고자 한다. In the present invention, the health of specific subjects (the elderly, rehabilitation and post-operative patients) through the convergence of IoT-based multi-recognition resources for medical and facility equipment in the hospital space and robot assisting technology that can perform personalized interactions We want to provide a system that combines recovery training with information monitoring and active understanding of users' intentions.

한국공개특허 제10-2002-0015621호(2002.02.28)Korean Patent Publication No. 10-2002-0015621 (2002.02.28)

본 발명은 상기의 문제점을 해결하기 위해서 안출된 것으로서, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다. The present invention has been devised to solve the above problems, and the present invention provides a medical assistance service robot system capable of conducting daily conversations with a subject through a configuration capable of recognizing voice information as a dialogue sentence and analyzing the syntax. but it has a purpose.

또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다. Another object of the present invention is to provide a medical assistance service robot system that facilitates individual patient care by extracting subject and subject environment information through a sensor included in a device worn by the subject.

또한, 본 발명은 착용형 생체신호 및 핸드제스처를 동시에 인식하고 인식된 정보로부터 대상자의 의료정보를 축적함과 동시에, IoT기기 및 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다. In addition, the present invention provides a medical assistance service robot system capable of simultaneously recognizing wearable bio-signals and hand gestures, accumulating medical information of a subject from the recognized information, and providing IoT devices and driving commands. There is this.

또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공하는 데 그 목적이 있다.In addition, the present invention tracks the user's location in real time based on IoT devices such as cameras and beacons, and finds the user by autonomous driving when calling the user in another space. An object of the present invention is to provide a robot posture control technology that performs face-to-face interaction.

또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하고 상기 대상자의 회복 또는 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공하는데 그 목적이 있다. In addition, an object of the present invention is to provide a medical assistance service robot system capable of grasping location information of a subject, assisting with an infusion hanger while maintaining a certain distance, and inducing recovery or rehabilitation training of the subject.

발명이 해결하고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be solved by the invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. will be able

본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은,A robot system and method for providing a medical assistance service according to the present invention,

대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행하는 대화생성부(100); a dialogue generating unit 100 for performing a questionnaire or pain conversation with the subject, extracting consciousness and pain information, and performing a daily conversation through a dialogue sentence generator;

상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출하는 센서제어부(200); a sensor control unit 200 for extracting the subject's information from a device worn by the subject or extracting the subject's environmental information from a device in which the Internet of Things (IoT) is installed;

상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 전방향 휠을 이용하여 주행하는 로봇주행부(300); a robot driving unit 300 for generating a movement direction from information recognizing the subject's hand gesture and driving using an omnidirectional wheel;

마이크 에러이, RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자 및 발화자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 수액걸이로 보조하면서 목적지로 이동을 유도하는 객체추적부(400);An object tracking unit 400 that is provided with a microphone error, RGB-D sensor and Pan-tilt module to track the location of the subject and the speaker, and to guide movement to the destination while maintaining a certain distance with the subject and assisting with an infusion hanger (400) ;

상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및A robot posture control unit 500 capable of adjusting poses and eye height for face-to-face interaction with the subject; and

상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 한다. It is characterized in that it consists of; a training content generation unit 600 to inform and generate content to perform recovery and rehabilitation training of the subject.

상기 대화생성부(100)는 상기 대상자의 음성을 인식하는 제1-1단계;Step 1-1 of the conversation generating unit 100 recognizing the voice of the subject;

상기 음성을 대화문장으로 인식하는 제1-2단계;Step 1-2 of recognizing the voice as a dialogue sentence;

상기 인식된 대화문장을 분석하여 통증과 관련된 단어일 경우 슬롯을 생성하는 제1-3단계;Steps 1-3 of analyzing the recognized dialogue sentence and generating a slot if it is a word related to pain;

상기 슬롯의 생성 여부를 판단하는 제1-4단계;Steps 1-4 of determining whether the slot is created;

상기 제1-4단계에서 상기 슬롯이 생성된 경우, 기설정된 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계;a step 1-5-1 of determining a next conversation direction using a preset user dictionary 110 when the slot is created in step 1-4;

상기 제1-4단계에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색하는 제1-5-2단계;If the slot is not created in the step 1-4, the similarity question with the highest similarity is searched for after measuring the similarity between the question and the answer using the preset user dictionary 110. Step 2;

상기 제1-5-1단계에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성하는 제1-6-1단계;a step 1-6-1 of generating a question when the next conversation direction is determined in step 1-5-1;

상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성하는 제1-6-2단계;a step 1-6-2 of generating the similar question when the similar question having the highest degree of similarity is found in the step 1-5-2;

상기 제1-6-1단계와 제1-6-2단계에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환하는 제1-7단계;를 통해 수행된다. When the question and similar questions are generated in Steps 1-6-1 and 1-6-2, Steps 1-7 of converting text into speech are performed.

상기 대화생성부(100)에서 상기 사용자사전(110)은,The user dictionary 110 in the dialog generating unit 100,

통증의 부위를 확인하는 부위를 질문하는 부위질문;site question, which asks the site to identify the site of pain;

증상을 확인하는 증상질문;Symptomatic questions to identify symptoms;

통증이 심해지는 상황을 확인하는 상황질문;situational questions to identify situations in which the pain is exacerbated;

통증의 강도가 얼마나 심한지 확인하는 강도질문;Intensity questions to determine how severe the pain is;

통증의 빈도를 확인하는 빈도질문;frequency questions to check the frequency of pain;

아픈 기간을 확인하는 기간질문;period question to confirm the sick period;

추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인하는 후속질문;의 순서로 질문을 제공하되,Additional questions are provided in the order of; follow-up questions to confirm that the subject is free to describe pain,

상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이하는 것을 특징으로 한다. When the response of the situational question includes a word indicating constancy, it is characterized in that it is transferred to the period question.

또한, 상기 로봇주행부(300)는 상기 대상자가 핸드 제스처를 실행하는 제3-1단계;In addition, the robot driving unit 300 may include a step 3-1 in which the subject executes a hand gesture;

로봇이 상기 대상자의 핸드 제스처를 인식하는 제3-2단계;a step 3-2 in which the robot recognizes the hand gesture of the subject;

상기 핸드 제스처를 판단하는 제3-3단계;step 3-3 of determining the hand gesture;

상기 핸드 제스처가 간접명령인 경우, 간접제어에 의해 이동 목표를 설정하는 제3-4-1단계;a 3-4-1 step of setting a movement target by indirect control when the hand gesture is an indirect command;

상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정하는 제3-4-2단계;a step 3-4-2 of setting a movement direction by direct control when the hand gesture is a direct command;

상기 제3-4-1단계 및 제3-4-2단계의 설정을 통해 상기 로봇이 이동하는 제3-5단계;를 통해 수행되는 것을 특징으로 한다. It is characterized in that it is performed through; step 3-5 in which the robot moves through the settings of steps 3-4-1 and 3-4-2.

상기 객체추적부(400)는 카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출하는 제4-1단계;Step 4-1 of the object tracking unit 400 detecting the subject's face through the RGB-D sensor of the camera;

상기 검출된 얼굴을 판단하는 제4-2단계;a 4-2 step of determining the detected face;

상기 검출된 얼굴의 좌표를 확인하는 제4-3단계;a step 4-3 of confirming the coordinates of the detected face;

상기 검출된 얼굴의 좌표를 기준으로 상기 Pant-tilt 모듈과 상기 카메라의 좌표를 변환하는 제4-4단계;a step 4-4 of converting the coordinates of the Pant-tilt module and the camera based on the detected coordinates of the face;

Pan 각도를 추정하는 제4-5-1단계;Step 4-5-1 of estimating the Pan angle;

Tilt 각도를 추정하는 제4-5-2단계;Step 4-5-2 of estimating the tilt angle;

상기 제4-5-1단계 및 제4-5-2단계에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계;를 통해 수행되는 것을 특징으로 한다. Step 4-6 of measuring the gaze precision of the Pan-Tilt module using the Pan angle and the Tilt angle estimated in Step 4-5-1 and Step 4-5-2; characterized in that it is performed through do.

상기 과제의 해결 수단에 의해, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화와 더불어 문진 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. By means of solving the above problems, the present invention can provide a medical assistance service robot system capable of conducting a questionnaire conversation along with a routine conversation with a subject through a configuration capable of analyzing the syntax by recognizing voice information as a dialogue sentence. have.

또한, 본 발명은 대상자와 사회적 상호작용을 수행할 수 있도록 심리 의도 파악이 가능한 의료 보조서비스 로봇 시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of grasping the psychological intention to perform social interaction with the subject.

또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system that facilitates individual patient care by extracting subject and subject environment information through a sensor included in a device worn by the subject.

또한, 본 발명은 핸드제스처를 인식하고 인식된 정보로부터 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of recognizing a hand gesture and providing a driving command from the recognized information.

또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공할 수 있다. In addition, the present invention tracks the user's location in real time based on IoT devices such as cameras and beacons, and finds the user by autonomous driving when calling the user in another space. It is possible to provide robot posture control technology that performs face-to-face interaction.

또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하며 상기 대상자의 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of grasping the subject's location information, assisting with an infusion hanger while maintaining a certain distance, and inducing the subject's rehabilitation training.

도 1은 본 발명인 의료 보조서비스를 제공하는 로봇시스템을 나타내는 구성도이다.
도 2는 본 발명인 의료 보조서비스를 제공하는 로봇 시스템의 인지제어 방법을 나타낸 구조도이다.
도 3은 대화생성부(100) 실행을 위한 단계별 흐름도이다.
도 4는 사용자사전(110)의 통증어휘사전(intent) 구성에서 통증 어휘에 따른 통증 종류와 강도 간의 관계 도표이다.
도 5는 사용자사전(110)의 통증어휘사전(intent) 구성에서 대화를 위한 통증 어휘 사전 구축을 나타낸 일실시예이다.
도 6은 사용자사전(110)에서 수집한 통증 어휘의 Word2Vec기반 단어(A:명사, B:형용사) 임베딩 작업을 수행한 일실시예이다.
도 7은 사용자사전(110)에서 t-SNE에 의한 수집어휘 단어임베딩 시각화(A:명사, B:형용사)를 수행한 일실시예이다.
도 8은 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계(S151)의 실행을 위한 단계별 흐름도이다.
도 9는 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계(S151)의 실행을 구체적으로 나타낸 흐름도이다.
도 10은 센서제어부(200)의 구성을 나타낸 구성도이다.
도 11은 로봇주행부(300) 실행을 위한 단계별 흐름도이다.
도 12는 로봇주행부(300)의 핸드 제스처 모드 별로 로봇의 방향이동 제어하는 일실시예를 나타낸 사진이다.
도 12는 로봇주행부(300)에서 기설정된 직접명령 및 간접명령 핸드 제스처이다.
도 14는 지도서버에 필요한 시뮬레이션 환경(A)과 지도서버를 통해 추출되는 GVD 노드와 엣지 데이터(B)를 나타낸 그림이다.
도 15는 로봇주행부(300)의 제스처 판단 단계(S330)로부터 간접명령 단계(S341)를 실시하여 이동 방향을 설정하는 단계(S350)를 나타낸 일실시예 사진이다.
도 16은 객체추적부(400) 실행을 위한 단계별 흐름도이다.
도 17은 객체추적부(400)에서 RGB-D 센서와 Pan-Tilt 모듈을 이용한 3차원 객체추적 실행의 일실시예를 나타낸 사진이다.
도 18은 객체추적부(400)에서 제4-5-1단계(S451) 및 제4-5-2단계(S452)단계의 Pan 각도 추정 및 Tilt 각도를 추정하는 방식을 나타낸 기하학구성을 나타낸 사진이다.
도 19는 객체추적부(400)에서 거리와 각도별 Pan-Tilt 이미지를 나타낸 일실시예이다.
도 20은 일실시예로 본 발명에 의해 제조되는 의료 보조서비스를 제공하는 로봇의 구성도이다.
도 21은 훈련콘텐츠생성부(600)의 일실시예를 나타내는 설명도이다.
1 is a block diagram showing a robot system that provides a medical assistance service according to the present invention.
2 is a structural diagram illustrating a cognitive control method of a robot system providing a medical assistance service according to the present invention.
3 is a step-by-step flowchart for executing the dialog generating unit 100 .
4 is a diagram of the relationship between the pain type and intensity according to the pain vocabulary in the configuration of the pain vocabulary dictionary (intent) of the user dictionary 110 .
5 is an embodiment showing the construction of a pain vocabulary dictionary for conversation in the configuration of the pain vocabulary dictionary (intent) of the user dictionary 110. Referring to FIG.
6 shows an embodiment in which Word2Vec-based words (A: nouns, B: adjectives) of the pain vocabulary collected from the user dictionary 110 are embedded.
7 is an embodiment in which word embedding visualization (A: noun, B: adjective) of the collected vocabulary by t-SNE is performed in the user dictionary 110 .
8 is a step-by-step flowchart for the execution of step 1-5-1 ( S151 ) in which the conversation generator 100 determines the next conversation direction using the user dictionary 110 .
9 is a flowchart specifically illustrating the execution of step 1-5-1 ( S151 ) in which the conversation generating unit 100 determines the next conversation direction using the user dictionary 110 .
10 is a configuration diagram showing the configuration of the sensor control unit 200 .
11 is a step-by-step flowchart for executing the robot driving unit 300 .
12 is a photograph showing an embodiment of controlling the direction movement of the robot for each hand gesture mode of the robot traveling unit 300 .
12 is a direct command and indirect command hand gestures preset in the robot driving unit 300 .
14 is a diagram showing a simulation environment (A) required for the map server and GVD node and edge data (B) extracted through the map server.
15 is a picture showing an embodiment of the step (S350) of setting the moving direction by executing the indirect command step (S341) from the gesture determination step (S330) of the robot traveling unit 300.
16 is a step-by-step flowchart for executing the object tracking unit 400 .
FIG. 17 is a photograph showing an embodiment of the execution of 3D object tracking using the RGB-D sensor and the Pan-Tilt module in the object tracking unit 400 .
18 is a photograph showing a geometric configuration showing a method of estimating the Pan angle and Tilt angle in the 4-5-1 step (S451) and the 4-5-2 step (S452) in the object tracking unit 400 to be.
19 is an embodiment showing a Pan-Tilt image for each distance and angle in the object tracking unit 400 .
20 is a block diagram of a robot that provides a medical assistance service manufactured by the present invention according to an embodiment.
21 is an explanatory diagram illustrating an embodiment of the training content generation unit 600 .

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.In the entire specification, when a part “includes” a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art can easily carry out the embodiments of the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein.

본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시 예 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다.Specific details including the problem to be solved for the present invention, the means for solving the problem, and the effect of the invention are included in the embodiments and drawings to be described below. Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.

이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명하기로 한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.

본 발명에 따른 의료 보조서비스를 제공하는 로봇 시스템 및 그 방법은 도 1에 간략이 구성도로 나타내었다. 본 발명의 구성은 대화생성부(100), 센서제어부(200), 로봇주행부(300), 객체추적부(400), 로봇자세제어부(500), 훈련콘텐츠생성부(600) 및 상기 각 구성을 통합 제어하는 통합시스템(1)으로 구성된다. A robot system and method for providing a medical assistance service according to the present invention are shown in a simplified configuration diagram in FIG. 1 . The configuration of the present invention includes a dialogue generating unit 100, a sensor control unit 200, a robot driving unit 300, an object tracking unit 400, a robot posture control unit 500, a training content generating unit 600, and each of the above components. It is composed of an integrated system (1) for integrated control of

먼저, 대화생성부(100)는 대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 일상적인 대화를 수행한다. First, the dialogue generating unit 100 performs a questionnaire or pain conversation with the subject, extracts consciousness and pain information, and performs a daily conversation through a dialogue sentence generator.

상기 대화생성부(100)는 도 3에 나타난 바와 같이, 단계적인 순서에 의해 실행된다. As shown in FIG. 3 , the dialogue generating unit 100 is executed in a step-by-step sequence.

먼저, 제1-1단계(S110)는 상기 대상자의 음성을 인식한다. 상기 대화생성부(100)는 임베디드 보드를 활용한 대화 테스트 환경을 구축한다. 개발환경으로는 OS는 Ubuntu 16.04LTS. 개발언어는 Python 35.6, 가상환경 Anaconda 4.5.11, 테스트용 API Google Sppech Abril TTS로 마련될 수 있다. First, step 1-1 (S110) recognizes the subject's voice. The dialogue generator 100 builds a dialogue test environment using an embedded board. As a development environment, the OS is Ubuntu 16.04LTS. The development language can be provided with Python 35.6, virtual environment Anaconda 4.5.11, and test API Google Sppech Abril TTS.

다음으로, 제1-2단계(S120)는 상기 음성을 대화문장으로 인식한다. 상기 음성을 대화문장으로 인식하는 것은, 자연어 처리(Natural Language Processing, NLP) 단계로, 형태소분석, 정보 추출 및 정보요약 등을 통해 인식된다. Next, in step 1-2 ( S120 ), the voice is recognized as a dialogue sentence. Recognizing the voice as a dialogue sentence is a natural language processing (NLP) step, and is recognized through morpheme analysis, information extraction, information summary, and the like.

다음으로, 제1-3단계(S130)는 상기 인식된 대화문장을 분석한다. 상기 대화문장 분석은 사용자사전(110)을 통해 분석한다. 상기 사용자사전(110)은 통증어휘 분류체계 연구자료 수집 및 분류체계기반 대화매너를 위한 통증 어휘사전(Intent)으로 구성된다. 일실시예로, 통증 어휘에 따른 통증 종류와 강도 간의 관계 도표(황주성, 전지훈, 이영규, 이충민, 박민지, 김현희, “통증 어휘에 따른 통증 종류와 강도 간의 관련성”, 22권, 1호 대한물리치료사학회지, 2015.)를 이용한다. Next, in steps 1-3 ( S130 ), the recognized dialogue sentence is analyzed. The dialogue sentence analysis is analyzed through the user dictionary 110 . The user dictionary 110 is composed of a pain vocabulary dictionary (Intent) for collecting research data on a pain vocabulary classification system and for conversational manners based on a classification system. As an example, a diagram of the relationship between pain types and intensity according to pain vocabulary (Joo-seong Hwang, Jeon Ji-hoon, Young-gyu Lee, Choong-min Lee, Min-ji Park, Hyun-hee Kim, “Relationship between pain types and intensity according to pain vocabulary”, Vol. 22, No. 1 Korean Physics) Journal of Therapists, 2015.) is used.

또한, 상기 사용자사전(110)은 통증질문에 대한 응답처리 체계 구축을 위해서 섬유근육통 진단 설문지(Fibromyalgia impace questionnaire)의 문항을 이용하여 216개 대화쌍을 수집하고 통증어휘 수집용 챗봇 개발 및 통증 어휘를 수집한다. 도 5에 나타난 바와 같이, 상기 수집한 통증 어휘의 Word2Vec기반 단어를 임베딩 작업 수행하여 분석 한뒤, 도 7에서 t-SNE에 의해 상기 수행된 임베딩 작업을 시각화한다. In addition, the user dictionary 110 collects 216 conversation pairs using the items of the Fibromyalgia impace questionnaire in order to construct a response processing system for pain questions, and develops a chatbot for pain vocabulary collection and pain vocabulary. collect As shown in FIG. 5 , after performing an embedding operation and analyzing the Word2Vec-based words of the collected pain vocabulary, the embedding operation performed by t-SNE is visualized in FIG. 7 .

상기 사용자사전(110)은 통증어휘사전(intent) 구성에서 통증 어휘에 따른 통증 종류와 강도 간의 관계 도표를 이용한다. 도 4에 나타난 바와 같이, 상기 통증 어휘를 체성 통증, 신경변증성 통증, 내장성 통증 등으로 분류한 뒤, 강도로 분류하고 상기 강도 간의 관계를 도표화한다. The user dictionary 110 uses a relationship chart between the pain type and intensity according to the pain vocabulary in the composition of the pain vocabulary dictionary (intent). As shown in FIG. 4 , the pain vocabulary is classified into somatic pain, neuropathic pain, visceral pain, and the like, and then classified into intensity and the relationship between the intensity is plotted.

또한, 상기 사용자사전(110)은 대화를 위한 통증 어휘 사전 구축하여 이용한다. 일실시예로, 도 5는 사용자사전(110)의 통증어휘사전(intent) 구성을 나타내었다. In addition, the user dictionary 110 builds and uses a pain vocabulary dictionary for conversation. As an embodiment, FIG. 5 shows the configuration of the pain vocabulary dictionary (intent) of the user dictionary 110 .

다음으로, 제1-4단계(S140)는 슬롯의 생성 여부를 판단한다. 상기 슬롯은 상기 제1-3단계(S130)에서 분석된 문장에서 통증 부위, 강도, 빈도, 아픈 상황이나 기간과 관련한 단어를 발견한 경우 상기 대화생성부(100)가 상기 관련 단어를 하나의 구멍(slot)으로 인식한 것으로, 상기 대화생성부(100)에서 상기 슬롯을 생성한 경우 상기 대상자와 대화할 수 있도록 대화 방향을 결정하여 상기 슬롯을 채운다. 상기 슬롯의 생성 여부는 질의 응답에 통증과 관련된 문구를 포함하는지 여부에 따라 판단된다. Next, in steps 1-4 ( S140 ), it is determined whether a slot is created. In the slot, when a word related to a pain site, intensity, frequency, or painful situation or period is found in the sentence analyzed in steps 1-3 ( S130 ), the conversation generating unit 100 inserts the related word into one hole. (slot), when the slot is created by the conversation generating unit 100, the conversation direction is determined so as to have a conversation with the target and the slot is filled. Whether the slot is created is determined according to whether a phrase related to pain is included in the question answer.

다음으로, 제1-5-1단계(S151)는 상기 제1-4단계(S140)에서 상기 슬롯이 생성된 경우, 기설정된 상기 사용자사전(110)을 이용하여 다음 대화 방향을 결정한다. 상기 슬롯이 생성된 경우 상기 슬롯을 채우고 다음 대화 방향을 결정한다. Next, in step 1-5-1 ( S151 ), when the slot is created in step 1-4 ( S140 ), the next conversation direction is determined using the preset user dictionary 110 . When the slot is created, the slot is filled and a next conversation direction is determined.

상기 제1-5-1단계(S151)는 도 8에 나타난 바와 같이, 상기 대화생성부(100)에서 상기 사용자사전(110)에서 부위질문, 증상질문, 상황질문, 강도질문, 빈도질문, 기간질문 및 후속질문의 순서로 질문을 제공한다. As shown in FIG. 8, in the first step 1-5-1 (S151), the part question, symptom question, situation question, intensity question, frequency question, and period in the user dictionary 110 in the dialog generating unit 100 The questions are presented in the order of a question and a follow-up question.

보다 구체적으로, 상기 부위질문은 상기 통증의 부위를 확인하는 부위를 질문한다. 일실시예로, “허리, 목, 어깨 중에 아픈데 있으세요?”로 질문할 수 있다. 상기 증상질문은 상기 통증 부위의 증상을 확인한다. 일실시예로, “증상이 어떠세요?”로 질문할 수 있다. 상기 상황질문은 상기 통증이 심해지는 상황을 확인한다. 일실시예로, “어떻게 하면 통증이 심하나요?”로 질문할 수 있다. 상기 강도질문은 상기 통증의 강도가 얼마나 심한지 확인한다. 일실시예로, “통증은 얼마나 심하나요?”로 질문할 수 있다. 상기 빈도질문은 상기 통증의 빈도를 확인한다. 일실시예로, “통증은 얼마나 자주 있어요?”로 질문할 수 있다. 상기 기간질문은 아픈 기간을 확인한다. 일실시예로, “아픈 기간이 얼마나 됐어요?”로 질문할 수 있다. 상기 후속질문은 추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인한다. 일실시예로, “더 자세히 말해 주시겠어요?”로 질문할 수 있다. More specifically, the region question asks a region that identifies the region of pain. In one embodiment, the question may be “Do you have any pain in your back, neck, or shoulder?” The symptom question identifies the symptoms of the pain area. In one embodiment, the question may be “How are your symptoms?” The situational question confirms the situation in which the pain is exacerbated. In one embodiment, a question may be asked, “How do I make the pain worse?” The intensity question confirms how severe the intensity of the pain is. In one embodiment, the question may be “How severe is the pain?” The frequency question identifies the frequency of the pain. In one embodiment, the question may be “how often do you have pain?” The period question identifies the period of illness. In one embodiment, the question may be “How long have you been sick?” The follow-up question additionally confirms that the subject is free to describe pain. In one embodiment, the question may be “Can you tell me more?”

또한, 상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이한다. 상기 상황질문에서 상황에 대한 질문에 대한 응답이 항시성을 나타내는 단어가 포함되어 있는 경우, 항상 통증이 강하다는 가정과 주기성이 없다는 가정에 의해 곧바로 통증이 시작된 시점을 묻는 질문으로 전이한다. In addition, if the answer to the situational question includes a word indicating constancy, it is transferred to the period question. When the response to the situational question contains a word indicating constancy in the situational question, the question is immediately transferred to the question asking when the pain started due to the assumption that the pain is always strong and the assumption that there is no periodicity.

상기 사용자사전(110)을 이용하여 다음 대화 방향의 결정은 도 9에 나타난 바와 같이, 상기 부위질문, 증상질문, 상황질문, 강도질문, 빈도질문, 기간질문 및 후속질문의 순서대로 진행될 때, 각 어휘가 포함되는 경우 다음 단계 질문으로 넘어가나, 상기 어휘가 포함되지 않은 경우 다시 질문한다. As shown in FIG. 9, the determination of the next conversation direction using the user dictionary 110 is performed in the order of the part question, symptom question, situation question, intensity question, frequency question, period question, and follow-up question. If the vocabulary is included, proceed to the next step question, but if the vocabulary is not included, the question is asked again.

또한, 상기 대화생성부(100)에서 상기 사용자사전(110)은 [표 1]에 나타난 바와 같이, 제한적 개방형 질문과 폐쇄형 질문으로 구성할 수 있다. In addition, as shown in [Table 1], the user dictionary 110 in the dialog generating unit 100 may consist of a limited open-ended question and a closed-type question.

질문(의료진 실제 질문)Questions (physician real questions) 의료대화분석연구에 따른 문항유형 분류Classification of item types according to medical dialogue analysis research 정보Information 아픈데 있으세요are you sick 제한적 개방형limited open 부위질문part question 수술 부위 어떠세요?How about the surgical site? 제한적 개방형limited open 증상질문symptom question 수술 전에 아프던 곳은 어떠세요?How was the pain before the surgery? 제한적 개방형limited open 강도질문robbery question 언제부터 아팠어요?Since when have you been sick? 폐쇄형closed 기간질문period question 얼마동안 아파요?How long have you been sick? 폐쇄형closed 빈도질문frequency question 언제가 많이 아파요?When do you have a lot of pain? 폐쇄형closed 후속질문follow-up question 어떻게 하면 아파요?How do you get sick? 폐쇄형closed 상황질문situational question

상기 제한적 개방형 질문은 “아픈데 있으세요?”, “수술 부위 어떠세요?”, “수술 전에 아프던 곳은 어떠세요?”를 포함하고, 상기 폐쇄형 질문은 “언제부터 아팠어요?”, “얼마 동안 아파요?”, “얼마나 아파요?”, “언제가 많이 아파요?”, “어떻게 하면 아파요?”를 포함하여 설정되는 것이 바람직하다. The above limited open-ended questions included “How are you?”, “How was the surgical site?”, and “How was your pain before surgery?”, and the closed-ended questions included “When did you have pain?”, “How long did you have pain?”, It is desirable to set including “How much does it hurt?”, “When does it hurt a lot?” and “How do I get sick?”.

또한, 제1-5-2단계(S152)는 상기 제1-4단계(S140)에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색한다. 도 8에 나타난 바와 같이, 상기 제1-4단계(S140)에서 상기 대상자의 답변의 유사도의 판단은 상기 사용자사전(110)에 포함된 단어와 비교하여 어휘가 포함 여부를 판단하여 다음 단계의 질문으로 진행여부를 판단한다. In addition, in step 1-5-2 (S152), if the slot is not created in step 1-4 (S140), after measuring the similarity between the question and the answer using the preset user dictionary 110 , a similar question with the highest degree of similarity is searched for. As shown in FIG. 8 , in the steps 1-4 ( S140 ), the determination of the degree of similarity of the answer of the subject is compared with the words included in the user dictionary 110 to determine whether or not the vocabulary is included in the question of the next step. to judge progress.

다음으로, 제1-6-1단계(S161)는 상기 제1-5-1단계(S151)에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성한다. 또한, 제1-6-2단계(S162)는 상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성한다. Next, in step 1-6-1 ( S161 ), when the next conversation direction is determined in step 1-5-1 ( S151 ), a question is generated. Also, in step 1-6-2 (S162), when a similar question having the highest degree of similarity is found in step 1-5-2, the similar question is generated.

상기 제1-6-1단계(S161) 및 제1-6-2단계(S162)는 도 8 및 도 9의 의해 진행되는 것이 바람직하다. The 1-6-1 step (S161) and the 1-6-2 step (S162) are preferably performed according to FIGS. 8 and 9 .

다음으로, 제1-7단계(S170)는 상기 제1-6-1단계(S161)와 제1-6-2단계(S162)에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환한다. Next, in step 1-7 (S170), when a question and similar questions are generated in steps 1-6-1 (S161) and 1-6-2 (S162), text is converted into speech .

다음으로, 상기 센서제어부(200)는 상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보를 추출한다. Next, the sensor control unit 200 extracts the subject's information from the device worn by the subject or extracts the subject's environment information from a device in which the Internet of Things (IoT) is installed.

보다 구체적으로, 상기 센서제어부(200)는 도 10에 나타난 바와 같이, 사물인터넷이 포함된 기기인 사물인터넷부(210), 로봇이 실행하고 상기 통합시스템(1)과 상기 사물인터넷부(210)가 데이터를 송수신하도록 마련된 로봇실행부(230)로 구성된다. More specifically, as shown in FIG. 10 , the sensor control unit 200 is executed by the IoT unit 210, which is a device including the IoT, and the integrated system 1 and the IoT unit 210. is composed of a robot execution unit 230 provided to transmit and receive data.

상기 사물인터넷부(210)는 미세먼지를 측정하는 미세먼지측정센서(212), 생체신호를 인식하고 핸드 제스처로 명령어 전달하는 체감형인터페이스(213), 상기 미세먼지측정센서(212)와 체감형인터페이스(213)에서 측정된 센서측정값을 Lora통신 및 BEL통신을 통해 수신 받는 Iot게이트웨이(214), 상기 Iot게이트웨이(214)로부터 센서데이터를 수신 받아 분석하는 MQTT제어부(215) 및 상기 MQTT제어부(215)로부터 On/Off 명령어를 수신 받아 실행하는 공기청정기실행부(211)로 구성된다. The IoT unit 210 includes a fine dust measuring sensor 212 for measuring fine dust, a tangible interface 213 for recognizing bio-signals and transmitting commands through hand gestures, and a tangible with the fine dust measuring sensor 212 . The Iot gateway 214 that receives the sensor measurement value measured in the interface 213 through Lora communication and BEL communication, the MQTT control unit 215 that receives and analyzes sensor data from the Iot gateway 214, and the MQTT control unit ( 215) is composed of an air purifier execution unit 211 that receives and executes the On/Off command.

상기 로봇실행부(230)는 상기 MQTT제어부(215)로부터 데이터를 전달받아 스피커 또는 이미지로 출력하여 로봇을 실행한다. 보다 구체적으로, 상기 MQTT제어부(215)로부터 데이터를 전달받고 상기 MQTT제어부(215)에 공기청정기 실행을 위한 명령어를 전달하는 MQTT연결부(221), 상기 MQTT연결부(221)로부터 데이터를 전달받아 상기 통합시스템(1)으로 데이터를 전달하되, 상기 공기청정기 구동을 계획하는 데이터를 요청하는 데이터분석부(222), 상기 통합시스템(1)으로부터 상기 공기청정기 구체적인 구동을 요청하고 상기 공기청정기의 명령어를 명령하는 작업관리부(223), 상기 작업관리부(223)로부터 전달받은 상기 구체적인 구동 요청 데이터를 스피커부(231)와 이미지부(232)로 전달하는 실행부(230), 상기 실행부(230)로부터 구동 요청 데이터를 상기 스피커부(231)에서 음성을 실행하고 상기 이미지부(232)는 이미지화하여 상기 대상자에게 보여주며 선택적으로 선별하여 수행한다. 또한, 상기 스피커부(231)와 이미지부(232)에서 수행한 데이터를 저장하는 데이터저장부로 구성된다. The robot execution unit 230 receives data from the MQTT control unit 215 and outputs it to a speaker or an image to execute the robot. More specifically, the MQTT connection unit 221 that receives data from the MQTT control unit 215 and transmits a command for executing the air purifier to the MQTT control unit 215, the MQTT connection unit 221 receives data from the integration The data analysis unit 222, which transmits data to the system 1, requests data for planning the operation of the air purifier, requests a specific operation of the air purifier from the integrated system 1 and commands a command of the air purifier The task management unit 223 to do a task management unit 223, the execution unit 230 for transferring the specific driving request data received from the task management unit 223 to the speaker unit 231 and the image unit 232, and driving from the execution unit 230 The speaker unit 231 executes the voice request data, and the image unit 232 displays the image to the subject, and selectively selects and performs it. In addition, the speaker unit 231 and the image unit 232 is composed of a data storage unit for storing data.

상기 센서제어부(200)는 앞서 기술된 바와 같이, 상기 대상자의 주위 환경에서 먼지오염도가 높아지면 상기 사물인터넷부(210)가 마련된 공기청정기를 구동하는 기능 이외에도 상기 통합시스템(1)과 연동하여 상기 대상자가 미세먼지가 없거나 공기가 청정한 곳으로 이동해야 하는 경우 상기 로봇주행부(300)를 통해 전방향 휠을 이용하여 상기 로봇의 이동을 통해 상기 대상자를 이동시키도록 연동된다. As described above, the sensor control unit 200 works in conjunction with the integrated system 1 in addition to the function of driving the air purifier provided with the Internet of Things unit 210 when the degree of dust pollution in the surrounding environment of the subject increases. When the subject has to move to a place where there is no fine dust or the air is clean, it is linked to move the subject through the movement of the robot using the omnidirectional wheel through the robot driving unit 300 .

상기 체감형인터페이스(213)는 심전도, 근전도, 피부전도도 등의 생체신호를 측정하고 핸드 제스처로 명령어 전달한다. 상기 체감형인터페이스(213)는 로봇 혹은 IoT기기가 제공하는 외부자극을 통한 사용자의 헬스케어 정보를 취득하고, IoT 게이트웨어를 통하여 IoT기기를 제어하거나 로봇을 호출하고 대화를 수행할 수 있다. 일실시예로, 상기 체감형인터페이스(213)와 미세먼지측정센서(212)에 의해 데이터를 전달 받아 상기 스피커부(231)에서는 “많이 건조하신 모양이네요”, “현재 미세먼지 값은 000입니다”, “공기청정기를 켭니다” 등과 같은 음성을 수행하고, 상기 이미지부(232)는 상기 공기청정기의 on/off 화면이나 온도, 습도, 미세먼지 등의 값을 표시한다. The tangible interface 213 measures bio-signals such as electrocardiogram, electromyography, and skin conduction, and transmits commands through hand gestures. The tangible interface 213 may acquire the user's health care information through an external stimulus provided by the robot or IoT device, control the IoT device through the IoT gateway, or call the robot and perform a conversation. In one embodiment, data is received by the tangible interface 213 and the fine dust measurement sensor 212 and the speaker unit 231 says “It looks very dry” and “The current fine dust value is 000” , “turn on the air purifier” and the like, and the image unit 232 displays the on/off screen of the air purifier or values such as temperature, humidity, and fine dust.

다음으로, 상기 로봇주행부(300)는 상기 대상자의 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 주행한다. 보다 구체적으로, 상기 로봇주행부(300)는 도 11의 나타난 단계에 의해 실행될 수 있다. Next, the robot driving unit 300 drives by generating a movement direction from information recognizing the hand gesture of the subject. More specifically, the robot driving unit 300 may be executed by the steps shown in FIG. 11 .

먼저, 제3-1단계(S310)는 상기 로봇주행부(300)는 상기 대상자가 핸드 제스처를 실행한다. 상기 핸드 제스처는 도 12에 나타난 바와 같이 실행될 수 있다. First, in step 3-1 (S310), the robot driving unit 300 performs a hand gesture by the subject. The hand gesture may be executed as shown in FIG. 12 .

다음으로, 제3-2단계(S320)는 로봇이 상기 대상자의 핸드 제스처를 인식한다. 상기 대상자가 실행한 핸드 제스처를 인식하기 위해 상기 대상자는 암밴드를 착용하고 상기 로봇은 상기 대상자의 암밴드를 통해 인식한다. Next, in step 3-2 ( S320 ), the robot recognizes the hand gesture of the subject. In order to recognize the hand gesture performed by the subject, the subject wears an armband, and the robot recognizes it through the subject's armband.

다음으로, 제3-3단계(S330)는 상기 핸드 제스처를 판단한다. 상기 핸드 제스처는 기설정된 제스처를 실행하여 판단된다. 일실시예로, 상기 기설정된 제스처는 도 13에 나타난 바와 같이 정의될 수 있다. 기설정된 제스처는 일실시예로 다섯가지로 지정할 수 있으며, 간접명령 및 직접명령을 전환할 수 있는 구성을 포함하는 것이 바람직하다. 상기 기설정된 제스처는 다양한게 설명될 수 있다. Next, in step 3-3 (S330), the hand gesture is determined. The hand gesture is determined by executing a preset gesture. In an embodiment, the preset gesture may be defined as shown in FIG. 13 . The preset gesture can be designated as five types as an embodiment, and it is preferable to include a configuration that can switch between an indirect command and a direct command. The preset gesture may be described in various ways.

다음으로, 제3-4-1단계(S341)는 상기 핸드 제스처가 간접명령인 경우, 상기 간접제어에 의해 이동 목표를 설정한다. 상기 제3-4-1단계(S341)의 간접명령은 GVD(General Voronoi Diagram)의 수행을 통하여 기구성된 제2지도서버에 상기 로봇 이동경로 상에서 발생하는 주요 분기점인 노드와 상기 노드간 연결선인 엣지 정보를 생성한 후 상기 로봇이 위치한 지점에서 가장 가까운 노드를 탐색한 후 이웃하는 엣지들을 후보로 하여, 상기 대상자가 제스처를 수행하면 이동 방향을 설정된다. 도 14(A)에 나타나난 바와 같이, 상기 제2지도서버 작성에 필요한 시뮬레이션 환경을 확인하고, 상기 노드와 엣지를 설정(도 14(B))한다. 이후, 상기 주어진 노드와 엣지를 통해 상기 대상자의 간접명령에 의해 이동 목표를 설정한 뒤 이동 방향을 알려준다. Next, in step 3-4-1 ( S341 ), when the hand gesture is an indirect command, a movement target is set by the indirect control. The indirect command of the 3-4-1 step (S341) is a node that is a main branch point occurring on the robot movement path and an edge that is a connection line between the nodes in the second map server structured through the execution of a General Voronoi Diagram (GVD). After generating information, the robot searches for the closest node to the point where the robot is located, and uses neighboring edges as candidates, and when the subject performs a gesture, the movement direction is set. As shown in Fig. 14(A), the simulation environment necessary for creating the second map server is checked, and the nodes and edges are set (Fig. 14(B)). Thereafter, a movement target is set by the indirect command of the subject through the given node and edge, and then the movement direction is informed.

다음으로, 제3-4-2단계(S342)는 상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정한다. 상기 제3-4-2단계(S342)의 직접명령은 전진, 후진, 좌회전, 우회전 및 상기 간접명령 전환으로 구성된다. Next, in step 3-4-2 ( S342 ), when the hand gesture is a direct command, the movement direction is set by direct control. The direct command in step 3-4-2 (S342) consists of forward, reverse, left turn, right turn, and the indirect command conversion.

다음으로, 제3-5단계(S350)는 상기 제3-4-1단계(S341) 및 제3-4-2단계(S342)의 설정을 통해 상기 로봇이 이동한다. 도 10에 나타난 바와 같이, 사용자는 제1지도서버(310)에서 제공하는 맵정보를 통하여 로봇이 이동 가능한 영역을 표시하게 되고, 제2지도서버(320)에서는 로봇이 유의미하게 이동할 후보위치 정보를 인터페이스 비쥬얼라이저를 통하여 시각화하게 된다. 여기서, 유의미한 이동 후보 위치란 방, 거실, 주방, 냉장고 앞, TV 근처 등의 시맨틱(의미론적)정보를 나타낸다.Next, in step 3-5 (S350), the robot moves through the settings in step 3-4-1 (S341) and step 3-4-2 (S342). As shown in FIG. 10 , the user displays the area in which the robot can move through the map information provided by the first map server 310 , and the second map server 320 provides information on the candidate location for the robot to move significantly. It is visualized through the interface visualizer. Here, a significant movement candidate location indicates semantic (semantic) information such as a room, living room, kitchen, in front of a refrigerator, near a TV, and the like.

도 2에 나타난 바와 같이, 카메라, 비콘(Beacon) 등 IoT기기는 상기 Iot게이트웨이(214)를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇의 자세제어 기술을 나타낸다.As shown in Fig. 2, IoT devices such as cameras and beacons track the user's location in real time based on the IoT gateway 214, and find the user by autonomous driving when calling the user in another space, and then communicate with the user. It represents the robot's posture control technology that performs face-to-face interaction suitable for distance, eye level and face pose.

다음으로, 상기 객체추적부(400)는 RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자의 위치를 추적하고, 수액걸이로 보조하며 상기 대상자와의 일정거리를 유지하면서 목적지로 이동을 유도한다. 보다 구체적으로, 상기 객체추적부(400)는 도 15에 나타난 단계별 흐름도에 의해 실행될 수 있다. Next, the object tracking unit 400 is provided with an RGB-D sensor and a Pan-tilt module to track the location of the subject, assist with an infusion hanger, and induce movement to the destination while maintaining a certain distance from the subject. . More specifically, the object tracking unit 400 may be executed by the step-by-step flowchart shown in FIG. 15 .

제4-1단계(S410)는 카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출한다. Step 4-1 (S410) detects the subject's face through the RGB-D sensor of the camera.

제4-2단계(S420)는 상기 검출된 얼굴을 판단한다. 상기 제4-2단계(S420)에서 화면 내 얼굴이 검출되는 경우, 아래 제4-3단계(S430)으로 진행하고, 화면 내 얼굴이 검출되지 않는 경우 다시 처음으로 돌아가서 얼굴을 검출한다. 상기 대상자의 얼굴은 Haar-like feature에 기반한 알고리즘으로 구성된 Haar-cascade로 검출한다. Step 4-2 (S420) determines the detected face. When a face on the screen is detected in step 4-2 (S420), the process proceeds to step 4-3 (S430) below, and if the face on the screen is not detected, it goes back to the beginning and detects the face. The subject's face is detected by Haar-cascade composed of an algorithm based on Haar-like features.

제4-3단계(S430)는 상기 검출된 얼굴의 좌표를 확인한다. 상기 Haar-cascade로 검출된 얼굴을 Depth 이미지로부터 검출된 얼굴의 3차원 위치 정보를 추정한다. In step 4-3 ( S430 ), coordinates of the detected face are checked. 3D location information of the face detected from the depth image of the face detected by the Haar-cascade is estimated.

제4-4단계(S440)는 상기 검출된 얼굴의 좌표를 기준으로 상기 Pant-Tilt 모듈과 상기 카메라의 좌표를 변환한다. 상기 RGB-D 센서와 상기 Pant-Tilt 모듈 간의 기하학적 구성을 이용하여 상기 대상자 얼굴의 좌표를 기준으로 상기 Pant-Tilt 모듈과 상기 카메라의 좌표를 변환한다. Step 4-4 (S440) converts the coordinates of the Pant-Tilt module and the camera based on the detected coordinates of the face. The coordinates of the Pant-Tilt module and the camera are converted based on the coordinates of the subject's face using a geometric configuration between the RGB-D sensor and the Pant-Tilt module.

제4-5-1단계(S451)는 Pan 각도를 추정한다. 상기 Pan 각도는 3차원 공간상에서 로봇의 현재 포즈와 추적 대상자의 얼굴이 위치하는 수평위치 오차 각도를 지칭하며, 로봇의 Pan-Tilt모듈에서 상기 Pan 각도만큼 수평이동하면 로봇이 사용자를 바라보는 효과를 볼 수 있다.Step 4-5-1 (S451) estimates the Pan angle. The Pan angle refers to the horizontal position error angle at which the current pose of the robot and the face of the subject to be tracked are located in three-dimensional space, and when the robot moves horizontally by the Pan angle in the Pan-Tilt module of the robot, the effect of the robot looking at the user is obtained. can see.

제4-5-2단계(S452)는 Tilt 각도를 추정한다. 여기서 Tilt 각도는 3차원 공간상에서 로봇의 현재 포즈와 추적 대상자의 얼굴이 위치하는 수직위치 오차 각도를 지칭하며, 로봇의 Pan-Tilt 모듈에서 상기 Tilt 각도만큼 수직이동하면 로봇이 사용자의 얼굴을 바라보는 효과를 볼 수 있다. 사용자가 Tilt의 일정 각도 이상을 벗어나거나 로봇이 사용자와의 눈높이 상호작용을 수행하기 위해서 도 2의 Lift tracker가 로봇의 헤드부분의 높이를 조절하게 된다. Step 4-5-2 (S452) estimates the tilt angle. Here, the tilt angle refers to the vertical position error angle at which the current pose of the robot and the face of the subject to be tracked are located in three-dimensional space. When the robot moves vertically by the tilt angle in the Pan-Tilt module of the robot, the robot looks at the user's face. effect can be seen. In order for the user to deviate more than a certain angle of the tilt or for the robot to perform eye-level interaction with the user, the lift tracker of FIG. 2 adjusts the height of the robot's head.

상기 객체추적부(400)는, 도 18에 나타난 바와 같이, 상기 Pan-Tilt의 좌표를

Figure 112021023422369-pat00001
라 하고 상기 검출된 얼굴의 좌표를
Figure 112021023422369-pat00002
라 할 때, 상기 제4-5-1단계(S451)에서 Pan 각도는
Figure 112021023422369-pat00030
에 의해 추정하고, 상기 제4-5-2단계(S452)에서 Tilt 각도는
Figure 112021023422369-pat00031
에 의해 추정된다. 도 19에 나타난 바와 같이, Pan-Tilt 모듈에 장착된 카메라를 이용하여 거리, 각도별 응시 제어 결과를 나타내었다. The object tracking unit 400, as shown in FIG. 18, determines the coordinates of the Pan-Tilt.
Figure 112021023422369-pat00001
, and the coordinates of the detected face are
Figure 112021023422369-pat00002
When , the Pan angle in the 4-5-1 step (S451) is
Figure 112021023422369-pat00030
Estimated by , the tilt angle in the 4-5-2 step (S452) is
Figure 112021023422369-pat00031
is estimated by As shown in FIG. 19 , the results of gaze control by distance and angle were shown using the camera mounted on the Pan-Tilt module.

제4-6단계(S460)는 상기 제4-5-1단계(S451) 및 제4-5-2단계(S452)에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정한다. Step 4-6 (S460) determines the gaze precision of the Pan-Tilt module using the Pan angle and the Tilt angle estimated in Step 4-5-1 (S451) and Step 4-5-2 (S452). measure

상기 Pan-Tilt모듈의 응시 정밀도는 모듈에 장착된 카메라의 이미지 중심으로부터 일정 화소영역 이내에 사용자의 얼굴 중심점이 위치하는지를 통하여 결정된다.The gaze precision of the Pan-Tilt module is determined by whether the user's face center point is located within a predetermined pixel area from the image center of the camera mounted on the module.

다음으로, 상기 로봇자세제어부(500)는 상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능하다. 상기 로봇자세제어부(500)는 상기 객체추적부(400)와 마찬가지로 RGB-D 센서와 Pan-tilt 모듈을 통해 상기 대상자의 눈높이를 확인하여 상기 로봇의 눈에 해당하는 부분을 상기 대상자의 눈높이와 유사하게 위치시키고 상기 대상자의 눈과 마주볼 수 있도록 포즈를 실시한다. Next, the robot posture control unit 500 can adjust the pose and eye level for face-to-face interaction with the subject. The robot posture control unit 500 checks the subject's eye level through the RGB-D sensor and the Pan-tilt module, similarly to the object tracking unit 400 , and sets the part corresponding to the robot's eye level to the subject's eye level. position and pose so as to face the subject's eyes.

다음으로, 상기 훈련콘텐츠생성부(600)는 상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려준다. 상기 훈련콘텐츠생성부(600)는 병원 또는 재활 훈련센터 등에서 제공하는 상기 대상자의 진료 기록 데이터와 의료진의 데이터를 송수신받아 콘텐츠를 생성할 수 있다. Next, the training content generation unit 600 informs the creation of content to perform recovery and rehabilitation training of the subject. The training content generation unit 600 may generate content by receiving and receiving the patient's medical record data and the medical staff's data provided by a hospital or a rehabilitation training center.

도 21에 나타난 바와 같이, 상기 훈련콘텐츠생성부(600)는 보행분석, 수술 후 신체반응확인, 정신질환관리서비스, 모션측정태그, 의료진코멘트 제공 및 수액측정센서로 구성될 수 있다. As shown in FIG. 21 , the training content generation unit 600 may be configured with gait analysis, post-operative physical response confirmation, mental illness management service, motion measurement tag, medical staff comment provision, and fluid measurement sensor.

상기 보행분석은 상기 대화생성부(100)에서 분석된 데이터와 상기 로봇주행부(300) 및 객체추적부(400)에 의해 수행될 수 있다. 상기 대화생성부(100)에서 분석된 상기 대상자의 통증 정도를 확인한 후, 상기 로봇주행부(300) 및 객체추적부(400)를 통해 상기 대상자의 재활 훈련 코스 및 위치를 안내한다. 또한, 상기 센서제어부(200)를 이용하여 유도 발자국의 걸음일치성, 보폭수 및 걸음속도의 보행분석을 통해 상기 대상자의 현재 상태를 피드백 제어하여 재활 콘텐츠를 업데이트 한다. The gait analysis may be performed by the data analyzed by the dialogue generating unit 100 and the robot driving unit 300 and the object tracking unit 400 . After confirming the pain level of the subject analyzed by the conversation generating unit 100 , the rehabilitation training course and location of the subject are guided through the robot driving unit 300 and the object tracking unit 400 . In addition, the rehabilitation content is updated by feedback-controlling the current state of the subject through gait analysis of the step consistency of the induced footprint, the number of steps, and the step speed using the sensor controller 200 .

상기 수술 후 신체반응 확인은 상기 센서제어부(200) 및 객체추적부(400)의 데이터에 의해 수행될 수 있다. 상기 센서제어부(200)의 체감형인터페이스(213)와 상기 객체추적부(400)에 의해 수술 직후 다리, 팔 움직임 등의 반응을 확인하고 결과를 간호기록지에 입력한다. Confirmation of the body reaction after the operation may be performed by the data of the sensor control unit 200 and the object tracking unit 400 . The tangible interface 213 of the sensor control unit 200 and the object tracking unit 400 check the response of the leg and arm movement immediately after surgery, and input the result on the nursing record sheet.

상기 정신질환관리서비스는 상기 대화생성부(100)에 의해 환자와의 대화를 진행하고, 우울증, 치매 등의 판별하여 의료진에게 전달한다. The mental disease management service conducts a conversation with the patient by the dialogue generating unit 100, determines depression, dementia, and the like, and delivers it to the medical staff.

상기 모션측정태그는 상기 센서제어부(200)의 체감형인터페이스(213)에 의해 행동을 분석하여 위험 상황시 상기 스피커부(231)를 이용하여 긴급 알림을 실시하고 상기 객체추적부(400)에 의해 상기 대상자의 위치를 전송한다. The motion measurement tag analyzes the behavior by the tangible interface 213 of the sensor control unit 200, and in a dangerous situation, uses the speaker unit 231 to provide an emergency notification, and by the object tracking unit 400 transmit the location of the subject.

상기 의료진코멘트 제공은 상기 대화생성부(100)를 이용하여 진료/수술 등의 안내 및 안내 사항에 대한 의료진의 코멘트를 상기 대상자에게 전달한다. The provision of the medical staff comment uses the dialogue generator 100 to deliver the medical staff's comments on guidance and guidance, such as treatment/surgery, to the subject.

상기 수액측정 센서는 상기 센서제어부(200)에 의해 수액이 기설정된 잔량 이하인 경우 의료진에게 상기 스피커부(231)을 통해 교체 알람을 전달한다. The infusion sensor transmits a replacement alarm through the speaker unit 231 to the medical staff when the infusion level is less than or equal to the remaining amount preset by the sensor controller 200 .

도 20에 나타난 바와 같이, 일실시예로서 본 발명에 의해 제조되는 의료 보조서비스를 제공하는 로봇은 헤드부, 상체부, 하체부로 구성될 수 있다. As shown in FIG. 20 , as an embodiment, a robot providing a medical assistance service manufactured by the present invention may be composed of a head part, an upper body part, and a lower body part.

상기 헤드부는 상단에 상기 대상자의 수액을 걸어둘 수 있는 수액걸이, 상기 Pan-Tilt모듈이 마련된 카메라 및 얼굴모양 및 정보제공이 가능한 모니터, 상기 Pan-Tilt모듈은 상기 대상자를 지속적으로 추적하기 위해 수평(pan) 수직(tilt) 방향으로 회전할 수 있도록 마련된 것으로, 상기 헤드부를 대화 대상자로 지향할 수 있는 Pan-Tilt 트래커(tracker)가 마련될 수 있다. The head part is an infusion hanger that can hang the subject's sap at the top, a camera equipped with the Pan-Tilt module, and a monitor capable of providing face shape and information, and the Pan-Tilt module is horizontal to continuously track the subject. (pan) A Pan-Tilt tracker that can be rotated in a vertical (tilt) direction and can direct the head to a conversation target may be provided.

상기 상체부는 상기 로보자세제어부(500)에 의해 상기 대상자와 눈높이를 맞출 수 있도록 상하좌우 이동되는 리프트 트래커(tracker)가 마련될 수 있다. 상기 상체부는 상기 하체부와 이동과 관계없이 상기 대상자와의 면대면 상호작용을 독자적으로 수행하기 위한 회전 및 리프팅 기능을 포함하고 있으며, 상기 상체부와 상기 Pan-Tilt모듈간의 수평각도의 오차를 보완한다. The upper body part may be provided with a lift tracker that is moved up, down, left and right so as to match the eye level with the subject by the robot posture control unit 500 . The upper body part includes a rotation and lifting function for independently performing face-to-face interaction with the subject regardless of movement with the lower body part, and compensates for the horizontal angle error between the upper body part and the Pan-Tilt module do.

상기 하체부는 상기 로봇을 전후좌우 이동 및 회전하는 전방향 휠이 마련될 수 있다. 상기 전방향 휠을 이용하여 앞뒤 뿐만 아니라 좌우 이동 및 회전이 가능하며 장애물을 손쉽게 피하면서 상기 대상자와의 일정 거리를 유지할 수 있다. The lower body may be provided with an omnidirectional wheel for moving and rotating the robot forward, backward, left and right. By using the omnidirectional wheel, it is possible to move and rotate left and right as well as forward and backward, and it is possible to maintain a certain distance with the subject while easily avoiding obstacles.

상기 과제의 해결 수단에 의해, 본 발명은 음성정보를 대화문장으로 인식하여 구문을 분석할 수 있는 구성을 통해 대상자와 일상적인 대화와 더불어 문진 대화를 진행할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. By means of solving the above problems, the present invention can provide a medical assistance service robot system capable of conducting a questionnaire conversation along with a routine conversation with a subject through a configuration capable of analyzing the syntax by recognizing voice information as a dialogue sentence. have.

또한, 본 발명은 대상자와 사회적 상호작용을 수행할 수 있도록 심리 의도 파악이 가능한 의료 보조서비스 로봇 시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of grasping the psychological intention to perform social interaction with the subject.

또한, 본 발명은 대상자가 착용하고 있는 디바이스에 포함된 센서를 통해 대상자 및 대상자 환경 정보를 추출하여 개별 환자 케어가 용이한 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system that facilitates individual patient care by extracting subject and subject environment information through a sensor included in a device worn by the subject.

또한, 본 발명은 핸드제스처를 인식하고 인식된 정보로부터 주행명령을 제공할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of recognizing a hand gesture and providing a driving command from the recognized information.

또한, 본 발명은 카메라, 비콘(Beacon) 등 IoT기기를 기반으로 실시간으로 사용자 위치를 추적하면서, 다른 공간에서 사용자 호출 시 자율주행으로 사용자를 찾아간 후 사용자와의 거리, 눈높이와 얼굴포즈에 적합한 면대면 상호작용을 수행하는 로봇 자세제어 기술을 제공할 수 있다. In addition, the present invention tracks the user's location in real time based on IoT devices such as cameras and beacons, and finds the user by autonomous driving when calling the user in another space. It is possible to provide robot posture control technology that performs face-to-face interaction.

또한, 본 발명은 대상자의 위치정보를 파악하고 일정거리를 유지하면서 수액걸이로 보조하며 상기 대상자의 재활훈련을 유도할 수 있는 의료 보조서비스 로봇시스템을 제공할 수 있다. In addition, the present invention can provide a medical assistance service robot system capable of grasping the subject's location information, assisting with an infusion hanger while maintaining a certain distance, and inducing the subject's rehabilitation training.

이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.As such, those skilled in the art to which the present invention pertains will understand that the above-described technical configuration of the present invention may be implemented in other specific forms without changing the technical spirit or essential characteristics of the present invention.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, the embodiments described above are to be understood as illustrative and not restrictive in all respects, and the scope of the present invention is indicated by the following claims rather than the above detailed description, and the meaning and scope of the claims and their All changes or modifications derived from the concept of equivalents should be construed as being included in the scope of the present invention.

1. 통합시스템
100. 대화생성부
110. 사용자사전
200. 센서제어부
210. 사물인터넷부
211. 공기청정기실행부
212. 미세먼지측정센서
214. Iot게이트웨이
215. MQTT제어부
221. MQTT연결부
222. 데이터분석부
223. 작업관리부
230. 실행부
231. 스피커부
232. 이미지부
233. 데이터저장부
300. 로봇주행부
310. 제1지도서버
320. 제2지도서버
400. 객체추적부
500. 로봇자세제어부
600. 훈련콘텐츠생성부
S110. 대화생성부(100)에서 음성인식하는 제1-1단계
S120. 대화생성부(100)에서 자연어를 처리하는 제1-2단계
S130. 대화생성부(100)에서 문장을 분석하는 제1-3단계
S140. 대화생성부(100)에서 슬롯 생성여부를 판단하는 제1-4단계
S151. 대화생성부(100)에서 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계
S152. 대화생성부(100)에서 사용자사전(110)을 이용하여 Q&A 유사도를 측정하는 제1-5-2단계
S161. 대화생성부(100)에서 제1-5-1단계 실시후 응답을 생성하는 제1-6-1단계
S162. 대화생성부(100)에서 제1-5-2단계 실시후 유사질문을 생성하는 제1-6-2단계
S170. 대화생성부(100)에서 제1-6-1단계 및 제1-6-2단계를 실시후 문자음성을 자동변환하는 제1-7단계
S310. 로봇주행부(300)에서 제스처를 실행하는 제3-1단계
S320. 로봇주행부(300)에서 제스처를 인식하는 제3-2단계
S330. 로봇주행부(300)에서 제스처를 판단하는 제3-3단계
S341. 로봇주행부(300)에서 간접명령을 실행하는 제3-4-1단계
S342. 로봇주행부(300)에서 직접명령을 실행하는 제3-4-2단계
S350. 로봇주행부(300)에서 로봇의 이동을 실행하는 제3-5단계
S410. 객체추적부(400)에서 RGB-D센서를 이용하여 얼굴을 검출하는 제4-1단계
S420. 객체추적부(400)에서 화면 내 얼굴 검출을 판단하는 제4-2단계
S430. 객체추적부(400)에서 검출된 얼굴의 좌표를 확인하는 제4-3단계
S440. 객체추적부(400)에서 Pan-Tilt모듈과 객체 간 좌표로 변환하는 제4-4단계
S451. 객체추적부(400)에서 Pan 각도를 추정하는 제4-5-1단계
S452. 객체추적부(400)에서 Tilt 각도를 추정하는 제4-5-2단계
S460. 객체추적부(400)에서 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계
1. Integrated system
100. Conversation generator
110. User Dictionary
200. Sensor control unit
210. Ministry of IoT
211. Air Purifier Execution Department
212. Fine dust sensor
214. IoT Gateway
215. MQTT control unit
221. MQTT connection
222. Data Analysis Department
223. Task Management Department
230. Executioner
231. Speaker part
232. Image section
233. Data storage unit
300. Robot Driving Unit
310. First Map Server
320. Second map server
400. Object Tracking Unit
500. Robot posture control unit
600. Training content creation department
S110. Step 1-1 of voice recognition in the dialog generating unit 100
S120. Step 1-2 of processing the natural language in the dialog generator 100
S130. Steps 1-3 of analyzing the sentence in the dialog generating unit 100
S140. Steps 1-4 in which the dialog generator 100 determines whether or not a slot is created
S151. Step 1-5-1 of determining the next conversation direction by using the user dictionary 110 in the conversation generating unit 100
S152. Step 1-5-2 of measuring the Q&A similarity by using the user dictionary 110 in the conversation generator 100
S161. Step 1-6-1 of generating a response after step 1-5-1 is performed in the dialog generating unit 100
S162. Step 1-6-2 of generating a similar question after step 1-5-2 in the dialog generating unit 100
S170. Steps 1-7 of automatically converting text-to-speech after performing steps 1-6-1 and 1-6-2 in the dialog generating unit 100
S310. Step 3-1 to execute the gesture in the robot driving unit 300
S320. Step 3-2 of recognizing a gesture in the robot driving unit 300
S330. Step 3-3 of determining the gesture in the robot driving unit 300
S341. Step 3-4-1 executing an indirect command in the robot driving unit 300
S342. Step 3-4-2 to execute a command directly from the robot driving unit 300
S350. Steps 3-5 of executing the movement of the robot in the robot driving unit 300
S410. Step 4-1 of detecting a face using the RGB-D sensor in the object tracking unit 400
S420. Step 4-2 of determining in-screen face detection in the object tracking unit 400
S430. Step 4-3 of confirming the coordinates of the face detected by the object tracking unit 400
S440. Step 4-4 converting the coordinates between the Pan-Tilt module and the object in the object tracking unit 400
S451. Step 4-5-1 of estimating the Pan angle in the object tracking unit 400
S452. Step 4-5-2 of estimating the tilt angle in the object tracking unit 400
S460. Steps 4-6 of measuring the gaze precision of the Pan-Tilt module in the object tracking unit 400

Claims (10)

대상자에게 문진 또는 통증 대화를 수행하며 의식 및 통증정보를 추출하고, 대화문장 생성기를 통하여 자연어 처리를 수행 하되, 통증 어휘를 체성 통증, 신경변증성 통증 및 내장성 통증으로 분류하고 강도 간의 관계를 정규화 한 뒤, 통증과 관련된 단어를 발견한 경우 슬롯으로 인식하여 슬롯의 채움 여부에 따라 대화 방향을 결정하는 대화생성부(100);
상기 대상자가 착용하고 있는 디바이스로부터 상기 대상자의 정보를 추출하거나 사물인터넷(IoT)이 설치된 기기로부터 상기 대상자의 환경 정보 추출 및 제어하는 센서제어부(200);
상기 대상자의 호출 및 핸드 제스처를 인식한 정보로부터 이동방향을 생성하여 주행하는 로봇주행부(300);
RGB-D 센서와 Pan-tilt 모듈이 마련되어 상기 대상자의 위치를 추적하고, 상기 대상자와의 일정거리를 유지하면서 목적지로 이동을 유도하는 객체추적부(400);
상기 대상자와 면대면 상호작용을 위해 포즈 및 눈높이 조정이 가능한 로봇자세제어부(500); 및
상기 대상자의 회복 및 재활 훈련을 실시하기 위해 콘텐츠를 생성하여 알려주는 훈련콘텐츠생성부(600);로 구성되는 것을 특징으로 하되,
상기 센서제어부(200)는,
미세먼지를 측정하는 미세먼지측정센서(212);
상기 대상자의 생체신호를 측정하거나 핸드 제스처로 인식된 명령어를 인식하는 체감형인터페이스(213);
상기 미세먼지측정센서(212) 및 체감형인터페이스(213)에서 측정되거나 인식된 데이터를 통신을 통해 수신받는 Iot게이트웨이(214);
상기 Iot게이트웨이(214)로부터 센서데이터를 수신받아 분석하는 MQTT제어부(215);
상기 MQTT제어부(215)로부터 On/Off 명령어를 수신받아 실행하는 공기청정기실행부(211);
상기 MQTT제어부(215)로부터 데이터를 전달받고 상기 MQTT제어부(215)에 공기청정기 실행을 위한 명령어를 전달하는 MQTT연결부(221);
상기 MQTT연결부(221)로부터 데이터를 전달받아 통합시스템(1)으로 데이터를 전달하되, 상기 공기청정기 구동을 계획하는 데이터를 요청하는 데이터분석부(222);
상기 통합시스템(1)으로부터 상기 공기청정기의 구체적인 구동을 요청하고 상기 공기청정기의 명령어를 명령하는 작업관리부(223);
상기 작업관리부(223)로부터 전달받은 상기 구체적인 구동 요청 데이터를 스피커부(231)와 이미지부(232)로 전달하는 로봇실행부(230);로 구성되고,
상기 로봇주행부(300)는,
상기 대상자가 핸드 제스처를 실행하는 제3-1단계;
로봇이 상기 대상자의 핸드 제스처를 인식하는 제3-2단계;
상기 핸드 제스처를 판단하는 제3-3단계;
상기 핸드 제스처가 간접명령인 경우, 간접제어에 의해 이동 목표를 설정하는 제3-4-1단계;
상기 핸드 제스처가 직접명령인 경우, 직접제어에 의해 이동 방향을 설정하는 제3-4-2단계;
상기 제3-4-1단계 및 제3-4-2단계의 설정을 통해 상기 로봇이 이동하는 제3-5단계;를 통해 수행되며,
상기 제3-4-1단계의 간접명령은,
GVD(General Voronoi Diagram)의 수행을 통하여 기구성된 제2지도서버에 상기 로봇 이동경로 상에서 발생하는 주요 이동 후보위치의 분기점인 노드와 상기 노드간 연결선인 엣지 정보를 생성한 후,
상기 로봇이 위치한 지점에서 가장 가까운 노드를 탐색한 후 이웃하는 엣지들을 후보로 하여 상기 대상자가 제스처를 수행하면 이동 방향을 설정하고,
상기 제3-4-2단계의 직접명령은,
전진, 후진, 좌회전, 우회전 및 상기 간접명령 전환으로 구성되고,
상기 로봇주행부(300)는 상기 센서제어부(200)와 연동되어 미세먼지가 없거나 공기가 청정한 곳으로 이동해야 하는 경우 상기 대상자를 이동시키고,
상기 객체추적부(400)는,
카메라의 상기 RGB-D 센서를 통해 상기 대상자의 얼굴을 검출하는 제4-1단계;
상기 검출된 얼굴을 판단하는 제4-2단계;
상기 검출된 얼굴의 좌표를 확인하는 제4-3단계;
상기 검출된 얼굴의 좌표를 기준으로 상기 Pan-tilt 모듈과 상기 카메라의 좌표를 변환하는 제4-4단계;
Pan 각도를 추정하는 제4-5-1단계;
Tilt 각도를 추정하는 제4-5-2단계;
상기 제4-5-1단계 및 제4-5-2단계에서 추정된 Pan각도와 Tilt각도를 이용하여 Pan-Tilt모듈의 응시 정밀도를 측정하는 제4-6단계;를 통해 수행하되,
상기 Pan-Tilt의 좌표를
Figure 112021023422369-pat00032
라 하고
상기 검출된 얼굴의 좌표를
Figure 112021023422369-pat00033
라 할 때,
상기 제4-5-1단계에서 Pan 각도는
Figure 112021023422369-pat00034
에 의해 추정하고,
상기 제4-5-2단계에서 Tilt 각도는
Figure 112021023422369-pat00035

에 의해 추정하는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
Conduct a questionnaire or pain conversation to the subject, extract consciousness and pain information, and perform natural language processing through a dialogue sentence generator, but classify pain vocabulary into somatic pain, neuropathic pain and visceral pain, and normalize the relationship between intensity Then, when a word related to pain is found, the conversation generator 100 recognizes it as a slot and determines a conversation direction according to whether the slot is filled;
a sensor controller 200 for extracting the subject's information from the device worn by the subject or extracting and controlling the subject's environmental information from a device in which the Internet of Things (IoT) is installed;
a robot driving unit 300 for generating a moving direction from information recognizing the call and hand gestures of the subject and driving;
an object tracking unit 400 provided with an RGB-D sensor and a pan-tilt module to track the location of the subject and induce movement to the destination while maintaining a certain distance from the subject;
A robot posture control unit 500 capable of adjusting poses and eye height for face-to-face interaction with the subject; and
A training content generating unit 600 that generates and informs the content to perform recovery and rehabilitation training of the subject;
The sensor control unit 200,
a fine dust measuring sensor 212 for measuring fine dust;
a tangible interface 213 for measuring the subject's bio-signals or recognizing commands recognized as hand gestures;
Iot gateway 214 for receiving the data measured or recognized by the fine dust measurement sensor 212 and the tangible interface 213 through communication;
MQTT control unit 215 for receiving and analyzing sensor data from the IoT gateway 214;
an air purifier execution unit 211 that receives and executes an On/Off command from the MQTT control unit 215;
an MQTT connection unit 221 that receives data from the MQTT control unit 215 and transmits a command for executing the air purifier to the MQTT control unit 215;
a data analysis unit 222 that receives data from the MQTT connection unit 221 and transmits the data to the integrated system 1, but requests data for planning the operation of the air purifier;
a task management unit 223 that requests a specific operation of the air purifier from the integrated system 1 and commands a command of the air purifier;
and a robot execution unit 230 that transmits the specific driving request data received from the task management unit 223 to the speaker unit 231 and the image unit 232;
The robot driving unit 300,
a step 3-1 in which the subject executes a hand gesture;
a step 3-2 in which the robot recognizes the hand gesture of the subject;
step 3-3 of determining the hand gesture;
a 3-4-1 step of setting a movement target by indirect control when the hand gesture is an indirect command;
a step 3-4-2 of setting a movement direction by direct control when the hand gesture is a direct command;
It is performed through a; step 3-5 in which the robot moves through the settings of steps 3-4-1 and 3-4-2,
The indirect command in step 3-4-1 is,
After generating edge information, which is a connection line between nodes, which is a branch point of major movement candidate positions occurring on the robot movement path, on the second map server organized through the execution of General Voronoi Diagram (GVD),
After searching for the node closest to the point where the robot is located, the direction of movement is set when the subject performs a gesture using neighboring edges as candidates,
The direct command in step 3-4-2 is,
It consists of forward, backward, left turn, right turn and the indirect command conversion,
The robot driving unit 300 is interlocked with the sensor control unit 200 to move the subject when there is no fine dust or to move to a place where the air is clean,
The object tracking unit 400,
Step 4-1 of detecting the subject's face through the RGB-D sensor of the camera;
a 4-2 step of determining the detected face;
a step 4-3 of confirming the coordinates of the detected face;
a step 4-4 of converting the coordinates of the pan-tilt module and the camera based on the detected coordinates of the face;
Step 4-5-1 of estimating the Pan angle;
Step 4-5-2 of estimating the tilt angle;
Step 4-6 of measuring the gaze precision of the Pan-Tilt module using the Pan angle and the Tilt angle estimated in Step 4-5-1 and Step 4-5-2;
Coordinates of the Pan-Tilt
Figure 112021023422369-pat00032
say
coordinates of the detected face
Figure 112021023422369-pat00033
When you say
In the step 4-5-1, the Pan angle is
Figure 112021023422369-pat00034
estimated by
In the step 4-5-2, the tilt angle is
Figure 112021023422369-pat00035

A robot system for providing medical assistance services, characterized in that estimated by
제 1항에 있어서,
상기 대화생성부(100)는,
상기 대상자의 음성을 인식하는 제1-1단계;
상기 음성을 대화문장으로 인식하는 제1-2단계;
상기 인식된 대화문장을 분석하여 통증과 관련된 단어일 경우 슬롯을 생성하는 제1-3단계;
상기 슬롯의 생성 여부를 판단하는 제1-4단계;
상기 제1-4단계에서 상기 슬롯이 생성된 경우, 기설정된 사용자사전(110)을 이용하여 다음 대화 방향을 결정하는 제1-5-1단계;
상기 제1-4단계에서 상기 슬롯이 생성되지 않은 경우, 기설정된 사용자사전(110)을 이용하여 질문과 답변의 유사도를 측정한 뒤, 상기 유사도가 가장 높은 유사질문을 검색하는 제1-5-2단계;
상기 제1-5-1단계에서 상기 다음 대화 방향이 결정된 경우, 질문을 생성하는 제1-6-1단계;
상기 제1-5-2단계에서 상기 유사도가 가장 높은 유사질문을 검색된 경우, 상기 유사질문을 생성하는 제1-6-2단계;
상기 제1-6-1단계와 제1-6-2단계에서 질문 및 유사질문이 생성된 경우, 문자를 음성으로 변환하는 제1-7단계;를 통해 수행되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
The method of claim 1,
The conversation generating unit 100,
Step 1-1 of recognizing the subject's voice;
Step 1-2 of recognizing the voice as a dialogue sentence;
Steps 1-3 of analyzing the recognized dialogue sentence and generating a slot if it is a word related to pain;
Steps 1-4 of determining whether the slot is created;
a step 1-5-1 of determining a next conversation direction using a preset user dictionary 110 when the slot is created in step 1-4;
If the slot is not created in the step 1-4, the similarity question with the highest similarity is searched for after measuring the similarity between the question and the answer using the preset user dictionary 110. Step 2;
a step 1-6-1 of generating a question when the next conversation direction is determined in step 1-5-1;
a step 1-6-2 of generating the similar question when the similar question having the highest degree of similarity is found in the step 1-5-2;
When a question and a similar question are generated in Steps 1-6-1 and 1-6-2, Step 1-7 of converting text into speech; robot system provided.
제 2항에 있어서,
상기 대화생성부(100)에서 상기 사용자사전(110)은,
섬유근육통진단설문지(Fibromyalgia Impact Questionnaire)을 바탕으로 설정되는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
3. The method of claim 2,
The user dictionary 110 in the dialog generating unit 100,
A robot system that provides medical assistance services, characterized in that it is set based on the Fibromyalgia Impact Questionnaire.
제 1항에 있어서,
상기 대화생성부(100)에서 상기 사용자사전(110)은,
통증의 부위를 확인하는 부위를 질문하는 부위질문;
증상을 확인하는 증상질문;
통증이 심해지는 상황을 확인하는 상황질문;
통증의 강도가 얼마나 심한지 확인하는 강도질문;
통증의 빈도를 확인하는 빈도질문;
아픈 기간을 확인하는 기간질문;
추가적으로 상기 대상자가 통증에 대해 자유롭게 기술하도록 확인하는 후속질문;의 순서로 질문을 제공하되,
상기 상황질문에서 응답이 항시성을 나타내는 단어가 포함되어 있는 경우 상기 기간질문으로 전이하는 것을 특징으로 하는 의료 보조서비스를 제공하는 로봇 시스템.
The method of claim 1,
The user dictionary 110 in the dialog generating unit 100,
site question, which asks the site to identify the site of pain;
Symptomatic questions to identify symptoms;
situational questions to identify situations in which the pain is exacerbated;
Intensity questions to determine how severe the pain is;
frequency questions to check the frequency of pain;
period question to confirm the sick period;
Additional questions are provided in the order of; follow-up questions to confirm that the subject is free to describe pain,
A robot system for providing a medical assistance service, characterized in that when the response to the situational question includes a word indicating constancy, it is transferred to the period question.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020180161669A 2018-12-14 2018-12-14 Robot system for health care service and method thereof KR102261797B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180161669A KR102261797B1 (en) 2018-12-14 2018-12-14 Robot system for health care service and method thereof
PCT/KR2019/016787 WO2020122485A2 (en) 2018-12-14 2019-11-29 Robot system for providing medical assistance service and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161669A KR102261797B1 (en) 2018-12-14 2018-12-14 Robot system for health care service and method thereof

Publications (2)

Publication Number Publication Date
KR20200081520A KR20200081520A (en) 2020-07-08
KR102261797B1 true KR102261797B1 (en) 2021-06-07

Family

ID=71077424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161669A KR102261797B1 (en) 2018-12-14 2018-12-14 Robot system for health care service and method thereof

Country Status (2)

Country Link
KR (1) KR102261797B1 (en)
WO (1) WO2020122485A2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614706B1 (en) 2022-12-07 2023-12-14 의료법인 건강한의료재단 Convalescent hospital nursing robot service system
KR20240053736A (en) 2022-10-17 2024-04-25 주식회사 휠라인 Conversational care robot

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102230493B1 (en) 2020-08-20 2021-03-23 주식회사 씨디에스 O2O-based no-no care system and Operation method of the Same
KR102256156B1 (en) * 2020-10-29 2021-05-25 의료법인 명지의료재단 Telemedicine system with disinfection station
KR102522172B1 (en) * 2021-01-22 2023-04-14 가톨릭대학교 산학협력단 Clinical linkage analysis system of subjective pain through voice analysis for pre-interview
KR102552174B1 (en) * 2021-03-04 2023-07-06 신라대학교 산학협력단 Method for omnidirectional robot of face-to-face interaction with human and medical service assistant robot capable of remote monitoring thereof
KR102597000B1 (en) * 2021-04-26 2023-10-31 한국로봇융합연구원 Device for asking and diagnosing a patient for surgery, and a method for collecting patient status information through the device
IT202100013871A1 (en) 2021-05-27 2021-08-27 Innova S R L motor aid system
KR102461691B1 (en) 2021-12-28 2022-11-01 주식회사 휠라인 Care Robot
KR20240029717A (en) 2022-08-26 2024-03-06 (주)공생 Hospital transfer management system using transfer aids and robots

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285425A (en) * 2005-03-31 2006-10-19 Mitsubishi Heavy Ind Ltd Health care service system using robot
JP2016159155A (en) * 2015-02-26 2016-09-05 トヨタ自動車株式会社 Providing personalized care based on health record of user

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020015621A (en) 2000-08-22 2002-02-28 홍영표 Communication system for aiding in conducting a medical service, computer system used therein and data transmission method using it
KR101330046B1 (en) * 2011-09-19 2013-11-18 한국산업기술대학교산학협력단 System for assisting elderly memory using walking assistant robot for life support of elderly, and method of assisting elderly memory using the same
KR101971582B1 (en) * 2016-11-16 2019-08-13 한국과학기술원 Method of providing health care guide using chat-bot having user intension analysis function and apparatus for the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285425A (en) * 2005-03-31 2006-10-19 Mitsubishi Heavy Ind Ltd Health care service system using robot
JP2016159155A (en) * 2015-02-26 2016-09-05 トヨタ自動車株式会社 Providing personalized care based on health record of user

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240053736A (en) 2022-10-17 2024-04-25 주식회사 휠라인 Conversational care robot
KR102614706B1 (en) 2022-12-07 2023-12-14 의료법인 건강한의료재단 Convalescent hospital nursing robot service system

Also Published As

Publication number Publication date
WO2020122485A2 (en) 2020-06-18
KR20200081520A (en) 2020-07-08
WO2020122485A3 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
KR102261797B1 (en) Robot system for health care service and method thereof
Pham et al. Delivering home healthcare through a cloud-based smart home environment (CoSHE)
US20210202090A1 (en) Automated health condition scoring in telehealth encounters
US20220331028A1 (en) System for Capturing Movement Patterns and/or Vital Signs of a Person
JP6351978B2 (en) Motion information processing apparatus and program
EP3483785A1 (en) System and method for guiding social interactions
Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
Mead et al. Automated proxemic feature extraction and behavior recognition: Applications in human-robot interaction
US11699529B2 (en) Systems and methods for diagnosing a stroke condition
US20150320343A1 (en) Motion information processing apparatus and method
JP2021525421A (en) Robotic dialogue for observable signs of health
Chaaraoui et al. Abnormal gait detection with RGB-D devices using joint motion history features
Efthimiou et al. The MOBOT rollator human-robot interaction model and user evaluation process
Zlatintsi et al. Multimodal signal processing and learning aspects of human-robot interaction for an assistive bathing robot
Zou et al. eyeSay: Make eyes speak for ALS patients with deep transfer learning-empowered wearable
Zlatintsi et al. Social human-robot interaction for the elderly: two real-life use cases
Fotinea et al. The MOBOT human-robot communication model
Paulo et al. An innovative robotic walker for mobility assistance and lower limbs rehabilitation
Chance et al. What's “up”?—Resolving interaction ambiguity through non-visual cues for a robotic dressing assistant
Fotinea et al. The mobot human-robot interaction: Showcasing assistive hri
JP2023047410A (en) Portable device, program and method for presenting information based on object recognition in accordance with user's dynamic state
Mridha et al. ML-DP: a smart emotion detection system for disabled person to develop a smart city
Garbey et al. A Digital Telehealth System to Compute Myasthenia Gravis Core Examination Metrics: Exploratory Cohort Study
Loghmani et al. Towards socially assistive robots for elderly: An end-to-end object search framework
Perera et al. Intelligent Wheelchair with Emotion Analysis and Voice Recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant