KR101336641B1 - Emotional Sympathy Robot Service System and Method of the Same - Google Patents

Emotional Sympathy Robot Service System and Method of the Same Download PDF

Info

Publication number
KR101336641B1
KR101336641B1 KR1020120014745A KR20120014745A KR101336641B1 KR 101336641 B1 KR101336641 B1 KR 101336641B1 KR 1020120014745 A KR1020120014745 A KR 1020120014745A KR 20120014745 A KR20120014745 A KR 20120014745A KR 101336641 B1 KR101336641 B1 KR 101336641B1
Authority
KR
South Korea
Prior art keywords
information
user
expression
recognition
robot
Prior art date
Application number
KR1020120014745A
Other languages
Korean (ko)
Other versions
KR20130093290A (en
Inventor
송세경
전영진
박종성
Original Assignee
(주) 퓨처로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 퓨처로봇 filed Critical (주) 퓨처로봇
Priority to KR1020120014745A priority Critical patent/KR101336641B1/en
Publication of KR20130093290A publication Critical patent/KR20130093290A/en
Application granted granted Critical
Publication of KR101336641B1 publication Critical patent/KR101336641B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44557—Code layout in executable memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Developmental Disabilities (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)

Abstract

본 발명은 감성 교감 로봇 서비스 시스템 및 그 방법에 관한 것이다. 본 발명의 감성 교감 로봇 서비스 시스템 및 그 방법은, 감지센서, 영상센서 및 음성센서로부터 수신된 감지 정보, 영상 정보, 음성 정보를 이용하여 사용자를 적극적으로 유도하고, 사용자의 영상 정보 및 음성 정보를 획득함에 있어서, 로봇 시스템 측에서 사용자에 대해 원하는 필요한 인식 정보를 얻을 때까지, 미리 설정된 형태의 표현을 사용자에게 계속 준다. 이렇게 획득된 사용자의 영상 정보 및 음성 정보를 이용하여, 사용자의 상황 및 감정 상태를 파악하여, 로봇 시스템은 사용자와의 맞춤형 대화를 수행하고 사용자가 원하는 서비스를 제공할 수 있게 된다. 이와 같은 본 발명에 의하면, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 표현(피드백)을 해줌으로써, 최종적으로는 사용자(인간)와 로봇 간에 상황에 맞는 대화를 나눌 수 있거나 또는 사용자가 원하는 서비스를 제공할 수 있는 장점이 있으며, 이로 인해 어떠한 상황이나 장소, 시간 등에 적합한 맞춤형 감성 교감 서비스를 제공할 수 있는 효과가 있다.The present invention relates to an emotional sympathetic robot service system and method thereof. Emotional sympathetic robot service system and method thereof of the present invention actively guides the user by using the sensing information, the image information, and the voice information received from the sensor, the image sensor, and the voice sensor, and obtains the image information and the voice information of the user. In obtaining, the robot continues to give a preset form of representation until the robotic system obtains the required recognition information desired for the user. By using the user's image information and audio information thus obtained, the user's situation and emotional state can be grasped so that the robot system can perform a customized conversation with the user and provide a service desired by the user. According to the present invention, the robot expresses the feedback (feedback) to the user (human) until the robot obtains the desired information, so that the user can finally have a dialogue between the user (human) and the robot, or the user There is an advantage that can provide the desired service, and this has the effect of providing a customized emotional sympathetic service suitable for any situation, place, time, etc.

Figure R1020120014745
Figure R1020120014745

Description

감성 교감 로봇 서비스 시스템 및 그 방법{Emotional Sympathy Robot Service System and Method of the Same}Emotional Sympathy Robot Service System and Method of the Same

본 발명은 로봇 서비스 시스템에 관한 것으로서, 더 상세하게는 로봇이 원하는 인식 정보를 얻을 때까지 로봇이 사용자(인간)에게 표현(피드백)을 해줌으로써, 궁극적으로 사용자(인간)와 로봇 간에 원만한 대화가 이루어지거나 또는 사용자에게 필요한 서비스를 제공할 수 있도록 하는 감성 교감 로봇 서비스 시스템 및 그 방법에 관한 것이다.
The present invention relates to a robot service system, and more particularly, the robot expresses (feedback) to the user (human) until the robot obtains the desired recognition information, thereby ultimately creating a smooth dialogue between the user (human) and the robot. The present invention relates to an emotional sympathetic robot service system and a method for providing a service required by a user.

오늘날, 시각이나 청각, 촉각 센서와 같은 다양한 센서 정보를 이용하여 감정이나 행동을 생성하거나 선택하여 표현하는 시스템은 애완용 로봇이나 지능형 로봇 형태로 개발되어 있고, 동물을 모사하거나 의인화된 감정을 기반으로 더욱 자연스러운 행동을 표현하기 위해 감정 엔진이나 이와 관련된 시스템에 관한 기능 개선 연구가 꾸준히 진행되고 있다.Today, systems that create or select emotions or actions using various sensor information such as visual, auditory, and tactile sensors are developed in the form of pet robots or intelligent robots. In order to express natural behavior, research on improving the function of the emotion engine and related systems is continuously conducted.

또한, 인간과 로봇의 자연스러운 상호작용을 위해 사용자에 의한 입력과 상태 변화를 감지하기 위한 센서 장치의 기능 개선과 함께 이러한 센서를 이용하여 사용자의 의도를 파악하기 위한 기술 개발이 시도되고 있으며, 로봇 구동 장치에 있어서도 자연스러운 행동을 표현하기 위해 구동기 기술에 대한 다양한 연구가 이루어지고 있다.In addition, the development of a technology for detecting the user's intention by using such a sensor with the improvement of the function of the sensor device for detecting a change in the input and the state by the user for the natural interaction between the human and the robot, and driving the robot In order to express natural behavior even in a device, various researches on driver technology have been conducted.

이러한 로봇 환경하에서의 종래 로봇의 경우에는 얼굴, 음성 등을 센서로 인식하여 사용자의 얼굴이나 말 등을 인식했다. 이러한 인식 방식은 협조적인 상황, 예를 들면 실험실이나 개발자의 연구실, 고요한 실내 등과 같은 상황에서는 인식률이 비교적 높았으나, 비협조적인 상황, 예를 들면 실제의 주변 상황이나, 조명, 소음, 일반인, 다수 등과 같은 상황에서는 인식률이 현저히 떨어졌다. 따라서, 협조적 상황 중심으로 개발되었던 기존의 서비스 로봇의 경우 실제 현장에서 인간(사용자)과 능동적 상호작용을 하지 못해 원격제어 등에 의해 서비스가 이루어지는 문제점이 발생하게 된다. 실환경에서 로봇의 영상 또는 음성의 인지기술을 높이기 위한 연구개발이 진행되고 있으나, 이를 위해서는 막대한 투자비와 연구기간이 소요되고 또는 투자만큼의 결과물이 도출되지 않아 산업현장에서 기업의 시장 진출 및 수익 창출에 어려움이 발생하게 된다.In the case of a conventional robot in such a robot environment, a face, a voice, and the like are recognized by a sensor to recognize a face or a horse of a user. This recognition method has a relatively high recognition rate in cooperative situations, such as a laboratory or developer's lab, or a quiet room.However, non-cooperative situations, such as actual surroundings, lighting, noise, general public, majority, etc. In the situation, the recognition rate dropped significantly. Therefore, in the case of the existing service robot developed in a cooperative context, a problem occurs in that service is performed by remote control due to a lack of active interaction with a human (user) in the actual field. Research and development is underway to improve the recognition technology of robot video or audio in real environment, but this requires enormous investment costs and research periods, or the result of investment is not derived so that the company can enter the market and generate profit in the industrial field. Difficulties arise.

한편, 최근의 음성인식 스마트 기기(스마트 폰, 스마트 탭, 태블릿 PC 등)나 로봇 등의 경우, 아주 가까운 거리에서 말해야 인식률이 높아지나, 조금이라도 떨어져 있는 경우 인식률이 현저히 떨어져 관련성이 없는 결과물들을 도출시키는 문제가 있다. 결과적으로, 종래 로봇의 경우에는 비협조적인 상황에서는 바로 상황이 종료되거나 의도하지 않는 결과물을 도출시키는 문제점이 있다.
On the other hand, in the case of recent voice recognition smart devices (smartphones, smart tabs, tablet PCs, etc.) or robots, the recognition rate increases when speaking at a close distance, but when the distance is a little, the recognition rate drops significantly, resulting in irrelevant results. There is a problem. As a result, in the case of the conventional robot, there is a problem that the situation is immediately terminated or an unintended result is derived in an uncooperative situation.

본 발명은 상기와 같은 사항을 감안하여 창출된 것으로서, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도 표현을 줌으로써 의도적 협조상황을 만들어, 최종적으로는 사용자와 로봇 간에 상황에 맞는 대화를 나누거나 사용자에게 필요한 서비스를 제공할 수 있도록 하는 감성 교감 로봇 서비스 시스템 및 그 방법을 제공함에 그 목적이 있다.
The present invention was created in view of the above matters, and the robot creates an intentional cooperative situation by inducing the robot to guide the user (human) until the robot obtains the desired information, and finally, a dialogue appropriate to the situation between the user and the robot. The purpose of the present invention is to provide an emotional sympathetic robot service system and a method for sharing the information or providing a service required by a user.

상기의 목적을 달성하기 위하여 본 발명에 따른 감성 교감 로봇 서비스 시스템은, 감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈; 상기 감지센서로부터 수신된 정보를 이용하여 행동 정보를 추출하는 감지 인식부와, 상기 영상센서로부터 수신된 정보를 이용하여 얼굴 정보를 추출하는 영상 인식부 및 상기 음성센서로부터 수신된 정보를 이용하여 음성 언어 정보를 추출하는 음성 인식부를 포함하는 상황인식 모듈; 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 수신하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 정보를 얻기 위해 사용자의 유도를 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 사용자에게 감정 및 상황에 맞는 서비스를 제공하는 서비스 처리 모듈; 및, 상기 서비스 처리 모듈의 처리 신호에 따라 외부에 미리 설정된 표현을 하는 표현 모듈을 포함한다.In order to achieve the above object, the emotional sympathetic robot service system according to the present invention includes a sensor module including a sensor, an image sensor, and a voice sensor; A detection recognition unit extracting behavior information using the information received from the sensor, an image recognition unit extracting face information using the information received from the image sensor, and a voice using the information received from the voice sensor A situation recognition module including a speech recognition unit extracting language information; Receiving recognition information extracted from the detection recognition unit, the image recognition unit, and the voice recognition unit, it is determined whether the information is suitable for preset desired recognition information, and if the information is not suitable for the preset desired recognition information, the desired information is obtained. A service processing module for expressing the user's induction, and analyzing the user's situation and emotions using the recognition information when the user's information is suitable for the desired recognition information, and providing a service suitable for the user's emotions and situations; And an expression module configured to pre-set an expression externally according to the processing signal of the service processing module.

한편, 상기 서비스 처리 모듈은 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 이용하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 인식 정보 판단부; 상기 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 정보를 얻기 위해 상기 표현 모듈을 통해 사용자의 유도를 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 상기 표현 모듈을 통해 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 판단하는 로봇 서비스 판단부; 및, 상기 로봇 서비스 판단부를 통해 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 정보 처리하는 로봇 표현 처리부를 포함한다.On the other hand, the service processing module includes a recognition information determining unit for determining whether the information is suitable for the predetermined desired recognition information by using the recognition information extracted from the detection recognition unit, the image recognition unit and the voice recognition unit; When the information is not suitable for the preset desired recognition information, the expression module is used to guide the user to obtain desired information. When the information is suitable for the desired recognition information, the user's situation and emotions are used by using the recognition information. A robot service determination unit configured to analyze the determination to provide a service suitable for a situation and emotion to a user through the expression module; And a robot expression processor configured to process information corresponding to a situation and emotion into data necessary for the robot expression through the robot service determiner.

한편, 상기 표현 모듈은 음악이나 효과음의 소리나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현, 또는 가시적으로 볼 수 있는 광의 표시를 하는 감성 표현부; 특정 동작이나 몸짓을 표현하거나 또는 주행을 하도록 하는 행위 표현부; 언어로 표현하는 발화 표현부; 및, 상기 서비스 처리 모듈로부터 수신된 처리 신호를 상기 감성 표현부, 행위 표현부, 발화 표현부로 표현 데이터를 할당하도록 하는 로봇 표현부를 포함한다.The expression module may include an emotion expression unit configured to display a sound of music or sound effects, a representation of a human face or a certain character shape, or a visible light on a display; An action expression unit for expressing a specific motion or gesture or for driving; Speech expression unit to express in language; And a robot expression unit configured to allocate expression data to the emotion expression unit, the action expression unit, and the speech expression unit by using the processing signal received from the service processing module.

또한, 상기 표현 모듈은 상기 서비스 처리 모듈로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리하여 상기 발화 표현부를 통해 표현하도록 하는 대화 관리부를 더 포함한다.In addition, the expression module integrates and manages a conversation so as to perform a customized conversation with a user by using context and emotion information provided from the service processing module and information on a form or language of a conversation to be recommended. The conversation management unit for expressing through the speech expression unit further comprises.

또한, 상기 대화 관리부는 통합 대화 관리 체계로서 목적형 대화처리부, 잡담형 대화처리부, 및 질의 응답부를 포함한다.In addition, the conversation manager includes an objective conversation processor, a chat conversation processor, and a query response unit as an integrated conversation management system.

한편, 상기 목적을 달성하기 위한 본 발명에 따른 감성 교감 로봇 서비스 방법은, 감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈, 상황인식 모듈, 서비스 처리 모듈, 표현 모듈을 포함하는 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법으로서, a) 상기 감지센서, 영상센서, 음성센서로부터 수신된 정보를 이용하여 상황인식 모듈이 행동 정보, 얼굴 정보, 음성 언어 정보를 추출하는 단계; b) 상기 추출된 인식 정보를 이용하여 서비스 처리 모듈이 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 단계; c) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 상기 서비스 처리 모듈이 사용자의 유도를 위한 표현을 하도록 처리하는 단계; d) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한 경우 상기 서비스 처리 모듈이 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하는 단계; 및, e) 상기 사용자의 상황 및 감정을 분석한 결과 및 상기 사용자의 유도를 위한 표현 처리 정보를 수신하여, 상기 표현 모듈이 외부에 미리 설정된 표현을 하는 단계를 포함한다.On the other hand, Emotional sympathetic robot service method according to the present invention for achieving the above object, Emotional sympathetic robot service including a sensor module, a situation recognition module, a service processing module, a representation module including a sensor and an image sensor and a voice sensor An emotional sympathetic robot service method using a system, the method comprising: a) extracting behavior information, face information, and voice language information by a situation recognition module using information received from the sensor, image sensor, and voice sensor; b) determining, by the service processing module, whether the recognition information is suitable for preset desired recognition information by using the extracted recognition information; c) processing the service processing module to make a representation for user's induction when the recognition information does not fit the preset desired recognition information; d) analyzing, by the service processing module, the situation and emotion of the user using the recognition information when the recognition information is suitable for preset desired recognition information; And e) receiving a result of analyzing the situation and emotion of the user and expression processing information for inducing the user, and expressing, by the expression module, a preset expression externally.

한편, 상기 단계 d) 단계는 사용자의 영상 정보 및 음성 정보를 이용하여, 사용자의 언어와 표정을 같이 분석하여 사용자의 연령대, 성별, 표정에 따라 상황 및 감정을 분석하는 동시에, 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 제공하는 것을 포함한다.On the other hand, step d) is to analyze the user's language and facial expressions by using the user's video information and audio information to analyze the situation and emotions according to the user's age, gender, and facial expression, This includes providing information about the form or language used.

또한, 상기 단계 e) 단계에서 사용자의 유도를 위한 미리 설정된 형태의 표현은, 미리 설정된 언어를 표현하거나, 가시적으로 볼 수 있는 광을 표시하거나, 미리 설정된 음악이나 효과음의 사운드를 출력하거나, 특정 동작(제스처) 또는 주행을 하거나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현을 하는 것 중의 적어도 하나를 포함한다.
In addition, in the step e), the preset type of expression for inducing the user may represent a preset language, display a visible light, output a preset music or sound effect, or perform a specific operation. (Gesture) or traveling, or at least one of expressing a human face or a certain character shape on a display.

이와 같은 본 발명에 의하면, 로봇이 원하는 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도 표현을 해줌으로써, 능동적으로 사용자 참여를 유도하고 의도적 협조상황을 만들게 하여, 최종적으로는 로봇과 사용자 간에 상황에 맞는 대화를 나누거나 사용자가 필요로 하는 적절한 서비스를 제공할 수 있게 된다. 이로 인해, 본 발명이 적용되는 다양한 목적의 서비스 로봇 예를 들면 안내 로봇, 교육 로봇, 노약자를 위한 말벗 로봇, 가정/오피스 로봇 등이 어떠한 상황이나 장소, 시간 등에서 사용자에게 적합한 맞춤형 감성 교감 서비스를 제공할 수 있어 결국 사용자 만족도를 높이는 효과가 있다.
According to the present invention, the robot expresses the user (human) until the robot obtains the desired information, thereby actively inducing user participation and creating an intentional cooperative situation, and finally, the situation between the robot and the user. It is possible to have a suitable conversation or to provide a proper service required by the user. Accordingly, the service robot for various purposes to which the present invention is applied, for example, a guide robot, an education robot, a robot for the elderly, a robot for home and office, and a home / office robot provide a customized emotional sympathetic service suitable for a user in any situation, place, and time. This can increase the user's satisfaction.

도 1은 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 시스템의 개략적인 구성도.
도 2는 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 방법의 실행 과정을 보여주는 흐름도.1 is a schematic configuration diagram of an emotional sympathetic robot service system according to an embodiment of the present invention.
2 is a flow chart showing an execution process of the emotional sympathetic robot service method according to an embodiment of the present invention.

본 발명을 설명함에 있어서, 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의를 위해 과장되거나 단순화되어 나타날 수 있다. 또한 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들은 본 명세서 전반에 걸친 내용을 토대로 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.In describing the present invention, the sizes and shapes of the components shown in the drawings may be exaggerated or simplified for clarity and convenience of explanation. In addition, terms that are specifically defined in consideration of the configuration and operation of the present invention may vary depending on the intention or custom of the user or operator. These terms are to be construed in accordance with the meaning and concept consistent with the technical idea of the present invention based on the contents throughout the present specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, "" module, "and" device " Lt; / RTI >

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 시스템의 구성을 개략적으로 보여주는 도면이다. 본 발명에 따른 감성 교감 로봇 서비스 시스템은 일반적으로 몸체를 포함하는 로봇 등에 구체적으로 적용되며, 로봇 몸체에는 터치 에 의한 입력과 출력이 동시에 이루어지는 디스플레이부가 구비된다.1 is a view schematically showing the configuration of an emotional sympathetic robot service system according to an embodiment of the present invention. Emotional sympathetic robot service system according to the present invention is generally specifically applied to a robot including a body, the robot body is provided with a display unit which is simultaneously input and output by a touch.

도 1을 참조하면, 본 발명에 따른 감성 교감 로봇 서비스 시스템은 센서 모듈(110), 상황 인식 모듈(120), 서비스 처리 모듈(130), 표현 모듈(150), 데이터베이스부(140,160)를 포함한다. Referring to FIG. 1, the emotional sympathetic robot service system according to the present invention includes a sensor module 110, a situation recognition module 120, a service processing module 130, a representation module 150, and a database unit 140, 160. .

센서 모듈(110)은 보통 로봇 몸체의 외부에 설치되며, 사용자와의 거리나 동작을 감지하는 감지센서(112)와, 이미지를 포함하는 영상을 감지하는 영상센서(114) 및 음성을 감지하는 음성센서(116)를 포함한다. 감지센서(112)는 예를 들어 물체를 감지하고 거리를 파악하는 초음파 센서나 적외선 센서 또는 레이저 센서 등의 거리센서와, 동작 또는 제스처를 감지하는 모션감지센서 등을 포함한다. 한편, 영상센서(114) 및 음성센서(116)는 영상 및 음성 정보를 수집하기 위해 필요한 장치 예를 들어 카메라, 마이크 등을 포함하는 개념으로 해석될 수 있다.Sensor module 110 is usually installed on the outside of the robot body, the sensor 112 for detecting the distance or motion with the user, the image sensor 114 for detecting the image including the image and the voice for detecting the voice Sensor 116. The detection sensor 112 includes, for example, a distance sensor such as an ultrasonic sensor or an infrared sensor or a laser sensor that detects an object and detects a distance, and a motion detection sensor that detects an operation or a gesture. On the other hand, the image sensor 114 and the voice sensor 116 may be interpreted as a concept including a device, such as a camera, a microphone, etc. necessary for collecting the image and audio information.

상황 인식 모듈(120)은 상기 센서 모듈(110)의 각종 센서들로부터 수신된 정보를 이용하여 거리 정보, 영상 정보, 음성 정보 중 필요한 정보를 추출하여 후속 장치요소로 전달하며, 구체적으로 감지 인식부(122)와 영상 인식부(124) 및 음성 인식부(126)를 포함한다. The context recognition module 120 extracts necessary information among distance information, image information, and voice information using information received from various sensors of the sensor module 110 and transmits the necessary information to subsequent device elements. And an image recognition unit 124 and an audio recognition unit 126.

감지 인식부(122)는 감지센서(112)로부터 입력된 감지정보로부터 사용자와의 거리 및 위치, 동작, 자세 또는 제스처 등에 대한 행동 정보를 추출하게 된다. 영상 인식부(124)는 영상센서(114)로부터 입력된 정보를 영상 처리하여 그 중 사용자의 얼굴 정보를 추출하게 된다. 그리고 음성 인식부(126)는 음성센서(116)로부터 입력된 정보에서 언어 정보를 추출하게 된다. The sensor recognizer 122 extracts behavior information about a distance and a location, an operation, a posture, or a gesture with a user from the sensor information input from the sensor 112. The image recognition unit 124 performs image processing on the information input from the image sensor 114 to extract face information of the user. The voice recognition unit 126 extracts language information from the information input from the voice sensor 116.

서비스 처리 모듈(130)은 상기 상황 인식 모듈(120)의 감지 인식부(122), 영상 인식부(124), 음성 인식부(126)로부터 추출된 각종 인식 정보를 이용하여 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 사용자 유도를 위한 표현을 하도록 처리한다. 그리고, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 종합적으로 분석하여 사용자에게 상황 및 감정에 맞는 서비스를 제공하게 된다. 구체적으로, 서비스 처리 모듈(130)은 인식 정보 판단부(132)와, 로봇 서비스 판단부(134) 및 로봇 표현 처리부(136)를 포함한다. The service processing module 130 may preset the recognition information using various recognition information extracted from the detection recognition unit 122, the image recognition unit 124, and the voice recognition unit 126 of the situation recognition module 120. It is determined whether it is suitable for the desired recognition information, and if it is not suitable for the preset desired recognition information, a process for expressing a user to obtain desired recognition information is processed. In addition, when suitable for the desired recognition information, the situation and emotion of the user are comprehensively analyzed using the recognition information to provide a service suitable for the situation and emotion to the user. In detail, the service processing module 130 includes a recognition information determining unit 132, a robot service determining unit 134, and a robot expression processing unit 136.

인식 정보 판단부(132)는 감지 인식부(122), 영상 인식부(124), 음성 인식부(126)로부터 추출된 각종 인식 정보를 이용하여 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단한다. 예를 들어, 감지 인식부(122)를 통해 수신된 사용자 행동 정보를 이용하여, 사용자와의 거리가 설정된 거리를 벗어나는 경우, 또는 사용자가 뛰거나 달리는 등으로 인해 미리 설정된 속도를 벗어나는 경우 등 감지 DB(141)에 저장되어 있는 행동 정보와 비교하기 곤란하거나 비교할 수 없어 미리 설정된 행동 정보를 벗어나는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다. 또한, 영상 인식부(124)를 통해 수신된 얼굴 인식 정보가 부족하거나 또는 식별할 수 없어 영상 DB(142)에 저장되어 있는 얼굴 정보와 비교하기 곤란하거나 비교할 수 없는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다. 그리고, 음성 인식부(126)를 통해 수신된 음성 언어 정보가 부족하거나 또는 식별할 수 없어 음성 DB(143)에 저장되어 있는 언어 정보와 비교하기 곤란하거나 비교할 수 없는 경우 원하는 인식 정보에 해당하지 않는 것으로 판단하게 된다.The recognition information determining unit 132 uses various types of recognition information extracted from the detection recognition unit 122, the image recognition unit 124, and the voice recognition unit 126 to determine whether the recognition information is suitable for the preset desired recognition information. Judge. For example, by using the user behavior information received through the detection recognition unit 122, when the distance from the user is out of the set distance, or when the user is out of the preset speed due to running or running, etc., detection DB If it is difficult to compare with the behavior information stored in the operation information 141 or cannot be compared with the predetermined behavior information, it is determined that it does not correspond to the desired recognition information. In addition, when face recognition information received through the image recognition unit 124 is insufficient or cannot be identified, it is difficult to compare with face information stored in the image DB 142 or cannot be compared to desired recognition information. Will be judged. If the speech language information received through the speech recognition unit 126 is insufficient or cannot be identified, it is difficult to compare or cannot compare the language information stored in the speech DB 143. Will be judged.

로봇 서비스 판단부(134)는 인식 정보 판단부(132)에 의해 판단된 결과를 이용하여, 사용자 유도 표현을 하도록 하거나 또는 사용자에게 각각의 상황에 맞는 서비스를 제공하도록 처리한다.The robot service determination unit 134 uses the result determined by the recognition information determination unit 132 to process a user guided expression or to provide a service suitable for each situation to the user.

먼저 인식 정보 판단부(132)에서 원하는 인식 정보에 적합하지 않다고 판단하는 경우, 로봇 서비스 판단부(134)는 원하는 정보를 얻기 위해 표현 모듈(150)을 통해 사용자 유도를 위한 표현(피드백)을 하도록 처리한다. 예를 들어 감지된 사용자의 행동이 미리 설정된 행동 정보를 벗어나서 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 설정된 형태의 행동으로 표현을 하도록 처리한다. 또한, 얼굴 정보가 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 얼굴 인식이 잘되는 위치 또는 자세로 사용자를 유도하도록 처리한다. 그리고, 음성 언어 정보가 원하는 인식 정보에 해당하지 않는 것으로 판단되면, 로봇 서비스 판단부(134)는 상기 표현 모듈(150)을 통해 음성 인식이 잘되도록 다시 말하게 하거나 또는 음성 인식이 잘되는 위치로 사용자를 유도하는 표현을 하도록 처리한다.First, when the recognition information determiner 132 determines that it is not suitable for the desired recognition information, the robot service determiner 134 may perform a representation (feedback) for user induction through the expression module 150 to obtain desired information. Process. For example, if it is determined that the detected user's behavior does not correspond to the desired recognition information outside of the preset behavior information, the robot service determination unit 134 expresses the behavior in a form set through the expression module 150. Process. In addition, if it is determined that the face information does not correspond to the desired recognition information, the robot service determination unit 134 processes to guide the user to a position or posture where the face is well recognized through the expression module 150. And, if it is determined that the speech language information does not correspond to the desired recognition information, the robot service determination unit 134 causes the speech recognition through the expression module 150 to be well spoken or the user to the position where the speech recognition is well performed. Handle to make a derivation.

한편, 인식 정보 판단부(132)에서 원하는 인식 정보에 적합하다고 판단하는 경우, 로봇 서비스 판단부(134)는 상기 각각의 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 판단하고, 상기 표현 모듈(150)을 통해 각각의 상황 및 감정에 대응하는 서비스를 제공하도록 한다. 또한, 로봇 서비스 판단부(134)는 사용자의 언어(언어 인식 정보) 및 얼굴 표정(얼굴 인식 정보)을 분석하여 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 제공한다. 사용자의 언어 만으로는 정확한 의도나 감정, 상태 등을 알기 어렵다. 따라서, 사용자의 얼굴 표정을 분석하여 사용자의 정확한 의도나 감정, 상태 등을 더욱 자세하게 파악하는데 도움이 된다. 예를 들어, 웃거나 미소짓거나 찡그리거나 화난 표정을 인식하여 기분상태를 알 수 있고, 입모양을 인식하여 음성의 인식율을 높일 수 있고, 얼굴을 인식하여 사용자의 성별 및 나이 등을 파악할 수 있게 된다. 따라서, 로봇 서비스 판단부(134)는 음성 및 영상 정보를 이용하여 연령대, 나이대, 성별 등의 요소를 모두 고려하여 사용자의 대화 의도, 감정, 기분, 상황 등을 파악할 수 있게 된다.On the other hand, when it is determined that the recognition information determination unit 132 is suitable for the desired recognition information, the robot service determination unit 134 analyzes and determines the user's situation and emotion using the respective recognition information, and the expression module Through 150, to provide a service corresponding to each situation and emotion. In addition, the robot service determination unit 134 analyzes the user's language (language recognition information) and facial expressions (face recognition information) to provide information on the form of conversation or the language of recommendation. It is difficult to know the exact intentions, feelings, and states only by the language of the user. Therefore, by analyzing the facial expressions of the user, it is helpful to grasp the user's exact intention, emotion, state, etc. in more detail. For example, you can recognize moods by recognizing smiles, smiles, frowns, or angry expressions, increase the recognition rate of speech by recognizing mouth shape, and recognize the user's gender and age by recognizing faces. do. Therefore, the robot service determination unit 134 may determine the user's intention, emotion, mood, situation, etc. in consideration of all factors such as age, age, and gender by using voice and image information.

로봇 표현 처리부(136)는 로봇 서비스 판단부(134)를 통해 사용자 유도를 위한 표현과, 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 처리하여 표현 모듈(150)에 송신한다.The robot expression processing unit 136 processes the expression for user guidance and the service suitable for the situation and emotion through the robot service determination unit 134 as necessary data suitable for the robot expression and transmits it to the expression module 150.

표현 모듈(150)은 서비스 처리 모듈(130)의 서비스 처리 신호에 따라 외부에 미리 설정된 표현을 하며, 구체적으로 로봇 표현부(152), 감성 표현부(153), 행위 표현부(154), 발화 표현부(156), 대화 관리부(155)를 포함한다.The expression module 150 expresses a preset expression externally according to the service processing signal of the service processing module 130, and specifically, the robot expression unit 152, the emotion expression unit 153, the action expression unit 154, and the speech The expression unit 156 and the conversation manager 155 are included.

감성 표현부(153)는 로봇 표현부(152)로부터 처리신호를 받아 감성 DB(161)에 저장되어 있는 감성 표현 정보 즉, 음악이나 효과음 등의 소리나, 또는 사람 얼굴 또는 일정 캐릭터 형상의 표시, 또는 가시적으로 볼 수 있는 광의 표시를 하도록 하는 한다. 이를 위해 본 시스템이 적용되는 로봇 본체에는 소리 표현을 위한 스피커, 사람 얼굴 또는 일정 캐릭터 형상의 표현을 위한 디스플레이부, 광 표시를 위한 LED와 같은 다양한 램프 등이 설치되며, 또한, 상기 디스플레이부에는 터치 입력부가 같이 구비되어 감성 표현부(153)는 사용자 안내를 위한 UI 화면을 제공하거나, 전술한 바와 같이 사람 또는 일정 캐릭터 형상을 표시하도록 하여, 사용자와의 대화 또는 표현을 수행할 때 적합한 감정 표현을 할 수 있도록 할 수 있다.The emotion expression unit 153 receives a processing signal from the robot expression unit 152 and displays emotion expression information stored in the emotion DB 161, that is, sounds such as music or sound effects, or a human face or a certain character shape, Or display the visible light. To this end, the robot body to which the present system is applied is provided with a speaker for expressing sound, a display for expressing a human face or a certain character shape, various lamps such as an LED for light display, and the touch unit. The emotion expression unit 153 is provided with an input unit to provide a UI screen for guiding a user, or to display a person or a predetermined character shape as described above, so that an appropriate emotion expression is performed when a conversation or expression with the user is performed. You can do it.

행위 표현부(154)는 로봇 표현부(152)로부터 처리신호를 받아 행위 DB(162)에 저장되어 있는 행위 정보 즉, 로봇 몸체가 특정 동작이나 몸짓(로봇 얼굴을 기웃거린다거나 팔을 흔들거나, 몸체를 흔들거나 춤을 추는 동작 등 로봇 본체의 광범위한 움직임을 포함)을 표현하거나 또는 주행을 하도록 하게 한다. 로봇의 동작 표현 및 주행을 위해 로봇 몸체에는 바퀴 등을 포함하는 구동부와 기타 다양한 구성요소가 구비될 수 있다. The action expression unit 154 receives a processing signal from the robot expression unit 152 and the action information stored in the action DB 162, that is, the robot body makes a specific motion or gesture (sneaking a robot face or shaking an arm, Express a wide range of movements of the robot's body, such as shaking or dancing the body) or to drive. The robot body may be provided with a driving unit including wheels and other various components to express the movement of the robot and to drive the robot.

대화 관리부(155)는 발화를 하기 위해 필요한 말들을 만드는 역할을 수행하게 된다. 또한 대화 관리부(155)는 상기 서비스 처리 모듈(130)로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 로봇 표현부(152)로부터 처리신호를 받아 대화 DB(163)에 저장되어 있는 대화 정보를 이용하여 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리한다. 이와 같은 대화 관리부(155)는 하나의 통합 대화 관리 체계로서 어떤 주제에 관해 사용자와 대화를 하게 하는 목적형 대화처리부, 사용자와 일상 생활 용어의 대화를 하도록 하는 잡담형 대화처리부), 사용자의 질문에 대해 답을 할 수 있도록 하는 질의 응답부(153)를 포함할 수 있다. The conversation manager 155 plays a role of making words necessary for speaking. In addition, the conversation managing unit 155 receives a processing signal from the robot expression unit 152 using the situation and emotion information provided from the service processing module 130 and information on the form or language of the conversation to be recommended, and the conversation DB The conversation is integratedly managed to perform a customized conversation with the user by using the conversation information stored in the 163. As such, the conversation manager 155 is an integrated conversation management system, which includes a conversational conversation processor that allows a user to talk with a user about a topic, a chatter that allows a user to talk about everyday life terms, and a user's question. It may include a query response unit 153 to enable the answer.

발화 표현부(156)는 대화 관리부(155)에서 만들어진 말들을 스피커를 통해 발화할 수 있도록 하며, 텍스트(문자)를 음성으로 합성하여 말(언어)로 표현하는 TTS(text-to-speech)가 구비될 수 있다. The speech expression unit 156 may utter words made by the conversation manager 155 through a speaker, and a text-to-speech (TTS) for synthesizing texts (characters) into speech and expressing them in words (language) may be used. It may be provided.

로봇 표현부(152)는 서비스 처리 모듈(130)로부터 수신된 처리 신호를 상기 감성 표현부(153), 행위 표현부(154), 대화 관리부(155) 및 발화 표현부(156)로 표현 데이터를 할당하도록 하여 상기 각 구성요소들이 기능에 맞는 적합한 표현을 하도록 한다.The robot expression unit 152 transmits the expression data received from the service processing module 130 to the emotion expression unit 153, the action expression unit 154, the conversation manager 155, and the speech expression unit 156. Assignment allows each of the above components to have an appropriate representation for their function.

데이터베이스부(140,160)는 각종 감지 정보가 저장되어 있는 감지 DB(141), 영상 특히 얼굴 정보가 저장되어 있는 영상 DB(142), 음성 특히 언어 정보가 저장되어 있는 음성 DB(143)를 구비하는 제1데이터베이스부(140)와, 감성 정보가 저장되어 있는 감성 DB(161), 행위 정보가 저장되어 있는 행위 DB(62), 대화 정보가 저장되어 있는 대화 DB(163)을 구비하는 제2데이터베이스부(160)를 포함한다. 상기 데이터베이스부(140,160)는 본 시스템이 적용되는 로봇 몸체에 설치되거나, 또는 외부에 설치된 서버 등에 설치되어 로봇 본체와 통신을 수행하여 정보를 주고받을 수 있도록 할 수 있다. The database unit 140 or 160 includes a sensing DB 141 storing various types of sensing information, an image DB 142 storing an image, especially facial information, and an audio DB 143 storing an audio, especially language information. The second database unit includes a first database unit 140, an emotion DB 161 in which emotion information is stored, an action DB 62 in which action information is stored, and a conversation DB 163 in which conversation information is stored. 160. The database units 140 and 160 may be installed on a robot body to which the present system is applied, or installed on a server installed outside to communicate with the robot body to exchange information.

이하, 상기와 같은 구성을 가지는 본 발명에 따른 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법에 대하여 설명해 보기로 한다.Hereinafter, the emotional sympathetic robot service method by the emotional sympathetic robot service system according to the present invention having the above configuration will be described.

도 2는 본 발명의 실시 예에 따른 감성 교감 로봇 서비스 방법의 실행 과정을 보여주는 흐름도이다.2 is a flowchart illustrating an execution process of an emotional sympathetic robot service method according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 감성 교감 로봇 서비스 방법은, 전술한 바와 같은 센서 모듈(110), 상황 인식 모듈(120), 서비스 처리 모듈(130), 표현 모듈(150)을 포함하는 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법으로서, 먼저 상황 인식 모듈(120)은 센서 모듈(110)의 각각의 센서로부터 수집된 정보를 이용하여 정보를 추출하게 된다.Referring to FIG. 2, the emotional sympathetic robot service method according to the present invention includes an emotion including the sensor module 110, the situation recognition module 120, the service processing module 130, and the expression module 150 as described above. As an emotional sympathetic robot service method by the sympathetic robot service system, first, the situation recognition module 120 extracts information using information collected from each sensor of the sensor module 110.

감지센서(112)로부터 감지 정보를 수신하게 되면(S211), 감지 인식부(122)는 이러한 감지 정보를 이용하여 행동 정보를 추출하게 된다(S212). 추출된 인식 정보(거리 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S213).When receiving the detection information from the sensor 112 (S211), the detection recognizer 122 extracts the behavior information by using the detected information (S212). Using the extracted recognition information (distance information), the service processing module 130 determines whether it is suitable for preset desired recognition information (S213).

원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 행동을 유도하는 표현을 하도록 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S214).If it is not suitable for the desired recognition information, the service processing module 130 processes the necessary information to make a representation that induces the user's action, the representation module 150 is set in advance according to the instructions of the service processing module 130 To express the form (S214).

즉, 사용자를 감지하였으나 미리 설정된 거리, 위치, 자세, 속도 등을 벗어나는 상태에 있는 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들면, 발화 표현부(156)를 통해 "가까이 오세요, 멀리 계시네요", "조금만 더 다가와 주세요", "뛰지 말고 천천히 다가와 주세요", "서서 걸어오세요" 라고 말로 표현하거나, 또는 감성 표현부(153)를 통해 램프로 깜빡깜빡 시각적으로 표시하거나 디스플레이부 상에 대기 화면에서 서비스 화면으로 화면 전환을 하거나, 또는 행위 표현부(154)를 통해 춤을 추거나 또는 구동부를 동작하여 사용자에게 다가가는 행위 등의 표현을 하도록 한다.That is, when the user is detected but is out of a preset distance, position, posture, speed, etc., according to the processing signal of the service processing module 130, the expression module 150 displays the user in a preset form (feedback). To give. For example, through the speech expression unit 156, the words "Come near, are far away", "Please come a little closer", "Please do not run slowly", "Stand up and walk", or Emotional expression By visually blinking with a lamp through the display (153) or to switch the screen from the standby screen to the service screen on the display, or dance through the action expression unit 154 or to operate the driving unit to approach the user Try to express your actions.

또한, 영상센서(114)로부터 영상 정보를 수신하게 되면(S221), 영상 인식부(124)는 이러한 영상 정보를 이용하여 그 중 얼굴 정보를 추출하게 된다(S222). 추출된 인식 정보(얼굴 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S223).In addition, when receiving image information from the image sensor 114 (S221), the image recognition unit 124 uses the image information to extract the face information among them (S222). Using the extracted recognition information (face information), the service processing module 130 determines whether it is suitable for preset desired recognition information (S223).

원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 얼굴을 정확하게 인식하도록 위치 이동 또는 접근을 유도하는 표현을 하도록 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S224).If it is not suitable for the desired recognition information, the service processing module 130 processes the necessary information to make a representation that induces movement or access to the location of the user to correctly recognize the face, the representation module 150 is a service processing module ( In accordance with the instructions of 130) to express the preset form (S224).

즉, 사용자의 영상 정보를 획득한 후, 이 중에서 필요한 사람의 얼굴 정보를 추출하는데, 추출된 얼굴 정보가 식별이 정확히 안되거나 불명료하여 원하는 인식 정보가 아니라고 판단된 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들어, 발화 표현부(156)를 통해 "똑바로 봐주세요, 제(로봇) 얼굴을 정확히 봐주세요"라는 말로 표현하거나, 감성 표현부(153)를 통해 미리 저장된 음악을 재생하거나 또는/동시에 디스플레이부 상에 사람 얼굴 또는 캐릭터의 유혹하는 표정 또는 놀라는 표정 등의 화면을 제공하도록 하여 사용자의 얼굴을 인식하도록 유도하는 표현을 한다. That is, after acquiring the user's image information and extracting the face information of the required person from among them, if it is determined that the extracted face information is not correctly identified or unclear and not the desired recognition information, the service processing module 130 In accordance with the processing signal, the presentation module 150 gives the user a presentation (feedback) in a preset form. For example, the expression may be expressed through the utterance expression unit 156 as "Please look straight, please see the (robot) face exactly", or play the pre-stored music through the emotional expression unit 153, or at the same time on the display unit An expression for inducing a user's face to be recognized by providing a screen such as a tempting or surprised expression of a human face or a character.

한편, 음성센서(116)로부터 음성 정보를 수신하게 되면(S231), 음성 인식부(126)는 이러한 음성 정보를 이용하여 그 중 언어 정보를 추출하게 된다(S232). 추출된 인식 정보(언어 정보)를 이용하여 서비스 처리 모듈(130)은 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하게 된다(S233).On the other hand, when the voice information is received from the voice sensor 116 (S231), the voice recognition unit 126 uses the voice information to extract the language information (S232). Using the extracted recognition information (language information), the service processing module 130 determines whether it is suitable for preset desired recognition information (S233).

원하는 인식 정보에 적합하지 않은 경우, 서비스 처리 모듈(130)은 사용자의 언어를 정확하게 인식하도록 유도하는 표현을 하기 위해 필요한 정보를 처리하게 되고, 표현 모듈(150)은 서비스 처리 모듈(130)의 지시에 따라 미리 설정된 형태의 표현을 하도록 한다(S224).If it is not suitable for the desired recognition information, the service processing module 130 will process the information necessary for the expression to induce the user to correctly recognize the language, the representation module 150 is instructed by the service processing module 130 In accordance with the expression to be set in advance (S224).

즉, 사용자의 음성 정보를 획득한 후, 이 중에서 필요한 사람의 언어 정보를 추출하는데, 추출된 언어 정보가 인식이 정확히 안되거나 언어 정보를 획득할 수 없는 경우, 서비스 처리 모듈(130)의 처리 신호에 따라 표현 모듈(150)은 미리 설정된 형태의 표현(피드백)을 사용자에게 준다. 예를 들어, 발화 표현부(156)를 통해 "무슨 말씀인지 잘 모르겠어요."라든가, "정확하게(분명하게) 말씀해 주세요." 또는 "∼라는 말이 맞습니까?" 라고 표현하여 사용자 언어 인식을 유도하도록 한다.That is, after acquiring the voice information of the user and extracting the language information of the required person from among them, when the extracted language information is not recognized correctly or the language information cannot be obtained, the processing signal of the service processing module 130 In accordance with the expression module 150 gives the user a representation (feedback) of the preset form. For example, through the speech expression unit 156, "I do not know what you are talking about" or "Please speak clearly (clearly)." Or "is it right?" In order to induce user language recognition.

획득한 거리 정보, 얼굴 정보, 언어 정보가 원하는 인식 정보에 적합하다고 판단된 경우, 그 획득된 사용자의 얼굴 정보 및 언어 정보를 이용하여 서비스 처리 모듈(130)은 사용자의 상황 및 감정을 분석하고 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 처리하게 된다(S240). 즉, 서비스 처리 모듈(130)은 인식된 영상 정보 예를 들면, 표정(기분상태 알고자 함), 입모양(음성인식율 높이고자 함), 성별, 나이(존대말 유무) 등을 이용하여 사용자의 연령대, 성별, 기분 등을 파악한다. 그리고, 서비스 처리 모듈(130)은 인식된 얼굴 정보(감정, 기분, 연령대, 성별, 키) 및 언어 정보를 종합적으로 고려하여 감정, 상황, 개별적 지식 등에 맞는 목적형 대화, 잡담형 대화, 질의 응답, 검색, 일상대화, 평소 언어 등을 사용자와 대화하도록 처리하거나, 이러한 대화가 수행될 때 또는 별개로 상황에 적합한 표정이나 제스처를 표출하거나 터치 입력을 수행하도록 처리한다.When it is determined that the acquired distance information, face information, and language information are suitable for the desired recognition information, the service processing module 130 analyzes the user's situation and feelings by using the acquired face information and language information of the user. Process to provide a service according to the situation and emotions (S240). That is, the service processing module 130 uses the recognized image information, for example, facial expression (to know mood), mouth shape (to increase voice recognition rate), gender, age (with or without end), etc. Know your gender, mood, and more. In addition, the service processing module 130 comprehensively considers the recognized face information (emotion, mood, age group, gender, height) and language information, and includes a purpose-oriented conversation, a chat type conversation, a question answer, Searches, conversations, and usual language are processed to communicate with the user, or when such conversations are performed or separately, expressions or gestures appropriate to the situation are processed, or touch inputs are performed.

그런 후, 서비스 처리 모듈(130)의 처리 신호에 의해 표현 모듈(150)은 사용자와의 맞춤형 대화를 수행하거나(S260), 또는 디스플레이부에 사용자 터치 입력을 유도하는 발화 또는 UI 제공 또는 표정이나 캐릭터 형상을 표시하게 된다(S250). Then, the expression module 150 performs a customized conversation with the user by the processing signal of the service processing module 130 (S260), or provides a speech or UI providing a user's touch input to the display unit or an expression or character. The shape is displayed (S250).

이상의 설명에서와 같이, 본 발명에 의하면 로봇이 원하는 필요한 정보를 얻을 때까지 로봇이 사용자(인간)에게 유도를 위한 표현(피드백)을 줌으로써, 능동적으로 사용자 참여를 유도하고 의도적 협조상황을 만들게 하여, 최종적으로는 로봇과 사용자 간에 상황에 맞는 대화 또는 사용에게 필요한 서비스를 제공할 수 있게 된다. 이로 인해, 어떠한 상황이나 장소, 시간 등에서 사용자에게 적합한 맞춤형 감성 교감 서비스를 제공할 수 있어 사용자 만족도가 높아지는 효과가 있다. As described above, according to the present invention, the robot gives the user (human) an expression for induction (feedback) until the robot obtains necessary information, thereby actively inducing user participation and creating an intentional cooperation situation. Finally, it is possible to provide a service necessary for a dialogue or use between a robot and a user. As a result, it is possible to provide a customized emotional sympathetic service suitable for a user in any situation, place, time, etc., thereby increasing user satisfaction.

본 발명은 다양한 서비스 로봇에 적용될 수 있다. 예를 들어 전시회나 대형마트 또는 백화점 등에서 목적에 맞는 서비스 대화를 하거나 안내 등 고객 맞춤형 대화를 할 수 있는 안내 로봇, 대화형 학습 콘텐츠를 제공하거나 또는 자율형 학습 및 학습에 대한 진도 평가를 할 수 있는 교육 로봇, 양로원이나 요양원 또는 노인 병원 등에서 노약자의 말벗 상대가 되어 노약자의 외로움을 해소하고 친밀감을 느껴 정서적 안정감을 제공하도록 하는 실버 로봇, 유아원이나 유치원 또는 고아원 등에서 영유아와 같이 대화와 놀이를 할 수 있도록 하는 키즈 로봇, 가정 또는 회사에서 개인화/최적화된 서비스를 제공하는 가정/오피스 로봇 등에 적용될 수 있다. The present invention can be applied to various service robots. For example, an exhibition robot, a guide robot that can have a customized service conversation such as a guide, an interactive learning content, or an evaluation of self-paced learning and learning can be conducted at an exhibition, a hypermarket or a department store. To be able to talk and play with infants in educational robots, nursing homes, nursing homes, or senior hospitals, as a partner of the elderly, to solve the loneliness of the elderly and to feel intimacy and provide emotional stability. It can be applied to a kids robot, a home / office robot that provides personalized / optimized services in a home or a company.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당업자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Accordingly, the true scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of the same should be construed as being included in the scope of the present invention.

110: 센서 모듈 120: 상황 인식 모듈
122. 감지 인식부 124. 영상 인식부
126. 음성 인식부 130. 서비스 처리 모듈
132. 인식 정보 판단부 134. 로봇 서비스 판단부
136. 로봇 표현 처리부 150. 표현 모듈
152. 로봇 표현부 153. 감성 표현부
154. 행위 표현부 155. 대화 관리부
156. 발화 표현부110: sensor module 120: situation recognition module
122. Detection recognition unit 124. Image recognition unit
126. Voice recognition unit 130. Service processing module
132. Recognition Information Determination Unit 134. Robot Service Determination Unit
136. Robot Representation Processing Unit 150. Representation Module
152. Robot Expression Unit 153. Emotional Expression Unit
154. Behavior Expression Unit 155. Dialogue Management Unit
156. Speech Representation Department

Claims (8)

감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈;
상기 감지센서로부터 수신된 정보를 이용하여 행동 정보를 추출하는 감지 인식부와, 상기 영상센서로부터 수신된 정보를 이용하여 얼굴 정보를 추출하는 영상 인식부 및 상기 음성센서로부터 수신된 정보를 이용하여 음성 언어 정보를 추출하는 음성 인식부를 포함하는 상황인식 모듈;
상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 수신하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하여, 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 사용자의 행위를 유도하기 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 사용자에게 상황 및 감정에 맞는 서비스를 제공하는 서비스 처리 모듈; 및,
상기 서비스 처리 모듈의 처리 신호에 따라 외부에 미리 설정된 표현을 하는 표현 모듈을 포함하며,
상기 서비스 처리 모듈은, 상기 감지 인식부와 영상 인식부 및 음성 인식부로부터 추출된 인식 정보를 이용하여 상기 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 인식 정보 판단부; 상기 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 원하는 인식 정보를 얻기 위해 상기 표현 모듈을 통해 사용자의 행위를 유도하기 위한 표현을 하도록 하며, 원하는 인식 정보에 적합한 경우 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여 상기 표현 모듈을 통해 사용자에게 상황 및 감정에 맞는 서비스를 제공하도록 판단하는 로봇 서비스 판단부; 및, 상기 로봇 서비스 판단부를 통해 상황 및 감정에 맞는 서비스를 로봇 표현에 적합하도록 필요한 데이터로 정보 처리하는 로봇 표현 처리부를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
A sensor module including a detection sensor, an image sensor, and a voice sensor;
A detection recognition unit extracting behavior information using the information received from the sensor, an image recognition unit extracting face information using the information received from the image sensor, and a voice using the information received from the voice sensor A situation recognition module including a speech recognition unit extracting language information;
Receiving recognition information extracted from the detection recognition unit, the image recognition unit, and the voice recognition unit, it is determined whether the information is suitable for preset desired recognition information, and if the information is not suitable for the preset desired recognition information, A service processing module for expressing to induce a user's action to obtain, and analyzing a user's situation and emotions using the recognition information when the user's desired information is appropriate; And
A representation module configured to pre-set a representation externally according to a process signal of the service processing module,
The service processing module may include: a recognition information determiner configured to determine whether the information is suitable for predetermined preset recognition information using recognition information extracted from the detection recognition unit, the image recognition unit, and the voice recognition unit; If the information is not suitable for the preset desired recognition information, to express the user's behavior through the expression module to obtain the desired recognition information, if it is suitable for the desired recognition information by using the recognition information of the user A robot service determination unit that analyzes a situation and an emotion and determines to provide a service suitable for a situation and an emotion to a user through the expression module; And a robot expression processor configured to process information corresponding to situations and emotions through data required by the robot service determiner into data necessary for the robot expression.
삭제delete 제 1 항에 있어서,
상기 표현 모듈은 음악이나 효과음의 소리나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현, 또는 램프로 광(光)의 표시를 하는 감성 표현부;
특정 동작이나 몸짓을 표현하거나 또는 주행을 하도록 하는 행위 표현부;
언어로 표현하는 발화 표현부; 및,
상기 서비스 처리 모듈로부터 수신된 처리 신호를 상기 감성 표현부, 행위 표현부, 발화 표현부로 표현 데이터를 할당하도록 하는 로봇 표현부를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
The method of claim 1,
The expression module may include an emotional expression unit configured to display a sound of music or sound effects, or an expression of a human face or a certain character shape on a display, or light by a lamp;
An action expression unit for expressing a specific motion or gesture or for driving;
Speech expression unit to express in language; And
Emotional sympathetic robot service system comprising a robot expression unit for allocating expression data received from the service processing module to the emotional expression unit, the behavior expression unit, the speech expression unit.
제 3 항에 있어서,
상기 표현 모듈은 상기 서비스 처리 모듈로부터 제공된 상황 및 감정 정보와 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 이용하여, 사용자와의 맞춤형 대화를 수행할 수 있도록 대화를 통합적으로 관리하여 상기 발화 표현부를 통해 표현하도록 하는 대화 관리부를 더 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
The method of claim 3, wherein
The expression module uses the context and emotion information provided from the service processing module and information on the form or language of the conversation to be recommended, and manages the conversation in an integrated manner so as to perform a customized conversation with the user. Emotional sympathetic robot service system, characterized in that it further comprises a dialogue management unit to express through the wealth.
제 4 항에 있어서,
상기 대화 관리부는 통합 대화 관리 체계로서 목적형 대화처리부, 잡담형 대화처리부, 및 질의 응답부를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 시스템.
5. The method of claim 4,
The conversation manager includes an interactive conversation management unit, a chat conversation unit, and a question answering unit as an integrated conversation management system.
감지센서와 영상센서 및 음성센서를 포함하는 센서 모듈, 상황인식 모듈, 서비스 처리 모듈, 표현 모듈을 포함하는 감성 교감 로봇 서비스 시스템에 의한 감성 교감 로봇 서비스 방법으로서,
a) 상기 감지센서, 영상센서, 음성센서로부터 수신된 정보를 이용하여 상황인식 모듈이 행동 정보, 얼굴 정보, 음성 언어 정보를 추출하는 단계;
b) 상기 추출된 인식 정보를 이용하여 서비스 처리 모듈이 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한지 여부를 판단하는 단계;
c) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합하지 않은 경우 상기 서비스 처리 모듈이 원하는 인식 정보를 얻기 위해 상기 표현 모듈을 통해 사용자의 행위를 유도하기 위한 표현을 하도록 처리하는 단계;
d) 상기 인식 정보가 미리 설정된 원하는 인식 정보에 적합한 경우 상기 서비스 처리 모듈이 상기 인식 정보를 이용하여 사용자의 상황 및 감정을 분석하여, 상기 사용자의 상황 및 감정에 맞는 서비스를 상기 표현 모듈을 통해 제공하도록 처리하는 단계;
e1) 상기 서비스 처리 모듈이 사용자의 상황 및 감정에 맞는 서비스와 사용자의 행위를 유도하기 위한 표현을 로봇 표현에 접합하도록 필요한 데이터로 정보 처리하는 단계; 및,
e2) 상기 표현 모듈이 외부에 미리 설정된 표현을 하는 단계를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 방법.
An emotional sympathetic robot service method by an emotional sympathetic robot service system including a sensor module including a sensor, an image sensor, and a voice sensor, a situation recognition module, a service processing module, and a representation module,
a) extracting behavior information, face information, and voice language information by the situation recognition module using the information received from the sensor, the image sensor, and the voice sensor;
b) determining, by the service processing module, whether the recognition information is suitable for preset desired recognition information by using the extracted recognition information;
c) processing the service processing module to present an expression for inducing a user's action through the expression module in order to obtain desired recognition information when the recognition information does not match preset preset recognition information;
d) if the recognition information is suitable for the preset desired recognition information, the service processing module analyzes the user's situation and emotion using the recognition information, and provides a service suitable for the user's situation and emotion through the expression module. Processing to make;
e1) the service processing module processing information with data necessary for bonding the service suitable for the user's situation and emotion and the expression for inducing the user's action to the robot representation; And
e2) Emotional sympathetic robot service method comprising the step of expressing the expression set in advance by the expression module.
제 6 항에 있어서,
상기 d) 단계는 사용자의 영상 정보 및 음성 정보를 이용하여, 사용자의 언어와 표정을 같이 분석하여 사용자의 연령대, 성별, 표정에 따라 상황 및 감정을 분석하는 동시에, 추천 대상의 대화의 형태나 사용 언어에 대한 정보를 제공하는 것을 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 방법.
The method according to claim 6,
Step d) analyzes the user's language and facial expression by using the user's video information and audio information to analyze the situation and emotion according to the user's age, gender, and facial expression, and at the same time, the form or use of the conversation to be recommended. Emotional sympathetic robot service method comprising providing information about the language.
제 6 항에 있어서,
상기 e2) 단계에서 사용자의 행위를 유도하기 위한 미리 설정된 형태의 표현은, 미리 설정된 언어를 표현하거나, 램프로 광(光)을 표시하거나, 미리 설정된 음악이나 효과음의 사운드를 출력하거나, 특정 동작(제스처) 또는 주행을 하거나, 또는 디스플레이 상에 사람 얼굴 또는 일정 캐릭터 형상의 표현을 하는 것 중의 적어도 하나를 포함하는 것을 특징으로 하는 감성 교감 로봇 서비스 방법.
The method according to claim 6,
In the step e2), the expression of a preset form for inducing a user's action may represent a preset language, display light with a lamp, output sound of a preset music or sound effect, or perform a specific operation ( Gestures) or driving, or expressing a human face or a predetermined character shape on a display.
KR1020120014745A 2012-02-14 2012-02-14 Emotional Sympathy Robot Service System and Method of the Same KR101336641B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120014745A KR101336641B1 (en) 2012-02-14 2012-02-14 Emotional Sympathy Robot Service System and Method of the Same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120014745A KR101336641B1 (en) 2012-02-14 2012-02-14 Emotional Sympathy Robot Service System and Method of the Same

Publications (2)

Publication Number Publication Date
KR20130093290A KR20130093290A (en) 2013-08-22
KR101336641B1 true KR101336641B1 (en) 2013-12-16

Family

ID=49217623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120014745A KR101336641B1 (en) 2012-02-14 2012-02-14 Emotional Sympathy Robot Service System and Method of the Same

Country Status (1)

Country Link
KR (1) KR101336641B1 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180082777A (en) * 2017-01-11 2018-07-19 한국기술교육대학교 산학협력단 Communion robot system for senior citizen
US10289076B2 (en) 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
WO2019133689A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
WO2019132063A1 (en) * 2017-12-27 2019-07-04 (주)퓨처로봇 Robot service learning system and method thereof
WO2019133710A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
WO2019133694A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
WO2019133715A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for artificial intelligence driven automated companion
WO2019133698A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for personalizing dialogue based on user's appearances
KR20190115504A (en) * 2018-03-15 2019-10-14 연세대학교 산학협력단 Apparatus and method controlling emotional expresion robot
USD888165S1 (en) 2018-11-05 2020-06-23 DMAI, Inc. Robot
KR20210019818A (en) 2019-08-13 2021-02-23 주식회사 프론트유 Interactive sympathetic learning contents providing system and method
USD916161S1 (en) 2018-11-05 2021-04-13 DMAI, Inc. Robot
US11331807B2 (en) 2018-02-15 2022-05-17 DMAI, Inc. System and method for dynamic program configuration

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640410B1 (en) * 2014-04-09 2016-07-18 주식회사 도브투래빗 Multiple digital interacting method and system
CN110139732B (en) 2016-11-10 2023-04-04 华纳兄弟娱乐公司 Social robot with environmental control features
KR101887637B1 (en) * 2016-11-15 2018-08-10 주식회사 로보러스 Robot system
KR101970297B1 (en) * 2016-11-22 2019-08-13 주식회사 로보러스 Robot system for generating and representing emotion and method thereof
WO2018213623A1 (en) * 2017-05-17 2018-11-22 Sphero, Inc. Computer vision robot control
JP2021503112A (en) * 2017-09-29 2021-02-04 トルーク インコーポレイテッドＴｏｒｏｏｃ Ｉｎｃ． Methods, systems, and non-temporary computer-readable recording media that utilize autonomous behavior robots to provide dialogue services
KR102012968B1 (en) * 2018-08-07 2019-08-27 주식회사 서큘러스 Method and server for controlling interaction robot
KR102228866B1 (en) * 2018-10-18 2021-03-17 엘지전자 주식회사 Robot and method for controlling thereof
KR102135077B1 (en) * 2018-11-05 2020-07-17 글로벌사이버대학교 산학협력단 System for providing topics of conversation in real time using intelligence speakers
CN109697577A (en) * 2019-02-01 2019-04-30 北京清帆科技有限公司 A kind of voice-based Classroom instruction quality evaluation method
KR102276951B1 (en) * 2019-09-19 2021-07-13 주식회사 세미콘네트웍스 Output method for artificial intelligence speakers based on emotional values calculated from voice and face
KR102278162B1 (en) * 2020-02-19 2021-07-19 한동대학교 산학협력단 Method for operating speech assistant robot with user interaction
CN113580166B (en) * 2021-08-20 2023-11-28 安徽淘云科技股份有限公司 Interaction method, device, equipment and storage medium of anthropomorphic robot
KR102378885B1 (en) * 2021-09-29 2022-03-28 주식회사 인피닉 Method for generating metadata using face of speaker, and computer program recorded on record-medium for executing method therefor
CN114463938B (en) * 2022-02-09 2024-04-09 辽宁工业大学 Intelligent monitoring system for empty nest old people

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850352B1 (en) * 2006-09-26 2008-08-04 한국전자통신연구원 Emotion Expression Apparatus for Intelligence Robot for expressing emotion using status information and Method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850352B1 (en) * 2006-09-26 2008-08-04 한국전자통신연구원 Emotion Expression Apparatus for Intelligence Robot for expressing emotion using status information and Method thereof

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289076B2 (en) 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
KR20180082777A (en) * 2017-01-11 2018-07-19 한국기술교육대학교 산학협력단 Communion robot system for senior citizen
KR20190079255A (en) * 2017-12-27 2019-07-05 (주) 퓨처로봇 System for learning of robot service and method thereof
WO2019132063A1 (en) * 2017-12-27 2019-07-04 (주)퓨처로봇 Robot service learning system and method thereof
KR102140292B1 (en) * 2017-12-27 2020-07-31 (주) 퓨처로봇 System for learning of robot service and method thereof
US11024294B2 (en) 2017-12-29 2021-06-01 DMAI, Inc. System and method for dialogue management
WO2019133689A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
WO2019133698A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for personalizing dialogue based on user's appearances
WO2019133694A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
US11504856B2 (en) 2017-12-29 2022-11-22 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
US11468894B2 (en) 2017-12-29 2022-10-11 DMAI, Inc. System and method for personalizing dialogue based on user's appearances
US11222632B2 (en) 2017-12-29 2022-01-11 DMAI, Inc. System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
WO2019133710A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
WO2019133715A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for artificial intelligence driven automated companion
US11331807B2 (en) 2018-02-15 2022-05-17 DMAI, Inc. System and method for dynamic program configuration
KR102083229B1 (en) * 2018-03-15 2020-03-02 연세대학교 산학협력단 Apparatus and method controlling emotional expresion robot
KR20190115504A (en) * 2018-03-15 2019-10-14 연세대학교 산학협력단 Apparatus and method controlling emotional expresion robot
USD916161S1 (en) 2018-11-05 2021-04-13 DMAI, Inc. Robot
USD934323S1 (en) 2018-11-05 2021-10-26 DMAI, Inc. Robot
USD888165S1 (en) 2018-11-05 2020-06-23 DMAI, Inc. Robot
KR20210019818A (en) 2019-08-13 2021-02-23 주식회사 프론트유 Interactive sympathetic learning contents providing system and method

Also Published As

Publication number Publication date
KR20130093290A (en) 2013-08-22

Similar Documents

Publication Publication Date Title
KR101336641B1 (en) Emotional Sympathy Robot Service System and Method of the Same
US11358285B2 (en) Robot and method of recognizing mood using the same
KR102374910B1 (en) Voice data processing method and electronic device supporting the same
KR20200143764A (en) Emotional Sympathy Service System and Method of the Same
KR102012968B1 (en) Method and server for controlling interaction robot
CN112204564A (en) System and method for speech understanding via integrated audio and visual based speech recognition
KR102409303B1 (en) Method and Apparatus for Voice Recognition
WO2016080553A1 (en) Learning robot, learning robot system, and learning robot program
KR20210008089A (en) Dynamic and/or context specific hotwords for invoking automated assistants
KR20200113105A (en) Electronic device providing a response and method of operating the same
CN106502382B (en) Active interaction method and system for intelligent robot
US20190251350A1 (en) System and method for inferring scenes based on visual context-free grammar model
KR20220130000A (en) Ai avatar-based interaction service method and apparatus
KR102511517B1 (en) Voice input processing method and electronic device supportingthe same
WO2016206645A1 (en) Method and apparatus for loading control data into machine device
JP7439826B2 (en) Information processing device, information processing method, and program
KR20190139489A (en) method for operating speech recognition service and electronic device supporting the same
KR20180046550A (en) Apparatus and method for conversaion using artificial intelligence
Goetze et al. Multimodal human-machine interaction for service robots in home-care environments
KR101019655B1 (en) Apparatus and method having a function of guiding user's controlling behavior
JP7414735B2 (en) Method for controlling multiple robot effectors
KR20130139137A (en) Dialog-doll reacting to a sensor input and its application method thereof
US11935449B2 (en) Information processing apparatus and information processing method
Stavropoulou et al. Voice user interfaces for service robots: Design principles and methodology
Minker et al. Next-generation human-computer interfaces-towards intelligent, adaptive and proactive spoken language dialogue systmes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180323

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181128

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 7