KR20190114931A

KR20190114931A - Robot and method for controlling the same

Info

Publication number: KR20190114931A
Application number: KR1020190115655A
Authority: KR
Inventors: 박지윤; 신종철
Original assignee: 엘지전자 주식회사
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2019-10-10

Abstract

Disclosed is a robot capable of executing a mounted artificial intelligence (AI) algorithm and/or a machine learning algorithm, and is capable of communicating with other electronic devices and external servers in a 5G communication environment. The robot includes a camera, an output part, a control part, and the like. Care for an object to be cared can be performed effectively by providing the robot.

Description

ROBOT AND METHOD FOR CONTROLLING THE SAME}

본 발명은 로봇 및 그의 제어 방법에 관한 것으로, 더 상세하게는 소정 공간에 위치한 돌봄 대상을 케어하는 로봇 및 그의 제어 방법에 관한 것이다.The present invention relates to a robot and a control method thereof, and more particularly, to a robot and a control method thereof for caring for a care object located in a predetermined space.

최근, 전자 및 광학기술이 발달함에 따라 카메라의 성능은 향상되고, 그 크기는 점차 소형화되어, 다양한 IoT(Internet of Things) 기기에 탑재되고 있다.Recently, with the development of electronic and optical technology, the performance of the camera is improved, and the size thereof is gradually reduced, and is mounted on various Internet of Things (IoT) devices.

선행 기술 1에 개시된 돌봄 단말 시스템은 아이, 노인 및 애완 동물 등의 돌봄 대상이 갖고 있는 RFID 단말로부터 위치 정보 및 돌봄 대상의 상태 정보를 실시간으로 수집함으로써, 케어 서비스를 제공한다.The care terminal system disclosed in Prior Art 1 provides a care service by collecting location information and state information of a care object in real time from an RFID terminal owned by a care object such as a child, an elderly person, and a pet.

선행 기술 2에 개시된 돌봄 장치는 놀이 시설에 적용 가능하며, 비콘 태그를 지닌 아이의 위치를 실시간으로 추적하고 아이가 배치된 영역의 카메라를 활성화하여 아이를 모니터링한다.The caring device disclosed in Prior Art 2 is applicable to a play facility and monitors the child by tracking the location of the child with the beacon tag in real time and activating a camera in the area where the child is placed.

다만, 선행 기술 1 및 2의 경우 카메라를 이용하여 돌봄 대상을 모니터링하는 내용이 개시되기는 하나, 보호자의 상황 관여가 언제 필요한지에 대한 구체적인 내용이 개시되지 않았으며, 돌봄 대상을 인식하는 내용이 개시되지 않아서, 맞춤형으로 돌봄 대상을 케어하기 어려운 한계가 있다.However, in the case of prior arts 1 and 2, although the contents of monitoring the caregiver using a camera are disclosed, specific details on when the caregiver needs to be involved in the situation are not disclosed, and the content of recognizing the caregiver is not disclosed. As a result, there is a limit that it is difficult to care for a customized care subject.

등록특허공보 제10-1552289호 (등록일: 2015.9.4)Patent Registration No. 10-1552289 (Registration Date: 2015.9.4) 등록특허공보 제10-1617342호 (등록일: 2016.4.26)Patent Application Publication No. 10-1617342 (Registration Date: April 26, 2016)

본 발명이 해결하고자 하는 과제는 보호자가 부재중인 경우에 소정 공간에 위치된 돌봄 대상의 니즈(Needs)를 맞춤형으로 충족시키는 로봇 및 그의 제어 방법을 제공하는 데에 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a robot and a control method thereof that satisfactorily meet the needs of care targets located in a predetermined space in the absence of a guardian.

본 발명의 또 다른 과제는, 돌봄 대상을 인식하고 돌봄 대상의 나이를 추정하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.Another object of the present invention is to provide a robot and a control method thereof for recognizing a care object and estimating the age of the care object.

본 발명의 또 다른 과제는, 돌봄 대상과 인터랙션하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.Another object of the present invention is to provide a robot that interacts with a care target and a control method thereof.

본 발명의 또 다른 과제는, 돌봄 대상의 케어가 필요한 시점을 결정하는 로봇 및 그의 제어 방법을 제공하는 데에 있다.Another object of the present invention is to provide a robot and a control method thereof for determining a time point at which care for a care subject is required.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned above will be clearly understood by those skilled in the art from the following description. Could be.

상기 과제를 달성하기 위하여, 본 발명의 일 실시 예예 따른 로봇은 통신부, 카메라, 마이크, 출력부 및 제어부를 포함한다. 제어부는, 소정 공간에 위치한 돌봄 대상(Caring Target)을 촬영한 영상 정보를 카메라를 통해 획득하거나 돌봄 대상의 사운드 정보를 마이크를 통해 획득하고, 영상 정보 또는 사운드 정보에 기초하여, 로봇이 케어(Care) 모드로 진입할지 여부를 결정하며, 케어 모드의 진입이 결정된 경우, 영상 정보 또는 사운드 정보를 돌봄 대상의 보호자가 컨트롤하는 이동 단말로 통신부를 통해 전송할 수 있다.In order to achieve the above object, the robot according to an embodiment of the present invention includes a communication unit, a camera, a microphone, an output unit and a control unit. The controller acquires image information of a caring target located in a predetermined space through a camera or obtains sound information of the caring target through a microphone, and the robot cares based on the image information or sound information. ) Is determined whether to enter the mode, and if the entry into the care mode is determined, the image information or sound information may be transmitted through the communication unit to the mobile terminal controlled by the caregiver of the caregiver.

로봇의 제어부는 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 이동 단말로부터 통신부를 통해 수집하며, 피드백 정보에 기초하여, 소정의 메시지를 돌봄 대상을 향하여 출력하도록 구성될 수 있다.The controller of the robot collects feedback information corresponding to the image information or sound information from the mobile terminal through the communication unit, and may be configured to output a predetermined message toward the care object based on the feedback information.

상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 로봇의 제어 방법은 소정 공간에 위치한 돌봄 대상을 촬영한 영상 정보 또는 돌봄 대상의 사운드 정보를 입력받는 단계, 영상 정보 또는 사운드 정보를 케어(Care) 시스템으로 전송하는 단계, 케어 시스템이 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 돌봄 대상의 보호자로부터 수집하는 경우, 피드백 정보를 케어 시스템으로부터 수신하는 단계 및 수신된 피드백 정보에 기초하여 돌봄 대상을 케어하기 위한 소정의 메시지를 출력하는 단계를 포함할 수 있다.In order to achieve the above object, the control method of the robot according to an embodiment of the present invention, the step of receiving the image information or the sound information of the care object to take care of the care object located in a predetermined space, care for the image information or sound information ( Step of transmitting to the care system, if the care system collects feedback information corresponding to the image information or sound information from the caregiver of the care subject, receiving the feedback information from the care system and based on the received feedback information The method may include outputting a predetermined message for treating the problem.

상기 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따른 로봇의 제어 방법은 소정 공간에 위치한 돌봄 대상을 촬영한 영상 정보 또는 돌봄 대상의 사운드 정보를 획득하는 단계, 영상 정보 또는 사운드 정보에 기초하여, 케어(Care) 모드의 진입 여부를 결정하는 단계, 케어 모드의 진입이 결정된 경우, 영상 정보 또는 사운드 정보를 돌봄 대상의 보호자가 컨트롤하는 이동 단말로 전송하는 단계, 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 상기 이동 단말로부터 수집하는 단계 및 피드백 정보에 기초하여, 소정의 메시지를 상기 돌봄 대상을 향하여 출력하는 단계를 포함할 수 있다.In order to achieve the above object, the control method of the robot according to an embodiment of the present invention, the step of acquiring the image information or the sound information of the care object, the care object located in a predetermined space, based on the image information or sound information Determining whether to enter a care mode; when entering the care mode, transmitting image information or sound information to a mobile terminal controlled by a caregiver of a care target; corresponding to the image information or sound information Collecting feedback information from the mobile terminal and outputting a predetermined message toward the care subject based on the feedback information.

본 발명의 다양한 실시 예에 따르면, 보호자가 부재중인 경우에도 소정 공간에 위치된 돌봄 대상의 니즈가 맞춤형으로 충족될 수 있으므로, 사용자 편의가 제고될 수 있다.According to various embodiments of the present disclosure, even when the guardian is absent, the needs of the care object located in a predetermined space may be customized to be customized, thereby improving user convenience.

도 1은 본 발명의 일 실시 예에 따른 5G 네트워크 기반의 클라우드 시스템을 나타내는 도면,
도 2는 본 발명의 일 실시 예에 따른 돌봄 대상 및 보호자의 인터랙션을 제공하는 로봇을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 케어 시스템 및 로봇의 구성을 설명하는 상대 블록도,
도 4는 본 발명의 일 실시 예에 따른 돌봄 대상을 케어하기 위한 로봇 및 케어 시스템의 구동을 설명하기 위한 시퀀스도, 그리고,
도 5는 본 발명의 일 실시 예에 따른 로봇의 구동 방법을 나타내는 시퀀스도이다.1 is a view showing a 5G network-based cloud system according to an embodiment of the present invention,
2 is a view for explaining a robot that provides the interaction between the care target and the guardian according to an embodiment of the present invention;
3 is a relative block diagram illustrating a configuration of a care system and a robot according to an embodiment of the present disclosure;
4 is a sequence diagram for explaining the driving of the robot and the care system for caring for the care object according to an embodiment of the present invention, and
5 is a sequence diagram illustrating a method of driving a robot according to an exemplary embodiment.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, and the same or similar components are denoted by the same reference numerals regardless of the reference numerals, and redundant description thereof will be omitted.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The suffixes "module" and "unit" for components used in the following description are given or used in consideration of ease of specification, and do not have distinct meanings or roles from each other. In addition, in describing the embodiments disclosed herein, when it is determined that the detailed description of the related known technology may obscure the gist of the embodiments disclosed herein, the detailed description thereof will be omitted. In addition, the accompanying drawings are intended to facilitate understanding of the embodiments disclosed herein, but are not limited to the technical spirit disclosed herein by the accompanying drawings, all changes included in the spirit and scope of the present invention. It should be understood to include equivalents and substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprises" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

본 발명의 다양한 실시 예는 인공 지능에 관한 기술을 이용할 수 있으므로, 이하에서는, 인공 지능에 대해 개략적으로 설명한다.Since various embodiments of the present disclosure may use techniques related to artificial intelligence, the following is an overview of artificial intelligence.

인공 지능(AI: Artificial Intelligence)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미하며, 머신 러닝(기계 학습, Machine Learning)은 인공 지능 분야에서 다루는 다양한 문제를 정의하고 그것을 해결하는 방법론을 연구하는 분야를 의미한다. 머신 러닝은 어떠한 작업에 대하여 꾸준한 경험을 통해 그 작업에 대한 성능을 높이는 알고리즘으로 정의하기도 한다.Artificial Intelligence (AI) refers to the field of researching artificial intelligence or the methodology that can produce it, and Machine Learning (method of machine learning) defines and solves various problems in the field of artificial intelligence. Means the field of research. Machine learning is defined as an algorithm that improves the performance of a task through a consistent experience with a task.

인공 신경망(ANN: Artificial Neural Network)은 머신 러닝에서 사용되는 모델로서, 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)들로 구성되는, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다. 인공 신경망은 다른 레이어의 뉴런들 사이의 연결 패턴, 모델 파라미터를 갱신하는 학습 과정, 출력값을 생성하는 활성화 함수(Activation Function)에 의해 정의될 수 있다.Artificial Neural Network (ANN) is a model used in machine learning, and may refer to an overall problem-solving model composed of artificial neurons (nodes) formed by a combination of synapses. The artificial neural network may be defined by a connection pattern between neurons of different layers, a learning process of updating model parameters, and an activation function generating an output value.

인공 신경망은 입력층(Input Layer), 출력층(Output Layer), 그리고 선택적으로 하나 이상의 은닉층(Hidden Layer)을 포함할 수 있다. 각 층은 하나 이상의 뉴런을 포함하고, 인공 신경망은 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 인공 신경망에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함숫값을 출력할 수 있다.The artificial neural network may include an input layer, an output layer, and optionally one or more hidden layers. Each layer includes one or more neurons, and the artificial neural network may include synapses that connect neurons to neurons. In an artificial neural network, each neuron may output a function value of an active function for input signals, weights, and deflections input through a synapse.

모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향(Bias) 등이 포함된다. 그리고, 하이퍼파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함된다.The model parameter refers to a parameter determined through learning and includes weights of synaptic connections and bias of neurons. In addition, the hyperparameter means a parameter to be set before learning in the machine learning algorithm, and includes a learning rate, the number of iterations, a mini batch size, and an initialization function.

인공 신경망에서 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 인공 신경망의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.The goal of learning in artificial neural networks can be seen as determining model parameters that minimize the loss function. The loss function can be used as an index for determining optimal model parameters in the learning process of artificial neural networks.

머신 러닝은 학습 방식에 따라 지도 학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning)으로 분류할 수 있다.Machine learning can be categorized into supervised learning, unsupervised learning, and reinforcement learning.

지도 학습은 학습 데이터에 대한 레이블(Label)이 주어진 상태에서 인공 신경망을 학습시키는 방법을 의미하며, 레이블이란 학습 데이터가 인공 신경망에 입력되는 경우 인공 신경망이 추론해 내야 하는 정답(또는 결과 값)을 의미할 수 있다. 비지도 학습은 학습 데이터에 대한 레이블이 주어지지 않는 상태에서 인공 신경망을 학습시키는 방법을 의미할 수 있다. 강화 학습은 어떤 환경 안에서 정의된 에이전트가 각 상태에서 누적 보상을 최대화하는 행동 혹은 행동 순서를 선택하도록 학습시키는 학습 방법을 의미할 수 있다. Supervised learning refers to a method of learning artificial neural networks with a label for training data, and a label indicates a correct answer (or result value) that the artificial neural network must infer when the training data is input to the artificial neural network. Can mean. Unsupervised learning may refer to a method of training artificial neural networks in a state where a label for training data is not given. Reinforcement learning can mean a learning method that allows an agent defined in an environment to learn to choose an action or sequence of actions that maximizes cumulative reward in each state.

인공 신경망 중에서 복수의 은닉층을 포함하는 심층 신경망(DNN: Deep Neural Network)으로 구현되는 머신 러닝을 딥 러닝(심층 학습, Deep Learning)이라 부르기도 하며, 딥 러닝은 머신 러닝의 일부이다. 이하에서, 머신 러닝은 딥 러닝을 포함하는 의미로 사용된다.Machine learning, which is implemented as a deep neural network (DNN) including a plurality of hidden layers among artificial neural networks, is called deep learning (Deep Learning), which is part of machine learning. In the following, machine learning is used to mean deep learning.

도 1은 본 발명의 일 실시 예에 따른 5G 네트워크 기반의 클라우드 시스템(1000)을 나태낸다.1 illustrates a 5G network-based cloud system 1000 according to an embodiment of the present invention.

도 1을 참고하면, 클라우드 시스템(1000)은 로봇(100), 이동 단말(200), 케어 시스템(300), 각종 기기(400) 및 5G 네트워크(500)을 포함할 수 있다.Referring to FIG. 1, the cloud system 1000 may include a robot 100, a mobile terminal 200, a care system 300, various devices 400, and a 5G network 500.

로봇(100)은 소정 공간에 위치하여 아이, 노인 또는 반려 동물 등의 돌봄 대상을 모니터링할 수 있다. 선택적 실시 예로 로봇(100)은 복수의 휠을 구비하여 이동하도록 구현될 수 있으며, 고정형으로 구현될 수도 있다. The robot 100 may be located in a predetermined space to monitor caring objects such as a child, an elderly person, or a companion animal. In an alternative embodiment, the robot 100 may be implemented to move with a plurality of wheels, or may be implemented as a fixed type.

이동 단말(200)은 5G 네트워크(500)를 통해 로봇(100)과 통신할 수 있으며, 이동 단말(200)은 소정 공간에 위치한 돌봄 대상의 보호자가 소지한 기기일 수 있다. 여기서, 이동 단말(100)은 휴대폰, 스마트 폰(smart phone), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display) 등) 를 포함할 수 있다.The mobile terminal 200 may communicate with the robot 100 through the 5G network 500, and the mobile terminal 200 may be a device possessed by a caregiver of a care subject located in a predetermined space. Herein, the mobile terminal 100 may be a mobile phone, a smart phone, a wearable device, for example, a smart watch, a smart glass, a head mounted display, or the like. It may include.

케어 시스템(300)은 로봇(100)을 원격으로 제어할 수 있으며, 로봇(100)의 다양한 요청에 응답할 수 있다. 케어 시스템(300)은 보호자의 위치 정보를 로봇(100)에 제공할 수 있으며, 보호자가 발화한 사운드 정보 또는 보호자를 촬영한 영상 정보를 로봇(100)에 제공할 수 있다. The care system 300 may remotely control the robot 100 and may respond to various requests of the robot 100. The care system 300 may provide the location information of the guardian to the robot 100, and may provide the robot 100 with sound information uttered by the guardian or image information of the guardian.

각종 기기(400)는 개인 컴퓨터(PC, 400a), 자율 주행차(400b), 이동 로봇(400c) 등을 포함할 수 있다. 상기 로봇(100)은 이동 로봇(400c)과 통신할 수 있다. 각종 기기(400)는 로봇(100), 이동 단말(200), 케어 시스템(300) 등과 5G 네트워크(500)를 통해 유무선으로 연결될 수 있다. The various devices 400 may include a personal computer (PC) 400a, an autonomous vehicle 400b, a mobile robot 400c, and the like. The robot 100 may communicate with the mobile robot 400c. The various devices 400 may be connected by wire or wireless through the robot 100, the mobile terminal 200, the care system 300, and the like through the 5G network 500.

상기의 로봇(100), 이동 단말(200), 케어 시스템(300) 및 각종 기기(400)는 모두 5G 모듈을 탑재하여 100Mbps 내지 20Gbps(또는, 그 이상) 속도로 데이터를 송수신할 수 있어서 대용량의 동영상 파일을 다양한 기기로 전송할 수 있으며, 저전력으로 구동되어 전력 소비가 최소화되게 할 수 있다. 다만, 상기 전송 속도는 실시 예에 따라 달리 구현될 수 있다.The robot 100, the mobile terminal 200, the care system 300 and the various devices 400 are all equipped with a 5G module capable of transmitting and receiving data at a speed of 100Mbps to 20Gbps (or higher). Video files can be sent to a variety of devices and can be powered at low power to minimize power consumption. However, the transmission rate may be implemented differently according to an embodiment.

5G 네트워크(500)는 5G 이동 통신 네트워크, 근거리 네트워크, 인터넷 등을 포함하여 유무선으로 기기들의 통신 환경을 제공할 수 있다.The 5G network 500 may provide a communication environment of devices in a wired or wireless manner, including a 5G mobile communication network, a local area network, and the Internet.

도 2는 본 발명의 일 실시 예에 따른 돌봄 대상 및 보호자의 인터랙션을 제공하는 로봇(100)을 설명하기 위한 도면이다.2 is a diagram illustrating a robot 100 that provides an interaction between a caregiver and a caregiver according to an exemplary embodiment.

도 2를 참고하면, 예시적으로 아이가 돌봄 대상(Caring Target, Tar)이며, 돌봄 대상(Tar)은 홈(HOME)에 위치할 수 있다. 돌봄 대상(Tar)의 보호자(Prot)는 엄마이며 보호자(Prot)는 이동 단말(200)을 소지할 수 있다. 보호자(Prot)는 상기 소정 공간(HOME)에 위치하지 않고 외출한 상태이다. 참고로, 상기 보호자의 도면 부호인 Prot 및 상기 돌봄 대상의 도면 부호인 Tar는 이하에서도 다양한 보호자 및 돌봄 대상에 기입될 수 있다.Referring to FIG. 2, for example, a child may be a caring target (Tar), and the care target (Tar) may be located in a home (HOME). The caregiver Prot of the care target Tar is a mother and the caregiver Prot may carry the mobile terminal 200. The protector Prot is not in the predetermined space HOME and is out of the home. For reference, Prot, which is a reference number of the guardian, and Tar, which is a reference number of the care object, may be written in various protectors and care objects.

로봇(100)은 홈 로봇으로 구현될 수 있으며, 로봇(100)은 카메라(121)를 통해 소정 영역을 모니터링 할 수 있으며, 돌봄 대상(Tar)이 "엄마, 언제와"(S1)라고 발화하면, 후술할 마이크(도 3의 123)를 통해 발화된 사운드 정보를 입력받을 수 있다.The robot 100 may be embodied as a home robot, and the robot 100 may monitor a predetermined area through the camera 121, and when the care target Tar utters as "mom, when" (S1). In this case, the spoken sound information may be input through the microphone 123 of FIG. 3.

로봇(100)은 돌봄 대상(Tar)을 케어하기 위한 케어 모드로 진입할지 여부를 결정할 수 있다. 예를 들면, 로봇(100)은 발화된 돌봄 대상(Tar)의 사운드 정보에 보호자(Prot)를 찾는 사운드 정보가 포함되었는지 여부, 촬영된 돌봄 대상(Tar)의 영상 정보에 기초하여, 보호자(Prot)의 관여가 필요한 상황인지를 결정할 수 있다.The robot 100 may determine whether to enter a care mode for caring for the care target Tar. For example, the robot 100 determines whether the sound information of the spoken care target Tar includes sound information for finding the protector Prot, and based on the image information of the photographed care target Tar. Determine if the situation requires involvement.

로봇(100)은 돌봄 대상(Tar)을 케어하기 위한 케어 모드로 진입을 결정한 경우, 돌봄 대상(Tar)을 촬영한 영상 정보 및/또는 돌봄 대상(Tar)의 사운드 정보를 케어 시스템(300)으로 전송할 수 있다.When the robot 100 determines to enter a care mode for caring for the care target Tar, the robot 100 sends image information of the care target Tar and / or sound information of the care target Tar to the care system 300. Can transmit

케어 시스템(300)은 돌봄 대상(Tar)을 촬영한 영상 정보, 사운드 정보 및/또는 상기 사운드 정보를 STT 알고리즘을 이용하여 변환한 텍스트 정보 중 적어도 하나를 돌봄 대상(Tar)의 보호자(Prot)가 소지한 이동 단말(200)로 전송할 수 있다. 실시 예에 따라서는 상기 보호자(Prot)가 긴급 보호 기관(소방서, 경찰서, 병원 등)을 포함할 수 있다.The care system 300 may include at least one of image information, sound information, and / or text information obtained by converting the sound information by using the STT algorithm. The mobile terminal 200 may carry the same. According to an embodiment, the protector Prot may include an emergency protection agency (fire department, police station, hospital, etc.).

이동 단말(200)은 상기 영상 정보, 사운드 정보 및/또는 텍스트 정보 중 적어도 하나를 디스플레이(241)에 출력할 수 있다. 예를 들면, 이동 단말(200)의 디스플레이(241)는 돌봄 대상(TarA)을 표시할 수 있으며, "OO가 엄마를 찾고 있어요. 언제 집에 오시나요"와 같은 문구(L1)를 디스플레이(241)에 출력할 수 있다.The mobile terminal 200 may output at least one of the image information, sound information, and / or text information to the display 241. For example, the display 241 of the mobile terminal 200 may display a care target (TarA), and display a phrase (L1) such as "OO is looking for a mother. When are you coming home?" ) Can be printed.

여기서, 돌봄 대상(Tar)의 보호자(Prot)가 출력된 정보에 대한 피드백 정보를 이동 단말(200)에 입력하면, 입력된 피드백 정보는 케어 시스템(300) 및 로봇(100)을 통해 돌봄 대상(Tar)에 제공될 수 있다.Here, when the guardian Prot of the care target Tar inputs feedback information on the output information to the mobile terminal 200, the input feedback information is provided to the care target through the care system 300 and the robot 100. Tar) may be provided.

만약, 보호자(Prot)의 피드백 정보가 "30분 후에 도착해"라는 문구를 포함하는 경우, 로봇(100)은 실시간으로 해당 문구를 돌봄 대상(Tar)에게 전달할 수 있으며, 선택적 실시 예로, 로봇(100)은 "30분 후에 엄마가 도착하니, OO 콘텐츠 보면서 기다리자"라고 돌봄 대상(Tar)에게 전달할 수 있다.If the feedback information of the protector Prot includes the phrase "arriving after 30 minutes", the robot 100 may deliver the phrase to the care target Tar in real time. 100) can be delivered to the care target (Tar), "Mother arrives after 30 minutes, let's wait while watching OO content."

이를 위해, 로봇(100)은 돌봄 대상(Tar)에게 Predefined 메시지를 제공할 수 있으며, 피드백 정보를 가공한 메시지를 제공할 수 있고, 피드백 정보를 그대로 돌봄 대상(Tar)에게 제공할 수 있다. 상기 메시지는 다이알로그 매니저(Dialog Manager)에 의해 결정될 수 있다.To this end, the robot 100 may provide a Predefined message to the care target Tar, may provide a message in which the feedback information is processed, and provide the feedback information to the care target Tar as it is. The message may be determined by a dialog manager.

아울러, 로봇(100)은 돌봄 대상(Tar)에게 보호자(Prot)의 위치 정보, 상태 정보 및 돌봄 대상(Tar)의 콘텐츠 이용 패턴을 분석하여 콘텐츠를 돌봄 대상(Tar)에게 제공할 수 있다.In addition, the robot 100 may analyze the location information, the status information, and the content usage pattern of the care subject Tar to the care target Tar and provide the content to the care target Tar.

도 3은 본 발명의 일 실시 예에 따른 케어 시스템(300) 및 로봇(100)의 구성을 나타내는 상대 블록도이다.3 is a relative block diagram showing the configuration of the care system 300 and the robot 100 according to an embodiment of the present invention.

먼저, 로봇(100)은 로봇 통신부(110), 입력부(120), 센싱부(130), 출력부(140), 로봇 메모리(150), 전원 공급부(160) 및 훨 구동부(170)를 포함할 수 있다. 도 3에 도시된 구성요소들은 로봇(100)을 구현하는데 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 로봇(100)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.First, the robot 100 may include a robot communication unit 110, an input unit 120, a sensing unit 130, an output unit 140, a robot memory 150, a power supply unit 160, and a wheel drive unit 170. Can be. The components shown in FIG. 3 are not essential to implementing the robot 100, so the robot 100 described herein may have more or fewer components than the components listed above.

로봇 통신부(110)는 케어 시스템(300), 이동 단말(200) 등과 통신할 수 있는 유무선의 통신 모듈을 포함할 수 있다. 선택적 실시 예로 상기 로봇 통신부(110)는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association;IrDA), ZigBee, NFC(Near Field Communication) 통신에 관한 모듈을 탑재할 수 있다.The robot communication unit 110 may include a wired or wireless communication module capable of communicating with the care system 300, the mobile terminal 200, or the like. In an exemplary embodiment, the robot communication unit 110 may include Global System for Mobile Communication (GSM), Code Division Multi Access (CDMA), Long Term Evolution (LTE), 5G, Wireless LAN (WLAN), and Wireless-Fidelity (Wi-Fi). , A module related to Bluetooth ™, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), ZigBee, and Near Field Communication (NFC) communication may be installed.

입력부(120)는 사용자로부터 정보를 입력받기 위한 사용자 입력부를 포함할 수 있다. 선택적 실시 예로 입력부(120)는 영상 신호 입력을 위한 카메라(121), 오디오 신호를 수신하기 위한 마이크로폰(123, "이하, 마이크로 칭함")을 포함할 수 있다. 여기서, 카메라(121)나 마이크(123)를 센서로 취급하여, 카메라(121)나 마이크(123)에서 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.The input unit 120 may include a user input unit for receiving information from a user. In some embodiments, the input unit 120 may include a camera 121 for inputting an image signal and a microphone 123 (hereinafter referred to as a microphone) for receiving an audio signal. Here, the signal obtained from the camera 121 or the microphone 123 may be referred to as sensing data or sensor information by treating the camera 121 or the microphone 123 as a sensor.

입력부(120)는 모델 학습을 위한 학습 데이터 및 학습 모델을 이용하여 출력을 획득할 때, 사용될 입력 데이터 등을 획득할 수 있다. 입력부(120)는 가공되지 않은 입력 데이터를 획득할 수도 있으며, 이 경우 로봇 제어부(190)는 입력 데이터에 대하여 전처리로써 입력 특징점(input feature)을 추출할 수 있다.The input unit 120 may obtain input data to be used when acquiring an output using the training data and the training model for model training. The input unit 120 may obtain raw input data. In this case, the robot controller 190 may extract input feature points as preprocessing on the input data.

센싱부(130)는 다양한 센서들을 이용하여 로봇(100)의 내부 정보, 로봇(100)의 주변 환경 정보 및 사용자 정보 중 적어도 하나를 획득할 수 있다. The sensing unit 130 may obtain at least one of internal information of the robot 100, environment information of the robot 100, and user information using various sensors.

이때, 센싱부(130)는 위성에 기반한 위치 수신 센서, 거리 감지 센서(131), 조도 센서, 가속도 센서, 자기 센서, 자이로 센서, 관성 센서, RGB 센서, IR 센서, 지문 인식 센서, 초음파 센서, 광 센서, 마이크, 라이다 센서, 바로미터 센서, 레이더 등을 포함할 수 있다. At this time, the sensing unit 130 is a satellite-based position sensor, distance sensor 131, illuminance sensor, acceleration sensor, magnetic sensor, gyro sensor, inertial sensor, RGB sensor, IR sensor, fingerprint sensor, ultrasonic sensor, Light sensors, microphones, lidar sensors, barometer sensors, radars, and the like.

출력부(140)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시킬 수 있는데, 출력부(140)는 시각 정보를 출력하는 광 출력부, 디스플레이(141, 복수로 구현 가능) 등을 포함할 수 있으며, 청각 정보를 출력하는 스피커(143), 비가청 주파수에 속하는 초음파 신호를 출력하는 초음파 출력부 등을 포함할 수 있고, 촉각 정보를 출력하는 햅틱 모듈을 포함할 수 있다.The output unit 140 may generate an output related to visual, auditory, or tactile senses, and the like. The output unit 140 may include an optical output unit for outputting visual information, a display 141, and the like. , A speaker 143 for outputting auditory information, an ultrasound output unit for outputting an ultrasonic signal belonging to an inaudible frequency, and the like, and a haptic module for outputting tactile information.

로봇 메모리(150)는 로봇(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 로봇(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.The robot memory 150 may store a plurality of application programs or applications that are driven by the robot 100, data for operating the robot 100, and instructions.

아울러, 로봇 메모리(150)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 로봇 메모리(150)는 심층 신경망 모델을 저장할 수 있다. 상기 심층 신경망 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.In addition, the robot memory 150 may store information necessary to perform an operation using artificial intelligence, machine learning, and artificial neural network. The robot memory 150 may store a deep neural network model. The deep neural network model may be used to infer a result value for new input data other than training data, and the inferred value may be used as a basis for judgment to perform an operation.

전원 공급부(160)는 로봇 제어부(190)의 제어 하에서, 외부의 전원, 내부의 전원을 인가받아 로봇(100)의 각 구성요소들에 전원을 공급한다. 이러한 전원 공급부(160)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다. 상기 배터리는 유선 또는 무선 충전 방식으로 충전될 수 있는데, 무선 충전 방식은 자기 유도 방식 또는 자기 공진 방식을 포함할 수 있다.The power supply unit 160 receives power from an external power source and an internal power source under the control of the robot controller 190 to supply power to the components of the robot 100. The power supply unit 160 includes a battery, which may be a built-in battery or a replaceable battery. The battery may be charged by a wired or wireless charging method, and the wireless charging method may include a magnetic induction method or a magnetic resonance method.

휠 구동부(170)는 복수의 휠을 제어하여 로봇(100)을 이동시킬 수 있다. 휠 구동부(170)는 로봇 제어부(190)에 의해 구동될 수 있다.The wheel driver 170 may move the robot 100 by controlling a plurality of wheels. The wheel driver 170 may be driven by the robot controller 190.

로봇 제어부(190)는 이동 로봇(100)의 구성들을 컨트롤하는 모듈이다. 상기 로봇 제어부(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.The robot controller 190 is a module that controls the components of the mobile robot 100. The robot controller 190 may refer to a data processing device embedded in hardware having a physically structured circuit for performing a function represented by a code or a command included in a program. As an example of a data processing device embedded in hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, and an application-specific integrated device (ASIC) It may include a processing device such as a circuit, a field programmable gate array (FPGA), etc., but the scope of the present invention is not limited thereto.

이하에서는, 로봇 제어부(190)의 구동을 주로 설명하기로 한다.Hereinafter, the driving of the robot controller 190 will be mainly described.

로봇 제어부(190)는 보호자 정보를 로봇 메모리(150)에 저장할 수 있다. 로봇 제어부(190)는 보호자(Prot)의 안면을 카메라(121)를 통해 입력하거나 보이스를 마이크(123)를 통해 입력할 수 있다. 로봇 제어부(190)는 입력된 보호자 정보를 케어 시스템(300)에 제공할 수 있다.The robot controller 190 may store parental information in the robot memory 150. The robot controller 190 may input the face of the protector Prot through the camera 121 or the voice through the microphone 123. The robot controller 190 may provide the guardian information input to the care system 300.

로봇 제어부(190)는 보호자 정보를 입력받고, 피보호자인 돌봄 대상(Tar)의 정보를 입력받을 수 있다. 예를 들면, 로봇 제어부(190)는 돌봄 대상(Tar)이 사람인지 동물인지 구분할 수 있으며, 사람인 경우 노인인지 아이인지 구분할 수 있다. 아울러, 로봇 제어부(190)는 돌봄 대상(Tar)에게 제공할 메시지를 미리 설정할 수 있다.The robot controller 190 may receive guardian information, and receive information of a care subject Tar, which is a guardian. For example, the robot controller 190 may distinguish whether the care target Tar is a human or an animal, and in the case of a human, may distinguish whether the elderly is a child or a child. In addition, the robot controller 190 may preset a message to be provided to the care target Tar.

로봇 제어부(190)는 소정 공간에 위치한 돌봄 대상(Tar)을 촬영한 영상 정보를 카메라(121)를 통해 획득하거나 돌봄 대상(Tar)의 사운드 정보를 마이크(123)를 통해 획득할 수 있다.The robot controller 190 may acquire image information of the care subject Tar positioned in a predetermined space through the camera 121 or obtain sound information of the care object Tar through the microphone 123.

로봇 제어부(190)는 영상 정보 및/또는 사운드 정보에 기초하여, 상기 돌봄 대상이 사람 또는 반려 동물인지 인식 또는 추정할 수 있다. 또한, 로봇 제어부(190)는 돌봄 대상(Tar)이 사람인 경우, 제1 소정 나이 이하 또는 제2 소정 나이 이상인지 추정할 수 있다. 여기서, 제1 소정 나이는 7세로 설정할 수 있으며, 제2 소정 나이는 70세로 설정할 수 있으나, 실시 예에 따라 나이가 다르게 설정될 수 있다.The robot controller 190 may recognize or estimate whether the care subject is a human or companion animal based on the image information and / or sound information. In addition, when the care target Tar is a human, the robot controller 190 may estimate whether it is less than the first predetermined age or more than the second predetermined age. Here, the first predetermined age may be set to 7 years old and the second predetermined age may be set to 70 years old, but may be set differently according to an embodiment.

이에, 로봇 제어부(190)는 돌봄 대상(Tar)이 사람인 경우, 나이가 어린 아이 또는 나이가 많은 노인을 구분할 수 있다. 이에 따라, 로봇 제어부(190)는 인식 또는 추정된 돌봄 대상(Tar)에 따라 맞춤형으로 케어 서비스를 제공할 수 있다.Thus, when the care target Tar is a human, the robot controller 190 may distinguish a young child or an old man. Accordingly, the robot controller 190 may provide a care service tailored according to the recognized or estimated care target Tar.

여기서, 돌봄 대상(Tar)의 사운드 정보는 돌봄 대상(Tar)이 발화하는 사운드 정보를 포함할 수 있으며, 돌봄 대상(Tar)에 의해 발생되는 사운드 정보를 포함할 수 있다.Here, the sound information of the care target Tar may include sound information spoken by the care target Tar, and may include sound information generated by the care target Tar.

로봇 제어부(190)는 로봇 메모리(150)에 저장된 심층 신경망 모델을 이용하여 반려 동물, 아이, 노인 등을 구분할 수 있다. 상기 심층 신경망 모델은 입력되는 영상 정보 및 사운드 정보에 기초하여 돌봄 대상(Tar)을 추정하는 모델이며, 레이블(그라운드 트루스(Ground Truth))에 기초하여 모델을 완성하며 모델의 정확도를 높일 수 있다.The robot controller 190 may classify a companion animal, a child, an elderly person, etc. using the deep neural network model stored in the robot memory 150. The deep neural network model is a model for estimating a target of care (Tar) based on input image information and sound information, and may complete the model based on a label (ground truth) and increase the accuracy of the model.

로봇 제어부(190)는 돌봄 대상(Tar)에 관련된 영상 정보 또는 사운드 정보에 기초하여, 로봇(100)이 케어(Care) 모드로 진입할지 여부를 결정할 수 있다.The robot controller 190 may determine whether the robot 100 enters a care mode based on image information or sound information related to the care target Tar.

여기서, 케어 모드는 로봇(100)이 돌봄 대상(Tar)을 돌보기 위한 모드로 돌봄 대상(Tar)의 보호자(Prot)의 도움을 받아 케어 서비스를 돌봄 대상(Tar)에 제공할 수 있다.Here, the care mode is a mode in which the robot 100 takes care of the care target Tar, and may provide the care service to the care target Tar with the help of a protector Prot of the care target Tar.

로봇 제어부(190)는 영상 정보 또는 사운드 정보에 기초하여, 보호자(Prot)의 관여가 필요한 것으로 결정한 경우, 로봇(100)을 케어 모드로 진입시킬 수 있다.The robot controller 190 may enter the robot 100 into the care mode when it is determined that the involvement of the protector Prot is necessary based on the image information or the sound information.

로봇 제어부(190)는 영상 정보에서 획득한 돌봄 대상(Tar)의 모션 정보 또는 사운드 정보를 입력 데이터로 하고, 보호자(Prot)의 관여가 필요한지 여부를 출력 데이터로 하는 기 저장된 심층 신경망 모델을 이용하여, 로봇(100)이 케어 모드로 진입할지 여부를 결정할 수 있다.The robot controller 190 uses the pre-stored deep neural network model that uses the motion information or the sound information of the care target Tar obtained from the image information as input data and outputs whether or not the involvement of a protector is required. The robot 100 may determine whether to enter the care mode.

예를 들어 돌봄 대상(Tar)이 노인인 경우, 심층 신경망 모델은 돌봄 대상(Tar)이 갑자기 쓰러지는 모션, 괴로운 표정을 지으면서 신체 부위를 움켜지는 모션 등을 입력받는 경우, 보호자(Prot)의 관여가 필요한 것으로 출력할 수 있다.For example, if the target of care is an elderly person, the deep neural network model receives a caretist's involvement when the target of the caregiver suddenly falls down or grabs a body part while having a painful expression. You can output it as you need.

또한, 돌봄 대상(Tar)이 아이인 경우, 심층 신경망 모델은 돌봄 대상(Tar)이 우는 모션 정보(눈을 비비면서 눈물이 떨어지는 상황), 위험한 곳에 올라가는 모션 정보 등을 입력받는 경우, 보호자(Prot)의 관여가 필요한 것으로 출력할 수 있다.In addition, when the care target (Tar) is a child, the deep neural network model is a caregiver (Prot) when the care target (Tar) receives the motion information crying (when the eye falls tears), motion information rising to a dangerous place, etc. ) Can be output as necessary.

또한, 돌봄 대상(Tar)이 반려 동물인 경우, 심층 신경망 모델은 돌봄 대상(Tar)이 토하는 모션 정보, 위험한 곳에 올라가는 모션 정보, 배고파서 힘 없이 축 늘어진 모션 정보 등을 입력받는 경우, 보호자(Prot)의 관여가 필요한 것으로 출력할 수 있다.In addition, when the target of care (Tar) is a companion animal, the deep neural network model Prot when receiving the motion information vomiting Tar, motion information going up in a dangerous place, limp motion information without hungry force Can be outputted as necessary.

또한, 상기 심층 신경망 모델은 돌봄 대상(Tar)의 각종 사운드 정보에 기초하여 보호자(Prot)의 관여가 필요한지 여부를 출력할 수 있다. 가령, 심층 신경망 모델은 돌봄 대상(Tar)이 보호자(Prot)를 부르면서 우는 사운드 정보를 입력받는 경우, 보호자(Prot)의 관여가 필요한 것으로 출력할 수 있다.In addition, the deep neural network model may output whether the involvement of the protector Prot is necessary based on various sound information of the care target Tar. For example, the deep neural network model may output that the care target (Prot) is required when the care target (Tar) receives the crying sound information while calling the protector (Prot).

로봇 제어부(190)는 상기 심층 신경망 모델을 생성, 훈련 및 완성할 수 있다. 이를 위해, 로봇 제어부(190)는 입력되는 영상 정보 및/또는 사운드 정보에 기초하여 출력되는 보호자 관여 여부에 대한 정보를 레이블(그라운드 트루스)에 기초하여 심층 신경망 모델을 훈련시킬 수 있다.The robot controller 190 may generate, train, and complete the deep neural network model. To this end, the robot controller 190 may train the deep neural network model based on a label (ground truss) for information on whether the guardian is involved based on the input image information and / or sound information.

선택적 실시 예로, 로봇 제어부(190)는 사운드만 검출된 경우에는 케어 모드로 진입하지 않다가 아이 사운드가 입력되면, 아이를 위한 케어 모드로 진입할 수 있으며, 반려 동물의 사운드가 입력되면, 반려 동물을 위한 케어 모드로 진입할 수 있다. As an optional embodiment, when only the sound is detected, the robot controller 190 does not enter the care mode and enters the care mode for the child when the child sound is input, and when the sound of the companion animal is input, the companion animal The care mode may be entered.

선택적 실시 예로, 로봇 제어부(190)는 영상 정보에서 사람이 검출되면, 사람의 나이를 추정하고 추정 나이가 아이인 경우, 아이를 위한 케어 모드로 진입할 수 있으며, 추정 나이가 노인인 경우, 노인을 위한 케어 모드로 진입할 수 있다.As an optional embodiment, when a person is detected from the image information, the robot controller 190 may estimate the age of the person and enter a care mode for the child when the estimated age is a child. The care mode may be entered.

선택적 실시 예로, 로봇 제어부(190)는 돌봄 대상(Tar)이 카메라(121)를 소정 시간 동안 바라보는 경우, 돌봄 대상(Tar)을 촬영한 영상 정보에서 나이에 따른 돌봄 서비스를 제공할 수 있다. 만약, 로봇 제어부(190)는 돌봄 대상(Tar)이 카메라(121)를 바라보지 않는 경우, 돌봄 서비스를 종료할 수 있다. As an optional embodiment, when the care target Tar looks at the camera 121 for a predetermined time, the robot controller 190 may provide a care service according to age in image information of the care target Tar. If the care target Tar does not look at the camera 121, the robot controller 190 may terminate the care service.

선택적 실시 예로, 로봇 제어부(190)는 돌봄 대상(Tar)이 소정 거리 내인 경우, 보호자 명칭이 마이크(123)를 통해 입력되는지 모니터링하고, 보호자 명칭이 입력되면, 보호자(Prot)에게 메시지를 전송할 수 있다.As an optional embodiment, when the care target Tar is within a predetermined distance, the robot controller 190 monitors whether the guardian name is input through the microphone 123, and when the guardian name is input, transmits a message to the guardian Prot. have.

로봇 제어부(190)는 케어 모드의 진입이 결정된 경우, 영상 정보 또는 상기 사운드 정보를 상기 돌봄 대상(Tar)의 보호자(Prot)가 컨트롤하는 이동 단말(200)로 통신부(110)를 통해 전송할 수 있다. When entering the care mode, the robot controller 190 may transmit the image information or the sound information to the mobile terminal 200 controlled by the caregiver Prot of the care target Tar through the communication unit 110. .

이때, 로봇 제어부(190)는 사운드 정보에 대응하는 텍스트 정보를 STT(Speech To Text) 알고리즘을 이용하여 변환하고, 상기 변환된 텍스트 정보를 이동 단말(200)로 전송할 수 있다. 이를 위해, STT 알고리즘이 상기 로봇 메모리(150)에 저장될 수 있다. 선택적 실시 예로 로봇 제어부(190)는 모션 정보에 대응하는 텍스트 정보를 추출하여 이동 단말(200)로 전송할 수 있다. In this case, the robot controller 190 may convert text information corresponding to the sound information by using a speech to text (STT) algorithm, and transmit the converted text information to the mobile terminal 200. To this end, an STT algorithm may be stored in the robot memory 150. In some embodiments, the robot controller 190 may extract text information corresponding to the motion information and transmit the extracted text information to the mobile terminal 200.

로봇 제어부(190)는 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 이동 단말(200)로부터 로봇 통신부(110)를 통해 수집할 수 있다. 여기서, 피드백 정보는 보호자(Prot)가 제공하는 정보일 수 있다. The robot controller 190 may collect feedback information corresponding to the image information or the sound information from the mobile terminal 200 through the robot communication unit 110. Here, the feedback information may be information provided by the protector.

선택적 실시 예로 상기 피드백 정보는 외부 병원 시스템, 긴급 출동 서비스 시스템 등을 통해서 수신되는 정보일 수 있다. 특히, 상기 피드백 정보는 돌봄 대상(Tar)을 케어하기 위한 사운드 정보 또는 영상 정보를 포함하는 정보일 수 있다.In some embodiments, the feedback information may be information received through an external hospital system, an emergency dispatch service system, or the like. In particular, the feedback information may be information including sound information or image information for caring for the target of care.

로봇 제어부(190)는 피드백 정보를 그대로 포함하는 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력부(140)를 통해 출력할 수 있다. 로봇 제어부(190)는 상기 소정의 메시지를 로봇(100)이 직접 출력할 수 있으며, 연관된 기기(TV, 블루투스 스피커)를 통해 출력할 수 있다.The robot controller 190 may output a predetermined message including the feedback information as it is through the output unit 140 toward the care target Tar. The robot controller 190 may directly output the predetermined message by the robot 100 and may output the robot through the associated device (TV, Bluetooth speaker).

또한, 로봇 제어부(190)는 피드백 정보에 포함된 영상 정보 및/또는 사운드 정보를 가공한 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력할 수 있다.In addition, the robot controller 190 may output a predetermined message processing the image information and / or sound information included in the feedback information toward the care target Tar.

예를 들면, 로봇 제어부(190)는 보호자(Prot)가 발화한 사운드 정보를 그대로 전송하지 않고, 발화한 사운드 정보를 STT 알고리즘을 이용하여 텍스트 정보로 바꾼 후, 보호자(Prot)의 발화 내용을 인용하는 방식으로 사운드 정보를 가공하여 돌봄 대상(Tar)에 제공할 수 있다. 가령, "엄마가 30분 후에 오신다고 하네요"와 같이 가공될 수 잇다. 이런 경우, 보호자(Prot)의 사운드 정보 및/또는 영상 정보를 보고 돌봄 대상(Tar)의 감정적 동요를 억제시킬 수 있다.For example, the robot controller 190 changes the uttered sound information into text information by using the STT algorithm without transmitting the sound information uttered by the protector Pro, and cites the utterance contents of the protector Prot. Sound information may be processed and provided to the care target (Tar). For example, "Mom says it's coming in 30 minutes." In this case, the emotional information of the caregiver Tar may be suppressed by looking at the sound information and / or image information of the caregiver Prot.

또한, 상기 로봇 제어부(190)는 피드백 정보에 포함된 보호자(Prot)의 의도에 기초하여 돌봄 대상(Tar)을 향하여 기 설정된 콘텐츠를 제공하거나 돌봄 대상(Tar)을 향하여 특정 활동을 제안할 수 있다.In addition, the robot controller 190 may provide a preset content to the care target Tar or suggest a specific activity toward the care target Tar based on the intention of the protector Prot included in the feedback information. .

구체적으로, 로봇 제어부(190)는 보호자(Prot)가 돌봄 대상(Tar)에 만화 영화를 재생해달라고 명령하면, 돌봄 대상(Tar)이 선호하는 콘텐츠를 돌봄 대상(Tar)에게 제공할 수 있다. 또한, 로봇 제어부(190)는 돌봄 대상(Tar)이 좋아하는 책을 읽어주라고 보호자(Prot)가 요청하면, 돌봄 대상(Tar)이 좋아할 법한 책을 선택하여 돌봄 대상(Tar)에게 책을 읽어줄 수 있다. 또한, 로봇 제어부(190)는 돌봄 대상(Tar)이 배고픈 것으로 판단한 경우, 돌봄 대상(Tar)에게 음식을 제공할 수 있으며, 돌봄 대상(Tar)이 약 먹을 시간인 경우, 돌봄 대상(Tar)에게 약을 가져다 줄 수 있다.In detail, when the protector Prot instructs the care subject Tar to play a cartoon movie, the robot controller 190 may provide the care target Tar with content preferred by the care subject Tar. In addition, when the protector Prot requests that the target of the care target Tar read the favorite book, the robot controller 190 selects a book that the care target Tar would like to read and reads the book to the care target Tar. Can be. In addition, the robot controller 190 may provide food to the care target Tar when it is determined that the care target Tar is hungry, and to the care target Tar when the care target Tar is about to eat. You can bring medicine.

또한, 로봇 제어부(190)는 특정 콘텐츠 및/또는 특정 활동을 돌봄 대상(Tar)에게 제공하면서, 돌봄 대상(Tar)의 콘텐츠/활동 몰입도를 모니터링할 수 있다. In addition, the robot controller 190 may monitor the content / activity immersion of the care target Tar while providing the specific content and / or the specific activity to the care target Tar.

가령, 로봇 제어부(190)는 콘텐츠를 바라보는 돌봄 대상(Tar)이 콘텐츠에만 몰입하는 시간 정보, 표정 정보 등을 모니터링한 후, 콘텐츠 별로 선호 순위를 결정할 수 있다. 로봇 제어부(190)는 돌봄 대상(Tar)에게 선호 순위에 기초하여 콘텐츠를 제안할 수 있다.For example, the robot controller 190 may monitor time information and facial expression information immersed in only the content of a care target Tar looking at the content, and then determine a preference rank for each content. The robot controller 190 may suggest content to the care target Tar based on a preference rank.

또한, 로봇 제어부(190)는 돌봄 대상(Tar)의 안면을 인식하여 콘텐츠가 재생 중인 경우, 돌봄 대상(Tar)이 선호하는 콘텐츠 재생을 제공할 수 있다.In addition, the robot controller 190 may recognize a face of the care target Tar and provide content playback preferred by the care target Tar when the content is being played.

만약, 로봇 제어부(190)가 피드백 정보를 수신하지 못하는 경우, 로봇 메모리(150)에 저장된 소정의 메시지를 돌봄 대상(Tar)에게 제공할 수 있다. 가령, 로봇 제어부(190)는 보호자(Prot)가 오는 중이라는 사운드 정보를 돌봄 대상(Tar)에게 제공할 수 있다. If the robot controller 190 does not receive the feedback information, the robot controller 190 may provide a predetermined message stored in the robot memory 150 to the care target Tar. For example, the robot controller 190 may provide the care target Tar with sound information indicating that the protector Prot is coming.

아울러, 로봇 제어부(190)는 돌봄 대상(Tar)에 기 설정된 콘텐츠를 제공하거나 돌봄 대상(Tar)을 향하여 특정 활동을 제안할 수 있다. 로봇 제어부(190)는 이전에 돌봄 대상(Tar)에게 제공한 놀이, 활동 등을 제안할 수 있으며, 돌봄 대상(Tar)이 선호했던 콘텐츠를 돌봄 대상(Tar)에게 제공할 수 있다.In addition, the robot controller 190 may provide preset content to the care target Tar or may suggest a specific activity toward the care target Tar. The robot controller 190 may suggest a play, an activity, and the like previously provided to the care target Tar, and provide the care target Tar with content preferred by the care target Tar.

로봇 제어부(190)는 돌봄 대상(Tar)과 소정의 대화(Dialog)를 수행하는 경우(특정 메시지를 전달하는 경우), DM(Dialog Manager)를 이용할 수 있다. DM은 돌봄 대상(Tar)에 따른 미리 설정된 다이알로그와 보호자의 메시지를 가공한 다이알로그, 보호자의 메시지를 그대로 포함하는 다이알로그 등을 포함할 수 있다. 로봇 제어부(190)는 DM에 포함된 다이알로그를 상황에 맞게 맞춤형으로 돌봄 대상(Tar) 별로 다르게 전달할 수 있다.The robot controller 190 may use a DM (Dialog Manager) when performing a predetermined dialog (Tar) with the care target Tar. The DM may include a preset dialog according to the target of care (Tar), a dialog processing the message of the guardian, a dialog including the message of the guardian as it is, and the like. The robot controller 190 may deliver the dialog included in the DM differently according to the care target (Tar) in a customized manner.

이하에서는, 케어 시스템(300)의 구성요소들을 설명하기로 한다. 케어 시스템(300)은 시스템 통신부(310), 시스템 메모리(320) 및 시스템 제어부(330)를 포함할 수 있다. 도 3에 도시된 구성요소들은 케어 시스템(300)를 구현하는데 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 케어 시스템(300)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.Hereinafter, the components of the care system 300 will be described. The care system 300 may include a system communicator 310, a system memory 320, and a system controller 330. The components shown in FIG. 3 are not essential to implementing the care system 300, so the care system 300 described herein may have more or fewer components than those listed above. .

시스템 통신부(310)는 하나 이상의 로봇(100 포함), 각종 통신 기기 등과 통신하는 모듈이며, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association;IrDA), ZigBee, NFC(Near Field Communication) 통신에 관한 모듈을 탑재할 수 있다.The system communication unit 310 is a module that communicates with one or more robots 100, various communication devices, and the like, and includes Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Long Term Evolution (LTE), 5G, WLAN Modules for (Wireless LAN), Wi-Fi (Wireless-Fidelity), Bluetooth (Bluetooth ™), Radio Frequency Identification (RFID), Infrared Data Association (IrDA), ZigBee, and Near Field Communication (NFC) communications. It can be mounted.

시스템 메모리(320)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 시스템 메모리(320)는 심층 신경망 모델을 저장할 수 있다. 상기 심층 신경망 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.The system memory 320 may store information necessary to perform an operation using artificial intelligence, machine learning, and artificial neural network. The system memory 320 may store a deep neural network model. The deep neural network model may be used to infer a result value for new input data other than training data, and the inferred value may be used as a basis for judgment to perform an operation.

시스템 제어부(330)는 케어 시스템(300)을 전반적으로 제어하는 모듈에 해당된다. 시스템 제어부(330)는 돌봄 대상(Tar)에 제공할 콘텐츠 사용에 대한 제어 기능을 로봇(100) 또는 돌봄 대상(Tar)에게 부여할 것인지 보호자(Prot)의 의사에 의해 또는 자체적으로 결정할 수 있다.The system controller 330 corresponds to a module for controlling the care system 300 as a whole. The system controller 330 may determine whether to give the robot 100 or the care target Tar a control function for the use of the content to be provided to the care target Tar by the caregiver Prot or on its own.

시스템 제어부(330)는 보호자(Prot)의 요청 사항을 돌봄 대상(Tar)에 전달할 수 있으며, 보호자(Prot)의 도착 예정 시간 정보, 보호자(Prot)의 위치 정보 등을 로봇(100)에게 제공할 수 있다.The system controller 330 may transmit the request of the protector to the care target Tar, and provide the robot 100 with the estimated time of arrival of the protector Prot and the position information of the protector Prot. Can be.

이하에서는, 도 4의 시퀀스도를 참고하여 본 발명의 일 실시 예에 따른 로봇(100), 보호자(Prot)의 이동 단말(200) 및 케어 시스템(300)의 구동을 설명하기로 한다.Hereinafter, driving of the robot 100, the mobile terminal 200 of the protector Prot, and the care system 300 according to an embodiment of the present disclosure will be described with reference to the sequence diagram of FIG. 4.

로봇(100)은 홈에 배치되고, 홈 내부에서 돌봄 대상(Tar)의 사운드 정보를 획득한다(S410).The robot 100 is disposed in a groove, and acquires sound information of a care target Tar in the groove (S410).

로봇(100)은 바로 케어 모드로 진입(S420)하고, 돌봄 대상(Tar)의 사운드 정보를 케어 시스템(300)으로 전송하며(S425). 대기 상태로 진입한다(S423, 대기중).The robot 100 immediately enters the care mode (S420), and transmits the sound information of the care target (Tar) to the care system 300 (S425). Enter the standby state (S423, waiting).

선택적 실시 예로 로봇(100)은 돌봄 대상(Tar)의 영상 정보를 획득한 후, 상기 영상 정보를 케어 시스템(300)으로 전송할 수 있다.As an optional embodiment, the robot 100 may acquire image information of a care target Tar and then transmit the image information to the care system 300.

케어 시스템(300)은 자연어 처리를 수행하고(S430), 돌봄 대상(Tar)의 요청 정보를 보호자(Prot)의 이동 단말(200)로 전송한다(S435).The care system 300 performs natural language processing (S430), and transmits the request information of the care target Tar to the mobile terminal 200 of the protector (S435).

케이 시스템(300)은 사운드 정보를 보다 명확하게 가공하거나 사운드 정보의 의미를 보다 명확하게 인식할 수 있다. 케어 시스템(300)은 추가적으로, 다이알로그 매니저(DM)를 실행하여 돌봄 대상(Tar)에 전달될 말을 설정할 수 있다. DM은 돌봄 대상(Tar) 및 상황에 따라 적절한 다이알로그를 생성할 수 있다.The K system 300 may process sound information more clearly or more clearly recognize the meaning of the sound information. The care system 300 may additionally set a word to be delivered to the care target Tar by executing the dialogue manager DM. The DM may generate an appropriate dialog depending on the tar and circumstances.

케어 시스템(300)은 보호자(Prot)의 피드백 정보를 수신하고(S440), 보호자(Prot)의 피드백 정보를 로봇(100)에 전송한다(S445).The care system 300 receives the feedback information of the protector Prot (S440), and transmits the feedback information of the protector Prot to the robot 100 (S445).

로봇(100)은 보호자(Prot)의 피드백 정보를 수신하여, 돌봄 대상(Tar)에게 소정의 메시지를 출력한다(S450).The robot 100 receives feedback information of the protector Prot, and outputs a predetermined message to the care target Tar (S450).

로봇(100)은 소정 시간 동안 보호자의 피드백 정보를 받지 못한 경우, 기 설정된 메시지를 로봇(100)에 전달할 수 있다. When the robot 100 does not receive feedback information of the guardian for a predetermined time, the robot 100 may transmit a preset message to the robot 100.

도 5는 본 발명의 일 실시 예에 따른 로봇(100)의 구동 방법을 나타낸 시퀀스도이다.5 is a sequence diagram illustrating a method of driving the robot 100 according to an embodiment of the present invention.

먼저, 로봇(100)은 소정 공간에 위치한 돌봄 대상(Tar)을 촬영한 영상 정보 및/또는 돌봄 대상(Tar)의 사운드 정보를 획득한다(S710, 획득 단계).First, the robot 100 obtains image information photographing a care object Tar located in a predetermined space and / or sound information of the care object Tar (S710, an acquisition step).

그 다음, 로봇(100)은 영상 정보 또는 사운드 정보에 기초하여, 케어(Care) 모드의 진입 여부를 결정한다(S720, 결정 단계).Next, the robot 100 determines whether to enter the care mode based on the image information or the sound information (S720, decision step).

로봇(100)은 케어 모드의 진입이 결정된 경우, 영상 정보 또는 사운드 정보를 돌봄 대상(Tar)의 보호자(Prot)가 컨트롤하는 이동 단말(200)로 전송한다(S730, 전송 단계).When the entry into the care mode is determined, the robot 100 transmits the image information or the sound information to the mobile terminal 200 controlled by the caregiver Prot of the care target Tar (S730, a transmission step).

그 후에, 로봇(100)은 영상 정보 또는 사운드 정보에 대응하는 피드백 정보를 이동 단말(200)로부터 수집한다(S740, 수집 단계).Thereafter, the robot 100 collects feedback information corresponding to the image information or the sound information from the mobile terminal 200 (S740, collecting step).

이때, 로봇(100)은 이동 단말(200)로부터 이동 단말(200)의 위치 정보(또는 보호자의 위치 정보)를 로봇(100)으로 전송할 수 있다.In this case, the robot 100 may transmit location information (or guardian's location information) of the mobile terminal 200 from the mobile terminal 200 to the robot 100.

그 후에, 로봇(100)은 피드백 정보에 기초하여, 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력한다(S750, 출력 단계).Thereafter, the robot 100 outputs a predetermined message toward the care target Tar based on the feedback information (S750, output step).

상기 S720 단계 이전에, 로봇(100)의 구동 방법은 영상 정보 또는 사운드 정보에 기초하여, 돌봄 대상이 사람 또는 반려 동물인지 추정하는 단계 및 돌봄 대상(Tar)을 사람으로 추정한 경우, 추정된 사람의 나이가 제1 소정 나이 이하 또는 제2 소정 나이 이상인지 추정하는 단계를 더 포함할 수 있다.Before the step S720, the driving method of the robot 100 is based on the image information or sound information, the step of estimating whether the care subject is a person or companion animal and the estimated person (Tar) as a person, the estimated person The method may further include estimating whether an age of is less than or equal to a first predetermined age or more than a second predetermined age.

상기 S730 단계(전송 단계)는, 영상 정보 또는 사운드 정보에 기초하여, 돌봄 대상(Tar)을 케어하는 보호자(Prot)의 관여가 필요한 것으로 결정한 경우, 케어 모드로 진입하는 단계를 포함할 수 있다.The step S730 (transmission step) may include entering a care mode when it is determined that the involvement of the caregiver Prot who cares for the care target Tar is required based on the image information or the sound information.

구체적으로, 로봇(100)은 영상 정보에서 수집한 돌봄 대상(Tar)의 모션 정보, 획득한 사운드 정보를 입력 데이터로 하고, 돌봄 대상(Tar)을 케어하는 보호자(Prot)의 관여가 필요한지 여부를 출력 데이터로 하는 기 저장된 심층 신경망 모델을 이용하여, 로봇이 케어 모드로 진입할지 여부를 결정할 수 있다.Specifically, the robot 100 determines whether the motion information of the care target Tar collected from the image information and the acquired sound information are input data, and whether the caregiver Prot who cares for the care target Tar is required. Using a pre-stored deep neural network model as output data, it may be determined whether the robot enters a care mode.

또한, S730 단계(전송 단계)는, 상기 케어 모드로 진입이 결정되면, 획득한 상기 영상 정보, 상기 사운드 정보 및 상기 사운드 정보를 STT(Speech To Text) 알고리즘을 이용하여 변환한 텍스트 정보 중 적어도 하나를 상기 이동 단말로 전송하는 단계를 포함할 수 있다.In operation S730, when it is determined to enter the care mode, at least one of acquired text information, sound information, and text information obtained by converting the sound information using a speech to text (STT) algorithm may be used. It may include transmitting to the mobile terminal.

S740 단계(수집 단계)는, 돌봄 대상(Tar)을 케어하기 위한 사운드 정보 또는 영상 정보를 포함하는 상기 피드백 정보를 상기 이동 단말로부터 수집하는 단계를 포함할 수 있다.The step S740 (collecting step) may include collecting the feedback information including the sound information or the image information for caring for the care target Tar from the mobile terminal.

S750 단계(출력 단계)는 피드백 정보를 그대로 포함하는 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력하거나, 피드백 정보에 포함된 영상 정보 또는 사운드 정보에 기초하여 가공한 소정의 메시지를 돌봄 대상(Tar)을 향하여 출력하는 단계를 포함할 수 있다.Step S750 (output step) outputs a predetermined message including the feedback information directly to the care target Tar or takes care of a predetermined message processed based on the image information or the sound information included in the feedback information. And outputting toward).

S750 단계(출력 단계) 이후에, 상기 로봇(100)의 구동 방법은 피드백 정보에 포함된 상기 돌봄 대상(Tar)의 보호자(Prot)의 의도에 기초하여 상기 돌봄 대상(Tar)을 향하여 기 설정된 콘텐츠를 제공하거나 상기 돌봄 대상(Tar)을 향하여 특정 활동을 제안하는 단계를 더 포함할 수 있다. After the step S750 (output step), the driving method of the robot 100 is preset content toward the care target Tar based on the intention of the protector Prot of the care target Tar included in the feedback information. Providing or suggesting a specific activity toward the care target (Tar) may be further included.

한편, 상기 S750 단계(출력 단계)는 피드백 정보를 수신하지 못하는 경우, 기 저장된 소정의 메시지를 상기 돌봄 대상(Tar)을 향하여 출력하는 단계를 포함할 수 있다.On the other hand, step S750 (output step) may include the step of outputting a pre-stored predetermined message toward the care target (Tar) when the feedback information is not received.

또한, 보호자(Prot)의 이동 단말(200)은 영상 통화를 로봇(100)과 수행할 수 있다. 상기 영상 통화는 이동 단말(200) 또는 로봇(100) 양측에 의해 트리거될 수 있다.In addition, the mobile terminal 200 of the protector Prot may perform a video call with the robot 100. The video call may be triggered by both the mobile terminal 200 or the robot 100.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 상기 컴퓨터는 로봇(100)의 프로세서(190)를 포함할 수도 있다. The present invention described above can be embodied as computer readable codes on a medium in which a program is recorded. The computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAM, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. In addition, the computer may include a processor 190 of the robot 100.

앞에서, 본 발명의 특정한 실시예가 설명되고 도시되었지만 본 발명은 기재된 실시예에 한정되는 것이 아니고, 이 기술 분야에서 통상의 지식을 가진 자는 본 발명의 사상 및 범위를 벗어나지 않고서 다른 구체적인 실시예로 다양하게 수정 및 변형할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 설명된 실시예에 의하여 정하여 질 것이 아니고 청구범위에 기재된 기술적 사상에 의해 정하여져야 할 것이다.In the foregoing, specific embodiments of the present invention have been described and illustrated, but the present invention is not limited to the described embodiments, and those skilled in the art can variously change to other specific embodiments without departing from the spirit and scope of the present invention. It will be understood that modifications and variations are possible. Therefore, the scope of the present invention should be determined by the technical spirit described in the claims rather than by the embodiments described.

Claims

As a robot,
Communication unit; camera; MIC; An output unit; And a control unit,
The control unit,
Obtaining image information of a caring target located in a predetermined space through the camera or acquiring sound information of the caring target through the microphone;
Determining whether the robot enters a care mode based on the image information or sound information,
When it is determined to enter the care mode, and transmits the image information or the sound information to the mobile terminal controlled by the caregiver of the care object through the communication unit,
Collecting feedback information corresponding to the image information or sound information from the mobile terminal through the communication unit;
And configured to control the output unit to output a predetermined message toward the care object based on the feedback information.

The method of claim 1,
Xinggi control unit,
A robot configured to estimate whether the care object is a human or a companion animal based on the image information or the sound information, and estimate whether the care object is a human being below a first predetermined age or a second predetermined age when the estimated care object is a human. .

The method of claim 2,
The control unit,
And the robot is configured to enter the care mode when it is determined that involvement of the guardian is necessary based on the image information or the sound information.

The method of claim 3,
The control unit,
The robot enters into the care mode using a pre-stored deep neural network model which uses the motion information or the sound information of the care target obtained from the image information as input data, and outputs whether the involvement of the guardian is necessary. A robot configured to determine whether to enter.

The method of claim 1,
The control unit,
When it is determined to enter the care mode, the communication unit transmits at least one of the acquired image information, the sound information, and text information obtained by converting the sound information using a speech to text (STT) algorithm to the mobile terminal of the guardian. Configured to transmit via a robot.

The method of claim 5,
The control unit,
And collect feedback information including sound information or image information for caring for the care object from the mobile terminal through the communication unit.

The method of claim 6,
The control unit,
The predetermined message including the feedback information as it is output through the output unit toward the care object, or a predetermined message processed based on the image information or the sound information included in the feedback information toward the care object. And configured to output through the output.

The method of claim 7, wherein
The control unit,
And provide a preset content towards the caregiver or suggest a specific activity toward the caregiver based on the intention of the caregiver included in the feedback information.

The method of claim 5,
The control unit,
If the feedback information is not received, the robot is configured to output a predetermined message through the output unit toward the care object.

The method of claim 9,
The control unit,
The robot is configured to provide preset content toward the care object or suggest specific activities through the output unit toward the care object.

As a control method of the robot,
Receiving image information of a care object located in a predetermined space or sound information of the care object;
Transmitting the image information or the sound information to a care system;
Receiving the feedback information from the care system when the care system collects feedback information corresponding to the image information or the sound information from a caregiver of the care subject; And
And outputting a predetermined message for caring for the care object based on the received feedback information.

As a control method of the robot,
Acquiring image information of a caring target located in a predetermined space or sound information of the caring target;
Determining whether to enter a care mode based on the image information or sound information;
If it is determined to enter the care mode, transmitting the image information or the sound information to a mobile terminal controlled by a caregiver of the care subject;
Collecting feedback information corresponding to the image information or sound information from the mobile terminal; And
And outputting a predetermined message toward the care object based on the feedback information.

The method of claim 12,
Before the step of determining whether to enter the care mode,
Estimating whether the care subject is a human or companion animal based on the image information or the sound information; And
And estimating whether the estimated person's age is less than or equal to a first predetermined age or greater than or equal to a second predetermined age when the care subject is estimated as a person.

The method of claim 13,
Determining whether or not to enter the care mode,
And entering the care mode when it is determined that involvement of a caregiver who cares for the care object is necessary based on the image information or the sound information.

The method of claim 14,
Determining whether or not to enter the care mode,
By using the previously stored deep neural network model using the motion information of the care subject collected from the image information and the acquired sound information as input data, and whether the involvement of a caregiver who cares for the care subject is necessary as output data. Determining whether the robot enters the care mode.

The method of claim 12,
The transmitting step,
If it is determined to enter the care mode, transmitting at least one of the acquired image information, the sound information, and the text information converted by using a speech to text (STT) algorithm to the mobile terminal. How to control the robot.

The method of claim 16,
Collecting from the mobile terminal,
And collecting the feedback information from the mobile terminal, the feedback information including sound information or image information for caring for the care target.

The method of claim 17,
The outputting step,
Outputting the predetermined message including the feedback information to the care object, or outputting a predetermined message to the care object based on the image information or the sound information included in the feedback information; A control method of the robot, including.

The method of claim 18,
After the outputting step,
And providing a preset content toward the care object or suggesting a specific activity toward the care object based on the intention of the caregiver of the care object included in the feedback information.

The method of claim 16,
The outputting step,
And if the feedback information is not received, outputting a pre-stored predetermined message toward the care subject.