KR102453835B1 - The apparatus and method of modeling of robot motion - Google Patents

The apparatus and method of modeling of robot motion Download PDF

Info

Publication number
KR102453835B1
KR102453835B1 KR1020200159446A KR20200159446A KR102453835B1 KR 102453835 B1 KR102453835 B1 KR 102453835B1 KR 1020200159446 A KR1020200159446 A KR 1020200159446A KR 20200159446 A KR20200159446 A KR 20200159446A KR 102453835 B1 KR102453835 B1 KR 102453835B1
Authority
KR
South Korea
Prior art keywords
service
robot
behavior
motion
unit
Prior art date
Application number
KR1020200159446A
Other languages
Korean (ko)
Other versions
KR20220072148A (en
Inventor
김민규
박민정
권용섭
김주현
서갑호
손동섭
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020200159446A priority Critical patent/KR102453835B1/en
Publication of KR20220072148A publication Critical patent/KR20220072148A/en
Application granted granted Critical
Publication of KR102453835B1 publication Critical patent/KR102453835B1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Economics (AREA)
  • Automation & Control Theory (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Manipulator (AREA)

Abstract

로봇 동작 모델링 장치 및 로봇 동작 모델링 방법이 개시된다. 이에 의하면, 복수개의 서비스 숙련도와, 상기 복수개의 서비스 숙련도 중 어느 것에 해당하는지를 평가하기 위한 척도인 서비스 행동을 정의하고; 상기 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자가 수행하는 서비스에 대한 녹화영상을 수신하고; 상기 녹화영상으로부터 상기 서비스 행동을 추출하고, 상기 서비스 행동에 해당하는 구간을 표시하며; 상기 구간에 기초하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 통계적으로 분석하고, 분석결과를 도출할 수 있다.A robot motion modeling apparatus and a robot motion modeling method are disclosed. According to this, defining a plurality of service proficiencies and a service behavior that is a measure for evaluating which of the plurality of service proficiencies corresponds to; receiving a recorded image of a service performed by a service provider corresponding to each of the plurality of service skill levels; extracting the service behavior from the recorded video and displaying a section corresponding to the service behavior; Based on the interval, a difference in the service behavior between the service providers corresponding to each of the plurality of service proficiency levels may be statistically analyzed, and an analysis result may be derived.

Description

로봇 동작 모델링 장치 및 로봇 동작 모델링 방법{THE APPARATUS AND METHOD OF MODELING OF ROBOT MOTION}Robot motion modeling device and robot motion modeling method

본 발명은 로봇 동작 모델링 장치 및 로봇 동작 모델링 방법에 관한 것으로서, 보다 상세하게는 로봇의 지능이 발달함에 따라 변화되는 서비스 행동의 차이와 변화정도를 분석할 수 로봇 동작 모델링 장치 및 로봇 동작 모델링 방법에 관한 것이다. The present invention relates to a robot motion modeling device and a robot motion modeling method, and more particularly, to a robot motion modeling device and a robot motion modeling method that can analyze the difference and degree of change in service behavior that is changed as the intelligence of the robot develops. it's about

최근 전시관, 레스토랑, 카페, 물류 및 의료 등 다양한 서비스 도메인에서 로봇을 활용한 서비스 사업이 활성화되고 있다. 로봇은 사람의 지능과 유사하게 스스로 판단하고 진화할 수 있는 지능형 로봇 형태로 발전하고 있다. Recently, service businesses using robots have been activated in various service domains such as exhibition halls, restaurants, cafes, logistics and medical services. Robots are developing into the form of intelligent robots that can make decisions and evolve on their own, similar to human intelligence.

기존에는 현장의 서비스가 변경될 때마다 서비스 로봇의 지능을 새로 개발하였지만, 최근에는 클라우드를 활용하여 다수의 로봇이 각각 학습한 결과를 결합할 수도 있게 되었다.In the past, the intelligence of the service robot was newly developed whenever there was a change of service in the field.

서비스 로봇의 지능이 발달하면서 서비스 제공 행위도 발달한다. 그러나, 최종 사용자인 고객의 입장에서는 로봇의 지능이 발전해가는 상황을 인식하는 것이 쉽지 않다. 또한, 로봇을 서비스에 직접 활용하는 서비스 제공자 및 로봇 개발자 입장에서도 스마트해지는 로봇 지능과 서비스를 분석하고 평가할 수 있는 방법이 없다.As the intelligence of the service robot develops, the service provision behavior also develops. However, it is not easy for the end user, the customer, to recognize the situation in which the robot's intelligence is developing. In addition, there is no way to analyze and evaluate robot intelligence and services that become smart even from the point of view of service providers and robot developers who directly utilize robots for services.

기존에 존재하는 서비스 분석 방법은 서비스를 이용하는 고객의 패턴 분석에 집중되어 있다. 따라서, 근무자가 되어야 하는 로봇의 서비스 행동을 정의하고 모델링하는 방법은 현재 존재하지 않는다.Existing service analysis methods are focused on the pattern analysis of customers who use the service. Therefore, there is currently no way to define and model the service behavior of a robot that must be a worker.

한국공개특허공보 제10-2018-0130621호(2018.12.10)Korean Patent Publication No. 10-2018-0130621 (2018.12.10)

본 발명이 해결하고자 하는 과제는, 전시관 및 레스토랑에 적용하는 서비스 로봇의 서비스 행동을 모델링하고, 서비스 로봇의 지능이 발달하면서 도달하는 서비스 행동의 목표를 정의할 수 있는 로봇 동작 모델링 장치 및 방법을 제공하는 것이다. The problem to be solved by the present invention is to model the service behavior of a service robot applied to exhibition halls and restaurants, and to provide a robot motion modeling device and method that can define the goal of service behavior reached as the intelligence of the service robot develops will do

또한, 본 발명이 해결하고자 하는 과제는, 로봇의 지능이 발달함에 따라 변화되는 서비스 행동의 차이와 변화정도를 분석할 수 있는 로봇 동작 모델링 장치 및 방법을 제공하는 것이다. In addition, an object of the present invention is to provide a robot motion modeling apparatus and method capable of analyzing the difference and degree of change in service behavior that is changed as the intelligence of the robot develops.

본 발명의 일 실시 예에 의한 로봇 동작 모델링 장치는, 복수개의 서비스 숙련도와, 상기 복수개의 서비스 숙련도 중 어느 것에 해당하는지를 평가하기 위한 척도인 서비스 행동을 정의하는 설정부; 와, 상기 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자가 수행하는 서비스에 대한 녹화영상을 수신하는 영상 획득부; 와, 상기 녹화영상으로부터 상기 서비스 행동을 추출하고, 상기 서비스 행동에 해당하는 구간을 표시하는 영상 처리부; 및 상기 구간에 기초하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 통계적으로 분석하고, 분석결과를 도출하는 분석부를 포함할 수 있다.Robot behavior modeling apparatus according to an embodiment of the present invention, a plurality of service proficiency, and a setting unit defining a service behavior that is a measure for evaluating which of the plurality of service proficiency corresponds to; and an image acquisition unit configured to receive a recorded image of a service performed by a service provider corresponding to each of the plurality of service proficiency levels; and an image processing unit for extracting the service behavior from the recorded image and displaying a section corresponding to the service behavior; and an analysis unit for statistically analyzing a difference in the service behavior between the service providers corresponding to each of the plurality of service proficiency levels based on the section, and deriving an analysis result.

상기 로봇 동작 모델링 장치에 있어서, 상기 서비스 행동은, 소정 서비스 도메인의 근무자에게 공통적으로 적용 가능하고, 기본 행동단위와 서비스 행동단위로 구성될 수 있다.In the robot motion modeling apparatus, the service behavior is commonly applicable to workers in a predetermined service domain, and may be composed of a basic behavior unit and a service behavior unit.

상기 로봇 동작 모델링 장치에 있어서, 상기 분석부는, 상기 구간에 기초하여 상기 기본 행동단위와 상기 서비스 행동단위의 행동 빈도수 및 행동 지속시간을 판단하고, 이에 대응하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 분석할 수 있다.In the robot motion modeling apparatus, the analysis unit determines the frequency of action and the action duration of the basic action unit and the service action unit based on the section, and corresponding to each of the plurality of service skill levels, the A difference in the service behavior between service providers may be analyzed.

상기 로봇 동작 모델링 장치에 있어서, 상기 기본 행동단위는, 시선, 이동, 가리키기 및 발화내용 중 적어도 하나를 포함하고, 상기 서비스 행동단위는 유연함, 진취성, 위험인식, 대인스킬 및 서비스회복 중 적어도 하나를 포함할 수 있다.In the robot motion modeling apparatus, the basic action unit includes at least one of gaze, movement, pointing, and utterance, and the service action unit is at least one of flexibility, initiative, risk recognition, interpersonal skills, and service recovery. may include.

상기 로봇 동작 모델링 장치에 있어서, 상기 복수개의 서비스 숙련도는, 초보자 단계, 중급자 단계 및 숙련자 단계 중 적어도 하나 이상을 포함할 수 있다.In the robot motion modeling apparatus, the plurality of service skill levels may include at least one of a beginner level, an intermediate level, and an expert level.

상기 로봇 동작 모델링 장치에 있어서, 상기 분석부는, 상기 분석결과에 기초하여 상기 복수개의 서비스 숙련도 각각에 대응하는 동작 패턴을 모델링하고, 로봇의 동작을 상기 동작 패턴과 비교하여 상기 로봇의 숙련 단계를 판단하거나 상기 동작 패턴에 대응되게 상기 로봇의 동작을 모델링할 수 있다.In the robot motion modeling apparatus, the analysis unit models a motion pattern corresponding to each of the plurality of service proficiency levels based on the analysis result, and compares the robot motion with the motion pattern to determine the proficiency level of the robot Alternatively, the motion of the robot may be modeled to correspond to the motion pattern.

본 발명의 다른 실시 예에 의한 로봇 동작 모델링 방법은, 복수개의 서비스 숙련도와, 상기 복수개의 서비스 숙련도 중 어느 것에 해당하는지를 평가하기 위한 척도인 서비스 행동을 정의하는 단계; 와, 상기 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자가 수행하는 서비스에 대한 녹화영상을 수신하는 단계; 와, 상기 녹화영상으로부터 상기 서비스 행동을 추출하고, 상기 서비스 행동에 해당하는 구간을 표시하는 단계; 및 상기 구간에 기초하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 통계적으로 분석하고, 분석결과를 도출하는 단계를 포함할 수 있다.A robot behavior modeling method according to another embodiment of the present invention includes: defining a plurality of service proficiencies and a service behavior that is a measure for evaluating which one of the plurality of service proficiencies corresponds to; and receiving a recorded image of a service performed by a service provider corresponding to each of the plurality of service skill levels; and extracting the service behavior from the recorded video and displaying a section corresponding to the service behavior; and statistically analyzing a difference in the service behavior between the service providers corresponding to each of the plurality of service proficiency levels based on the interval, and deriving an analysis result.

상기 로봇 동작 모델링 방법에 있어서, 상기 서비스 행동은, 소정 서비스 도메인의 근무자에게 공통적으로 적용 가능하고, 기본 행동단위와 서비스 행동단위로 구성될 수 있다.In the robot motion modeling method, the service behavior is commonly applicable to workers in a predetermined service domain, and may be composed of a basic behavior unit and a service behavior unit.

상기 로봇 동작 모델링 방법에 있어서, 상기 구간에 기초하여 상기 기본 행동단위와 상기 서비스 행동단위의 행동 빈도수 및 행동 지속시간을 판단하고, 이에 대응하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 분석할 수 있다.In the robot motion modeling method, the frequency and duration of actions of the basic action unit and the service action unit are determined based on the section, and correspondingly, between the service providers corresponding to each of the plurality of service proficiency levels. The difference in service behavior can be analyzed.

상기 로봇 동작 모델링 방법에 있어서, 상기 기본 행동단위는, 시선, 이동, 가리키기 및 발화내용 중 적어도 하나를 포함하고, 상기 서비스 행동단위는 유연함, 진취성, 위험인식, 대인스킬 및 서비스회복 중 적어도 하나를 포함할 수 있다.In the robot motion modeling method, the basic action unit includes at least one of gaze, movement, pointing, and utterance, and the service action unit is at least one of flexibility, initiative, risk recognition, interpersonal skills, and service recovery. may include.

상기 로봇 동작 모델링 방법에 있어서, 상기 복수개의 서비스 숙련도는, 초보자 단계, 중급자 단계 및 숙련자 단계 중 적어도 하나 이상을 포함할 수 있다.In the robot motion modeling method, the plurality of service proficiency levels may include at least one of a beginner level, an intermediate level level, and an expert level level.

상기 로봇 동작 모델링 방법에 있어서, 상기 분석결과에 기초하여 상기 복수개의 서비스 숙련도 각각에 대응하는 동작 패턴을 모델링하고, 로봇의 동작을 상기 동작 패턴과 비교하여 상기 로봇의 숙련 단계를 판단하거나 상기 동작 패턴에 대응되게 상기 로봇의 동작을 모델링할 수 있다.In the robot motion modeling method, a motion pattern corresponding to each of the plurality of service proficiency is modeled based on the analysis result, and the motion of the robot is compared with the motion pattern to determine the proficiency level of the robot or the motion pattern It is possible to model the motion of the robot corresponding to .

본 발명의 실시예에 따르면, 전시관 및 레스토랑에 적용하는 서비스 로봇의 서비스 행동을 모델링하고, 서비스 로봇의 지능이 발달하면서 도달하는 서비스 행동의 목표를 정의할 수 있다.According to an embodiment of the present invention, it is possible to model the service behavior of a service robot applied to an exhibition hall and a restaurant, and to define a goal of a service behavior reached as the intelligence of the service robot develops.

또한, 본 발명의 실시예에 따르면, 로봇의 지능이 발달함에 따라 변화되는 서비스 행동의 차이와 변화정도를 분석할 수 있다.In addition, according to an embodiment of the present invention, it is possible to analyze the difference and degree of change in service behavior that is changed as the intelligence of the robot develops.

도 1은 본 발명에 따른 로봇 동작 모델링 장치의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 서비스 동작을 모델링하는 일 예를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 로봇 동작 모델링 장치가 숙련도 서비스 동작 모델에 기초하여 로봇 동작을 모델링하는 일 예를 설명하기 위한 도면이다.
도 4a와 도 4b는 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 실제 서비스 영상을 분석하는 방법을 설명하기 위한 도면이다.
도 5a와 도 5b는 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 실제 기본 행동단위를 비교하여 시각화한 일 예를 설명하기 위한 도면이다.
도 6a와 도 6b는 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 실제 서비스 행동단위를 비교하여 시각화한 일 예를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 서비스 행동단위를 정의한 일 예를 도시한 도면이다.
도 8은 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 기본 행동단위를 정의한 일 예를 도시한 도면이다.
도 9는 본 발명에 따른 로봇 동작 모델링 과정을 도시한 도면이다.
도 10은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
1 is a block diagram showing the configuration of a robot motion modeling apparatus according to the present invention.
2 is a view for explaining an example in which the robot operation modeling apparatus according to the present invention models the service operation of the worker.
3 is a view for explaining an example in which the robot motion modeling apparatus according to the present invention models the robot motion based on the proficiency service motion model.
4A and 4B are diagrams for explaining a method for the robot motion modeling apparatus according to the present invention to analyze an actual service image of a worker.
5A and 5B are diagrams for explaining an example in which the robot motion modeling apparatus according to the present invention compares and visualizes the actual basic action units of a worker.
6A and 6B are diagrams for explaining an example in which the robot motion modeling apparatus according to the present invention compares and visualizes the actual service action unit of the worker.
7 is a diagram illustrating an example in which the robot motion modeling apparatus according to the present invention defines a service action unit of a worker.
8 is a diagram illustrating an example in which the robot motion modeling apparatus according to the present invention defines a basic action unit of a worker.
9 is a diagram illustrating a robot motion modeling process according to the present invention.
10 is a diagram illustrating a computing device according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.In this specification, duplicate descriptions of the same components will be omitted.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.Also, in this specification, when a component is referred to as 'connected' or 'connected' to another component, it may be directly connected or connected to the other component, but other components in the middle It should be understood that there may be On the other hand, in the present specification, when it is mentioned that a certain element is 'directly connected' or 'directly connected' to another element, it should be understood that the other element does not exist in the middle.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.In addition, the terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.Also in this specification, the singular expression may include the plural expression unless the context clearly dictates otherwise.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.Also, in this specification, terms such as 'include' or 'have' are only intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, and one or more It should be understood that the existence or addition of other features, numbers, steps, acts, components, parts, or combinations thereof, is not precluded in advance.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.Also in this specification, the term 'and/or' includes a combination of a plurality of listed items or any of a plurality of listed items. In this specification, 'A or B' may include 'A', 'B', or 'both A and B'.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.Also, in this specification, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted.

도 1은 본 발명에 따른 로봇 동작 모델링 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a robot motion modeling apparatus according to the present invention.

본 발명에 따른 로봇 동작 모델링 장치(100)는 다양한 서비스 현장에 적용되는 서비스 로봇 개발을 위해, 근무자의 서비스 행동을 분석하여 모델링하고, 이에 기초하여 로봇 동작을 모델링하거나 로봇 동작의 숙련도를 판단하거나 로봇 동작을 제어할 수 있다.The robot motion modeling apparatus 100 according to the present invention analyzes and models the service behavior of a worker to develop a service robot applied to various service sites, and models the robot motion based on this, or determines the skill level of the robot motion, or the robot You can control the action.

이를 위해, 로봇 동작 모델링 장치(100)는 서버 장치나 클라우드 서버 형태로 구현되어, 로봇을 원격에서 제어하거나 로봇의 제어 동작을 위한 프로그램이나 업데이트 프로그램을 생성하여 로봇에게 전송할 수 있다.To this end, the robot motion modeling apparatus 100 may be implemented in the form of a server device or a cloud server, to remotely control the robot, or to generate a program or an update program for controlling the robot and transmit it to the robot.

로봇 동작 모델링 장치(100)는 설정부(110), 영상 획득부(120), 영상 처리부(130) 및 분석부(140)를 포함하여 구성될 수 있다.The robot motion modeling apparatus 100 may include a setting unit 110 , an image acquisition unit 120 , an image processing unit 130 , and an analysis unit 140 .

설정부(110)는 복수개의 서비스 숙련도와, 복수개의 서비스 숙련도 중 어느 것에 해당하는지를 평가하기 위한 척도인 서비스 행동을 정의할 수 있다.The setting unit 110 may define a plurality of service proficiencies and a service behavior that is a measure for evaluating which of the plurality of service proficiencies corresponds to.

여기서, 복수개의 서비스 숙련도는, 초보자 단계, 중급자 단계 및 숙련자 단계 중 적어도 하나 이상을 포함할 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 서비스 숙련도는 다양한 실시예에 따라 복수개의 단계로 분류될 수 있다Here, the plurality of service proficiency levels may include at least one of a beginner level, an intermediate level level, and an expert level. However, the present invention is not limited thereto, and the service skill level may be classified into a plurality of stages according to various embodiments.

서비스 행동은, 소정 서비스 도메인의 근무자에게 공통적으로 적용 가능한 것으로, 기본 행동단위와 서비스 행동단위로 구성될 수 있다. 기본 행동단위는, 시선, 이동, 가리키기 및 발화내용 중 적어도 하나를 포함할 수 있다. 서비스 행동단위는 유연함, 진취성, 위험인식, 대인스킬 및 서비스회복 중 적어도 하나를 포함할 수 있다.The service action is commonly applicable to workers of a predetermined service domain, and may be composed of a basic action unit and a service action unit. The basic action unit may include at least one of gaze, movement, pointing, and utterance. The service action unit may include at least one of flexibility, initiative, risk awareness, interpersonal skills, and service recovery.

영상 획득부(120)는 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자가 수행하는 서비스에 대한 녹화영상을 수신할 수 있다.The image acquisition unit 120 may receive a recorded image for a service performed by a service provider corresponding to each of a plurality of service skill levels.

영상 처리부(130)는 녹화영상으로부터 서비스 행동을 추출하고, 상기 서비스 행동에 해당하는 구간을 표시할 수 있다.The image processing unit 130 may extract a service action from the recorded image and display a section corresponding to the service action.

일 실시 예에 의하면, 영상 처리부(130)는 비디오 분석 툴을 이용하여 근무자의 서비스 행동을 태깅할 수 있다.According to an embodiment, the image processing unit 130 may tag the service behavior of the worker using a video analysis tool.

본 발명에서는 근무자의 서비스 행동 목록을 이용하여 전시관과 레스토랑 실제 서비스 상황의 장면을 녹화하는데, 서비스 영상은 서비스 숙련자와 초심자를 대상으로 수집할 수 있다. 이 경우, 비디오 분석 툴을 이용하여 수집한 영상 데이터베이스 속에서의 서비스 행동 목록에 해당하는 구간을 표시한다. 이로부터 숙련자와 초심자의 기본 행동단위와 서비스 행동단위에서의 행동 빈도수와 행동 지속시간을 분석하고, 두 그룹의 서비스 질적 차이를 통계분석을 통해 정량적으로 분석하여 결과를 차트를 통해서 표시할 수 있다. In the present invention, a scene of an actual service situation of an exhibition hall and a restaurant is recorded using the service behavior list of the worker, and the service image can be collected for service experts and beginners. In this case, the section corresponding to the service behavior list in the image database collected by using the video analysis tool is displayed. From this, it is possible to analyze the frequency and duration of behavior in the basic behavior unit and service behavior unit of experts and beginners, quantitatively analyze the difference in service quality between the two groups through statistical analysis, and display the results through a chart.

분석부(140)는 구간에 기초하여 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자 간의 서비스 행동의 차이를 통계적으로 분석하고, 분석결과를 도출할 수 있다.The analysis unit 140 may statistically analyze a difference in service behavior between service providers corresponding to each of a plurality of service proficiency levels based on the interval, and may derive an analysis result.

구체적으로, 분석부(140)는 구간에 기초하여 기본 행동단위와 서비스 행동단위의 행동 빈도수 및 행동 지속시간을 판단하고, 이에 대응하여 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자 간의 서비스 행동의 차이를 분석할 수 있다.Specifically, the analysis unit 140 determines the frequency and duration of the behavior of the basic behavior unit and the service behavior unit based on the interval, and in response to this, the difference in service behavior between the service providers corresponding to each of the plurality of service proficiency levels. can be analyzed.

분석부(140)는 분석결과에 기초하여 상기 복수개의 서비스 숙련도 각각에 대응하는 동작 패턴을 모델링할 수 있다. 이 경우, 분석부(140)는 로봇의 동작을 모델링된 동작 패턴과 비교하여 로봇의 숙련 단계를 판단하거나, 동작 패턴에 대응되게 로봇의 동작을 모델링할 수 있다.The analysis unit 140 may model an operation pattern corresponding to each of the plurality of service proficiency levels based on the analysis result. In this case, the analysis unit 140 may determine the skill level of the robot by comparing the motion of the robot with the modeled motion pattern, or may model the motion of the robot to correspond to the motion pattern.

서비스 로봇의 지능이 발달하면서 서비스 제공 행위도 발달한다. 따라서, 지능이 발달하기 전 단계인 초보자의 서비스 행동과, 지능이 발달하고 난 이후 단계인 숙련자의 서비스 행동의 차이를 분석하는 것이 필요하다. 그러나, 기존에는 이러한 지능 발달에 따른 서비스 행동의 차이를 분석하는 방법이 존재하지 않았고, 나아가 분석의 필요성도 인식하지 못했다.As the intelligence of the service robot develops, the service provision behavior also develops. Therefore, it is necessary to analyze the difference between the service behavior of the beginner, the stage before intelligence development, and the service behavior of the expert, the stage after the intelligence is developed. However, in the past, there was no method of analyzing the difference in service behavior according to the development of such intelligence, and furthermore, the necessity of analysis was not recognized.

본 발명에서는 전시관 및 레스토랑 등의 다양한 서비스 도메인에 적용되는 서비스 로봇의 지능이 발달함에 따라 진화되는 서비스 행동에 대하여, 로봇 서비스의 초심 단계와 숙련 단계 간의 명확한 차이를 인식하기 위하여, 실제 현장에서의 초심 근무자와 숙련 근무자의 서비스 행동을 모델링한다. 이 경우, 모델링된 근무자의 단계별 서비스 동작 모델에 대응하여, 로봇의 서비스 동작을 모델링 하거나, 비교하여 로봇의 서비스 동작 단계를 판단하거나, 로봇의 서비스 동작을 제어할 수 있게 된다.In the present invention, in order to recognize a clear difference between the initial stage and the skill stage of the robot service, the initial focus in the actual field with respect to the service behavior that evolves as the intelligence of the service robot applied to various service domains such as exhibition halls and restaurants develops. Model the service behavior of workers and skilled workers. In this case, in response to the modeled worker's step-by-step service operation model, it is possible to model or compare the service operation of the robot to determine the service operation stage of the robot, or to control the service operation of the robot.

도 2는 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 서비스 동작을 모델링하는 일 예를 설명하기 위한 도면이다.2 is a view for explaining an example in which the robot operation modeling apparatus according to the present invention models the service operation of the worker.

로봇 동작 모델링 장치(100)는 서비스 현장에서의 근무자의 서비스 숙련도를 분류한다. 일 실시예에 의하면, 서비스 숙련도는 초보자 단계, 중급자 단계, 숙련자 단계로 분류될 수 있다. 이 경우, 근무자의 서비스는, 초보자 단계에서 중급자 단계를 거쳐 숙련자 단계로 발전된다.The robot motion modeling apparatus 100 classifies the service proficiency of workers in the service site. According to an embodiment, the service proficiency level may be classified into a beginner level, an intermediate level level, and an expert level. In this case, the service of the worker is developed from the beginner level through the intermediate level level to the expert level.

서비스 현장에서의 근무자의 실제 서비스에 대한 영상을 획득한다. 구체적으로, 근무자가 실제 서비스를 수행하는 시계열적 과정을 포함하는 동영상을 획득할 수 있다. Acquire the image of the actual service of the worker in the service site. Specifically, it is possible to acquire a video including a time-series process in which a worker performs an actual service.

영상으로부터 서비스 행동을 추출하고, 서비스 행동에 기초하여 기본 행동단위와 서비스 행동단위를 판단한 후, 기본 행동단위 및 서비스 행동단위의 빈도수와 지속 시간을 분석한다. 이 경우, 분석결과에 기초하여 각 서비스 단계별로 동작 모델을 생성할 수 있다.After extracting the service behavior from the image, determining the basic behavior unit and the service behavior unit based on the service behavior, the frequency and duration of the basic behavior unit and the service behavior unit are analyzed. In this case, an operation model may be generated for each service step based on the analysis result.

도 2를 참조하면, 초보자와 중급자 및 숙련자 각각에 대응하여, 서비스 동작 모델이 생성된다. 서비스 동작 모델은 시간에 따른 A 서비스 행동의 빈도수 및 지속 시간의 패턴으로 표시된다.Referring to FIG. 2 , a service operation model is generated in response to a beginner, an intermediate, and an expert, respectively. The service behavior model is represented by a pattern of frequency and duration of service A behavior over time.

도 3은 본 발명에 따른 로봇 동작 모델링 장치가 숙련도 서비스 동작 모델에 기초하여 로봇 동작을 모델링하는 일 예를 설명하기 위한 도면이다.3 is a view for explaining an example in which the robot motion modeling apparatus according to the present invention models the robot motion based on the proficiency service motion model.

앞서 설명한 바와 같이, 도 2에 의해 서비스 숙련도별 서비스 동작 모델이 생성되었다. 이 경우, 로봇 동작 모델링 장치(100)는 근무자의 서비스 숙련도별 서비스 동작 모델에 기초하여, 로봇의 서비스 동작과 관련한 다양한 제어를 수행할 수 있다.As described above, a service operation model for each service skill level was generated by FIG. 2 . In this case, the robot motion modeling apparatus 100 may perform various controls related to the service motion of the robot based on the service motion model for each service skill level of the worker.

구체적으로, 근무자의 숙련도별 서비스 동작 모델에 대응하여, 로봇의 서비스 동작을 모델링할 수 있다. Specifically, it is possible to model the service operation of the robot in response to the service operation model for each skill level of the worker.

또한, 근무자의 숙련도별 서비스 동작 모델과 비교하여, 로봇의 서비스 동작이 어떤 숙련도 단계에 해당하는지 판단할 수 있다.In addition, it is possible to determine which skill level the service operation of the robot corresponds to by comparing it with the service operation model for each skill level of the worker.

나아가, 근무자의 숙련도별 서비스 동작 모델에 기초하여, 로봇의 서비스 동작을 제어할 수 있다.Furthermore, based on the service operation model for each skill level of the worker, it is possible to control the service operation of the robot.

도 3을 참조하면, 로봇이 숙련자 레벨의 서비스를 제공할 수 있도록, 숙련자 서비스 동작 모델에 기초하여 로봇의 서비스 동작을 모델링할 수 있다. 또한, 로봇의 A 서비스 행동이 중급자 서비스 동작 모델과 동일한 패턴을 가지면, 로봇의 서비스 숙련도는 중급자라고 판단할 수 있다.Referring to FIG. 3 , a service operation of the robot may be modeled based on the expert service operation model so that the robot may provide a service of the expert level. In addition, if the A service behavior of the robot has the same pattern as the intermediate service operation model, it can be determined that the service skill level of the robot is intermediate.

도 4a와 도 4b는 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 실제 서비스 영상을 분석하는 방법을 설명하기 위한 도면이다.4A and 4B are diagrams for explaining a method for the robot motion modeling apparatus according to the present invention to analyze an actual service image of a worker.

로봇 동작 모델링 장치(100)는 실제 서비스 제공 상황에서의 근무자의 서비스 영상을 단계별로 수집한다. 일 실시예에 의하면, 초보자와 중급자 및 숙련자 각각이 실제 현장에서 제공하는 서비스를 영상으로 녹화하여 데이터베이스에 저장할 수 있다. 이 경우, 로봇 동작 모델링 장치(100)는 내장된 영상녹화 수단을 이용하여 서비스 영상을 직접 녹화하거나, 외부에 위치한 영상녹화 수단으로부터 녹화된 서비스 영상을 수신할 수 있다.The robot motion modeling apparatus 100 collects service images of workers in an actual service provision situation step by step. According to an embodiment, a service provided by a beginner, an intermediate person, and an expert, respectively, in an actual field may be recorded as an image and stored in a database. In this case, the robot motion modeling apparatus 100 may directly record a service image using a built-in image recording means or may receive a recorded service image from an externally located image recording means.

로봇 동작 모델링 장치(100)는 비디오 분석 툴을 이용하여 근무자의 서비스 행동을 태깅할 수 있다. 구체적으로, 데이터베이스에 저장된 영상을 분석하여, 영상에서 본 발명에서 정의한 서비스 행동 목록에 해당되는 행위들을 추출한다. 이 경우, 로봇 동작 모델링 장치(100)는 추출된 행위들에 대응하는 영상 부분에 태깅을 한다. The robot motion modeling apparatus 100 may tag the service behavior of the worker using a video analysis tool. Specifically, by analyzing the image stored in the database, actions corresponding to the service action list defined in the present invention are extracted from the video. In this case, the robot motion modeling apparatus 100 tags the image portion corresponding to the extracted actions.

도 4a를 참조하면, 초보자 서비스 영상(410)과 숙련자 서비스 영상(420)이 각각 도시된다. 각각의 영상(410, 420)에는 추출된 서비스 행동들과 이의 지속시간이 각각 태깅되어 있다.Referring to FIG. 4A , a beginner service image 410 and an expert service image 420 are respectively shown. Each of the images 410 and 420 is tagged with extracted service actions and their duration, respectively.

도 5a와 도 5b는 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 실제 기본 행동단위를 비교하여 시각화한 일 예를 설명하기 위한 도면이다.5A and 5B are diagrams for explaining an example in which the robot motion modeling apparatus according to the present invention compares and visualizes the actual basic action units of a worker.

태깅된 데이터로부터 각각의 근무자들이 실제 서비스 상황에서 보인 기본 행동의 빈도수와 지속 시간의 차이를 비교할 수 있다. From the tagged data, it is possible to compare the difference between the frequency and duration of the basic behavior that each worker showed in the actual service situation.

일 실시 예에 의하면, T-test를 이용하여 비교할 수 있다. T-테스트(T-test) 또는 T 검정은 검정하는 통계량이 귀무가설 하에서 t-분포를 따르는 통계적 가설 검정이다. T-검정은 검증 통계량의 스케일링 향 값이 알려진 경우, 테스트 검정하는 통계량이 정규분포를 따르는 경우에 가장 일반적으로 적용된다. 이 경우, 모집단의 분산과 같은 스케일링 향을 알 수 없으나 이를 데이터 기반으로 한 추정값으로 대체하면 테스트 통계(특정 조건하에서)는 t-분포를 따른다. 예를 들어, t-검증을 사용하여 두 데이터 세트(집단)의 평균이 서로 유의하게 다른지 여부를 판별할 수 있다.According to an embodiment, comparison may be made using a T-test. A T-test or T-test is a statistical hypothesis test in which the statistic being tested follows a t-distribution under the null hypothesis. The T-test is most commonly applied when the scaling direction of the test statistic is known and the test-tested statistic follows a normal distribution. In this case, the scaling direction, such as the variance of the population, is unknown, but if it is replaced with an estimate based on the data, the test statistics (under certain conditions) follow the t-distribution. For example, a t-test can be used to determine whether the means of two data sets (populations) are significantly different from each other.

비교결과는 막대 차트를 이용하여 시각화 할 수 있다. 구체적으로, 도 5a에는 초심자와 숙련자의 기본 행동단위의 빈도수를 비교한 막대 차트가 도시된다. 도 5a를 참조하면, 초심자(Docent B)와 숙련자(Docent C)는 다양한 기본 행동, 즉, 시선(Gaze), 가리키기(Point), 이동(Move), 발화내용(Talk) 각각에 대하여, 빈도수에서 차이를 보인다.The comparison result can be visualized using a bar chart. Specifically, FIG. 5A shows a bar chart comparing the frequencies of basic action units between beginners and experts. Referring to FIG. 5A , for beginners (Docent B) and expert (Docent C), various basic actions, that is, Gaze, Point, Move, and Talk, the frequency of each shows a difference in

도 5b에는 초심자와 숙련자의 기본 행동단위의 지속시간을 비교한 막대 차트가 도시된다. 도 5b를 참조하면, 초심자(Docent B)와 숙련자(Docent C)는 다양한 기본 행동, 즉, 시선(Gaze), 가리키기(Point), 이동(Move), 발화내용(Talk) 각각에 대하여, 지속시간에서 차이를 보인다.Fig. 5b shows a bar chart comparing the durations of basic action units between beginners and experts. Referring to FIG. 5B , for beginners (Docent B) and expert (Docent C), various basic actions, that is, Gaze, Point, Move, and Talk show a difference in time.

도 6a와 도 6b는 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 실제 서비스 행동단위를 비교하여 시각화한 일 예를 설명하기 위한 도면이다.6A and 6B are diagrams for explaining an example in which the robot motion modeling apparatus according to the present invention compares and visualizes the actual service action unit of the worker.

태깅된 데이터로부터 각각의 근무자들이 실제 서비스 상황에서 보인 서비스 행동단위의 빈도수와 지속 시간의 차이를 비교할 수 있다. 일 실시 예에 의하면, T-test를 이용하여 비교할 수 있다.From the tagged data, it is possible to compare the difference between the frequency and duration of the service action unit that each worker showed in the actual service situation. According to an embodiment, comparison may be made using a T-test.

비교결과는 막대 차트를 이용하여 시각화할 수 있다. 구체적으로, 도 6a에는 초심자와 숙련자의 서비스 행동단위의 빈도수를 비교한 막대 차트가 도시된다. 도 6a를 참조하면, 초심자(Count Docent B)와 숙련자(Count Docent C)는 다양한 서비스 행동, 즉, 유연함(F), 진취성(P), 대인스킬(IS) 각각에 대하여, 빈도수에서 차이를 보인다.The comparison result can be visualized using a bar chart. Specifically, FIG. 6A shows a bar chart comparing the frequency of service action units between beginners and experts. Referring to FIG. 6A , a beginner (Count Docent B) and an expert (Count Docent C) show a difference in frequency for each of various service behaviors, that is, flexibility (F), initiative (P), and interpersonal skills (IS). .

도 6b에는 초심자와 숙련자의 서비스 행동단위의 지속시간을 비교한 막대 차트가 도시된다. 도 6b를 참조하면, 초심자(Duration Docent B)와 숙련자(Duration Docent C)는 다양한 서비스 행동, 즉, 유연함(F), 진취성(P), 대인스킬(IS) 각각에 대하여, 지속시간에서 차이를 보인다Fig. 6b is a bar chart comparing the duration of the service action unit of the beginner and the expert. Referring to FIG. 6B , the beginner (Duration Docent B) and the expert (Duration Docent C) showed a difference in duration for each of various service behaviors, that is, flexibility (F), initiative (P), and interpersonal skills (IS). see

도 7은 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 서비스 행동단위를 정의한 일 예를 도시한 도면이다.7 is a diagram illustrating an example in which the robot motion modeling apparatus according to the present invention defines a service action unit of a worker.

도 7에서는 전시관 및 레스토랑의 근무자에 대하여 서비스 행동단위를 정의한 경우를 가정한다. 도 7에 도시된 서비스 행동단위는 전시관과 레스토랑 근무자의 실제 서비스 제공 상황으로부터 추출한 것으로, 전시관과 레스토랑의 서로 다른 환경에서 공통적으로 적용이 가능하다. 즉, 전시관과 레스토랑 근무자에게 공통적으로 적용 가능할 수 있다.In FIG. 7 , it is assumed that a service action unit is defined for workers in an exhibition hall and a restaurant. The service action unit shown in FIG. 7 is extracted from the actual service provision situation of the workers in the exhibition hall and the restaurant, and can be commonly applied in different environments of the exhibition hall and the restaurant. That is, it may be commonly applicable to exhibition hall and restaurant workers.

서비스 행동단위는 유연성, 진취성, 위험인식, 대인스킬, 서비스회복을 포함할 수 있다. 유연성(Flexibility)은 고객의 요구 변화, 상황변화에 대처하는 행위이다. 진취성(Proactivity)은 고객의 요구, 상황변화를 파악하려고 다가가는 행위이다. 위험인식(Risk Perception)은 특이사항(돌발상황, 위험상황 등)을 빠르게 인지하는 행위이다. 대인스킬(Interpersonal Skills)은 고객의 반응을 이끌어내는 유발하는 행위(주의집중 등)이다. 서비스회복(Service Recovery)은 특이사항을 해결하고 서비스를 이어가는 행위이다.Service action units may include flexibility, initiative, risk awareness, interpersonal skills, and service recovery. Flexibility is the act of responding to changes in customer needs and circumstances. Proactivity is the act of approaching customers to understand customer needs and changes in circumstances. Risk Perception is the act of quickly recognizing unusual things (e.g., unexpected situations, dangerous situations, etc.). Interpersonal Skills are behaviors that elicit a customer's response (e.g., attention). Service recovery is the act of resolving a specific problem and continuing the service.

도 8은 본 발명에 따른 로봇 동작 모델링 장치가 근무자의 기본 행동단위를 정의한 일 예를 도시한 도면이다.8 is a diagram illustrating an example in which the robot motion modeling apparatus according to the present invention defines a basic action unit of a worker.

도 8에서는 전시관 및 레스토랑의 근무자에 대하여 기본 행동단위를 정의한 경우를 가정한다. 도 8에 도시된 기본 행동단위는 전시관과 레스토랑 근무자의 실제 서비스 제공 상황으로부터 추출한 것으로, 전시관과 레스토랑의 서로 다른 환경에서 공통적으로 적용이 가능하다. 즉, 전시관과 레스토랑 근무자에게 공통적으로 적용 가능할 수 있다.In FIG. 8 , it is assumed that a basic action unit is defined for workers in an exhibition hall and a restaurant. The basic action unit shown in FIG. 8 is extracted from the actual service provision situation of the workers in the exhibition hall and the restaurant, and can be commonly applied in different environments of the exhibition hall and the restaurant. That is, it may be commonly applicable to exhibition hall and restaurant workers.

기본 행동단위는 시선, 가리키기, 이동, 발화내용 등으로 구성될 수 있다. The basic action unit may consist of gaze, pointing, movement, and utterance content.

시선은 눈맞춤(근무자가 고객의 면대면 상호작용을 위해 눈맞춤을 한다), 사물(근무자가 사물(ex: 전시물, 그릇 등)을 본다), 고객(근무자가 고객(동행인을 포함한 다수)을 둘러본다)을 포함할 수 있다. 가리키기는 사물(근무자가 사물을 가리킨다)과 고객(근무자가 고객을 가리킨다)을 포함한다. 이동은 사물(근무자가 사물이 있는 방향으로 이동 후 정지한다), 고객(근무자가 고객이 있는 방향으로 이동 후 정지한다), 기타(근무자가 고객 혹은 사물 주변을 배회한다)를 포함한다. 발화내용은 사물(근무자가 사물에 대해서 이야기한다), 특이사항(근무자가 특이사항(돌발상황, 위험상황)에 대해서 이야기한다), 질문(근무자가 고객에게 질문을 한다), 대답(근무자가 고객의 질문에 대답을 한다), 맞장구(근무자가 고객의 말에 호응한다) 등을 포함한다.Eye contact (worker makes eye contact for face-to-face interaction with customers), objects (workers look at objects (ex: exhibits, dishes, etc.)), customers (workers look at customers (many people including companions) ) may be included. Pointing includes things (the worker points to the object) and the customer (the worker points to the customer). Movement includes objects (the worker moves in the direction of the object and stops), the customer (the worker moves in the direction of the customer and stops), and others (the worker wanders around the customer or object). The content of the utterance includes things (workers talk about things), special issues (workers talk about unusual things (emergency situations, dangerous situations)), questions (workers ask questions to customers), answers (workers talk to customers) answers the questions of the customer), and jigsaw (the worker responds to the customer's words), etc.

도 7 및 도 8에서 설명한 서비스 행동은 전시관과 레스토랑 이외의 서비스 도메인(카페, 의료 등)에서도 적용이 가능하다. The service behavior described in FIGS. 7 and 8 can be applied to service domains (cafe, medical service, etc.) other than the exhibition hall and restaurant.

도 9는 본 발명에 따른 로봇 동작 모델링 과정을 도시한 도면이다.9 is a diagram illustrating a robot motion modeling process according to the present invention.

복수개의 서비스 숙련도와, 상기 복수개의 서비스 숙련도 중 어느 것에 해당하는지를 평가하기 위한 척도인 서비스 행동을 정의한다(S901).A plurality of service proficiencies and a service behavior, which is a measure for evaluating which one of the plurality of service proficiencies corresponds to, are defined (S901).

복수개의 서비스 숙련도는, 초보자 단계, 중급자 단계 및 숙련자 단계 중 적어도 하나 이상을 포함할 수 있다.The plurality of service skill levels may include at least one of a beginner level, an intermediate level level, and an expert level.

서비스 행동은 소정 서비스 도메인의 근무자에게 공통적으로 적용 가능하다. 서비스 행동은 기본 행동단위와 서비스 행동단위로 구성될 수 있다. 여기서, 기본 행동단위는 시선, 이동, 가리키기 및 발화내용 중 적어도 하나를 포함할 수 있다. 또한, 서비스 행동단위는 유연함, 진취성, 위험인식, 대인스킬 및 서비스회복 중 적어도 하나를 포함할 수 있다.The service behavior is commonly applicable to workers of a predetermined service domain. A service action can be composed of a basic action unit and a service action unit. Here, the basic action unit may include at least one of gaze, movement, pointing, and utterance content. In addition, the service action unit may include at least one of flexibility, initiative, risk awareness, interpersonal skills, and service recovery.

복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자가 수행하는 서비스에 대한 녹화영상을 수신한다(S902).A recorded image of a service performed by a service provider corresponding to each of a plurality of service skill levels is received (S902).

녹화영상으로부터 서비스 행동을 추출하고, 서비스 행동에 해당하는 구간을 표시한다(S903).A service action is extracted from the recorded image, and a section corresponding to the service action is displayed (S903).

구간에 기초하여, 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자 간의 서비스 행동의 차이를 통계적으로 분석하고, 분석결과를 도출한다(S904).Based on the interval, a difference in service behavior between service providers corresponding to each of a plurality of service proficiency levels is statistically analyzed, and an analysis result is derived (S904).

구체적으로, 로봇 동작 모델링 장치(100)는 구간에 기초하여 기본 행동단위와 서비스 행동단위의 행동 빈도수 및 행동 지속시간을 판단하고, 이에 대응하여 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자 간의 서비스 행동의 차이를 분석할 수 있다.Specifically, the robot motion modeling apparatus 100 determines the frequency and duration of actions of the basic action unit and the service action unit based on the section, and correspondingly determines the service action between the service providers corresponding to each of a plurality of service proficiency levels. difference can be analyzed.

또한, 로봇 동작 모델링 장치(100)는 분석결과에 기초하여 상기 복수개의 서비스 숙련도 각각에 대응하는 동작 패턴을 모델링할 수 있다. 이 경우, 로봇의 동작을 동작 패턴과 비교하여 로봇의 숙련 단계를 판단하거나 동작 패턴에 대응되게 로봇의 동작을 모델링할 수 있다.Also, the robot motion modeling apparatus 100 may model a motion pattern corresponding to each of the plurality of service proficiency levels based on the analysis result. In this case, the skill level of the robot may be determined by comparing the motion of the robot with the motion pattern, or the motion of the robot may be modeled to correspond to the motion pattern.

이와 같이, 본 발명에서는 서비스 로봇의 서비스 행동을 모델링하고, 서비스 로봇의 지능이 발달하면서 도달하는 서비스 행동의 목표를 정의하기 위해서, 서비스 도메인에서 실제로 근무하는 초보 종업원과 숙련 종업원의 행동을 비교 분석할 수 있다.As such, in the present invention, in order to model the service behavior of the service robot and define the service behavior goal reached as the intelligence of the service robot develops, the behaviors of novice and skilled employees who actually work in the service domain are compared and analyzed. can

이 경우, 현장에 투입하는 서비스 로봇 개발에 필요한 실제 현장 근무자의 서비스 행동에 대해서 비교분석이 가능하다.In this case, it is possible to compare and analyze the service behavior of actual field workers required for the development of service robots to be put into the field.

도 10은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 10 is a diagram illustrating a computing device according to an embodiment of the present invention.

도 10의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 로봇 동작 모델링 장치(100)일 수 있다.The computing device TN100 of FIG. 10 may be the robot motion modeling device 100 described herein.

도 10의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.In the embodiment of FIG. 10 , the computing device TN100 may include at least one processor TN110 , a transceiver device TN120 , and a memory TN130 . Also, the computing device TN100 may further include a storage device TN140 , an input interface device TN150 , an output interface device TN160 , and the like. Components included in the computing device TN100 may be connected by a bus TN170 to communicate with each other.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.The processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140. The processor TN110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to an embodiment of the present invention are performed. The processor TN110 may be configured to implement procedures, functions, and methods described in connection with an embodiment of the present invention. The processor TN110 may control each component of the computing device TN100 .

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다. Each of the memory TN130 and the storage device TN140 may store various information related to the operation of the processor TN110 . Each of the memory TN130 and the storage device TN140 may be configured as at least one of a volatile storage medium and a nonvolatile storage medium. For example, the memory TN130 may include at least one of a read only memory (ROM) and a random access memory (RAM).

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다. The transceiver TN120 may transmit or receive a wired signal or a wireless signal. The transceiver TN120 may be connected to a network to perform communication.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다. On the other hand, the embodiment of the present invention is not implemented only through the apparatus and/or method described so far, and a program for realizing a function corresponding to the configuration of the embodiment of the present invention or a recording medium in which the program is recorded may be implemented. And, such an implementation can be easily implemented by those skilled in the art from the description of the above-described embodiments.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also present. It belongs to the scope of the invention.

100: 로봇 동작 모델링 장치 110: 설정부
120: 영상 획득부 130: 영상 처리부
140: 분석부 410: 초보자 서비스 영상
420: 숙련자 서비스 영상
100: robot motion modeling device 110: setting unit
120: image acquisition unit 130: image processing unit
140: analysis unit 410: beginner service video
420: expert service video

Claims (12)

로봇 동작 모델링 장치에 있어서,
복수개의 서비스 숙련도를 정의하고, 상기 복수개의 서비스 숙련도 중 어느 것에 해당하는지를 평가하기 위한 척도인 서비스 행동을 정의하는 설정부;
상기 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자가 수행하는 서비스에 대한 녹화영상을 수신하는 영상 획득부;
상기 녹화영상으로부터 상기 서비스 행동을 추출하고, 상기 서비스 행동에 해당하는 구간을 표시하는 영상 처리부; 및
상기 구간에 기초하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 통계적으로 분석하고, 분석결과를 도출하는 분석부를 포함하되,
상기 서비스 행동은, 소정 서비스 도메인의 근무자에게 공통적으로 적용 가능하고, 기본 행동단위와 서비스 행동단위로 구성되고,
상기 분석부는, 상기 구간에 기초하여 상기 기본 행동단위와 상기 서비스 행동단위의 행동 빈도수 및 행동 지속시간을 판단하고, 이에 대응하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 분석하며,
상기 로봇 동작 모델링 장치는, 전시관 및 레스토랑에 적용하는 서비스 로봇의 상기 서비스 행동을 모델링하고, 상기 서비스 로봇의 지능이 발달하면서 도달하는 상기 서비스 행동의 목표를 정의하는, 로봇 동작 모델링 장치.
In the robot motion modeling apparatus,
a setting unit defining a plurality of service proficiencies and defining a service behavior as a measure for evaluating which of the plurality of service proficiencies corresponds to;
an image acquisition unit for receiving a recorded image of a service performed by a service provider corresponding to each of the plurality of service skill levels;
an image processing unit for extracting the service behavior from the recorded image and displaying a section corresponding to the service behavior; and
An analysis unit for statistically analyzing a difference in the service behavior between the service providers corresponding to each of the plurality of service proficiency levels based on the section, and deriving an analysis result,
The service behavior is commonly applicable to workers of a predetermined service domain and consists of a basic behavior unit and a service behavior unit,
The analysis unit determines, based on the section, the frequency of action and the action duration of the basic action unit and the service action unit, and in response thereto, a difference in the service action between the service providers corresponding to each of the plurality of service proficiency levels to analyze,
The robot behavior modeling device models the service behavior of a service robot applied to an exhibition hall and a restaurant, and defines a goal of the service behavior reached as the intelligence of the service robot develops, a robot behavior modeling device.
삭제delete 삭제delete 제1항에 있어서,
상기 기본 행동단위는, 시선, 이동, 가리키기 및 발화내용 중 적어도 하나를 포함하고,
상기 서비스 행동단위는 유연함, 진취성, 위험인식, 대인스킬 및 서비스회복 중 적어도 하나를 포함하는, 로봇 동작 모델링 장치.
According to claim 1,
The basic action unit includes at least one of gaze, movement, pointing, and utterance,
The service action unit includes at least one of flexibility, initiative, risk recognition, interpersonal skills, and service recovery, robot motion modeling device.
제1항에 있어서,
상기 복수개의 서비스 숙련도는,
초보자 단계, 중급자 단계 및 숙련자 단계 중 적어도 2개 이상을 포함하는, 로봇 동작 모델링 장치.
According to claim 1,
The plurality of service proficiency is,
A robot motion modeling device comprising at least two or more of a beginner level, an intermediate level, and an expert level.
제1항에 있어서,
상기 분석부는,
상기 분석결과에 기초하여 상기 복수개의 서비스 숙련도 각각에 대응하는 동작 패턴을 모델링하고,
로봇의 동작을 상기 동작 패턴과 비교하여 상기 로봇의 숙련 단계를 판단하거나 상기 동작 패턴에 대응되게 상기 로봇의 동작을 모델링하는, 로봇 동작 모델링 장치.
According to claim 1,
The analysis unit,
modeling an operation pattern corresponding to each of the plurality of service proficiency levels based on the analysis result;
A robot motion modeling apparatus that compares the motion of the robot with the motion pattern to determine the skill level of the robot or models the motion of the robot to correspond to the motion pattern.
로봇 동작 모델링 방법에 있어서,
로봇 동작 모델링 장치가, 복수개의 서비스 숙련도를 정의하고, 상기 복수개의 서비스 숙련도 중 어느 것에 해당하는지를 평가하기 위한 척도인 서비스 행동을 정의하는 단계;
상기 로봇 동작 모델링 장치가, 상기 복수개의 서비스 숙련도 각각에 해당하는 서비스 제공자가 수행하는 서비스에 대한 녹화영상을 수신하는 단계;
상기 로봇 동작 모델링 장치가, 상기 녹화영상으로부터 상기 서비스 행동을 추출하고, 상기 서비스 행동에 해당하는 구간을 표시하는 단계; 및
상기 로봇 동작 모델링 장치가, 상기 구간에 기초하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 통계적으로 분석하고 분석결과를 도출하는 단계를 포함하되,
상기 서비스 행동은,소정 서비스 도메인의 근무자에게 공통적으로 적용 가능하고, 기본 행동단위와 서비스 행동단위로 구성되고,
상기 로봇 동작 모델링 장치가, 상기 구간에 기초하여 상기 기본 행동단위와 상기 서비스 행동단위의 행동 빈도수 및 행동 지속시간을 판단하고, 이에 대응하여 상기 복수개의 서비스 숙련도 각각에 해당하는 상기 서비스 제공자 간의 상기 서비스 행동의 차이를 분석하며,
상기 로봇 동작 모델링 장치는, 전시관 및 레스토랑에 적용하는 서비스 로봇의 상기 서비스 행동을 모델링하고, 상기 서비스 로봇의 지능이 발달하면서 도달하는 상기 서비스 행동의 목표를 정의하는,
로봇 동작 모델링 방법.
In the robot motion modeling method,
defining, by the robot motion modeling apparatus, a service behavior, which is a measure for defining a plurality of service proficiencies, and evaluating which of the plurality of service proficiencies corresponds to;
receiving, by the robot motion modeling device, a recorded image of a service performed by a service provider corresponding to each of the plurality of service skill levels;
extracting, by the robot motion modeling device, the service behavior from the recorded image, and displaying a section corresponding to the service behavior; and
Comprising, by the robot motion modeling apparatus, statistically analyzing a difference in the service behavior between the service providers corresponding to each of the plurality of service proficiency levels based on the section and deriving an analysis result,
The service action is commonly applicable to workers in a predetermined service domain and consists of a basic action unit and a service action unit,
The robot motion modeling device determines the frequency and duration of actions of the basic action unit and the service action unit based on the section, and in response, the service between the service providers corresponding to each of the plurality of service proficiency levels Analyze differences in behavior,
The robot behavior modeling device models the service behavior of a service robot applied to an exhibition hall and a restaurant, and defines a goal of the service behavior reached as the intelligence of the service robot develops,
How to model robot motion.
삭제delete 삭제delete 제7항에 있어서,
상기 기본 행동단위는, 시선, 이동, 가리키기 및 발화내용 중 적어도 하나를 포함하고,
상기 서비스 행동단위는 유연함, 진취성, 위험인식, 대인스킬 및 서비스회복 중 적어도 하나를 포함하는, 로봇 동작 모델링 방법.
8. The method of claim 7,
The basic action unit includes at least one of gaze, movement, pointing, and utterance,
The service behavior unit includes at least one of flexibility, initiative, risk recognition, interpersonal skills and service recovery, a robot behavior modeling method.
제7항에 있어서,
상기 복수개의 서비스 숙련도는,
초보자 단계, 중급자 단계 및 숙련자 단계 중 적어도 2개 이상을 포함하는, 로봇 동작 모델링 방법.
8. The method of claim 7,
The plurality of service proficiency is,
A robot motion modeling method comprising at least two or more of a beginner level, an intermediate level, and an expert level.
제7항에 있어서,
상기 로봇 동작 모델링 장치가, 상기 분석결과에 기초하여 상기 복수개의 서비스 숙련도 각각에 대응하는 동작 패턴을 모델링하고, 로봇의 동작을 상기 동작 패턴과 비교하여 상기 로봇의 숙련 단계를 판단하거나 상기 동작 패턴에 대응되게 상기 로봇의 동작을 모델링하는, 로봇 동작 모델링 방법.
8. The method of claim 7,
The robot motion modeling device models a motion pattern corresponding to each of the plurality of service proficiency levels based on the analysis result, and compares the robot motion with the motion pattern to determine the skill level of the robot or to the motion pattern. Correspondingly, the robot motion modeling method for modeling the motion of the robot.
KR1020200159446A 2020-11-25 2020-11-25 The apparatus and method of modeling of robot motion KR102453835B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200159446A KR102453835B1 (en) 2020-11-25 2020-11-25 The apparatus and method of modeling of robot motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200159446A KR102453835B1 (en) 2020-11-25 2020-11-25 The apparatus and method of modeling of robot motion

Publications (2)

Publication Number Publication Date
KR20220072148A KR20220072148A (en) 2022-06-02
KR102453835B1 true KR102453835B1 (en) 2022-10-11

Family

ID=81985501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159446A KR102453835B1 (en) 2020-11-25 2020-11-25 The apparatus and method of modeling of robot motion

Country Status (1)

Country Link
KR (1) KR102453835B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019090268A1 (en) * 2017-11-03 2019-05-09 Drishti Technologies, Inc. Contextual training systems and methods

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180130621A (en) 2017-05-29 2018-12-10 전자부품연구원 Apparatus and Method for Analyzing Overt Behavioral Response in Service Space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019090268A1 (en) * 2017-11-03 2019-05-09 Drishti Technologies, Inc. Contextual training systems and methods

Also Published As

Publication number Publication date
KR20220072148A (en) 2022-06-02

Similar Documents

Publication Publication Date Title
Weiss et al. Meta analysis of the usage of the godspeed questionnaire series
Brown et al. Finding waldo: Learning about users from their interactions
KR102015075B1 (en) Method, apparatus and computer program for operating a machine learning for providing personalized educational contents based on learning efficiency
CN109176535B (en) Interaction method and system based on intelligent robot
JP6187902B2 (en) Intelligent productivity analyzer, program
CN110069707A (en) A kind of artificial intelligence self-adaption interactive tutoring system
CN109063587A (en) data processing method, storage medium and electronic equipment
Abdulkader et al. Optimizing student engagement in edge-based online learning with advanced analytics
Kravčík et al. The potential of the internet of things for supporting learning and training in the digital age
Yousef et al. Automatic identification of student’s cognitive style from online laboratory experimentation using machine learning techniques
KR102453835B1 (en) The apparatus and method of modeling of robot motion
US20220223067A1 (en) System and methods for learning and training using cognitive linguistic coding in a virtual reality environment
US10762339B2 (en) Automatic emotion response detection
CN109409759B (en) Data mining system and method based on coal mine safety training game
Cabada et al. Intelligent tutoring system with affective learning for mathematics
KR102452100B1 (en) Method, device and system for providing learning service base on brain wave and blinking eyes
CN109165327A (en) Interactive method, device and computer readable storage medium
West et al. Micro and Macro predictions: Using SGOMS to predict phone app game playing and Emergency Operations Centre responses
Wang et al. A Learning Analytic Model for Smart Classroom
Burling et al. Categorizing coordination from the perception of joint actions
US11755851B2 (en) Object detection-based control of projected content
Meli SAFE: a method to understand, reduce, and accept project risk
Dopkins et al. Analytic processing of distance
Hossenally et al. Learning analytics for smart classroom system in a university Campus
US11540764B1 (en) Group association system and method based on brainwave response to external stimulation

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)