KR101854431B1 - 컨시어지 로봇 - Google Patents

컨시어지 로봇 Download PDF

Info

Publication number
KR101854431B1
KR101854431B1 KR1020170074432A KR20170074432A KR101854431B1 KR 101854431 B1 KR101854431 B1 KR 101854431B1 KR 1020170074432 A KR1020170074432 A KR 1020170074432A KR 20170074432 A KR20170074432 A KR 20170074432A KR 101854431 B1 KR101854431 B1 KR 101854431B1
Authority
KR
South Korea
Prior art keywords
data
user
concierge
service
main body
Prior art date
Application number
KR1020170074432A
Other languages
English (en)
Inventor
김대훈
김홍기
이태현
김철민
이상기
Original Assignee
주식회사 로보러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로보러스 filed Critical 주식회사 로보러스
Priority to US15/661,098 priority Critical patent/US10289076B2/en
Application granted granted Critical
Publication of KR101854431B1 publication Critical patent/KR101854431B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G06K9/00221—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G06N3/0436—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Mechanical Engineering (AREA)
  • Finance (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)

Abstract

컨시어지 로봇 시스템, 컨시어지 서비스 방법 및 컨시어지 로봇이 제공된다. 이 시스템은, 인공 지능형 컨시어지 서비스를 제공하는 컨시어지 로봇 시스템으로서, 외부 영상 및 외부 음성을 입력받고, 데이터를 화면에 출력하거나 또는 음성으로 출력하는 사용자 인터페이스 장치, 신경망 모델을 이용하여 생성된 학습 데이터들에 기초하여 데이터를 상기 사용자 인터페이스 장치를 통해 제공하는 프로그램을 저장하는 저장 장치, 그리고 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로그램은, 상기 학습 데이터들을 토대로 상기 외부 영상으로부터 식별한 사용자의 감정을 인식하고, 상기 감정 인식에 따른 감정을 표현하는 데이터를 상기 화면에 출력하며, 웹 스크랩핑을 통해 외부로부터 수집한 웹 데이터의 자연어에 대응되는 대화 문장을 상기 학습 데이터들을 토대로 생성하여 음성으로 출력하고, 상기 외부 음성의 인식 결과에 따른 답변에 대응되는 대화 문장을 생성하여 음성으로 출력하며, 상기 학습 데이터들을 토대로 상기 식별한 사용자를 위한 사용자 추천 데이터를 생성하고, 상기 사용자 추천 데이터를 상기 화면에 출력하거나 또는 자연어 처리하여 대응되는 대화 문장을 음성으로 출력하는 명령어들(instructions)을 포함한다.

Description

컨시어지 로봇{CONCIERGE ROBOT}
본 발명은 컨시어지 로봇에 관한 것이다.
인간에게 서비스를 제공하는 지능형 로봇은 가정 이외에도 식당과 같은 공간에서 그 활용도가 높을 것으로 보이며 이에 적합한 로봇의 연구가 진행되고 있는 상황이다.
로봇 산업화 시대를 맞아 레스토랑 등과 같은 서비스 제공 장소에서의 로봇의 활용에 대한 기대가 커지고 있는 시점에서 고객의 만족을 높이고 고객의 이용 성향 등에 따른 차별화된 서비스가 요구된다.
종래에 식당 등의 서비스 제공 장소에서 무인 종합정보안내시스템인 키오스크를 설치하여 자동화 서비스를 제공하고 있다. 그러나, 이러한 키오스크는 단순히 네트워크 장치들만 설치하여 전산화를 시도하였을 뿐 고객과의 상호작용이나 고객에게 차별화된 서비스의 제공과는 거리가 먼 실정이다.
또한, 단순이 주문에 따라 메뉴 선택과 결제를 자동화하는 식권발매기 기능에 그치는 수준이므로, 고객의 다양한 욕구를 충족시키지 못한다.
또한, 무인 종합정보안내시스템에 로봇 기술을 적용하는 경우도 있으나, 이 역시, 사용자의 특정 입력에 로봇의 출력을 사전에 정의하기 때문에, 로봇의 행동이 단순 반복적으로 되풀이될 뿐이어서, 사용자와 커뮤니케이션 하는 것이 아니라 지시한 바를 출력하는 단순 작업이 이루어지는 것에 불과하다. 따라서, 사람의 편리를 위한 서비스 로봇은 사용자의 다양한 요구에 적합하게 대응할 수 있는 지능적인 작업 수행과 사용자와의 상호작용이 필요하게 되었다.
본 발명이 해결하고자 하는 과제는 로봇을 이용한 대면 서비스 등의 컨시어지 서비스를 제공할 때 사용자의 감정 및 요구 사항을 정확히 판단하여 맞춤형 정보를 제공하는 컨시어지 로봇을 제공하는 것이다.
본 발명의 하나의 특징에 따르면, 컨시어지 로봇 시스템은 인공 지능형 컨시어지 서비스를 제공하는 컨시어지 로봇 시스템으로서, 외부 영상 및 외부 음성을 입력받고, 데이터를 화면에 출력하거나 또는 음성으로 출력하는 사용자 인터페이스 장치, 신경망 모델을 이용하여 생성된 학습 데이터들에 기초하여 데이터를 상기 사용자 인터페이스 장치를 통해 제공하는 프로그램을 저장하는 저장 장치, 그리고 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로그램은, 상기 학습 데이터들을 토대로 상기 외부 영상으로부터 식별한 사용자의 감정을 인식하고, 상기 감정 인식에 따른 감정을 표현하는 데이터를 상기 화면에 출력하며, 웹 스크랩핑을 통해 외부로부터 수집한 웹 데이터의 자연어에 대응되는 대화 문장을 상기 학습 데이터들을 토대로 생성하여 음성으로 출력하고, 상기 외부 음성의 인식 결과에 따른 답변에 대응되는 대화 문장을 생성하여 음성으로 출력하며, 상기 학습 데이터들을 토대로 상기 식별한 사용자를 위한 사용자 추천 데이터를 생성하고, 상기 사용자 추천 데이터를 상기 화면에 출력하거나 또는 자연어 처리하여 대응되는 대화 문장을 음성으로 출력하는 명령어들(instructions)을 포함한다.
상기 컨시어지 로봇 시스템은, 제한된 공간의 통신 영역에서 무선 데이터를 송수신하는 통신 장치를 더 포함하고, 상기 프로그램은, 상기 통신 장치를 통하여 컨시어지 서비스 제공 유알엘(Uniform Resource Locator, URL)을 브로드캐스팅하고, 상기 컨시어지 서비스 제공 URL을 통해 획득한 사용자 요청에 따라 사용자를 응대하는 컨시어지 서비스 데이터를 생성하는 명령어들을 포함하며, 상기 컨시어지 서비스 제공 URL은, 접속한 사용자 단말에게 회원 가입 안내 정보, 개인 정보 이용 동의 요구, 서비스 매장 정보, 서비스 메뉴 정보, 대기번호 안내, 상품 또는 서비스 주문, 및 온라인 결제 서비스 중 적어도 하나를 포함하는 컨시어지 서비스를 제공할 수 있다.
상기 프로그램은, 사용자의 방문 내역, 서비스 이용 내역 및 결제 내역 중 적어도 하나를 포함하는 다수의 사용자 개인 데이터와 CRM(Customer Relationship Management) 데이터를 매칭하여 도출된 서비스 추천 정보, 프로모션 정보 및 광고 정보 중 적어도 하나를 포함하는 마게팅 정보를 제공하기 위한 상기 컨시어지 서비스 제공 URL을 브로드캐스팅하는 명령어들을 포함할 수 있다.
상기 프로그램은, 사용자의 방문 내역, 서비스 이용 내역 및 결제 내역 중 적어도 하나를 포함하는 다수의 사용자 개인 데이터, 감정 학습 데이터 및 CRM(Customer Relationship Management) 데이터 간의 관계를 신경망으로 생성하고, 상기 신경망을 역전파(backward propagation)하여 상기 사용자 추천 데이터를 생성하는 명령어들을 포함할 수 있다.
상기 컨시어지 로봇 시스템은, 외부의 클라우드 서버와 유선 또는 무선으로 데이터를 송수신하는 서버 인터페이스 장치를 더 포함하고, 상기 프로그램은, 상기 외부 영상으로부터 인식한 얼굴 영상을 상기 클라우드 서버로 전달하여 상기 얼굴 영상에 대응되는 감정 학습을 수행시켜 감정 학습 데이터를 획득하고, 상기 사용자 인터페이스 장치로부터 입력되는 얼굴 영상을 상기 클라우드 서버로 전달하여 상기 얼굴 영상에 대응되는 감정 인식을 요청하여 수신하는 명령어들을 포함할 수 있다.
상기 프로그램은, 상기 감정을 표현하는 데이터 및 상기 사용자 추천 데이터를 자연어 처리하여 대응되는 자연어를 생성하고, 자연어에 대응되는 대화 문장을 상기 신경망 모델을 사용하여 학습하며, 학습 결과를 사용하여 상기 대화 문장을 생성하는 명령어들을 포함할 수 있다.
상기 컨시어지 로봇 시스템은, 외부의 클라우드 서버와 유선 또는 무선으로 데이터를 송수신하는 서버 인터페이스 장치를 더 포함하고, 상기 프로그램은, 상기 감정을 표현하는 데이터 및 상기 사용자 추천 데이터를 자연어 처리하여 대응되는 자연어를 생성하고, 상기 자연어를 상기 클라우드 서버로 전송하여 상기 자연어에 대응되는 대화 문장을 상기 신경망 모델을 사용하여 학습시킨 후, 학습 결과를 사용하여 생성된 대화 문장을 수신하는 명령어들을 포함할 수 있다.
상기 프로그램은, 모델, 뷰 및 콘트롤러(MVC, Model, View and Controller)로 정의된 컨시어지 서비스를 적용하고, 상기 다수의 사용자 개인 데이터, 상기 감정 학습 데이터 및 상기 CRM 데이터를 빅데이터 처리하여 상기 사용자 추천 데이터를 생성하는 명령어들을 포함할 수 있다.
상기 컨시어지 로봇 시스템은, 상기 음성 인식 결과에 따른 상품 또는 서비스 주문을 처리하고, 통신망과 연결된 결제 서버와 연동하여 결제 처리를 수행하는 포스(POS, Point Of Sales) 장치를 더 포함하고, 상기 프로그램은, 상기 포스 장치로부터 주문 내역 및 결제 내역을 수집하여 상기 사용자 개인 데이터로 저장하는 명령어들을 포함할 수 있다.
상기 인터페이스 장치는, 상기 외부 영상을 촬영하는 영상 입력 장치, 화면에 데이터를 시각적으로 표시하는 디스플레이 장치, 상기 외부 음성을 입력받는 음성 입력 장치, 상기 대화 문장을 음성으로 출력하는 음성 출력 장치, 그리고 제어 신호에 따라 구동하는 적어도 하나의 LED(Light Emitting Diode)를 포함하는 발광부를 포함하고, 상기 프로그램은, 상기 대화 문장을 상기 음성 출력 장치로 출력하고, 상기 사용자 추천 데이터 및 상기 감정을 표현하는 데이터를 상기 디스플레이 장치를 통해 출력하며, 상기 감정을 표현하는 데이터에 따라 발광 시간, 발광 색상 및 발광량 중 적어도 하나를 제어하는 신호를 상기 발광부로 출력하는 명령어들을 포함할 수 있다.
본 발명의 다른 특징에 따르면, 컨시어지 서비스 방법은 적어도 하나의 프로세서에 의해 동작하는 컨시어지 로봇 시스템에서 수행되는 컨시어지 서비스 방법으로서, 외부 영상이 입력되면, 신경망 모델의 학습을 통해 추출된 사용자 특징 데이터에 기초하여 상기 외부 영상으로부터 인식된 얼굴 영상으로부터 사용자를 식별하는 단계, 복수의 얼굴 영상에 대응되는 감정을 상기 신경망 모델을 사용하여 학습한 감정 학습 데이터에 기초하여 상기 얼굴 영상으로부터 상기 식별한 사용자의 감정을 인식하는 단계, 상기 감정 인식에 따른 감정 표현 데이터를 생성하여 디스플레이 장치를 통해 출력하는 단계, 웹 스크랩핑을 통해 외부로부터 수집한 웹 데이터의 자연어에 대응되는 대화 문장을 상기 신경망 모델을 사용한 자연어에 대응되는 대화 문장의 학습 결과에 기초하여 생성하는 단계, 그리고 상기 대화 문장에 대응되는 음성을 음성 출력 장치를 통해 외부로 출력하는 단계를 포함한다.
외부 음성으로부터 인식된 자연어에 대한 답변을 생성하고, 상기 답변에 대응되는 음성을 출력하는 단계를 더 포함할 수 있다.
제한된 공간의 통신 영역에서 무선으로 컨시어지 서비스 제공 유알엘(Uniform Resource Locator, URL)을 브로드캐스팅하는 단계, 상기 컨시어지 서비스 제공 URL을 통해 획득한 사용자 요청에 따라 사용자를 응대하는 컨시어지 서비스 데이터를 생성하는 단계, 그리고 상기 컨시어지 서비스 데이터를 자연어 처리하고 자연어에 대응되는 대화 문장을 음성으로 출력하는 단계를 더 포함하고, 상기 컨시어지 서비스 제공 URL은, 접속한 사용자 단말에게 회원 가입 안내 정보, 개인 정보 이용 동의 요구, 서비스 매장 정보, 서비스 메뉴 정보, 대기번호 안내, 상품 또는 서비스 주문, 및 온라인 결제 서비스 중 적어도 하나를 포함하는 컨시어지 서비스를 제공할 수 있다.
상기 컨시어지 서비스 제공 URL은, 사용자의 방문 내역, 서비스 이용 내역 및 결제 내역 중 적어도 하나를 포함하는 다수의 사용자 개인 데이터와 CRM(Customer Relationship Management) 데이터를 매칭하여 도출된 서비스 추천 정보, 프로모션 정보 및 광고 정보 중 적어도 하나를 포함하는 마게팅 정보를 제공할 수 있다.
사용자의 방문 내역, 서비스 이용 내역 및 결제 내역 중 적어도 하나를 포함하는 다수의 사용자 개인 데이터, 상기 감정 학습 데이터 및 CRM(Customer Relationship Management) 데이터 간의 관계를 신경망으로 생성하고, 상기 신경망을 역전파(backward propagation)하여 사용자 추천 데이터를 생성하는 단계, 그리고 상기 사용자 추천 데이터를 자연어 처리하고, 자연어에 대응되는 대화 문장을 상기 신경망 모델을 사용한 자연어에 대응되는 대화 문장의 학습 결과에 기초하여 생성하여 음성으로 출력하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 특징에 따르면, 컨시어지 로봇은 소정의 형상으로 이루어진 본체, 상기 본체에 장착되어, 데이터를 화면에 출력하는 디스플레이 장치, 상기 본체에 장착되어, 음성을 출력하는 스피커, 상기 본체에 장착되어, 외부 영상을 촬영하는 카메라, 상기 본체에 장착되어, 외부 음성을 입력받는 마이크, 상기 본체에 장착되어, 주문 및 결제 내역을 출력하는 프린터, 상기 본체에 장착되어, 접촉식 또는 비접촉식으로 결제 수단을 인식하는 결제 인식부, 상기 본체에 장착되어, 통신망 및 외부 장치와 연결되는 입출력 포트, 상기 본체의 내부에 장착되어 프로그램을 저장하는 메모리, 그리고 상기 프로그램을 실행하는 적어도 하나의 프로세서로 구성된 제어부를 포함하고, 상기 제어부는, 신경망 모델을 이용하여 생성된 학습 데이터들에 기초하여 상기 외부 영상으로부터 식별한 사용자의 감정을 인식하고, 상기 감정 인식에 따른 감정을 표현하는 데이터를 상기 디스플레이 장치로 출력하며, 웹 스크랩핑을 통해 외부로부터 수집한 웹 데이터의 자연어에 대응되는 대화 문장을 상기 학습 데이터들을 토대로 생성하여 상기 스피커로 출력하고, 상기 외부 음성의 인식 결과에 따른 답변에 대응되는 대화 문장을 생성하여 상기 스피커로 출력하며, 상기 외부 음성의 인식 결과에 따른 상품 또는 서비스 주문을 처리하고, 상기 통신망과 연결된 결제 서버와 연동하여 결제 처리를 수행한 후, 결제 처리 결과를 상기 프린터로 출력하며, 상기 주문의 처리 결과를 자연어 처리하여 대응되는 대화 문장을 상기 스피커로 출력한다.
상기 본체에 장착되어, 구동신호를 발생하는 액추에이터 구동부, 그리고 상기 본체에 장착되어, 상기 액추에이터 구동부의 구동신호에 따라 구동되어 미리 설정된 각도의 범위에서 회전하거나, 미리 설정된 방향으로 움직이는 작동부재를 더 포함할 수 있다.
상기 본체에 장착되어, 제어 신호에 따라 구동하는 적어도 하나의 LED(Light Emitting Diode)를 포함하는 발광 장치를 포함하고, 상기 제어부는, 상기 감정을 표현하는 데이터에 따라 발광 시간, 발광 색상 및 발광량 중 적어도 하나를 제어하는 신호를 상기 발광부로 출력할 수 있다.
본 발명의 실시예에 따르면, 학습된 신경망 기술을 토대로 방문 고객을 인지(음성인식, 얼굴인식, 감정인식 등)하여 요구 사항을 정확히 판단하고 고객에게 최적화된 맞춤형 서비스를 신속히 제공하는 AI 기반의 차별화된 지능화 서비스를 통한 경쟁력 강화와 수익구조를 개선할 수 있다.
또한, 반복 업부 분야에서 서비스 품질 개선과 함께 사용자와의 보다 긴밀한 상호작용 관계를 유지할 수 있어 로봇의 사용 빈도가 높아지게 되어 소비자 및 생산자 모두에게 높은 만족도를 제공할 수 있다.
도 1은 본 발명의 한 실시예에 따른 컨시어지 로봇 시스템의 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 컨시어지 로봇 시스템의 구성도이다.
도 3은 본 발명의 실시예에 따른 컨시어지 로봇의 전면 사시도이다.
도 4는 본 발명의 실시예에 따른 컨시어지 로봇의 전면도이다.
도 5는 본 발명의 실시예에 따른 컨시어지 로봇의 후면 사시도이다.
도 6은 본 발명의 한 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도이다.
도 9는 본 발명의 또 다른 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도이다.
도 10은 본 발명의 또 다른 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도이다.
도 11은 본 발명의 또 다른 실시예에 따른 컨시어지 로봇 시스템의 하드웨어 구성을 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서, 컨시어지 서비스(Concierge Service)는 고객의 편의를 위해 고객의 요구를 판단하고 이행하는 비서와 같은 서비스로서, 고객과 대면하는 일종의 관문 서비스라 정의한다. 이러한 컨시어지 서비스는 예를들면, 레스토랑, 커피전문점, 패스트푸드점, 호텔, 매장 등에서 제공될 수 있다.
이제, 도면을 참조하여 본 발명의 실시예에 따른 컨시어지 로봇 시스템, 컨시어지 서비스 방법 및 컨시어지 로봇에 대하여 설명한다.
도 1은 본 발명의 한 실시예에 따른 컨시어지 로봇 시스템의 구성도이다.
도 1을 참조하면, 컨시어지 로봇 시스템(100)은 영상 촬영부(101), 얼굴 인식부(103), 감정 인식부(105), 사용자 인식부(107), 음성 입력부(109), 음성 인식부(111), 대화문장 생성부(113), 컨시어지 서비스 처리부(115), 디스플레이 장치(117), 발광 장치(119), 음성 출력 장치(121), 행위 표현부(123), 근거리 통신 장치(125), 저장 장치(127), 포스(POS) 장치(129), 입출력 포트(131) 및 통신 장치(133)를 포함한다.
이때, 영상 촬영부(101), 음성 입력부(109), 디스플레이 장치(117), 발광 장치(119) 및 음성 출력 장치(121)는 사용자 인터페이스 장치를 구성한다. 즉, 사용자로부터 정보를 획득하고, 획득한 정보에 기초하여 사용자에게 컨시어지 서비스 데이터를 출력하는 인터페이스 기능을 한다.
영상 촬영부(101)는 외부 영상을 촬영하여 영상에 대응되는 영상 신호를 출력한다. 영상 촬영부(101)로는 디지털 카메라인 CCD(Charge Coupled Device) 카메라, 깊이 카메라, 팬 틸트 줌 기능 카메라(Pan-Tilt-Zoom Camera) 등이 사용될 수 있다.
얼굴 인식부(103)는 영상 촬영부(101)에서 출력되는 영상 신호에 대응되는 영상을 사용하여 영상 속 인물의 얼굴을 인식한다.
감정 인식부(105)는 딥 러닝 기술의 신경망 모델, 특히, 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 이용하여 복수의 얼굴 영상을 학습하여 얼굴 영상이 나타내고 있는 사용자의 감정에 대한 학습을 수행한다. 그 후, 감정 인식부(105)는 얼굴 인식부(103)에 의해 인식되는 얼굴 영상을 입력으로 하여 CNN 모델을 사용하여 해당 얼굴에 대응되는 사용자 감정을 인식할 수 있다. 예를 들어, 얼굴 영상에 대해 학습된 CNN 모델을 통해 본 발명의 실시예에서 학습된 7가지 감정, 즉 분노, 행복, 놀람, 혐오, 슬픔, 공포 및 중립의 감정 중에서 한 가지 감정을 인식하고, 그 결과를 출력할 수 있다.
사용자 인식부(107)는 CNN 모델을 이용하여 얼굴 인식부(103)에서 출력되는 영상을 학습하여 기등록된 사용자에 대한 학습 정보를 생성할 수 있다.
사용자 인식부(107)는 기등록된 사용자에 대한 학습 정보에 기초하여, 이후 얼굴 인식부(103)에 의해 인식되는 얼굴 영상을 입력으로 하여 CNN 모델을 사용하여 기등록된 사용자 여부를 인식할 수 있다. 사용자 인식부(107)에 의해 기등록된 사용자가 아닌 것으로 인식되는 경우에는 해당 사용자에게 사용자로서의 등록 절차가 진행될 수 있다.
사용자 인식부(107)는 동일인 및 동일인의 다른 이미지와 전혀 다른 대조군의 이미지를 통한 딥(deep) CNN 학습을 통한 128개의 각각의 개인을 구분하는 특징점을 추출해서 숫자로 표현되는 암호화를 수행하여 학습 정보로서 저장한다.
또한, 사용자 인식부(107)는 SVM(Support Vector Machine) 알고리즘을 통해 기등록된 사용자인지의 여부를 인식할 수 있다. 여기서, SVM은 데이터들을 분류하기 위한 최적의 분리 경계면을 제공하는 지도 학습 방법으로 최적의 분리 경계면은 각 클래스의 데이터 사이의 중간에 위치하도록 학습된다.
음성 입력부(109)는 외부로부터 음성을 입력받는 구성으로, 예를 들어 마이크로폰 어레이가 사용될 수 있다.
음성 인식부(111)는 음성 입력부(109)를 통해 입력되는 외부 음성을 인식한다. 이러한 음성 인식 기술에 대해서는 이미 잘 알려져 있으므로 여기에서는 구체적인 설명을 생략한다.
대화 문장 생성부(115)는 인터넷을 통해 접속 가능한 각종의 외부 서버(200)로부터 웹 데이터를 수집하고 수집된 웹 데이터의 자연어 처리에 의해 생성되는 자연어를 입력으로 이에 대응되는 대화 문장을 생성하는 학습을 수행한다. 여기서, 웹 데이터의 자연어에 대응되는 대화 문장 생성에 대한 학습은, 예를 들어 순환 신경망(Recurrent Neural Network, RNN) 모델을 통해 수행될 수 있다. 이러한 순환 신경망은 최근 크게 이슈화되고 있는, 기계가 데이터로부터 유용한 정보를 추출하는 방법을 연구하는 분야인 인공지능 표현학습(representation learning) 분야의 대표 기술인 딥 러닝(Deep Learning) 알고리즘의 하나로, 인공 신경망을 구성하는 유닛 사이의 연결이 다이렉티드 사이클(Directed cycle)을 구성하는 신경망을 말한다. 순환 신경망은 앞먹임 신경망(Feedforward Neural Network)과 달리, 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있으며, 특히 입력 데이터들의 시계열적 상관관례를 추출하는 데 사용되는 모델이다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타낸다. 이러한 순환 신경망에 대해서는 이미 잘 알려져 있으므로, 여기에서는 그에 대한 구체적인 설명을 생략한다.
대화 문장 생성부(115)는 서비스 시점에 외부 서버(200)로부터 실시간으로 수집되는 웹 데이터를 자연어 처리한 후 이미 학습된 순환 신경망을 이용하여 자연어 입력에 대응되는 대화 문장을 생성하여 외부로 표시하거나 출력할 수 있다.
대화 문장 생성부(115)는 웹 스크랩핑을 통해 외부로부터 수집한 웹 데이터의 자연어에 대응되는 대화 문장을 CNN 모델의 학습 데이터들을 토대로 생성하여 음성으로 출력한다. 그리고 외부 음성의 인식 결과에 따른 답변에 대응되는 대화 문장을 생성하여 음성으로 출력한다.
컨시어지 서비스 처리부(115)는 감정 인식부(105), 사용자 인식부(107), 대화 문장 생성부(113)로부터 출력되는 데이터를 이용하여 컨시어지 서비스 데이터를 생성하여 출력할 수 있다. 컨시어지 서비스 처리부(115)는 영상 촬영부(101), 얼굴 인식부(103), 감정 인식부(105), 사용자 인식부(107), 음성 입력부(109), 음성 인식부(111), 대화문장 생성부(113), 디스플레이 장치(117), 발광 장치(119), 음성 출력 장치(121), 행위 표현부(123), 근거리 통신 장치(125), 저장 장치(127), 포스(POS) 장치(129), 입출력 포트(131) 및 통신 장치(133)와 연결되어, 이들 구성을 제어하고, 이들 간의 신호를 처리할 수 있다.
컨시어지 서비스 처리부(115)는 신경망 모델을 이용하여 생성된 학습 데이터들에 기초하여 컨시어지 서비스 데이터를 사용자 인터페이스 장치를 통해 제공한다.
컨시어지 서비스 처리부(115)는 학습 데이터들을 토대로 감정 인식에 따른 감정을 표현하는 데이터를 디스플레이 장치(117)의 화면에 출력한다. 즉, 감정 인식에 따른 사용자의 현재 감정 상태를 기초로 사용자와의 상호작용을 위한 표시를 출력하는데, 이모티콘, 그래픽 등으로 다양하게 표현될 수 있다.
컨시어지 서비스 처리부(115)는 CNN 모델의 학습 데이터들을 토대로 사용자를 위한 사용자 추천 데이터를 생성한다. 이때, 한 실시예에 따르면, 사용자의 방문 내역, 서비스 이용 내역 및 결제 내역 중 적어도 하나를 포함하는 다수의 사용자 개인 데이터, 감정 학습 데이터 및 CRM(Customer Relationship Management) 데이터 간의 관계를 신경망으로 생성하고, 신경망을 역전파(backward propagation)하여 사용자 추천 데이터를 생성할 수 있다.
컨시어지 서비스 처리부(115)는 모델, 뷰 및 콘트롤러(MVC, Model, View and Controller)로 정의된 컨시어지 서비스를 적용하고, 다수의 사용자 개인 데이터, 감정 학습 데이터 및 CRM 데이터를 빅데이터 처리하여 사용자 추천 데이터 생성시 이용할 수 있다.
여기서, 사용자 추천 데이터는 자주 오는 손님에게 즐겨찾는 메뉴 추천 데이터 또는 자동 포인트 적립을 통해 무료로 즐길 수 있는 메뉴 추천 데이터일 수 있다.
또는, 사용자 추천 데이터는 주 3회 이상 방문하는 고객을 충성 고객군으로 분류한다면, 월별/분기별/연간 방문횟수를 기준으로 그에 상응하는 프로모션과 할인 행사를 현장에서 바로 적용할 수 있는 가이드 정보 일 수 있다.
또는, 사용자 추천 데이터는 CRM과의 연계를 통해 충성고객, 이탈고객 및 일반고객을 구분하고, 고객 구분에 따른 차별화된 쿠폰, 할인 이벤트 등의 프로모션 정보일 수 있다.
컨시어지 서비스 처리부(115)는 대화 문장 생성부(113)와 연동하여 사용자 추천 데이터를 화면에 출력하거나 또는 자연어 처리하여 대응되는 대화 문장을 음성으로 출력할 수 있다.
컨시어지 서비스 처리부(115)는 사용자 추천 데이터 및 사용자 감정 상태를 디스플레이 장치(117)를 통해 출력한다.
컨시어지 서비스 처리부(115)는 사용자 감정 상태에 따라 발광 시간, 발광 색상 및 발광량 중 적어도 하나를 제어하는 신호를 발광 장치(119)로 출력한다.
컨시어지 서비스 처리부(115)는 사용자 감정 상태에 따라 행위 표현부(123)의 동작을 제어할 수 있다.
컨시어지 서비스 처리부(115)는 근거리 통신 장치(125)를 통하여 컨시어지 서비스 제공 유알엘(Uniform Resource Locator, URL)을 브로드캐스팅한다. 그리고 컨시어지 서비스 제공 URL을 통해 획득한 사용자 요청에 따라 사용자를 응대하는 컨시어지 서비스 데이터를 생성한다.
여기서, 컨시어지 서비스 제공 URL은, 접속한 사용자 단말(미도시)에게 회원 가입 안내 정보, 개인 정보 이용 동의 요구, 서비스 매장 정보, 서비스 메뉴 정보, 대기번호 안내, 상품 또는 서비스 주문, 및 온라인 결제 서비스 중 적어도 하나를 포함하는 컨시어지 서비스를 제공한다. 이때, 사용자 단말(미도시)은 스마트폰 등이 될 수 있다.
또한, 컨시어지 서비스 제공 URL은, 사용자의 방문 내역, 서비스 이용 내역 및 결제 내역 중 적어도 하나를 포함하는 다수의 사용자 개인 데이터와 CRM 데이터를 매칭하여 도출된 서비스 추천 정보, 프로모션 정보 및 광고 정보 중 적어도 하나를 포함하는 마게팅 정보를 제공할 수 있다.
이러한 컨시어지 서비스 제공 URL은 컨시어지 서비스를 제공하기 위한 정보를 제공하는 서버의 접속 주소를 포함할 수 있다. 또는 컨시어지 서비스 제공 URL은 컨시어지 서비스를 제공하기 위한 정보가 저장된 웹 공간 또는 저장 장치의 주소를 포함할 수 있다.
컨시어지 서비스 처리부(115)는 감정 인식부(105) 및 대화 문장 생성부(115)와 연동하여 감정 인식 결과 및 사용자 추천 데이터를 자연어 처리하여 대응되는 자연어를 생성하고, 자연어에 대응되는 대화 문장을 신경망 모델을 사용하여 학습하며, 학습 결과를 사용하여 대화 문장을 생성할 수 있다.
디스플레이 장치(117)는 컨시어지 서비스 처리부(115)가 출력하는 컨시어지 서비스 데이터를 표시하고, 사용자 인식부(107)에 의해 인식되는 사용자 인식 정보를 표시하며, 감정 인식부(105)에 의해 인식되는 사용자의 감정 상태를 표시한다. 디스플레이 장치(117)는 예로서 디스플레이를 포함하며, 이러한 디스플레이는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다. 또한, 디스플레이 장치(117)는 다수개가 구비될 수도 있다.
발광 장치(119)는 컨시어지 서비스 처리부(115)가 출력하는 제어 신호에 따라 구동하는 적어도 하나의 LED(Light Emitting Diode)를 포함할 수 있다.
음성 출력 장치(121)는 컨시어지 서비스 처리부(115)에서 생성되는 대화 문장에 대응되는 음성을 외부로 출력한다. 이러한 음성 출력 장치(121)는 TTS(Text to Speech) 기능을 구비한 스피커일 수 있다.
행위 표현부(123)는 컨시어지 서비스 처리부(115)의 제어에 의해 구동신호를 발생하는 액추에이터 구동부(미도시)와, 액추에이터 구동부(미도시)의 구동신호에 따라 구동되어 미리 설정된 각도의 범위에서 회전하거나, 미리 설정된 방향으로 움직이는 작동부재를 포함할 수 있다. 즉, 컨시어지 서비스 처리부(115)는 회전 또는 움직이도록 제어 신호를 발생시켜 액추에이터 구동부로 출력할 수 있다. 예를들면, 주문이 완료되면 몸을 돌려 정해진 장소, 커피 픽업대를 가리킬 수 있다.
근거리 통신 장치(125)는 제한된 공간의 통신 영역에서 무선 데이터를 송수신한다. 이때, 블루투스나 와이파이(Wi-Fi) 등의 근거리 통신 기술을 이용할 수 있다.
저장 장치(127)는 신경망 모델을 이용하여 생성된 학습 데이터들에 기초하여 컨시어지 서비스 데이터를 사용자 인터페이스 장치를 통해 제공하는 프로그램을 저장한다. 저장 장치(127)는 기등록된 사용자와 관련된 정보를 저장할 수 있다. 저장 장치(127)는 얼굴 인식부(103), 사용자 인식부(107), 음성 인식부(111), 감정 인식부(105) 및 컨시어지 서비스 처리부(115)의 동작 수행을 위한 명령 등을 저장할 수도 있다.
또한, 저장 장치(127)는 사용자 인식부(107)와 감정 인식부(105)에서의 학습 정보를 각각 저장할 수 있다.
또한, 저장 장치(127)는 사용자의 방문 내역, 서비스 이용 내역 및 결제 내역 중 적어도 하나를 포함하는 다수의 사용자 개인 데이터를 저장할 수 있다.
또한, 저장 장치(127)는 다수의 사용자 개인 데이터, 감정 학습 데이터 및 CRM(Customer Relationship Management) 데이터 간의 관계를 신경망으로 생성하고, 신경망을 역전파(backward propagation)하여 분석한 학습 데이터 및 분석 데이터를 저장할 수 있다.
이러한 저장 장치(127)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
포스(POS) 장치(129)는 음성 인식 결과에 따른 상품 또는 서비스 주문을 처리하고, 통신망과 연결된 결제 서버(200)와 연동하여 결제 처리를 수행한다. 이러한 주문 내역 및 결제 내역은 저장 장치(127)에 저장될 수 있다.
입출력 포트(131)는 외부 장치와 연결되어 데이터를 입출력하는 통로를 제공한다. 이때, 입출력 포트(131)는 서비스 공간 내 구비된 예를들면, 주방 또는 매장 서버와 연결되어, 주문 내역을 전달하기 위해 사용될 수 있다. 또는 네트워크 장치와 연결되는 랜선 포트 일 수 있다.
통신 장치(133)는 통신망을 통해 외부 서버(200)와 연결되어 데이터를 송수신한다. 여기서, 외부 서버(200)는 단수 또는 복수를 모두 포함하는 개념이다. 즉, 서로 다른 기능을 하는 복수의 서버를 포함할 수 있다. 이러한 복수의 서버는 마게팅 정보를 제공하는 마게팅 서버, CRM 서버, 결제 서버 등을 포함할 수 있다.
한편, 최근에는 각종 자료를 사용자의 컴퓨터나 스마트폰 등 내부 저장 공간이 아닌 외부 클라우드 서버에 저장한 뒤에 다운로드받는 서비스인 클라우드 서비스가 각광을 받고 있으며, 이러한 클라우드 서비스는 인공지능 기술을 제공하는 클라우드 서버에 의해서도 제공될 수 있다. 예를 들어, IBM사의 인공지능 기술인 왓슨(Watson)이나 구글사의 텐서플로우(TesnorFlow) 등이 오픈 소프트웨어로서 잘 알려져 있다. 이들은 인공지능을 활용해 자연어 질문을 알아듣고, 방대한 데이터로부터 관련 있는 사항을 분석, 종합해 적절한 답변을 제공하는 기술이다. 이들은 API(Application Programming Interface)를 통해 인공지능 기술을 사용할 수 있는 클라우드 서비스를 제공하고 있다.
도 2는 본 발명의 다른 실시예에 따른 컨시어지 로봇 시스템의 구성도로서, 클라우드 서비스를 이용하는 실시예에 해당된다.
도 2를 참조하면, 도 1의 구성과 동일한 구성에 대한 설명은 생략한다. 이때, 도 1과 달리, 서버 인터페이스 장치(135)를 더 포함할 수 있다.
서버 인터페이스 장치(135)는 클라우드 서버(300)와 연결된다. 서버 인터페이스 장치(135)를 통해 API를 통해 접속되는 외부의 클라우드 서버(300)에게 영상 정보, 음성 정보, 빅데이터를 전달하여 이에 대응되는 사용자 인식 결과, 감정 인식 결과, 빅데이터 학습결과를 제공받아서 사용한다. 즉, 영상을 통한 사용자 인식 학습과 사용자 감정 인식 학습, 그리고, 이러한 학습 결과에 기초한 사용자 인식 및 사용자 감정 인식, 외부로부터 수집된 웹 데이터를 사용하여 대응되는 대화 문장을 학습하고, 학습 결과에 기초하여 새로이 수집된 웹 데이터에 대응되는 대화 문장을 생성하며, 다수의 사용자 개인 데이터, 감정 학습 데이터 및 CRM 데이터를 빅데이터 처리하여 신경망 학습 및 역전파 분석하는 동작을 컨시어지 로봇 시스템(100)에서 직접 수행하지 않고 외부의 클라우드 서버(300)에서 수행될 결과를 수신할 수도 있다.
이와 같은, 컨시어지 로봇 시스템은 로봇의 형태로 구현될 수 있으며, 한 예시로 도 3 ~ 도 5와 같다.
도 3은 본 발명의 실시예에 따른 컨시어지 로봇의 전면 사시도이고, 도 5는 본 발명의 실시예에 따른 컨시어지 로봇의 전면도이며, 도 5는 본 발명의 실시예에 따른 컨시어지 로봇의 후면 사시도이다.
도 3 및 도 4를 참조하면, 사람과 유사한 로봇 형상을 가지는 본체(137)의 머리 부분에 영상 촬영부(101), 음성 입력부(109)가 장착된다. 그리고 본체(137)의 얼굴 부분에 이모티콘 형태 등으로 표시하기 위한 화면을 구비하는 제1 디스플레이 장치(117-1)가 장착된다. 본체(137)의 몸통 전면에는 컨시어지 서비스 데이터, 음성 인식 결과, 감정 인식 결과, 사용자 인식 결과 등을 출력하기 위한 모니터 화면을 구비하는 제2 디스플레이 장치(117-3)가 장착된다. 제2 디스플레이 장치(117-3)의 측면에는 NFC 리더기 또는 카드 리더기 등의 결제 수단 인식기(141)가 장착된다. 따라서, 사용자가 화면에 표시된 주문 내역을 확인한 후, 직접 결제를 할 수 있다.
본체(137)의 몸통 하단에는 프린터(139)가 장착되어 주문 내역 또는 결제 내역을 출력한다.
도 5를 참조하면, 본체(137)의 얼굴 부분, 몸통 부분에는 각각 LED(119)가 장착된다. 그리고 몸통 전면을 둘러 음성 출력 장치(121)가 장착된다.
본체(137)의 후면에는 리셋 버튼(143), 전원 버튼(145)이 장착되고, 입출력 포트(131)를 포함하는 I/O 박스(147)가 마련되어 있다.
이제, 본 발명의 실시예에 따른 로봇을 이용한 다양한 컨시어지 서비스 제공 방법을 설명한다.
도 6은 본 발명의 한 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도이다.
도 6을 참조하면, 영상 촬영부(101)를 통해 사용자 영상을 촬영한다(S101). 그리고 얼굴 인식부(103)를 통해 촬영된 영상으로부터 얼굴을 인식한다(S103).
다음, 감정 인식부(105)를 통해, 얼굴 인식부(103)에 의해 인식된 얼굴 영상에 대해 CNN 모델을 사용하여 얼굴 영상에 대응되는 감정을 인식한다(S105). 예를 들어, 얼굴 영상에 대해 학습된 CNN 모델을 통해 본 발명의 실시예에서 학습된 7가지 감정, 즉 분노, 행복, 놀람, 혐오, 슬픔, 공포 및 중립의 감정 중에서 한 가지 감정을 인식하고, 그 결과를 출력한다(S107). 이때, S107 단계에서는 감정 인식 결과를 자연어로 처리하고, 자연어에 대응하는 대화 문장을 CNN 모델을 사용하여 생성하여 음성으로 출력할 수 있다.
또는, 감정 인식 결과에 대응되는 기 정의된 아바타 표시 등으로 디스플레이 화면에 출력하거나 또는 감정 인식 결과에 대응하는 로봇의 감정 표현을 LED 발광을 통해 연출할 수 있다.
또한, S103 단계에서 인식되는 얼굴에 대해 사용자 인식부(107)를 통해 CNN 모델을 사용하여 기등록된 사용자의 얼굴인지를 인식한다(S109). 이 때, 기등록된 사용자의 얼굴로 인식되면 사용자 인식이 완료되고, 인식된 사용자의 정보를 저장장치(125)로부터 추출함으로써 사용자의 정보를 알 수가 있다. 그러나, 기등록된 사용자의 얼굴이 아닌 경우 신규 사용자의 얼굴이므로 신규 사용을 위해 사용자 등록을 수행하는 절차가 개시될 수 있다.
사용자가 식별되면, 기 생성된 학습 데이터들을 토대로 식별된 사용자를 위한 사용자 추천 데이터를 생성한다(S111). 그리고 사용자 추천 데이터를 자연어 처리(S113)하여 자연어에 대응되는 대화 문장을 생성한다(S115). 그리고 대화 문장을 음성으로 변환하여 출력한다(S117).
도 7은 본 발명의 다른 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도로서, 도 6의 S111 단계의 세부 절차를 도시한다.
도 7을 참조하면, 컨시어지 서비스 처리부(115)가 근거리 통신 장치(125) 또는 포스(POS) 장치(129)로부터 수집된 사용자 개인 데이터와, 감정 인식부(105)로부터 제공되는 감정 학습 데이터와, 외부 서버(200)를 통해 제공되거나 또는 저장 장치(127)를 통해 제공되는 CRM 데이터를 빅데이터 처리(S201)한다.
다음, 사용자 개인 데이터, 감정 학습 데이터 및 CRM 데이터 간의 관계를 신경망으로 생성(S203)한다. 그리고 이러한 신경망을 역전파(backward propagation) 하여 사용자의 감정 상태에 관련된 서비스 또는 사용자가 선호할 것으로 예측되는 서비스를 탐색하여, 탐색 결과로 이루어진 사용자 추천 데이터를 생성한다(S205). 이때, 신경망 알고리즘 내에서 생성된 사용자 패턴 데이터를 역전파 학습을 통해 훈련시켜 사용자 추천 데이터를 도출할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도로서, 도 6의 S109 단계 이후의 다른 실시예로 추가될 수 있다.
도 8을 참조하면, 사용자 인식부(107)를 통해 얼굴 영상으로부터 사용자를 인식(S301)한 후, 등록된 사용자 인지를 판단한다(S303).
등록된 사용자이면, 대화 문장 생성부(113)를 통하여 사용자 추천 데이터를 자연어 처리하고, 자연어에 대응되는 대화 문장을 생성하여 음성으로 출력한다(S305).
등록된 사용자가 아니면, 대화 문장 생성부(113)를 통하여 웹 스크랩핑을 통해 외부로부터 수집한 웹 데이터를 자연어 처리(S307)하고, 자연어에 대응되는 대화 문장을 생성(S309)하여 음성으로 변환하여 출력한다(S311).
도 9는 본 발명의 또 다른 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도이다.
도 9를 참조하면, 컨시어지 서비스 처리부를 통하여 제한된 공간의 통신 영역에서 무선으로 컨시어지 서비스 제공 유알엘(Uniform Resource Locator, URL)을 브로드캐스팅한다(S401).
컨시어지 서비스 제공 URL로 사용자가 접속(S403)하면, 회원인지를 판단(S405)하여 회원이 아니면, 회원 가입을 유도한다(S407).
회원이면, 컨시어지 서비스 화면을 제공(S409)하고, 컨시어지 서비스 화면에서 사용자가 요구하거나 또는 사용자가 선택한 정보를 획득(S411)한다. 그리고 결제 프로세스를 진행한다(S413).
다음, 사용자 요구를 응대하는 컨시어지 서비스 데이터를 생성(S415)한다. 이러한 컨시어지 서비스 데이터를 디스플레이 장치로 출력한다(S417)한다. 그리고 컨시어지 서비스 데이터를 자연어 처리하고 자연어에 대응되는 대화 문장을 음성으로 출력(S419)한다. 여기서, 컨시어지 서비스 데이터는 예를들면, 주문한 물품이 준비되었음을 안내하는 멘트가 될 수 있다.
도 10은 본 발명의 또 다른 실시예에 따른 로봇을 이용한 컨시어지 서비스 방법을 나타낸 순서도로서, 도 6에서 S101 단계 이후, 순차적으로 또는 동시에 수행될 수 있다.
도 10을 참조하면, 음성 인식부를 통하여 입력(S501)된 사용자 음성을 인식(S503)한 후, 대화 문장 생성부(113)를 통하여 음성 인식 결과에 따른 답변 문장을 생성한다(S505). 그리고 답변 문장을 음성으로 출력한다(S507).
도 11은 본 발명의 또 다른 실시예에 따른 컨시어지 로봇 시스템의 하드웨어 구성을 나타낸 블록도이다.
도 11을 참조하면, 컨시어지 로봇 시스템(400)은 음성을 출력하는 스피커(401), 외부 음성을 입력받는 마이크(403), 근거리 통신 또는 인터넷 연결을 수행하는 통신 장치(405), 접촉식 또는 비접촉식으로 결제 수단을 인식하는 결제 인식부(407), 통신망 및 외부 장치와 연결되는 입출력 포트(409), 화면에 데이터를 시각적으로 표시하는 디스플레이 장치(411), 주문 및 결제 내역을 출력하는 프린터(413), 메모리(415) 및 프로세서(417) 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 도 1 내지 도 10에서 설명한 실시예들에 따른 구성 및/또는 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 하드웨어는 도 1 내지 도 10에서 설명한 실시예들에 따른 구성 및/또는 방법을 실행할 수 있는 명령어들(instructions)을 포함하고, 메모리(415) 및 프로세서(417) 등의 하드웨어와 결합하여 본 발명을 구현한다.
전술한 바와 같이, 본 발명의 실시예에 따르면, 컨시어지 로봇 시스템은 방문 고객을 음성인식, 얼굴인식 등을 통하여 사용자의 특징과 정보를 기억하고 인공지능(AI, Artificial Intelligence) 기술을 이용하여, 소비자 혹은 사용자의 반복적인 입력정보를 학습하여 분석 및 저장하고, 사용자에게 최적화된 로봇을 통한 맞춤형 서비스를 제공할 수 있으므로, 커피전문점이나 페스트푸드 매장 등에서 주문 계산대에서 직원이 하루에도 수십 수백차례 반복해야 하는 단순 반복 업무를 대체하고 고도화할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 로봇 형상의 본체,
    상기 본체에 장착되어, 외부 영상을 촬영하는 카메라,
    상기 본체에 장착되어, 외부 음성을 입력받는 마이크,
    상기 본체에 장착되어, 음성을 출력하는 스피커,
    상기 본체에 장착되어, 화면에 데이터를 출력하는 디스플레이 장치,
    상기 본체에 장착되어, 통신망 및 외부 장치와 연결되는 입출력 포트,
    상기 본체에 장착되어, 음성 인식 결과에 따른 상품 또는 서비스 주문을 처리하고 접촉식 또는 비접촉식으로 결제 수단을 인식하며 상기 통신망과 연결된 결제 서버와 연동하여 결제 처리를 수행한 후, 주문 및 결제 내역을 출력하는 포스(POS, Point Of Sales) 장치,
    상기 본체에 장착되고, 제어 신호에 따라 구동하는 적어도 하나의 LED(Light Emitting Diode)를 포함하는 발광부,
    상기 본체에 장착되고, 구동신호에 따라 구동되어 상기 본체를 미리 설정된 각도의 범위에서 회전시키거나, 미리 설정된 방향으로 이동시키는 작동부재,
    상기 본체에 장착되고, 상기 구동신호를 발생시켜 상기 작동부재로 출력하는 액추에이터 구동부,
    상기 본체에 장착되고, 사용자 단말과 근거리 무선 통신을 수행하는 근거리 통신 장치,
    상기 본체에 포함되고, 신경망 모델을 이용하여 생성된 학습 데이터들에 기초하여 컨시어지 로봇의 동작을 제어하는 프로그램을 저장하는 메모리, 그리고
    상기 본체에 포함되고, 상기 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로그램은,
    상기 카메라가 촬영한 외부 영상으로부터 얼굴 영상을 인식하고,
    합성곱 신경망(Convolutional Neural Network, CNN) 모델을 사용하여 상기 얼굴 영상에 해당하는 감정을 인식하고,
    상기 감정 인식에 따른 이모티콘 또는 그래픽 데이터를 포함하는 감정 표현 데이터를 생성하여 상기 디스플레이 장치를 통해 출력하고,
    상기 감정 표현 데이터에 따라 발광 시간, 발광 색상 및 발광량 중 적어도 하나를 제어하는 제어 신호를 상기 발광부로 출력하고,
    웹 스크랩핑을 통해 외부로부터 수집한 웹 데이터의 자연어에 대응되는 대화 문장을 상기 학습 데이터들을 토대로 생성하여 음성으로 출력하고,
    상기 마이크를 통해 입력된 외부 음성을 인식하고, 외부 음성 인식 결과에 따른 답변에 해당하는 대화 문장을 생성하여 음성으로 출력하며,
    상기 외부 음성 인식 결과에 따른 주문 및 결제 처리를 하도록 상기 포스 장치에게 요청하고, 상기 포스 장치로부터 주문 내역 및 결제 내역을 수집하여 사용자 개인 데이터로 저장하며,
    상기 사용자 개인 데이터, 감정 학습 데이터 및 CRM(Customer Relationship Management) 데이터 간의 관계를 신경망으로 생성하고, 상기 신경망을 역전파(backward propagation)하여 메뉴 추천 데이터 또는 프로모션 정보를 포함하는 사용자 추천 데이터를 생성하고,
    상기 사용자 추천 데이터를 상기 디스플레이 장치로 출력하고,
    상기 사용자 추천 데이터를 자연어 처리한 대화 문장을 생성하여 음성으로 출력하며,
    상기 감정 표현 데이터 및 상기 사용자 추천 데이터를 자연어 처리하여 대응되는 자연어를 생성하고, 자연어에 대응되는 대화 문장을 상기 신경망 모델을 사용하여 학습하며, 학습 결과를 사용하여 상기 감정 표현 데이터 및 상기 사용자 추천 데이터 각각에 대응하는 대화 문장을 생성하고,
    상기 사용자 개인 데이터와 상기 CRM 데이터를 매칭하여 도출된 서비스 추천 정보, 프로모션 정보 및 광고 정보 중 적어도 하나를 포함하는 마게팅 정보를 제공하기 위한 컨시어지 서비스 제공 유알엘(Uniform Resource Locator, URL)을 상기 근거리 통신 장치를 통하여 브로드캐스팅하고,
    상기 컨시어지 서비스 데이터를 자연어 처리한 대화 문장을 생성하여 음성으로 출력하는 명령어들(instructions)을 포함하고,
    상기 컨시어지 서비스 데이터는,
    모델, 뷰 및 콘트롤러(MVC, Model, View and Controller)로 정의되고, 회원 가입 안내 정보, 개인 정보 이용 동의 요구 정보, 서비스 매장 정보, 서비스 메뉴 정보, 대기번호 안내 정보, 상품 또는 서비스 주문 정보 및 온라인 결제 서비스 정보를 포함하며,
    상기 컨시어지 서비스 제공 유알엘(URL)은,
    컨시어지 서비스를 제공하는 서버, 웹 공간 및 저장 장치 중 적어도 하나의 접속 주소를 포함하고,
    상기 컨시어지 서비스 제공 유알엘(URL)을 클릭한 사용자 단말은,
    상기 접속 주소로부터 상기 컨시어지 서비스 데이터를 수신하는, 컨시어지 로봇.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에서,
    외부의 클라우드 서버와 유선 또는 무선으로 데이터를 송수신하는 서버 인터페이스 장치를 더 포함하고,
    상기 프로그램은,
    상기 외부 영상으로부터 인식한 얼굴 영상을 상기 클라우드 서버로 전달하여 상기 얼굴 영상에 대응되는 감정 학습을 수행시켜 감정 학습 데이터를 획득하고,
    상기 얼굴 영상을 상기 클라우드 서버로 전달하여 상기 얼굴 영상에 대응되는 감정 인식을 요청하여 수신하는 명령어들을 포함하는, 컨시어지 로봇.
  6. 삭제
  7. 제1항에서,
    외부의 클라우드 서버와 유선 또는 무선으로 데이터를 송수신하는 서버 인터페이스 장치를 더 포함하고,
    상기 프로그램은,
    상기 감정 표현 데이터 및 상기 사용자 추천 데이터를 자연어 처리하여 대응되는 자연어를 생성하고, 상기 자연어를 상기 클라우드 서버로 전송하여 상기 자연어에 대응되는 대화 문장을 상기 신경망 모델을 사용하여 학습시킨 후, 학습 결과를 사용하여 생성된 대화 문장을 수신하는 명령어들을 포함하는, 컨시어지 로봇.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020170074432A 2016-11-15 2017-06-13 컨시어지 로봇 KR101854431B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/661,098 US10289076B2 (en) 2016-11-15 2017-07-27 Concierge robot system, concierge service method, and concierge robot

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160152216 2016-11-15
KR20160152216 2016-11-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048708A Division KR20180054528A (ko) 2016-11-15 2018-04-26 컨시어지 로봇 시스템, 컨시어지 서비스 방법 및 컨시어지 로봇

Publications (1)

Publication Number Publication Date
KR101854431B1 true KR101854431B1 (ko) 2018-05-03

Family

ID=60811479

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020170074432A KR101854431B1 (ko) 2016-11-15 2017-06-13 컨시어지 로봇
KR1020170074439A KR101803081B1 (ko) 2016-11-15 2017-06-13 매장 관리 로봇
KR1020170157627A KR20180054505A (ko) 2016-11-15 2017-11-23 매장 관리 장치, 그 방법 및 매장 관리 로봇
KR1020180048708A KR20180054528A (ko) 2016-11-15 2018-04-26 컨시어지 로봇 시스템, 컨시어지 서비스 방법 및 컨시어지 로봇

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020170074439A KR101803081B1 (ko) 2016-11-15 2017-06-13 매장 관리 로봇
KR1020170157627A KR20180054505A (ko) 2016-11-15 2017-11-23 매장 관리 장치, 그 방법 및 매장 관리 로봇
KR1020180048708A KR20180054528A (ko) 2016-11-15 2018-04-26 컨시어지 로봇 시스템, 컨시어지 서비스 방법 및 컨시어지 로봇

Country Status (1)

Country Link
KR (4) KR101854431B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133579A (ko) * 2018-05-23 2019-12-03 한국과학기술원 사용자와 대화하며 내면 상태를 이해하고 긴밀한 관계를 맺을 수 있는 감성지능형 개인비서 시스템
US10565434B2 (en) * 2017-06-30 2020-02-18 Google Llc Compact language-free facial expression embedding and novel triplet training scheme
WO2020054945A1 (ko) * 2018-09-14 2020-03-19 엘지전자 주식회사 로봇 및 그 동작 방법
WO2020246643A1 (ko) * 2019-06-07 2020-12-10 엘지전자 주식회사 서빙 로봇 및 그를 이용한 고객 접대 방법
KR102295807B1 (ko) * 2020-02-24 2021-08-31 연세대학교 산학협력단 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법
WO2023075383A1 (ko) * 2021-11-01 2023-05-04 (주)뉴빌리티 무인 이동체에서의 광고 제공 방법 및 시스템

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6658795B2 (ja) * 2018-05-11 2020-03-04 セイコーエプソン株式会社 機械学習装置、撮影時期推定装置、機械学習プログラムおよび写真データの生産方法
KR102040218B1 (ko) * 2018-06-11 2019-11-04 엘지전자 주식회사 대기열을 인식하는 이동식 로봇 및 이동식 로봇의 동작 방법
KR102092392B1 (ko) * 2018-06-15 2020-03-23 네이버랩스 주식회사 실 공간에서 관심지점 관련 정보를 자동으로 수집 및 업데이트하는 방법 및 시스템
KR102040574B1 (ko) 2018-07-26 2019-11-06 강삼태 매장 관리 시스템 및 매장 관리방법
CN109514585A (zh) * 2018-08-01 2019-03-26 苏州优智达机器人有限公司 服务型机器人
CN109822581A (zh) * 2018-12-08 2019-05-31 浙江国自机器人技术有限公司 用于机房机器人的导览方法
KR102115754B1 (ko) 2019-04-26 2020-05-27 김병수 컨시어지 서비스 시스템
KR102363143B1 (ko) * 2019-07-16 2022-02-15 조강훈 프랜차이즈 가맹점의 고객 서비스 관리 시스템 및 방법
KR102231922B1 (ko) 2019-07-30 2021-03-25 엘지전자 주식회사 인공 지능을 이용하여, 복수의 로봇들을 제어하는 인공 지능 서버
KR102263159B1 (ko) * 2019-07-30 2021-06-10 엘지전자 주식회사 로봇의 경로를 결정하는 인공 지능 서버 및 그 방법
KR102258381B1 (ko) 2019-07-31 2021-05-31 엘지전자 주식회사 복수의 로봇들을 관제하는 인공 지능 서버 및 그 방법
KR102259429B1 (ko) 2019-08-09 2021-06-02 엘지전자 주식회사 로봇의 배치 구역을 결정하는 인공 지능 서버 및 그 방법
WO2021045271A1 (ko) * 2019-09-05 2021-03-11 엘지전자 주식회사 로봇
KR20220031966A (ko) * 2020-09-06 2022-03-15 조강훈 외식 프랜차이즈 커뮤니케이션 시스템
KR102386353B1 (ko) 2020-09-17 2022-04-12 유진기술 주식회사 텔레프레전스 로봇 및 이를 활용한 무인 점포 관리 방법
KR102620674B1 (ko) * 2021-01-14 2024-01-04 순천대학교 산학협력단 인공지능기반 유저 반응형 키오스크 결제 시스템
KR102481439B1 (ko) * 2021-04-09 2022-12-27 주식회사 닐슨 콘텐츠 결정 방법, 장치 및 컴퓨터 프로그램
US11911890B2 (en) 2021-04-28 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing a service using a robot
CN113700414B (zh) * 2021-10-29 2022-03-11 杭州明融科技有限公司 一种贵重物品安全管理系统
WO2023212614A1 (en) * 2022-04-26 2023-11-02 Haystack Robotics, Inc. Automated robotic ground-truth, checklists, and physical traceability
KR102498533B1 (ko) * 2022-07-15 2023-02-09 권용현 딥 러닝 기법으로 학습된 모델을 이용하여 사용자와의 실시간 대화 및 질문에 대한 응답 제공 기능을 수행하는 대화형 전자 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5684911B2 (ja) * 2010-08-24 2015-03-18 中国科学院深▲しん▼先進技術研究院 クラウドロボットシステムおよびその実現方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4923876B2 (ja) 2006-09-01 2012-04-25 富士通株式会社 情報提供ロボットおよびロボットを用いた情報提供方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5684911B2 (ja) * 2010-08-24 2015-03-18 中国科学院深▲しん▼先進技術研究院 クラウドロボットシステムおよびその実現方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565434B2 (en) * 2017-06-30 2020-02-18 Google Llc Compact language-free facial expression embedding and novel triplet training scheme
US11163987B2 (en) 2017-06-30 2021-11-02 Google Llc Compact language-free facial expression embedding and novel triplet training scheme
KR20190133579A (ko) * 2018-05-23 2019-12-03 한국과학기술원 사용자와 대화하며 내면 상태를 이해하고 긴밀한 관계를 맺을 수 있는 감성지능형 개인비서 시스템
KR102139855B1 (ko) * 2018-05-23 2020-07-30 한국과학기술원 사용자와 대화하며 내면 상태를 이해하고 긴밀한 관계를 맺을 수 있는 감성지능형 개인비서 시스템
WO2020054945A1 (ko) * 2018-09-14 2020-03-19 엘지전자 주식회사 로봇 및 그 동작 방법
KR20200034038A (ko) * 2018-09-14 2020-03-31 엘지전자 주식회사 로봇 및 그 동작 방법
KR102242779B1 (ko) * 2018-09-14 2021-04-20 엘지전자 주식회사 로봇 및 그 동작 방법
US11948241B2 (en) 2018-09-14 2024-04-02 Lg Electronics Inc. Robot and method for operating same
WO2020246643A1 (ko) * 2019-06-07 2020-12-10 엘지전자 주식회사 서빙 로봇 및 그를 이용한 고객 접대 방법
US11413764B2 (en) 2019-06-07 2022-08-16 Lg Electronics Inc. Serving robot and method for receiving customer using the same
KR102295807B1 (ko) * 2020-02-24 2021-08-31 연세대학교 산학협력단 컨시어지 로봇 및 이를 이용한 고객 맞춤형 서비스 제공 방법
WO2023075383A1 (ko) * 2021-11-01 2023-05-04 (주)뉴빌리티 무인 이동체에서의 광고 제공 방법 및 시스템

Also Published As

Publication number Publication date
KR101803081B1 (ko) 2017-11-29
KR20180054505A (ko) 2018-05-24
KR20180054528A (ko) 2018-05-24

Similar Documents

Publication Publication Date Title
KR101854431B1 (ko) 컨시어지 로봇
US10289076B2 (en) Concierge robot system, concierge service method, and concierge robot
US10152719B2 (en) Virtual photorealistic digital actor system for remote service of customers
Hwangbo et al. Use of the smart store for persuasive marketing and immersive customer experiences: A case study of Korean apparel enterprise
US9996874B2 (en) Character personal shopper system
CN107300970A (zh) 虚拟现实交互方法和装置
US8577087B2 (en) Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US20190147228A1 (en) System and method for human emotion and identity detection
CN108748218A (zh) 基于机器视觉与ar技术的新零售智能导购机器人及导购方法
CN102893327A (zh) 直觉计算方法和系统
JP5605725B2 (ja) 情報報知システム、情報報知方法、情報処理装置及びその制御方法と制御プログラム
JP7057077B2 (ja) 購買支援システム
CN110716634A (zh) 交互方法、装置、设备以及显示设备
KR20180054407A (ko) 로봇 시스템
US11625754B2 (en) Method for providing text-reading based reward-type advertisement service and user terminal for executing same
JP2017156514A (ja) 電子看板システム
CN110716641B (zh) 交互方法、装置、设备以及存储介质
CN110322262B (zh) 门店信息处理方法、装置及门店系统
US20240070686A1 (en) Collection of consumer feedback on dispensed product samples to generate machine learning inferences
KR20200013164A (ko) 전자 장치, 및 전자 장치의 제어 방법
US20210402611A1 (en) Information processing system and information processing method
WO2020056135A1 (en) Automatic emotion response detection
KR101743999B1 (ko) 컨텐츠 검증 단말기, 시스템 및 그 것들의 제어방법
Lee et al. A Metaverse Emotion Mapping System with an AIoT Facial Expression Recognition Device
KR20210111953A (ko) 디지털사이니지를 이용한 맞춤형 고객 대응 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant