KR102228866B1 - 로봇 및 그의 제어 방법 - Google Patents

로봇 및 그의 제어 방법 Download PDF

Info

Publication number
KR102228866B1
KR102228866B1 KR1020180124634A KR20180124634A KR102228866B1 KR 102228866 B1 KR102228866 B1 KR 102228866B1 KR 1020180124634 A KR1020180124634 A KR 1020180124634A KR 20180124634 A KR20180124634 A KR 20180124634A KR 102228866 B1 KR102228866 B1 KR 102228866B1
Authority
KR
South Korea
Prior art keywords
user
robot
unit
interaction
detected
Prior art date
Application number
KR1020180124634A
Other languages
English (en)
Other versions
KR20200046186A (ko
Inventor
박용진
김민욱
손정관
최택성
구세완
손진호
조택일
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180124634A priority Critical patent/KR102228866B1/ko
Priority to US16/420,852 priority patent/US11285611B2/en
Priority to EP19188093.9A priority patent/EP3639986B1/en
Priority to CN201910898663.2A priority patent/CN111070214B/zh
Publication of KR20200046186A publication Critical patent/KR20200046186A/ko
Application granted granted Critical
Publication of KR102228866B1 publication Critical patent/KR102228866B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/086—Proximity sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

본 발명의 실시 예에 따른 로봇은, 사용자를 감지하는 적어도 하나의 센서를 포함하는 사용자 감지부, 상기 사용자 감지부에 의해 감지된 사용자의 얼굴을 포함하는 이미지를 획득하는 얼굴 검출부, 상기 획득된 이미지로부터 상기 사용자의 인터랙션 의도를 검출하는 제어부, 및 상기 인터랙션 의도가 검출된 경우, 상기 사용자의 인터랙션 유도를 위한 음성과 화면 중 적어도 하나를 출력하기 위한 스피커와 디스플레이 중 적어도 하나를 포함한다.

Description

로봇 및 그의 제어 방법{ROBOT AND METHOD FOR CONTROLLING THEREOF}
본 발명은 로봇에 관한 것으로서, 특히 상기 로봇과의 인터랙션 의도를 갖는 사용자를 스스로 인식하여, 인식된 사용자와의 인터랙션을 수행할 수 있는 로봇 및 그의 제어 방법에 관한 것이다.
로봇의 응용분야는 대체로 산업용, 의료용, 우주용, 해저용으로 분류된다. 예를 들면, 자동차 생산과 같은 기계 가공 공업에서는 로봇이 반복작업을 수행할 수 있다. 즉, 사람의 팔이 하는 작업을 한 번만 가르쳐 주면 몇 시간이든 같은 동작을 반복하는 산업로봇이 이미 많이 가동되고 있다.
또한, 로봇에 카메라가 장착되는 기술은 이미 종래에 많이 구현되어 있다. 로봇은 카메라를 이용하여 위치를 확인하거나 장애물을 인식할 수 있다. 또한, 촬영 영상을 디스플레이부에 표시하는 것도 충분히 구현되고 있다.
일반적으로 로봇이 제공하는 서비스는 장소, 이용자, 목적 등에 따라 다양한 반면에, 로봇이 상기 제공하는 서비스를 위해 수행하는 동작 자체는 정해진 하중을 견디어 주어진 사양의 속도와 주행시간, 거리에 맞춰 이동 동작을 하는 것이 보편적이다.
한편, 최근 공항 이용객의 폭발적인 증가 추세 및 스마트 공항으로의 도약을 위한 노력으로, 공항 내에서 로봇을 통해 서비스를 제공하는 방안이 개발되고 있다. 공항에 인공지능 로봇을 도입하는 경우, 기존의 컴퓨터 시스템이 대체할 수 없었던 사람의 고유 역할을 로봇이 대신 수행할 수 있어, 제공되는 서비스의 양적 및 질적 향상에 기여할 수 있을 것으로 기대된다.
이용자에게 편의를 제공하거나 사람의 역할을 대체할 수 있는 로봇은 상기 공항뿐만 아니라 호텔, 병원, 학교, 대형 쇼핑시설, 문화시설, 공공시설 등의 사회시설 전반에 걸쳐 그 수요가 급증하고 있다.
종래의 로봇은 사용자로부터 인터랙션(interaction)을 위한 요청으로서 버튼이나 터치 스크린 등의 조작부를 통한 입력, 또는 시동어를 포함하는 음성을 획득하고, 획득된 입력이나 음성에 기초하여 사용자와의 인터랙션을 수행할 수 있었다.
그러나, 사용자가 로봇에 구비된 조작부를 조작하기 위해서는 로봇으로 근접하여야 하나, 로봇이 이동 중인 경우 로봇으로의 근접이 용이하지 않으며 번거로울 수 있다.
또한, 로봇이 이용자가 많고 소음이 심한 공공장소에 구비된 경우, 로봇은 상기 사용자가 발화한 시동어를 정확히 인식하기 어려울 수 있다. 뿐만 아니라, 로봇은 상기 공공장소의 다수의 이용자들 중 상기 시동어를 발화한 사용자를 정확히 식별하지 못할 수 있다.
1. 미국 공개특허 US 2017/0148434호 (2017.05.25. 자 공개)
본 발명이 해결하고자 하는 과제는, 사용자로부터 로봇과의 인터랙션을 위한 조작이나 시동어 발화 등의 행위 없이도, 인터랙션 의도를 갖는 사용자를 스스로 검출할 수 있는 로봇을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 로봇 주변의 사용자 중 인터랙션 의도를 갖는 사용자를 효과적으로 검출할 수 있는 로봇을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 로봇 주변에 복수의 사용자들이 존재하는 경우, 복수의 사용자들에 대한 인터랙션 의도를 효율적으로 검출할 수 있는 로봇을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 로봇이 인터랙션 의도를 갖는 사용자를 감지하였음을 사용자에게 나타낼 수 있는 로봇을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 인터랙션 의도를 갖는 사용자의 특성에 대응하여 음성 또는 화면을 출력하는 로봇을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는, 다양한 키를 갖는 사용자를 용이하게 감지할 수 있는 로봇을 제공하는 것이다.
본 발명의 실시 예에 따른 로봇은, 상기 로봇으로 접근하는 사용자를 감지하는 사용자 감지부와, 상기 사용자의 얼굴로부터 상기 로봇과의 인터랙션 의도를 검출하기 위한 얼굴 검출부를 구비함으로써, 상기 사용자의 시동어 발화나 조작 등의 행위 없이도 사용자의 인터랙션 의도를 자동으로 검출할 수 있다.
상기 사용자 감지부는 상기 로봇으로부터 소정 거리 이내의 감지 영역에 존재하는 오브젝트를 감지하는 오브젝트 감지 센서와, 상기 오브젝트가 사용자인지 여부를 감지하는 사용자 감지 센서를 포함할 수 있다.
실시 예에 따라, 상기 오브젝트 감지 센서는 상기 로봇의 하부모듈에 구비되어, 낮은 높이의 오브젝트를 효과적으로 감지할 수 있다.
실시 예에 따라, 상기 로봇은 복수의 사용자들이 감지된 경우, 소정 영역에 진입한 순서 등과 같은 우선 순위를 설정하여 순차적으로 인터랙션 의도를 검출함으로써, 효율적인 인터랙션 의도 검출 동작을 수행할 수 있다.
상기 로봇은 상기 얼굴 검출부에 의해 획득된 사용자의 얼굴을 포함하는 이미지로부터 사용자의 특성을 검출하고, 인터랙션 유도를 위한 음성이나 화면을 사용자의 특성에 기초하여 제공할 수 있다.
실시 예에 따라, 상기 얼굴 검출부는 상기 로봇의 헤드부에 구비되고, 상기 로봇은 상기 사용자의 위치에 기초하여 상기 헤드부를 회전시키고, 상기 얼굴 검출부는 상기 헤드부의 회전에 따라 상기 사용자의 얼굴을 포함하는 이미지를 획득할 수 있다.
상기 로봇은, 상기 얼굴 검출부에 의해 획득된 이미지로부터 사용자의 시선을 감지하고, 감지된 시선이 헤드부를 향하는 경우 상기 인터랙션 의도가 존재함을 검출할 수 있다.
실시 예에 따라, 상기 로봇은 상기 인터랙션 의도가 검출된 경우 사용자를 향하도록 주행부를 제어하거나, 사용자가 위치한 방향으로 주행하도록 주행부를 제어할 수 있다.
본 발명의 실시 예에 따르면, 로봇은 사용자로부터 별도의 조작이나 시동어를 수신하지 않고도, 사용자의 인터랙션 의도를 자동으로 검출하여 사용자와의 인터랙션을 효과적으로 수행할 수 있다.
특히, 상기 로봇은 라이다 센서, 3D 스테레오 카메라, 2D 카메라, 및 RGBD 센서 등 다양한 센서들을 이용함으로써, 사용자의 존재 및 사용자의 인터랙션 의도를 보다 정확히 검출할 수 있다.
또한, 상기 로봇은 복수의 사용자들의 접근이 감지된 경우, 소정 영역 내로 진입한 순서 등을 통해 우선 순위를 설정함으로써, 복수의 사용자들에 대한 인터랙션 의도를 효율적으로 검출할 수 있다.
뿐만 아니라, 상기 로봇은 인터랙션 의도를 갖는 사용자가 검출된 경우, 사용자를 향하거나 사용자가 위치한 방향으로 주행하도록 주행부를 제어함으로써, 상기 사용자는 로봇이 상기 사용자를 검출하였음을 용이하게 인지할 수 있다.
또한, 상기 로봇은 인터랙션 의도를 갖는 사용자의 특성에 기초한 화면 또는 음성을 제공함으로써, 사용자와 보다 효과적인 인터랙션을 수행할 수 있다. 뿐만 아니라, 사용자로 하여금 로봇에 대한 흥미를 유발함으로써, 로봇 및 제조사에 대한 긍정적 이미지가 제고될 수 있다.
또한, 오브젝트를 감지하기 위한 라이다 센서는 로봇의 하부모듈에 배치되어, 어린이 등 키가 작은 사용자를 용이하게 감지할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 로봇의 외관을 보여주는 사시도이다.
도 2는 도 1의 상부모듈과 하부모듈이 분리된 모습을 보여주는 도면이다.
도 3은 도 1에 도시된 로봇의 외관을 보여주는 측면도이다.
도 4는 도 1의 상부모듈 내부를 보여주는 도면이다.
도 5는 도 1의 하부모듈 내부를 보여주는 도면이다.
도 6은 본 발명의 실시 예에 따른 로봇의 제어 구성을 개략적으로 나타낸 블록도이다.
도 7은 본 발명의 실시 예에 따른 로봇의 제어 동작을 개략적으로 나타낸 플로우차트이다.
도 8과 도 9는 본 발명의 로봇이 사용자의 접근을 감지하는 동작의 일례를 설명하기 위한 도면들이다.
도 10과 도 11은 본 발명의 로봇이, 접근이 감지된 사용자에 대한 인터랙션 의도를 검출하는 동작의 일례를 설명하기 위한 도면들이다.
도 12 내지 도 14는 본 발명의 로봇이, 복수의 사용자들의 접근이 감지되는 경우 인터랙션 의도를 갖는 사용자를 검출하는 동작의 일례를 설명하기 위한 도면들이다.
도 15는 본 발명의 로봇이, 인터랙션 의도를 갖는 사용자와의 인터랙션을 수행하는 동작의 구체적 일례를 나타낸 플로우차트이다.
도 16 내지 도 18은 본 발명의 로봇이, 사용자의 특성에 기초하여 인터랙션을 수행하는 동작의 일례를 나타내는 도면들이다.
도 19는 본 발명의 로봇이 수행하는 제어 동작의 다른 예를 설명하기 위한 플로우차트이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명한다. 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 실시 예에 따른 로봇은 공항, 백화점 등 로봇을 이용하는 사용자에게 길 안내, 상품 안내, 공항 정보 등의 다양한 정보를 제공하는 안내 로봇으로 구현될 수 있으나, 반드시 그러한 것은 아니고, 사용자와의 인터랙션을 수행할 수 있는 다양한 형태의 로봇으로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 로봇의 외관을 보여주는 사시도이고, 도 2는 도 1의 상부모듈과 하부모듈이 분리된 모습을 보여주는 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 로봇(1)은 상부모듈(10) 및 하부모듈(20)을 포함할 수 있다. 그리고 상부모듈(10)과 하부모듈(20)은 상호간에 탈착 가능하도록 구비될 수 있다.
본 발명의 실시 예에 따른 로봇(1)에서, 상기 상부모듈(10)은 서비스 환경에 따라 변경 가능한 유아이(User Interface, 사용자 인터페이스)를 제공할 수 있다. 그리고 상기 하부모듈(20)은 이동을 위한 주행기능을 제공할 수 있다.
상기 상부모듈(10)은 몸체를 형성하는 바디부(100), 헤드부(180) 및 디스플레이부(170)를 포함할 수 있다.
상기 바디부(100)는 외관을 형성하는 상부케이스(15), 상기 상부케이스(15)의 일 측에 설치되는 제1 카메라(16) 및 제2 카메라(17)를 포함할 수 있다.
상기 상부케이스(15)는 하방을 향할수록 직경이 커지는 원통 형상을 가질 수 있다. 상기 제1 카메라(16)는 상기 상부케이스(15)의 전면에 구비되어 전방을 향하도록 설치할 수 있다. 상기 제2 카메라(17)는 상기 상부케이스(15)의 측면에 복수 개로 구비될 수 있다.
상기 제1 카메라(16)는 3D 스테레오 카메라를 포함할 수 있다. 상기 3D 스테레오 카메라는 장애물 감지, 사용자 얼굴인식, 입체영상 획득 등의 기능을 수행할 수 있다. 이를 이용하면, 로봇(1)은 자신의 이동방향에 따른 장애물을 감지하여 회피할 수 있으며, 현 위치를 파악할 수 있고, 사용자를 인식하여 각종 제어동작을 수행할 수 있다.
상기 제2 카메라(17)는 슬램(Simultaneous Localization And Mapping)카메라를 포함할 수 있다. 상기 슬램카메라는 특징점 매칭을 통하여 카메라의 현 위치를 추적하고 이를 기초로 3차원 지도를 작성하는 기능을 수행한다. 이를 이용하면 로봇(1)은 자신의 현재 위치를 파악할 수 있다.
한편, 상기 바디부(100)는 상부케이스(15)의 일 측에 설치되는 RGBD 센서(미도시) 및 스피커(미도시)를 더 포함할 수 있다. 상기 RGBD 센서는 상기 로봇(1)이 주행 중 장애물 사이의 충돌을 감지하는 기능을 수행할 수 있다. 이를 위하여, 상기 RGBD 센서는 상기 로봇(1)이 주행하는 전방을 향하도록, 즉 상기 제1 카메라(16)와 함께 위치할 수 있다.
상기 스피커는 사용자에게 공항 관련 정보를 음성으로 알려주는 기능을 수행할 수 있다. 상기 스피커는 상기 상부케이스(15)의 외주면에 형성될 수 있다.
상기 디스플레이부(170)는 상기 바디부(100)의 일 방향에 위치할 수 있다. 일례로, 상기 디스플레이부(170)는 상기 로봇(1)의 후방에 설치할 수 있다. 그리고, 상기 디스플레이부(170)는 상하 방향으로 연장되는 곡면의 디스플레이를 포함할 수 있다. 상기 디스플레이는 시각적인 정보를 제공하기 위한 화면을 표시할 수 있다.
도 1을 참조하여 방향을 정의하면, 로봇(1)의 중심축을 기준으로 제1 카메라(16)가 설치된 방향을 전방, 디스플레이부(170)가 설치된 방향을 후방이라 정의한다.
상기 디스플레이부(170)는 후술할 바디부(100)의 이동가이드부(140)와 결합할 수 있다. 그리고 상기 이동가이드부(140)의 가이드에 의해 상기 디스플레이부(170)는 상기 바디부(100)의 내부를 개방 또는 차폐시킬 수 있다. 물론, 상기 디스플레이부(170)는 고정부재를 이용하여 상기 바디부(100)에 결속됨으로써 고정될 수도 있을 것이다.
상기 디스플레이부(170)는 상기 로봇(1)이 사용자에게 안내 기능 등을 수행하기 위해 구비될 수 있다. 따라서, 상기 디스플레이부(170)는 상기 로봇(1)의 이동방향과는 반대되는 방향에 위치하여 상기 디스플레이부(170)를 통해 뒤따라오는 사용자에게 안내정보를 시각적으로 제공할 수 있다.
즉, 디스플레이부(170)는 현재 제공 중인 서비스와 관련된 시각 정보(예: 공항 게이트 질의 정보, 길 안내 서비스 정보 등)를 표시하는 기능을 수행할 수 있다. 예를 들면, 상기 로봇(1)은 사용자에게 길을 안내하기 위하여 설정된 경로를 따라 먼저 이동할 수 있다. 그리고 사용자는 상기 로봇(1)을 따라 이동하면서 상기 로봇(1)의 후방에 설치된 디스플레이부(170)를 볼 수 있다. 즉, 상기 로봇(1)이 길 안내를 위하여 주행 중이더라도, 상기 로봇(1)을 따라다니면서 상기 디스플레이부(170)에 표시된 서비스 정보를 용이하게 볼 수 있다.
상기 헤드부(180)는 상기 바디부(100)의 상방에 위치할 수 있다. 상세히, 상기 헤드부(180)는 상기 바디부(100)의 상단에 연결되어 로봇(1)의 상부를 형성할 수 있다.
상기 헤드부(180)는 사용자로부터 명령을 입력받는 조작부(183)의 내부 구성을 보호하는 헤드케이스(185)를 포함할 수 있다.
상기 조작부(183)는 사용자로부터 터치 입력을 수신하거나, 각종 정보를 표시할 수 있는 터치 스크린을 포함할 수 있다. 상기 터치 스크린은 터치 입력을 수신하는 터치 패널과, 각종 정보를 표시하는 디스플레이를 포함할 수 있다. 그리고 상기 조작부(183)는 사물 인식 센서를 더 포함할 수 있다.
상기 사물 인식 센서는 2D 카메라 및 RGBD 센서를 포함할 수 있다. 상기 2D 카메라는 2차원 영상을 기반으로 사람 또는 사물을 인식하기 위한 센서일 수 있다. 또한, 상기 2D 카메라 및 상기 RGBD 센서(Red, Green, Blue, Distance)는 사람의 위치 또는 얼굴 이미지를 획득하기 위한 구성일 수 있다.
상기 헤드케이스(185)는 상기 상부케이스(15)와 연결될 수 있다. 또한, 상기 헤드케이스(185)는 상기 상부케이스(15)가 상방으로 연장되어 돔 형상을 가지도록 일체로 형성할 수 있다. 또한, 상기 헤드케이스(185)는 360도 회전 가능하도록 구성될 수 있다.
또한, 상기 헤드부(180)는 마이크(미도시)를 더 포함할 수 있다. 상기 마이크는 사용자로부터 오디오 신호의 명령을 입력받기 위한 기능을 수행한다.
한편, 상기 하부모듈(20)은 외관을 형성하는 하부케이스(25) 및 조명부(280)를 포함할 수 있다.
상기 하부케이스(25)는 하방을 향할수록 직경이 커지는 원통 형상을 가질 수 있다. 그리고 상기 조명부(280)는 상기 하부케이스(25)의 하부에 설치되어 상기 하부케이스(25)와 일체를 이루도록 구비될 수 있다. 이 경우, 상기 하부모듈(20)은 항아리 형상의 외관을 가질 수 있다.
상기 상부케이스(15)와 하부케이스(25)는 상하방향으로 연속적인 형상을 이루도록 형성할 수 있다. 일례로, 상기 상부케이스(15)는 하방으로 직경이 커지는 원기둥 형상을 가질 수 있으며, 상기 하부케이스(25)는 상기 상부케이스(15)의 직경 증가율과 동일한 증가율로 하방으로 직경이 커지는 원기둥 형상을 가질 수 있다. 따라서, 상기 하부케이스(25)의 상단부 직경은 상기 상부케이스(15)의 하단부 직경보다 크거나 동일하게 형성할 수 있다. 이에 의하면, 상부모듈(10)과 하부모듈(20)이 결합된 경우, 상기 하부케이스(25)와 상부케이스(15)는 상하방향으로 연속적인 외관을 형성할 수 있다.
상기 조명부(280)는 로봇(1)의 기능에 따라 제공되는 다양한 조명을 제공할 수 있다. 이에 대한 설명은 후술한다.
상기 하부모듈(20)은 하부케이스(25)의 일 측에 서로 이격되어 다수 개가 설치되는 초음파 센서(미도시)를 더 포함할 수 있다. 일례로, 상기 다수 개의 초음파 센서는 상기 하부 케이스(25)의 하단 둘레를 따라 서로 일정거리 이격되도록 구비될 수 있다.
상기 초음파 센서는, 초음파 신호를 이용하여 장애물과 상기 로봇(1) 사이의 거리를 판단하는 기능을 수행할 수 있다. 또한, 상기 초음파 센서는 상기 로봇(1)과 근접한 장애물을 감지하기 위한 기능을 수행할 수 있다.
상기 상부모듈(10)과 하부모듈(20)은 서로 구조적으로 독립되도록 형성되므로 상호 분리 또는 결합이 가능하다. 따라서, 상기 상부모듈(10)의 하단과 하부모듈(20)의 상단은 서로의 하드웨어적 및 소프트웨어적 연결을 위한 구성이 구비될 수 있다. 일례로, 메인 전원스위치(271), 입력어셈블리, 연결가이드 등은 상기 상부모듈(10)의 하단과 하부모듈(20)의 상단에 위치할 수 있다.
도 3은 도 1에 도시된 로봇의 외관을 보여주는 측면도이다.
도 3을 참조하면, 상기 상부모듈(10)은 상부케이스(15)에 회동 가능하게 연결되는 서브케이스(18)를 포함할 수 있다. 그리고 메인 전원스위치(271) 및 전원플러그(미도시)는 상기 서브케이스(18)의 회동에 따라 외부로 노출될 수 있다.
상기 상부케이스(15)는, 하부모듈(20)에 구비되는 메인 전원스위치(271)와 배터리 충전을 위한 전원플러그로의 접근성을 향상시키기 위해, 하단의 일부가 개구되는 개구부를 형성할 수 있다. 상기 개구부에는 내측으로 메인 전원스위치(271)와 전원플러그가 위치할 수 있다.
그리고, 상기 개구부는 상기 상부케이스(15)의 후방에 형성될 수 있으며, 상기 디스플레이부(170)의 연결 여부에 따라 개폐되는 연결개구의 하방에 위치할 수 있다. 또한, 상기 개구부는 상기 연결개구를 하방으로 연장하여 형성할 수도 있을 것이다.
상기 서브케이스(18)는 상기 상부케이스(15)의 개구부를 개폐할 수 있도록 상기 상부케이스(15)와 회동 가능하게 연결될 수 있다. 일례로, 상기 서브케이스(18)는 상기 상부케이스(15)와 회전 힌지로 연결될 수 있다. 상기 회전 힌지는 상기 서브케이스(18)의 양측 모서리의 중심에 각각 구비되어 상기 상부케이스(15)와 결합을 이룰 수 있다.
즉, 상기 서브케이스(18)의 하단부가 외측으로 이동함으로써, 상기 메인 전원스위치(271) 또는 전원플러그가 외부로 노출될 수 있다. 이때, 작업자는 상기 메인 전원스위치(271)를 온/오프 시키거나 전원플러그의 연결을 수행할 수 있다. 작업자의 가압이 끝나면, 상기 서브케이스(18)는 탄성력에 의해 원 위치로 복귀되어 상기 개구부를 다시 차폐시킬 수 있다.
한편, 상기 하부케이스(25)는 제1 절개부(31) 및 제2 절개부(32)를 포함할 수 있다.
상기 제1 절개부(31)는 상기 하부케이스(25)의 전면에 형성될 수 있다. 구체적으로, 상기 제1 절개부(31)는 상기 하부케이스(25)의 상단부와 상기 상부케이스(15)의 하단부가 서로 이격되도록 형성할 수 있다. 즉, 상기 제1 절개부(31)는 전방 라이다(233)가 동작 가능하도록 상기 상부케이스(15) 및 하부케이스(25) 사이의 절개되는 부분으로 이해할 수 있다.
또한, 상기 제1 절개부(31)는 상기 상부모듈(10)과 하부모듈(20)의 결합 또는 분리 시에 상부모듈(10)을 하단에서 지지할 수 있는 손잡이로서의 기능을 수행할 수 있다.
상기 전방 라이다(233)는 상기 하부케이스(25)의 내부에 위치된다. 그리고 상기 제1 절개부(31)는 상기 전방 라이다(233)의 위치에 대응되는 지점에서 상기 하부케이스(25)의 둘레를 따라 형성될 수 있다. 따라서, 상기 전방 라이다(233)는 상기 제1 절개부(31)에 의해 외부로 노출될 수 있다.
상기 제2 절개부(32)는 상기 하부케이스(25)의 후면에 형성될 수 있다. 상기 제2 절개부(32)는 후술될 후방 라이다(234)가 동작 가능하도록 상기 하부케이스(25)에서 절개되는 부분이다. 구체적으로, 상기 제2 절개부(32)는 상기 하부케이스(25)의 후면에서 반경 방향으로 일정 길이만큼 절개될 수 있다. 여기서, 상기 후방 라이다(234)는 상기 후방케이스(25)의 내부에 위치된다.
그리고 상기 제2 절개부(32)는 상기 후방 라이다(234)의 위치에 대응되는 지점에서 상기 하부케이스(25)의 둘레를 따라 절개되어 형성될 수 있다. 따라서, 상기 후방 라이다(234)는 상기 제2 절개부(32)에 의해 외부로 노출될 수 있다.
그리고, 상기 제1 절개부(31)는 상기 제2 절개부(32)와 연결되지 않도록 상하 방향으로 이격되어 형성할수 있다. 일례로, 상기 제1 절개부(31)는 상기 제 2 절개부(32) 보다 상측에 위치할 수 있다.
한편, 상기 전방 라이다(233) 및 후방 라이다(234)는 레이저 레이더로서, 레이저 빔을 조사하고 에어로졸에 의해 흡수 혹은 산란된 빛 중 후방 산란된 빛을 수집, 분석하여 위치 인식을 수행하는 센서이다.
또한, 상기 전방 라이다(233) 및 후방 라이다(234)는 조사된 레이저 빔이 오브젝트로부터 반사되면, 반사된 레이저 빔을 수신할 수 있다. 로봇(1)은 수신된 레이저 빔에 기초하여, 로봇(1) 주변의 상기 오브젝트의 존재 및 위치를 감지할 수 있다. 상기 전방 라이다(233) 및 후방 라이다(234)는 하부모듈(20)에 배치되어, 낮은 높이의 오브젝트를 효과적으로 감지할 수 있다. 특히, 전방 라이다(233) 및 후방 라이다(234)는 하부모듈(20)에 배치되어, 키가 작은 사용자(예컨대, 어린이)도 용이하게 감지할 수 있다.
도 4는 도 1의 상부모듈 내부의 일례를 보여주는 도면이다.
도 4를 참조하면, 상기 바디부(100)는 상부모듈(10)의 저면을 제공하는 베이스플레이트(110), 상기 베이스플레이트(110)의 상방에 위치하는 미들플레이트(120) 및 상기 미들플레이트(120)의 상방에 위치하는 탑플레이트(130)를 포함할 수 있다.
상기 베이스플레이트(110)는 상부모듈(10)의 베이스 면을 제공할 수 있다. 상기 베이스플레이트(110)는 원반 형상으로 형성할 수 있다. 또한, 상기 베이스플레이트(110)는 상기 미들플레이트(120)보다 큰 외둘레를 가지도록 형성할 수 있다. 그리고 상기 미들플레이트(120)는 상기 탑플레이트(130)보다 큰 외둘레를 가지도록 형성할 수 있다. 따라서, 상기 상부케이스(15)가 상기 베이스플레이트(110), 미들플레이트(120) 및 탑플레이트(130)와 결합하는 경우 하방을 향할수록 직경이 커지도록 구비될 수 있다.
상기 베이스플레이트(110)는 상기 하부모듈(20)에 안착되어 결합 또는 분리될 수 있다. 따라서, 상기 베이스플레이트(110)는 상기 하부모듈(20)과 결합 또는 분리를 위한 구성이 구비될 수 있다. 일례로, 상기 바디부(100)는 상기 베이스플레이트(110)와 상기 하부모듈(20)의 체결을 위한 체결부재(106a)를 더 포함할 수 있다.
상기 바디부(100)는 후술할 하부모듈(20)과 연동되어 로봇(1)의 주행기능을 보완해줄 수 있는 절벽감지센서(101)를 더 포함할 수 있다.
상기 절벽감지센서(101)는 로봇(1)이 이동하는 주행 면의 단차를 감지하는 기능을 수행할 수 있다. 이와 연동되어, 상기 로봇(1)은 주행 중 절벽을 감지하거나 장애물을 감지하는 경우에 정지 또는 회피 구동을 수행할 수 있다.
상기 바디부(100)는 다양한 서비스 환경에 맞추어 유아이(User Interface, 사용자 인터페이스)를 제공할 수 있는 메인피씨(PC)(127)를 더 포함할 수 있다.
상기 메인피씨(127)는 상기 미들플레이트(120)의 상측에 위치할 수 있다. 그리고 상기 피씨서포터(126)에 결합되어 고정 지지될 수 있다. 즉, 상기 메인피씨(127)는 상기 피씨서포터(126)의 전면에 위치할 수 있다.
상기 메인피씨(127)는 로봇(1)이 제공되는 다양한 서비스 환경에 맞춰 유아이(UI, 사용자 인터페이스)를 설정(setting)할 수 있다. 즉, 상기 메인피씨(127)는, 서비스 환경에 따라 유아이 설정을 달리하여 개별적인 서비스 환경에 적합한 로봇 서비스를 제공할 수 있다.
상기 메인피씨(127)는 다양한 서비스 환경에서 로봇(1)이 활동하는 작동 서비스 환경에 맞춰 유아이 설정을 변경하면, 상기 디스플레이부(170) 및/또는 조작부(183) 등 시각적인 화면을 제공하는 구성은 상기 변경된 유아이 설정을 따라 사용자에게 시각적인 화면을 제공할 수 있다. 여기서, 상기 디스플레이부(170) 및 조작부(183) 등 시각적인 화면을 제공하는 구성을 로봇(1)의 디스플레이(672; 도 6 참조)라 이름할 수 있다.
또한, 상기 메인피씨(127)는 지속적인 프로그램 업그레이드를 수행할 수 있으며, 이에 따라 로봇(1)의 동작 서비스 환경에 맞춰진 서비스를 지속적으로 발전시켜서 제공할 수 있다.
본 발명의 실시예에 따른 로봇(1)은, 로봇(1)이 활용되는 서비스 환경에 따라 설정된 유아이(UI)를 변경할 수 있다. 하지만, 로봇(1)은 활용되는 서비스 환경에 따라 구조적인 변경이 필요할 수도 있다. 일례로, 공항과 백화점에서 사용자에게 길 안내 서비스를 제공하는 경우에는 공항 또는 백화점 환경에 알맞은 유아이(UI) 변경이 필요하다. 특히, 사용자의 명령이 입력되며, 부수적인 소통이 수행되는 로봇의 상부에서 구조적 변경이 빈번하게 일어날 수 있다. 또한, 상기한 구조적 변경이 필요할 경우 종래 로봇은 두 서비스 환경에서 공통적으로 사용 가능한 주행관련 구성들도 함께 재설계가 필요한 문제가 있다.
본 발명의 실시예에 따른 로봇(1)은, 상부모듈(10) 및 하부모듈(20)로 각 구성을 독립적으로 분리하여 제공할 수 있다. 즉, 본 발명의 실시예에 따른 로봇(1)은 공용으로 사용이 가능한 주행기능을 하부모듈(20)에 구비하고, 구조적 변경이 빈번한 상부모듈(10)을 상기 하부모듈(10)에 결합 또는 분리 가능하도록 구비할 수 있다.
한편, 상기 메인피씨(127)에 의해 생성된 열기는 상기 베이스플레이트(110)에 구비되는 제 1 쿨러(103a) 및 제 2 쿨러(103b)에 의해 외부로 빠져나갈 수 있다. 즉, 상기 제 1 쿨러(103a) 및 제 2 쿨러(103b)는 상부모듈(10)의 방열 기능을 수행할 수 있다.
상기 바디부(100)는 상기 로봇(1)의 작동을 제어하기 위한 각종 보드를 포함할 수 있다. 상기 바디부(100)는 메인보드(121), 유저 인터페이스 보드 및 스테레오 보드를 더 포함할 수 있다
상기 메인보드(121)는 상기 미들플레이트(120)의 상측에 위치할 수 있다. 상기 메인보드(121)는 상기 메인피씨(127)와 연결되어 상기 메인피씨(127)의 안정적인 구동과 각종 제어장치들 간의 데이터 입출력 교환의 기능을 수행할 수 있다.
상기 유저 인터페이스 보드는 상기 메인피씨(127)와 연결되어 사용자의 입출력을 담당하는 구성의 동작을 제어할 수 있다.
상기 스테레오 보드는 각종 센서 및 카메라로부터 수집되는 센싱 데이터를 처리 및 가공하여 상기 로봇(1)의 위치 인식과 장애물 인식을 위한 데이터 관리를 담당할 수 있다.
상기 바디부(100)는 상부모듈(10)과 외부기기 또는 상부모듈(10)과 하부모듈(20)의 통신 등을 수행할 수 있는 통신기기(122)를 더 포함할 수 있다. 상기 통신기기(122)는 상기 미들플레이트(120)의 상측에 위치할 수 있다. 그리고 상기 통신기기(122)는 IP공유기를 포함할 수 있다.
한편, 상기 헤드부(180)는 리더기(181)를 더 포함할 수 있다. 상기 리더기(181)는 상기 탑플레이트(130)의 상측에 위치할 수 있다.
상기 리더기(181)는 사용자의 여권, 항공권, 모바일 바코드 등을 스캔 또는 인식할 수 있다. 따라서, 상기 리더기(181)를 통하여 획득한 정보를 기초로 사용자에게 필요한 정보를 상기 디스플레이부(170)를 통하여 표시할 수 있다. 일례로, 사용자가 리더기(181)에 모바일 기기를 삽입하여, 모바일 탑승권의 바코드를 인식하는 경우, 상기 디스플레이부(170)는 상기 모바일 탑승권을 통해 얻은 정보를 기초로 사용자가 이동해야 할 탑승구를 표시하고 안내할 수 있다.
상기 헤드부(180)는 회전 부재(182) 및 헤드 모터를 더 포함할 수 있다. 상기 헤드 모터는 상기 탑플레이트(130)의 중심부에 위치할 수 있다. 그리고 상기 회전부재(182)는 상기 헤드 모터와 상방으로 연결되어 위치할 수 있다.
상기 회전 부재(182)의 가장자리에는 상기 헤드케이스(185)가 결합될 수 있다. 따라서, 상기 회전 부재(182)의 회전에 의해 상기 헤드케이스(185)가 함께 회전될 수 있다. 상기 헤드 모터는 상기 회전 부재(182)를 회전시키는 동력을 제공할 수 있다.
한편, 상기 베이스플레이트(110)는 상기 상부모듈(10)의 구성을 최하단에서 고정 지지해주며, 상기 하부모듈(20)에 안착되어 상부모듈(10)과 하부모듈(20)의 안정적인 결합 또는 분리가 이루어지도록 할 수 있다.
도 5는 도 1의 하부모듈 내부를 보여주는 도면이다.
상술한 바와 같이, 상기 상부모듈(10)은 로봇(1)의 다양한 서비스 환경에 따라 변경될 수 있는 유아이(UI)기능을 수행하며, 상기 하부모듈(20)은 다양한 서비스 환경에서도 변경 가능성이 적은 주행기능을 수행한다.
상기 로봇(1)의 공용 기능인 주행기능을 위하여, 상기 하부모듈(20)은 바퀴, 휠, 모터 등을 구비하는 주행부(210), 상기 주행부(210)에 동력을 제공할 수 있는 배터리 등을 구비하는 구동부(200), 및 상기 상부모듈(10)과의 결합을 위한 연결부(260)를 포함할 수 있다.
상기 구동부(200)는, 하부모듈(20)의 베이스 면을 형성하는 로우플레이트(203), 상기 로우플레이트(203)에 안착되는 배터리(201), 상기 배터리(201)의 상방에 위치하는 어퍼플레이트(205) 및 상기 로우플레이트(203)와 어퍼플레이트(205)를 연결해주는 하부프레임(204)을 포함할 수 있다.
상기 로우플레이트(203)는 하부모듈(20)의 저면을 형성할 수 있다. 그리고 상기 로우플레이트(203)는 주행부(210)와 연결될 수 있다. 상기 로우플레이트(203)의 형상은 다양할 수 있다. 일례로, 상기 로우플레이트(203)는 사각 형상의 판으로 형성할 수 있다.
상기 하부프레임(204)은 상기 로우플레이트(203)의 끝 단부에 상방으로 길게 연장되도록 구비될 수 있다. 일례로, 상기 하부프레임(204)은 상기 로우플레이트(203)의 꼭지점과 대응되는 위치에 복수 개로 구비될 수 있다.
상기 하부프레임(204)은, 상기 로우플레이트(203) 및 어퍼플레이트(206)와 수직하게 연결될 수 있다. 상세히, 상기 하부프레임(204)은 상기 로우플레이트(203)의 상면과 상기 어퍼플레이트(205)의 하면에 결합할 수 있다. 그리고 상기 하부프레임(204)은 일 방향으로 길게 연장되는 육면체 기둥 형상을 가질 수 있다.
상기 어퍼플레이트(205)의 중심부는 홀을 형성할 수 있다. 상기 어퍼플레이트(205)의 홀에는 후술할 전장플레이트(243)가 구비되어 복수의 전자 장비가 설치될 수 있다.
상기 어퍼플레이트(205)는 다양한 형상을 가질 수 있다. 일례로, 상기 어퍼플레이트(205)는 사각 형상의 판으로 형성될 수 있다. 이때, 상기 어퍼플레이트(205)의 크기는 로우플레이트(203)의 크기와 동일하게 형성될 수도 있다. 따라서, 상기 하부프레임(204)의 로우플레이트(203)와 결합되는 위치는 상기 하부프레임(204)의 어퍼플레이트(205)와 결합되는 위치와 대응될 수 있다. 다만, 상기 어퍼플레이트(206)의 크기는 상기 로우플레이트(203)의 크기에 제한되지 않는다.
상기 어퍼플레이트(205)의 하면은 상기 하부프레임(204)와 연결되며 상면은 후술할 상부프레임(245)과 연결될 수 있다.
상기 로우플레이트(203), 하부프레임(204) 및 어퍼플레이트(205)는 내부가 비어있는 직육면체 형상을 형성할 수 있다. 그리고 상기 로우플레이트(203)와 어퍼플레이트(205) 사이의 내부 공간은 설치공간(206)이라 이름한다. 상기 설치공간(206)은 무게가 상대적으로 무거운 배터리(201)가 위치하는 공간으로 이해할 수 있다.
상기 배터리(201)는 리튬-이온 배터리(Li-Ion Battery)를 포함할 수 있다. 그러나 이에 한정되지는 않으며, 상기 배터리(201)는 리튬-이온 배터리 이외의 다른 종류의 배터리를 포함할 수 있다.
상기 배터리(201)는 상기 로봇(1)의 구동을 위한 전원을 공급할 수 있다. 그리고 상기 배터리(201)는 상기 설치공간(206)에 위치할 수 있다. 상기 배터리(201)는 상기 로봇(1)의 전체 무게 중 가장 큰 비중을 차지하고 있으므로, 상기 로우플레이트(203)의 상면에 안착되는 것이 무게중심 측면에서 바람직할 것이다.
상기 구동부(200)는, 상기 연결부(260)를 지지하는 상부프레임(245), 상기 어퍼플레이트(205)의 중심부에 위치하는 전장플레이트(243)를 더 포함할 수 있다.
상기 전장플레이트(243)는, 상기 어퍼플레이트(205)의 중심부에 위치할 수 있다. 상기 전장플레이트(243)는 상하방향으로 다단의 층을 이루도록 복수개로 구비될 수 있다. 상기 복수 개의 전장플레이트(243)는 상하방향으로 배치되어 다수의 층을 형성하며, 상기 다수의 층을 전장공간(246)이라 이름한다.
상기 전장공간(246)에는 다수의 전자장비들이 위치할 수 있다. 상기 다수의 전자장비들은 상기 전장플레이트(243)에 결합될 수 있다. 일례로, 상기 전장공간(246)에는 다수의 보드가 구비될 수 있다.
상기 상부프레임(245)은 상기 어퍼플레이트(205)에 연결할 수 있다. 상기 상부프레임(245)은 상기 어퍼플레이트(205)의 외둘레와 중심 홀이 이루는 내둘레 사이에 위치할 수 있다. 보다 상세히, 상기 상부프레임(245)은 상기 어퍼플레이트(205)의 상면에서 상기 전장플레이트(243)의 외측으로 가상의 삼각형이 그려지도록 위치할 수 있다. 그리고 상기 가상의 삼각형 꼭지점에 각각 상부프레임(235)이 위치할 수 있다.
즉, 상기 상부프레임(245)은 복수 개로 구비되어 상기 연결부(260)를 3점 지지할 수 있다. 일례로, 상기 상부프레임(245)은 상기 전장플레이트(243)의 전방에 위치하는 제 1 상부프레임, 상기 전장플레이트(243)의 양 측방에 위치하는 제 2 상부프레임 및 제 3 상부프레임을 포함할 수 있다. 상기 제 1 내지 제 3 상부프레임(245)의 상측에는 상기 연결부(260)의 연결플레이트(261)가 결합될 수 있다.
상기 상부프레임(245)은, 상기 어퍼플레이트(205)의 상면에 수직하게 결합할 수 있다. 그리고 상기 상부프레임(245)은 일 방향으로 길게 연장된 육면체 기둥 형상을 가질 수 있다. 또한, 상부프레임(245)의 상하방향 길이는, 상부모듈(10)과의 결합 또는 분리를 위한 연결부(260)를 고정 지지하므로 상기 상부모듈(10)과 하부모듈(20)의 결합 시 안정적인 균형을 이루기 위하여, 상기 하부프레임(204)의 상하방향 길이보다 작게 형성할 수 있다.
상기 구동부(200)는 상기 어퍼플레이트(205)의 상측에 위치하는 블록(240), 상기 블록(240)의 상측에 위치하는 하중센서(241) 및 상기 하중센서(241)의 상측에 위치하는 접촉링(242)을 더 포함할 수 있다.
상기 블록(240)은 상기 어퍼플레이트(205)의 꼭지점과 대응되는 위치에 상방으로 연장되어 구비될 수 있다. 즉, 상기 블록(240)은 상기 상부프레임(245)의 외측에 위치할 수 있다.
상기 블록(240)의 상측에는 하중센서(241)가 구비될 수 있다. 즉, 상기 블록(240)은 상기 하중센서(241) 및 접촉링(242)을 고정 지지하는 역할을 수행할 수 있다.
상기 하중센서(241)는 접촉링(242)과 연결되어 상기 접촉링(242)으로부터 전달되는 힘에 의한 하중을 감지하는 센서로 복수 개로 구비될 수 있다. 그리고 상기 블록(240)은 상기 하중센서(241)의 개수에 대응되도록 구비될 수 있다.
상기 하중센서(241)는 상기 어퍼플레이트(205)의 꼭지점과 대응되도록 제 1 하중센서, 제 2 하중센서, 제 3 하중센서, 및 제 4 하중센서를 포함할 수 있다.
상기 제 1 내지 제 4 하중센서(241)는 상기 어퍼플레이트(205)보다 외측에 위치할 수 있다. 그리고 상기 제 1 내지 제 4 하중센서(241)의 외측 끝단을 따라 접촉링(242)이 연결될 수 있다.
상기 접촉링(242)은 상기 제 1 내지 제 4 하중센서(241)의 상단부를 따라 외측 방향으로 안착되어 위치할 수 있다. 상기 접촉링(242)은 상기 블록(240)의 상방에 외측방향으로 이격되어 위치할 수 있다.
상기 접촉링(242)은 내부가 비어 있는 링 형상으로 형성할 수 있다. 그리고 상기 접촉링(242)의 외경은 상기 접촉링(242)의 내부에 상기 어퍼플레이트(205)가 위치할 수 있도록 상대적으로 크게 형성할 수 있다. 그리고 상기 접촉링(242)은 상기 하부케이스(25)와 연결될 수 있다. 따라서, 상기 하부모듈(20)의 충돌이 발생하는 경우 용이하게 충격이 전달될 수 있다.
상기 하중센서(241) 및 접촉링(242)은 상기 하부모듈(20)의 충돌을 감지하여 주행동작을 제어할 수 있는 역할을 수행한다. 상세히, 하부모듈(20)의 충돌 시 상기 접촉링(242)은 상기 하부케이스(25)에 의해 전달받은 충격으로 뒤틀림이 발생할 수 있다. 즉, 상기 접촉링(242)은 모멘텀이 발생되며, 상기 하중센서(241)는 상기 모멘텀을 감지하여 신호를 전달할 수 있다. 이때, 제어부는 상기 하중센서(241)의 신호를 전달받아 주행부(210)의 구름 운동이 정지되도록 제어할 수 있다. 이에 의하면, 상기 로봇(1)의 주행에 의한 안전성을 향상시킬 수 있는 효과가 있다.
한편, 상기 로우플레이트(203)는 로봇(1)의 이동 기능을 수행하는 주행부(210)와 연결될 수 있다. 상기 주행부(210)는, 하부모듈(20)이 용이하게 움직일 수 있도록, 메인바퀴(211), 보조바퀴(212) 및 서스펜션(미도시)을 포함할 수 있다. 즉, 상기 주행부(210)는 로봇(1)에 이동 능력을 제공할 수 있다.
상기 서스펜션(미도시)은 상기 로우플레이트(203)의 양 측방에 위치할 수 있다. 상세히, 상기 서스펜션은 상기 로우플레이트(203)의 양 측단부에 각각 결합할 수 있다. 그리고 상기 서스펜션은 외측으로 메인바퀴(211)를 연결할 수 있다.
상기 메인바퀴(211)는 로우플레이트(203)의 양 측방으로 연결될 수 있다. 상세히, 상기 메인바퀴(211)는 상기 로우플레이트(203)의 하면에 위치하는 모터어셈블리(미도시)와 연결할 수 있다. 그리고, 상기 모터는 상기 배터리(201)로부터 전원을 제공받아 회전함으로써 상기 메인바퀴(211)에 회전력을 제공할 수 있다. 상기 메인바퀴(211)는 상기 모터의 회전력을 제공받아 구름운동을 수행할 수 있으며, 이에 의하여 하부모듈(20)의 주행이 이루어질 수 있다. 또한, 상술한 바와 같이 상기 메인바퀴(211)는 상기 서스펜션과 연결되어 상기 서스펜션의 외측으로 각각 위치할 수 있다.
한편, 로우플레이트(203)의 양 측방 각각에 구비된 메인바퀴(211)는, 대응하는 모터에 의해 서로 독립적으로 회전할 수 있다. 각 모터가 동일한 회전력을 메인바퀴(211) 각각으로 제공하는 경우, 로봇(1)은 전방 또는 후방으로 직진 주행할 수 있다. 반면, 각 모터가 서로 다른 회전력을 메인바퀴(211) 각각으로 제공하는 경우, 로봇(1)은 곡선 주행 또는 회전할 수 있다.
상기 보조바퀴(212)는 상기 로우플레이트(203)의 하측에 위치할 수 있다. 상세히, 상기 보조바퀴(212)는, 상기 로우플레이트(203)의 전단과 후단에 각각 하방으로 연결되는 보조바퀴플레이트와 결합될 수 있다. 상기 보조바퀴(212)는 복수 개로 구비될 수 있다. 상기 복수의 보조바퀴(212)는 상기 로우플레이트(203)의 하면의 전후 방향에서 안정적으로 하부모듈(20)을 지지할 수 있다. 즉, 상기 보조바퀴(212)는 상기 하부모듈(20)의 주행이 안정적으로 이루어지도록 상기 하부모듈(20)의 중심을 잡아주는 역할을 수행할 수 있다.
상기 보조바퀴(212)는 주행 시 상기 모터에 의해 회전하는 상기 메인바퀴(211)에 종속되어 구름운동을 수행할 수 있다. 즉, 상기 보조바퀴(212)는 독립적으로 회전하지 않으며, 외력이나 메인바퀴(211)의 회전에 종속되어 구름운동을 할 수 있다. 상기 보조바퀴(212)는 캐스터를 포함할 수 있다.
도 6은 본 발명의 실시 예에 따른 로봇의 제어 구성을 개략적으로 나타낸 블록도이다.
도 6에는 로봇(1)이 통신부(610), 입력부(620), 사용자 감지부(630), 얼굴 검출부(640), 주행부(650), 헤드 모터(660), 출력부(670), 메모리(680), 및 제어부(690)를 포함하는 것으로 도시되어 있다. 그러나, 도 6에 도시된 구성들은 설명의 편의를 위한 것으로서 로봇(1)을 구현하는 데 있어 필수적인 것은 아닌 바, 로봇(1)은 도 6에 도시된 구성들 중 일부를 포함하지 않을 수도 있다. 또한, 실시 예에 따라 로봇(1)은 도 6에 도시된 구성들 및 추가적인 제어 구성들을 더 포함할 수도 있다.
통신부(610)는, 로봇(1)을 네트워크를 통해 서버, 단말기, 및 다른 로봇 등과 연결하기 위한 적어도 하나의 통신 모듈을 포함할 수 있다. 예컨대, 통신부(610)는 블루투스, NFC(near field communication)와 같은 근거리 통신 모듈, Wi-Fi 등의 무선 인터넷 모듈이나 이동 통신 모듈을 포함할 수 있다. 제어부(690)는 로봇(1)의 상태 정보나 동작 정보, 입력부(620)를 통해 사용자로부터 수신된 입력, 사용자 감지부(630)나 얼굴 검출부(640)에 의해 획득된 다양한 감지 데이터를, 통신부(610)를 통해 상기 서버, 단말기, 및/또는 다른 로봇으로 전송할 수 있다. 또한, 제어부(690)는 통신부(610)를 통해 상기 서버나 단말기로부터 로봇(1)의 제어 정보를 수신할 수 있다.
입력부(620)는 사용자의 조작이나 기타 행위에 의해 소정 신호 또는 데이터를 로봇(1)으로 입력하는 적어도 하나의 입력 수단을 포함할 수 있다. 예컨대, 상기 적어도 하나의 입력 수단은 버튼, 다이얼, 터치패드, 마이크로폰(microphone) 등을 포함할 수 있다. 사용자는 상기 버튼, 다이얼, 및/또는 터치패드를 조작함으로써 요청이나 명령을 로봇(1)으로 입력할 수 있다. 또한, 사용자는 상기 마이크로폰을 통해 음성 형태의 요청이나 명령을 로봇(1)으로 입력할 수 있다.
사용자 감지부(630)는 로봇(1)으로부터 소정 거리 이내에 존재하는 오브젝트를 감지하기 위한 적어도 하나의 센서를 포함할 수 있다. 특히, 사용자 감지부(630)는 감지된 오브젝트 중 사용자를 다른 오브젝트와 구분함으로써, 로봇(1)으로 사용자가 접근하는지 여부를 감지할 수 있다.
이하 명세서에서, 사용자는 사람을 의미할 수 있다. 상기 사용자는 로봇(1)과의 인터랙션 의도를 갖는 사용자, 및 로봇(1)과의 인터랙션 의도를 갖지 않는 사용자를 모두 포함하는 의미로 이해될 수 있다.
사용자 감지부(630)는 로봇(1)으로부터 소정 거리 이내에 존재하는 오브젝트를 감지하는 오브젝트 감지 센서(632)를 포함할 수 있다. 예컨대, 오브젝트 감지 센서(632)는 라이다 센서(LiDar Sensor)를 포함할 수 있으나, 이에 한정되는 것은 아니고 초음파 센서 등의 다른 센서를 포함할 수도 있다.
예컨대, 오브젝트 감지 센서(632)는 로봇(1)의 전방위에 대한 오브젝트 감지를 위해 적어도 하나의 라이다 센서를 포함할 수 있다. 예컨대, 도 1 내지 도 5에 도시된 로봇(1)의 경우, 상기 오브젝트 감지 센서(632)는 전방 라이다(233) 및 후방 라이다(234)를 의미할 수 있다.
라이다 센서는 레이저 빔을 조사하고, 조사된 레이저 빔이 오브젝트에 의해 반사되면, 반사된 레이저 빔을 수신할 수 있다. 라이다 센서는 수신된 레이저 빔에 기초하여, 상기 오브젝트의 존재 및 위치를 감지할 수 있다.
한편, 사용자 감지부(630)는, 감지된 오브젝트가 사용자인지 여부를 감지하기 위한 사용자 감지 센서(634)를 포함할 수 있다. 예컨대, 상기 사용자 감지 센서는 3D 스테레오 카메라로 구현될 수 있으나, 실시 예에 따라 사용자 감지 센서는 다양한 오브젝트들 중 사용자를 다른 오브젝트와 구별할 수 있는 적어도 하나의 센서로 구현될 수 있다.
상기 3D 스테레오 카메라에 의해 획득된 이미지는 각 픽셀에 대한 깊이(depth) 정보를 포함할 수 있다. 제어부(690)는 획득된 이미지의 각 픽셀값 및 상기 깊이 정보를 이용하여, 상기 오브젝트가 사용자인지 여부를 감지할 수 있다.
사용자 감지 센서는 로봇(1)의 전방위에 대한 이미지를 획득하여 사용자를 감지하기 위해, 적어도 하나의 3D 스테레오 카메라를 구비할 수 있다. 이 경우, 제어부(690)는 라이다 센서(632)에 의해 오브젝트가 감지되면, 적어도 하나의 3D 스테레오 카메라 중 상기 감지된 오브젝트를 향하는 3D 스테레오 카메라를 제어하여 상기 오브젝트를 포함하는 이미지를 획득할 수 있다.
한편, 도 1 내지 도 5에 도시된 로봇(1)의 경우, 상기 3D 스테레오 카메라는 바디부(100)에 구비된 제1 카메라(16)를 의미할 수 있다. 도 1 내지 도 5의 실시 예와 같이 로봇(1)이 하나의 3D 스테레오 카메라를 구비하는 경우, 로봇(1)의 전방위에 대한 이미지를 획득하지 못할 수 있다. 이 경우, 제어부(690)는 오브젝트 감지 센서(632)에 의해 오브젝트가 감지되면, 3D 스테레오 카메라가 상기 오브젝트를 향하도록 바디부(100)를 회전시킬 수 있다. 예컨대, 제어부(690)는 주행부(650)를 제어하여 주행 방향을 변경할 수 있고, 상기 주행 방향이 변경됨에 따라 상기 바디부(100)가 회전될 수 있다. 실시 예에 따라, 로봇(1)에 상기 바디부(100)의 수평 방향 회전을 위한 별도의 모터가 구비된 경우, 제어부(690)는 상기 모터를 제어하여 상기 바디부(100)를 회전시킬 수도 있다.
얼굴 검출부(640)는, 사용자 감지부(630)에 의해 사용자가 감지되면, 감지된 사용자의 얼굴을 검출할 수 있다. 이러한 얼굴 검출부(640)는 상기 사용자의 얼굴을 포함하는 이미지를 획득하는 적어도 하나의 카메라를 포함할 수 있다.
제어부(690)는 상기 획득된 이미지에 포함된 사용자의 얼굴에 기초하여 인터랙션 의도를 검출할 수 있다. 사용자가 로봇(1)과의 인터랙션을 수행하고자 하는 경우, 사용자의 시선은 로봇(1)을 향하는 것이 일반적이다. 즉, 제어부(690)는 상기 획득된 이미지로부터 사용자의 시선 방향을 감지하고, 감지된 시선 방향이 로봇(1)을 향하는 경우 사용자의 인터랙션 의도가 존재하는 것으로 검출할 수 있다.
예컨대 도 1 내지 도 5에 도시된 로봇(1)의 경우, 상기 얼굴 검출부(640)는 헤드부(180)에 구비된 2D 카메라와 RGBD 센서 중 적어도 하나를 포함할 수 있다. 제어부(690)는 헤드 모터(660)를 제어하여, 얼굴 검출부(640)가 사용자 방향을 향하도록 헤드부(180)를 회전시킬 수 있다.
한편, 헤드부(180)에는 터치 스크린 등의 조작부(183)가 구비되고, 제어부(490)는 조작부(183)를 통해 시각적 화면을 표시할 수 있다. 이에 따라, 로봇(1)과의 인터랙션 의도를 갖는 사용자의 시선은 상기 헤드부(180)를 향할 수 있다. 즉, 상기 얼굴 검출부(640)는 헤드부(180)에 구비됨으로써, 사용자의 시선이 헤드부(180)를 향하는지 여부를 효과적으로 감지할 수 있다. 이에 따라, 로봇(1)은 사용자의 인터랙션 의도를 보다 정확히 검출할 수 있다.
주행부(650)는 로봇(1)의 이동을 위한 구성이다. 예컨대, 주행부(650)는 하부 모듈(20)에 구비되는 주행 바퀴(211), 및 주행 바퀴(211)에 회전력을 제공하는 모터를 포함할 수 있다. 예컨대, 도 1 내지 도 5에 도시된 로봇(1)의 경우, 주행 바퀴(211)는 하부 모듈(20)의 양 측방에 배치된 제1 주행 바퀴와 제2 주행 바퀴를 포함할 수 있고, 모터는 상기 제1 주행 바퀴에 회전력을 제공하는 제1 모터와, 상기 제2 주행 바퀴에 회전력을 제공하는 제2 모터를 포함할 수 있다. 제어부(690)가 상기 제1 모터와 상기 제2 모터를 동일하게 제어하는 경우, 로봇(1)은 직진 주행 또는 후진 주행할 수 있다. 반면, 제어부(690)가 상기 제1 모터와 상기 제2 모터를 다르게 제어하는 경우, 로봇(1)은 곡선 주행 또는 회전할 수 있다. 로봇(1)이 회전함에 따라, 바디부(100) 또한 회전할 수 있다.
출력부(670)는 로봇(1)의 동작이나 상태, 로봇(1)이 제공하는 서비스와 관련된 각종 정보를 출력할 수 있다. 또한, 출력부(670)는 사용자와의 인터랙션을 수행하기 위한 각종 메시지나 정보 등을 출력할 수 있다.
예컨대, 출력부(670)는 디스플레이(672), 스피커(674), 및 광 출력부(676) 중 적어도 하나를 포함할 수 있다.
디스플레이(672)는 상술한 각종 정보나 메시지를 그래픽 형태로 출력할 수 있고, 스피커(674)는 상기 각종 정보나 메시지를 음성 형태로 출력할 수 있다. 도 1 내지 도 5에 도시된 로봇(1)의 실시 예에서, 디스플레이(672)는 디스플레이부(170) 및 조작부(183)의 터치 스크린을 포함하는 것으로 이해될 수 있다. 스피커(674)는 바디부(100) 또는 헤드부(180)에 구비될 수 있다.
광 출력부(676)는, 상술한 각종 정보나 메시지에 대응하여 특정 색상이나 패턴의 광을 출력할 수 있다. 광 출력부(676)는 디스플레이(672) 또는 스피커(674)의 출력 시 보조적인 출력 수단으로서 활용될 수 있으나, 반드시 그러한 것은 아니다.
메모리(680)에는, 로봇(1)에 포함된 구성 요소들의 동작을 제어하기 위한 제어 데이터, 입력부(620)를 통해 획득된 입력에 대응하는 동작을 수행하기 위한 데이터 등의 각종 데이터가 저장될 수 있다.
메모리(680)에는 사용자 감지부(630)의 오브젝트 감지 센서(632) 및 사용자 감지 센서(634)를 통해 획득되는 감지 데이터가 저장될 수 있고, 상기 감지 데이터에 기초하여 사용자를 감지하기 위한 알고리즘 및 관련 데이터가 저장될 수 있다.
또한, 메모리(680)에는 얼굴 검출부(640)를 통해 획득된 이미지가 저장될 수 있고, 상기 이미지로부터 사용자의 인터랙션 의도를 검출하기 위한 알고리즘 및 관련 데이터가 저장될 수 있다.
제어부(690)는 로봇(1)의 전반적인 동작을 제어할 수 있다. 특히, 제어부(690)는 사용자 감지부(630)에 포함된 적어도 하나의 센서(632, 634)를 제어하여, 로봇(1) 주변의 사용자를 감지할 수 있다. 또한, 제어부(690)는 얼굴 검출부(640)를 제어하여 상기 감지된 사용자의 얼굴을 포함하는 이미지를 획득하고, 획득된 이미지에 기초하여 사용자의 인터랙션 의도를 검출할 수 있다. 인터랙션 의도가 검출된 경우, 제어부(690)는 사용자와의 인터랙션을 수행하기 위한 안내 음성이나 안내 화면 등을 출력할 수 있다.
상술한 로봇(1)은 사용자와의 인터랙션을 통해, 사용자에게 각종 정보 제공 및 안내 동작 등을 수행할 수 있다.
종래의 경우, 사용자는 로봇(1)과의 인터랙션을 위해서는 로봇(1)의 조작부(183) 등을 조작하거나, 시동어를 발화하는 등의 행위를 수행해야 하였다. 그러나, 사용자가 조작부(183)를 직접 조작하는 것은 번거로울 뿐만 아니라, 조작부(183)에 메뉴 화면이 아닌 광고 화면 등이 표시 중인 경우 로봇(1)과의 인터랙션이 지연되거나 수행되지 못할 수 있다. 또한, 로봇(1)이 공항이나 백화점 등 이용자가 많은 공간에 배치된 경우, 로봇(1)은 소음 등으로 인해 사용자가 발화한 시동어를 용이하게 인식하지 못할 우려가 있다.
본 발명의 실시 예에 따르면, 로봇(1)은 사용자로부터 별도의 조작이나 시동어를 수신하지 않고도, 사용자의 인터랙션 의도를 자동으로 검출하여 사용자와의 인터랙션을 효과적으로 수행할 수 있다. 이와 관련된 다양한 실시 예들에 대해 이하 도 7 내지 도 19를 참조하여 설명한다.
도 7은 본 발명의 실시 예에 따른 로봇의 제어 동작을 개략적으로 나타낸 플로우차트이다.
이하 명세서에서는 설명의 편의를 위해, 본 발명의 실시 에에 따른 다양한 제어 동작을 수행하는 로봇은 도 1 내지 도 5에 도시된 로봇(1)인 것으로 가정한다.
또한 상술한 바와 같이, 본 명세서에서 사용자는 인터랙션 의도가 존재하거나 존재하지 않는 사람을 모두 포함하는 의미로 이해될 수 있다.
도 7을 참조하면, 로봇(1)은 사용자의 접근을 감지할 수 있다(S700).
로봇(1)의 제어부(690)는, 사용자 감지부(630)에 포함된 센서들(632, 634)을 이용하여 로봇(1)으로부터 소정 거리 이내에 존재하는 사용자를 감지할 수 있다. 또한, 제어부(690)는 감지된 사용자의 위치 변화에 기초하여 사용자의 접근을 감지할 수 있다. 이에 대해서는 추후 도 8 내지 도 9를 참조하여 보다 상세히 설명하기로 한다.
사용자의 접근이 감지된 경우, 로봇(1)은 감지된 사용자가 위치한 방향으로 헤드부(180)를 회전할 수 있다(S710).
제어부(690)는 헤드부(180)에 구비된 얼굴 검출부(640)가 상기 사용자를 향하도록, 헤드 모터(660)를 제어하여 헤드부(180)를 회전시킬 수 있다.
로봇(1)은 사용자의 얼굴 및 인터랙션 의도를 검출할 수 있다(S720).
제어부(690)는 얼굴 검출부(640)를 제어하여 사용자의 얼굴을 포함하는 이미지를 획득하고, 획득된 이미지로부터 사용자의 로봇(1)에 대한 인터랙션 의도를 검출할 수 있다. 이와 관련된 실시 예들에 대해서는 추후 도 10 내지 도 14를 참조하여 설명하기로 한다.
인터랙션 의도가 검출된 경우, 로봇(1)은 사용자가 위치한 방향으로 로봇 바디를 회전하고(S730), 사용자와의 인터랙션을 수행할 수 있다(S740).
제어부(690)는 사용자의 인터랙션 의도가 검출되면, 사용자가 위치한 방향으로 바디부(100)의 전방이 향하도록 주행부(650)를 제어할 수 있다.
실시 예에 따라, 제어부(690)는 바디부(100)의 전방이 사용자를 향한 후, 로봇(1)이 사용자 측으로 주행하도록 주행부(650)를 제어할 수도 있다. 즉, 제어부(690)는 인터랙션 의도가 검출된 사용자를 향하여 스스로 주행함으로써, 사용자의 편의성을 보다 향상시킬 수 있다.
제어부(690)는 사용자와의 인터랙션을 위한 안내 음성 또는 안내 화면 등의 가이드를 출력하도록 출력부(670)를 제어할 수 있다. 사용자는 출력된 가이드에 기초하여 특정 서비스를 요청하고, 제어부(690)는 수신된 요청에 응답하여 사용자에게 서비스를 제공함으로써, 사용자와의 인터랙션을 수행할 수 있다.
즉, 본 발명의 실시 예에 따르면, 로봇(1)은 사용자로부터 별도의 조작 입력이나 음성 입력을 수신하지 않고도 사용자의 인터랙션 의도를 스스로 검출함으로써, 사용자와의 인터랙션을 보다 효과적으로 수행할 수 있다.
도 7에서 상술한 로봇(1)의 각 제어 동작과 관련된 보다 구체적인 실시 예들에 대해 이하 도 8 내지 도 18을 참조하여 설명한다.
도 8과 도 9는 본 발명의 로봇이 사용자의 접근을 감지하는 동작의 일례를 설명하기 위한 도면들이다.
도 8과 도 9를 참조하면, 로봇(1)은 오브젝트 감지 센서(632)를 통해, 기설정된 거리(D1) 이내에 존재하는 오브젝트를 감지할 수 있다(S800).
상기 오브젝트 감지 센서(632)는 로봇(1)의 전방 라이다(233)와 후방 라이다(234)를 포함하는 것으로 가정한다.
제어부(690)는, 상기 전방 라이다(233)와 후방 라이다(234)를 이용하여, 로봇(1)으로부터 기설정된 거리(D1) 이내에 오브젝트가 존재하는지 여부를 감지할 수 있다.
상술한 바와 같이, 제어부(690)는 전방 라이다(233)와 후방 라이다(234) 각각을 제어하여 레이저 빔을 조사하고, 오브젝트에 의해 반사된 레이저 빔을 수신하고, 수신된 레이저 빔에 기초하여 상기 오브젝트의 존재를 감지할 수 있다.
한편, 상기 기설정된 거리(D1)는, 오브젝트 감지 센서(632)의 최대 감지거리 이하일 수 있다.
도 9의 예시도를 참조하면, 로봇(1)으로부터 기설정된 거리(D1) 이내의 감지 영역(Zone 1)에 오브젝트들(901, 902)이 존재할 수 있다. 이 경우, 전방 라이다(233) 또는 후방 라이다(234)로부터 조사된 제1 레이저 빔(L1)은 제1 오브젝트(901)에 의해 반사되고, 전방 라이다(233) 또는 후방 라이다(234)는 반사된 제1 레이저 빔(L1')을 수신할 수 있다. 또한, 전방 라이다(233) 또는 후방 라이다(234)로부터 조사된 제2 레이저 빔(L2)은 제2 오브젝트(902)에 의해 반사되고, 전방 라이다(233) 또는 후방 라이다(234)는 반사된 제2 레이저 빔(L2')을 수신할 수 있다.
제어부(690)는 상기 반사된 제1 레이저 빔(L1') 및 제2 레이저 빔(L2')에 기초하여 제1 오브젝트(901)와 제2 오브젝트(902)를 감지할 수 있다. 또한, 제어부(690)는 반사된 제1 레이저 빔(L1')의 수신 방향 및 수신 시점에 기초하여 제1 오브젝트(901)의 위치를 인식할 수 있고, 반사된 제2 레이저 빔(L2')의 수신 방향 및 수신 시점에 기초하여 제2 오브젝트(902)의 위치를 인식할 수 있다. 예컨대, 제어부(690)는 인식된 위치를 2차원 좌표 형태로 각각 정의할 수 있다.
한편, 전방 라이다(233)와 후방 라이다(234)는 하부모듈(20)에 배치됨으로써, 낮은 높이의 장애물을 효과적으로 감지할 수 있다. 즉, 전방 라이다(233)와 후방 라이다(234)는 키가 작은 사용자(예컨대, 어린이 등) 또한 효과적으로 감지할 수 있다.
오브젝트가 감지된 경우, 로봇(1)은 사용자 감지 센서(634)를 이용하여 상기 오브젝트가 사용자인지 여부를 감지할 수 있다(S810).
제어부(690)는 오브젝트 감지 센서(632)에 의해 오브젝트가 감지된 경우, 사용자 감지 센서(634)를 이용하여 상기 오브젝트가 사용자인지 여부를 감지할 수 있다.
예컨대, 상기 사용자 감지 센서(634)는 로봇(1)의 바디부(100)에 구비된 제1 카메라(16)를 포함하는 것으로 가정한다.
이 경우, 제어부(690)는 상기 제1 카메라(16)에 의해 획득되는 이미지에 상기 오브젝트가 포함되도록, 주행부(650)를 제어하여 바디부(100)를 회전시킬 수 있다. 제어부(690)는 바디부(100)가 회전되면, 상기 제1 카메라(16)를 통해 상기 오브젝트를 포함하는 이미지를 획득할 수 있다.
예컨대, 제어부(690)는 제1 카메라(16)에 의해 획득되는 이미지에 제1 오브젝트(901)가 포함되도록 바디부(100)를 회전시키고, 제1 카메라(16)를 제어하여 제1 오브젝트(901)가 포함된 이미지를 획득할 수 있다.
또한, 제어부(690)는 제1 카메라(16)에 의해 획득되는 이미지에 제2 오브젝트(902)가 포함되도록 바디부(100)를 회전시키고, 제1 카메라(16)를 제어하여 제2 오브젝트(902)가 포함된 이미지를 획득할 수 있다.
실시 예에 따라, 사용자 감지 센서(634)가 서로 다른 방향을 향하도록 배치된 복수의 3D 스테레오 카메라들을 포함하는 경우, 제어부(690)는 상기 복수의 3D 스테레오 카메라들 중, 상기 오브젝트를 포함하는 이미지를 획득가능한 3D 스테레오 카메라를 제어하여 이미지를 획득할 수 있다.
제어부(690)는 획득된 이미지에 기초하여 오브젝트가 사용자인지 여부를 감지할 수 있다. 상기 3D 스테레오 카메라에 의해 획득되는 이미지는 오브젝트의 색상이나 형태를 나타내는 픽셀값(예컨대, RGB 데이터)뿐만 아니라, 각 픽셀(또는 일부 픽셀)에서 오브젝트와 3D 스테레오 카메라 사이의 거리를 나타내는 깊이 정보를 포함할 수 있다.
제어부(690)는 상기 픽셀값 및 상기 깊이 정보를 이용하여 상기 오브젝트가 사용자인지 여부를 감지할 수 있다. 이를 위해, 메모리(680)에는 사용자(사람)에 대한 픽셀값 패턴 및 깊이 정보 패턴에 대한 데이터가 저장되어 있거나, 상기 오브젝트가 사용자인지 여부를 판단하기 위한 알고리즘이 저장되어 있을 수 있다.
예컨대, 제어부(690)는 제1 오브젝트(901)가 포함된 이미지로부터, 제1 오브젝트(901)가 사용자임을 감지할 수 있다. 또한, 제어부(690)는 제2 오브젝트(902)가 포함된 이미지로부터, 제2 오브젝트(902)가 사용자가 아님을 감지할 수 있다.
실시 예에 따라, 제어부(690)는 전방 라이다(233)와 후방 라이다(234) 각각을 제어하여 레이저 빔을 주기적으로 조사함으로써, 상기 오브젝트의 위치 변화를 감지할 수 있다. 제어부(690)는 상기 오브젝트가 로봇(1)으로 접근 중임이 감지되는 경우, 상기 사용자 감지 센서(634)를 이용하여 상기 접근 중인 오브젝트가 사용자인지 여부를 감지할 수도 있다.
또는, 제어부(690)는 S610 단계와 병렬적으로, 오브젝트 감지 센서(632) 및/또는 사용자 감지 센서(634)를 이용하여 상기 오브젝트가 로봇(1)으로 접근 중인지 여부를 감지할 수도 있다.
오브젝트가 로봇(1)으로 접근 중임은, 오브젝트 및/또는 로봇(1)의 이동에 의해 오브젝트와 로봇(1) 사이의 거리가 감소하는 경우를 의미할 수 있다.
즉, 제어부(690)는 오브젝트가 사용자인 경우 상기 S720 단계 및 이하 단계들을 수행할 수 있다.
또는, 제어부(690)는 상기 사용자가 로봇(1)으로 접근 중임이 감지되는 경우에 상기 S720 단계 및 이하 단계들을 수행할 수도 있다. 즉, 제어부(690)는 기설정된 거리(D1) 이내에 사용자가 존재하더라도, 사용자가 로봇(1)으로 접근 중인 경우에만 상기 S720 단계 및 이하 단계들을 수행하므로, 로봇(1)의 부하 낭비를 최소화할 수 있다.
도 10과 도 11은 본 발명의 로봇이, 접근이 감지된 사용자에 대한 인터랙션 의도를 검출하는 동작의 일례를 설명하기 위한 도면들이다.
도 10 내지 도 11을 참조하면, 로봇(1)은 사용자의 접근이 감지된 경우, 사용자 방향으로 헤드부(180)를 회전하도록 헤드 모터(660)를 제어할 수 있다(S1000).
제어부(690)는 사용자 감지부(630)에 의해 사용자(1100)의 접근이 감지되면, 감지된 사용자(1100)가 위치한 방향으로 조작부(183) 및 얼굴 검출부(640)가 향하도록 헤드부(180)를 회전시킬 수 있다. 제어부(690)는 헤드 모터(660)를 제어하여 상기 헤드부(180)를 회전시킬 수 있다.
제어부(690)는 감지된 사용자(1100)의 위치를 2차원 좌표 형태로 나타낼 수 있다. 제어부(690)는 상기 사용자(1100)의 위치에 대응하는 좌표를 이용하여 헤드부(180)의 회전 각도를 산출하고, 산출된 회전 각도에 기초하여 헤드 모터(660)를 제어할 수 있다.
실시 예에 따라, 제어부(690)가 헤드 모터(660)를 제어하는 동안 사용자(1100)는 기존 위치에서 다른 위치로 이동할 수도 있다. 제어부(690)는 상기 산출된 회전 각도로 헤드부(180)를 회전시킨 후, 사용자 감지부(630)를 이용하여 사용자(1100)의 위치를 재 감지할 수 있다. 제어부(690)는 재 감지된 사용자(1100)의 위치에 기초하여 헤드부(180)의 회전 각도를 보정함으로써, 얼굴 검출부(640)가 사용자(1100)를 정확히 향하게 할 수 있다.
로봇(1)은 얼굴 검출부(640)를 이용하여 사용자의 얼굴을 검출할 수 있다(S1010).
제어부(690)는 얼굴 검출부(640)가 사용자(1100)를 향하도록 헤드부(180)를 회전시킨 후, 얼굴 검출부(640)를 제어하여 사용자(1100)의 얼굴을 포함하는 이미지(I1)를 획득할 수 있다.
로봇(1)은 검출된 얼굴로부터 감지되는 사용자의 시선에 기초하여, 사용자의 로봇(1)에 대한 인터랙션 의도를 검출할 수 있다(S1020).
도 11을 참조하면, 제어부(690)는 얼굴 검출부(640)를 통해 획득된 이미지(I1)로부터, 기 공지된 영상 인식 알고리즘을 이용하여 사용자(1100)의 눈을 검출할 수 있다. 제어부(690)는 검출된 사용자(1100)의 눈으로부터 사용자(1100)의 시선(S1)이 향하는 방향을 감지할 수 있다. 일례로, 제어부(690)는 기공지된 아이트래킹(eye tracking) 알고리즘을 이용하여 동공이 향하는 방향을 감지함으로써 사용자(1100)의 시선(S1) 방향을 감지할 수 있다.
제어부(690)는 감지된 시선(S1)이 로봇(1)을 향하는 것으로 감지되는 경우, 사용자(1100)가 로봇(1)과의 인터랙션 의도가 존재함을 검출할 수 있다. 구체적으로, 제어부(690)는 시선(S1)이 조작부(183)를 향하는 것으로 감지된 경우 상기 인터랙션 의도가 존재함을 검출할 수 있다. 이는, 로봇(1)과의 인터랙션 의도가 존재하는 사용자(1100)는 로봇(1)의 조작부(183)를 바라보는 것이 일반적이기 때문이다.
한편, 인터랙션 의도가 존재하는 사용자(1100)의 시선은 로봇(1) 또는 조작부(183)로 유지될 수 있다. 반면, 인터랙션 의도가 존재하지 않는 사용자(1100)의 시선은 로봇(1) 또는 조작부(183)를 미소한 시간 동안 향한 후 다른 방향으로 변화할 수 있다. 이에 따라, 제어부(690)는 상기 시선(S1)이 소정 시간 이상 로봇(1) 또는 조작부(183)를 향하는 것으로 감지되는 경우에 상기 인터랙션 의도가 존재하는 것으로 검출함으로써, 검출 정확도를 보다 향상시킬 수 있다.
도 12 내지 도 14는 본 발명의 로봇이, 복수의 사용자들의 접근이 감지되는 경우 인터랙션 의도를 갖는 사용자를 검출하는 동작의 일례를 설명하기 위한 도면들이다.
공항이나 백화점 등의 공공 장소에는 많은 이용객들이 존재하고, 이 경우, 복수의 사용자들이 로봇(1) 근방을 통과할 수 있다. 본 발명의 실시 예에 따른 로봇(1)은 복수의 사용자들의 접근이 감지된 경우에도, 인터랙션 의도를 갖는 사용자를 원활히 검출할 수 있다.
이와 관련하여 도 12 내지 도 14를 참조하면, 로봇(1)은 복수의 사용자가 접근함을 감지할 수 있다(S1200).
이하 도 12 내지 도 14에서는, 설명의 편의를 위해 복수의 사용자가 제1 사용자(1301) 및 제2 사용자(1302)를 포함하는 것으로 가정한다.
도 8 내지 도 9에서 상술한 바와 유사하게, 제어부(690)는 사용자 감지부(630)에 포함된 센서들(632, 634)을 이용하여, 로봇(1)으로부터 소정 거리 이내의 감지 영역(Zone 2)에 존재하는 제1 사용자(1301) 및 제2 사용자(1302)의 접근을 감지할 수 있다. 상기 감지 영역(Zone 2)은 오브젝트 감지 센서(632)의 최대 감지거리 이하의 영역을 의미할 수 있다.
로봇(1)은 감지된 복수의 사용자들 중, 기설정된 거리 이내로 선 진입한 제1 사용자의 인터랙션 의도를 검출할 수 있다(S1210).
제어부(690)는 감지된 복수의 사용자들(1301, 1302) 중, 상기 감지 영역(Zone 2) 내의 인터랙션 의도 검출 영역(Zone 1)으로 먼저 진입한 제1 사용자(1301)의 인터랙션 의도를 검출할 수 있다. 상기 인터랙션 의도 검출 영역(Zone 1)은 상기 감지 영역(Zone 2)과 같거나, 상기 감지 영역(Zone 2) 내의 일부 영역에 해당할 수 있다.
도 10 내지 도 11에서 상술한 바와 유사하게, 제어부(690)는 얼굴 검출부(640)가 제1 사용자(1301)를 향하도록 헤드부(180)를 회전시킬 수 있다. 제어부(690)는 얼굴 검출부(640)를 제어하여 제1 사용자(1301)의 얼굴을 포함하는 이미지를 획득하고, 획득된 이미지로부터 제1 사용자(1301)의 시선 방향을 감지하여 인터랙션 의도를 검출할 수 있다.
즉, 로봇(1)은 복수의 사용자들의 접근이 감지된 경우, 상기 인터랙션 의도 검출 영역(Zone 1)으로 진입한 순서에 따라 복수의 사용자들에 대한 우선순위를 설정함으로써, 복수의 사용자들에 대한 인터랙션 의도를 효율적으로 검출할 수 있다.
실시 예에 따라, 상기 우선순위는 다양한 방식으로 설정될 수 있다. 예컨대, 상기 우선순위는 로봇(1)과 사용자 간의 거리 순으로 설정될 수 있다. 또는, 상기 우선순위는 사용자의 이동 속도에 기초하여 산출되는 로봇(1)으로의 도달 순서에 따라 설정될 수도 있다.
인터랙션 의도가 검출된 경우(S1220의 YES), 로봇(1)은 제1 사용자(1301) 와의 인터랙션을 수행할 수 있다(S1230).
이 경우, 상기 인터랙션 의도 검출 영역(Zone 1) 내로 다른 사용자가 진입하더라도, 제어부(690)는 제1 사용자(1301)와의 인터랙션을 지속 수행할 수 있다. 제어부(690)는 제1 사용자(1301)와의 인터랙션이 수행된 후 제1 사용자(1301)가 인터랙션 의도 검출 영역(Zone 1)을 벗어난 경우, 상기 다른 사용자의 인터랙션 의도를 검출하여 인터랙션을 수행할 수 있다.
반면, 인터랙션 의도가 검출되지 않은 경우(S1220의 NO), 로봇(1)은 복수의 사용자들 중 기설정된 거리 이내로 후 진입한 제2 사용자의 방향으로 헤드부(180)를 회전하고(S1240), 제2 사용자의 인터랙션 의도를 검출할 수 있다(S1250).
제어부(690)는 얼굴 검출부(640)를 통해 획득한 이미지(I1)로부터 제1 사용자(1301)의 인터랙션 의도가 검출되지 않은 경우, 제1 사용자(1301) 다음으로 상기 인터랙션 의도 검출 영역(Zone 1)에 진입한 제2 사용자(1302)에 대한 인터랙션 의도를 검출할 수 있다.
이를 위해, 제어부(690)는 얼굴 검출부(640)가 제2 사용자(1302)를 향하도록 헤드부(180)를 회전시키고, 얼굴 검출부(640)를 제어하여 제2 사용자(1302)의 얼굴을 포함하는 이미지(I2)를 획득할 수 있다. 제어부(690)는 획득된 이미지(I2)로부터 제2 사용자(1302)의 시선 방향을 감지하고, 감지된 시선 방향에 기초하여 제2 사용자(1302)의 인터랙션 의도를 검출할 수 있다.
제2 사용자의 인터랙션 의도가 검출된 경우(S1260의 YES), 로봇(1)은 제2 사용자와의 인터랙션을 수행할 수 있다(S1270).
반면, 제2 사용자의 인터랙션 의도가 검출되지 않는 경우, 제어부(690)는 인터랙션 의도 검출 영역(Zone 1)으로 진입한 다른 사용자에 대한 인터랙션 의도를 검출할 수 있다.
실시 예에 따라, 제어부(690)는 제1 사용자(1301)의 인터랙션 의도가 검출되지 않더라도, 제1 사용자(1301)가 인터랙션 의도 검출 영역(Zone 1)을 벗어날 때까지는 다른 사용자에 대한 인터랙션 의도 검출 동작을 수행하지 않을 수 있다. 이러한 실시 예에 따르면, 제어부(690)가 제1 사용자(1301)의 인터랙션 의도가 없는 것으로 잘못 검출하더라도, 제1 사용자(1301)는 로봇(1)으로 이동하여 인터랙션을 위한 조작이나 음성 발화를 수행함으로써, 로봇(1)으로부터 원하는 서비스를 제공받을 수 있다.
도 15는 본 발명의 로봇이, 인터랙션 의도를 갖는 사용자와의 인터랙션을 수행하는 동작의 구체적 일례를 나타낸 플로우차트이다.
도 15를 참조하면, S720 단계에 의해 사용자의 인터랙션 의도가 검출된 경우, 로봇(1)은 사용자가 위치한 방향으로 로봇 바디를 회전하도록 주행부(650)를 제어할 수 있다(S1500).
사용자가 위치한 방향으로 로봇 바디를 회전함은, 로봇(1)의 전방이 상기 사용자가 위치한 방향에 대응하도록 주행 방향을 변경함을 의미할 수 있다. 예컨대, 제어부(690)는 로봇(1)의 전방이 상기 사용자가 위치한 방향에 대응하도록 주행부(650)에 포함된 모터(제1 모터와 제2 모터)를 제어할 수 있다.
한편, 헤드부(180)의 조작부(183)는 사용자의 인터랙션 의도 검출 동작 시 사용자가 위치한 방향을 향할 수 있다. 이 경우, 제어부(690)는 로봇(1)이 회전할 때, 조작부(183)가 사용자가 위치한 방향을 향하는 상태를 유지시키기 위해, 주행부(650)의 제어에 대응하여 헤드 모터(660)를 제어하여 헤드부(180)를 바디부(100)에 대해 상대적으로 회전시킬 수 있다.
로봇(1)은 사용자의 발화를 유도하기 위한 안내 음성 또는 안내 화면을 출력할 수 있다(S1510).
제어부(690)는 사용자로부터 제공받고자 하는 서비스와 관련된 발화를 수신하기 위한 안내 음성을 스피커(674)를 통해 출력하거나, 디스플레이(672) 중 조작부(183)의 터치 스크린을 통해 안내 화면을 출력할 수 있다.
실시 예에 따라, 제어부(690)는 사용자로부터 제공받고자 하는 서비스에 대한 선택 입력을 수신하기 위해, 조작부(183)의 터치 스크린을 통해 메뉴 화면을 출력할 수도 있다.
로봇(1)은 입력부(620)의 마이크로폰을 통해 사용자의 발화에 따른 음성을 획득하고(S1520), 획득된 음성에 기초한 서비스를 제공함으로써 사용자와의 인터랙션을 수행할 수 있다(S1530).
사용자는 출력된 안내 음성 또는 안내 화면에 기초하여, 로봇(1)으로부터 제공받고자 하는 서비스와 관련된 음성을 발화할 수 있다. 예컨대, 상기 음성은 사용자가 제공받고자 하는 서비스에 대한 키워드를 포함할 수 있다.
제어부(690)는 입력부(620)의 마이크로폰을 통해 상기 사용자가 발화한 음성을 수신할 수 있다. 제어부(690)는 기 공지된 음성 인식 기법을 이용하여, 수신된 음성에 포함된 상기 키워드를 인식할 수 있다. 제어부(690)는 인식된 키워드에 기초하여 사용자가 원하는 서비스를 제공함으로써 사용자와의 인터랙션을 수행할 수 있다.
실시 예에 따라, 사용자는 조작부(183)에 출력된 메뉴 화면에 기초하여, 로봇(1)으로부터 제공받고자 하는 서비스와 관련된 메뉴를 선택할 수 있다. 제어부(690)는 조작부(183)의 터치 스크린을 통해 사용자의 선택 입력을 수신하고, 선택된 메뉴에 기초하여 사용자가 원하는 서비스를 제공함으로써 사용자와의 인터랙션을 수행할 수도 있다.
한편, 제어부(690)는 기 설정된 시간 동안 사용자로부터 음성 등 입력이 수신되지 않는 경우, 상기 안내 음성 또는 안내 화면을 다시 출력할 수 있다. 또는, 제어부(690)는 기 설정된 시간 동안 사용자로부터 음성 등 입력이 수신되지 않는 경우, 안내 음성 또는 안내 화면의 출력을 종료하고, 인터랙션 의도를 갖는 다른 사용자를 검출할 수도 있다.
도 16 내지 도 18은 본 발명의 로봇이, 사용자의 특성에 기초하여 인터랙션을 수행하는 동작의 일례를 나타내는 도면들이다.
도 16을 참조하면, S710 단계에 따라 로봇(1)은 얼굴 검출부(640)가 사용자 방향을 향하도록 헤드부(180)를 회전시킬 수 있다.
로봇(1)은 얼굴 검출부(640)를 이용하여 사용자의 얼굴을 검출할 수 있다(S1600).
S1600 단계는 도 10의 S1010 단계와 실질적으로 동일한 바, 이에 대한 구체적인 설명은 생략한다.
로봇(1)은 검출된 얼굴로부터 사용자의 특성을 검출할 수 있다(S1610).
제어부(690)는 얼굴 검출부(640)를 통해 획득된 이미지 내의 사용자 얼굴로부터, 사용자의 특성과 관련된 특징들을 추출할 수 있다. 제어부(690)는 추출된 특징들에 기초하여 사용자의 특성을 검출할 수 있다.
상기 특징은 얼굴이나 얼굴 각 부위(눈, 코, 입 등)의 크기, 피부색, 주름 정도, 헤어스타일 등 사용자의 특성과 관련된 각종 정보를 포함할 수 있다.
상기 사용자의 특성은, 사용자의 연령대, 성별, 및 인종 등과 같이 사용자의 얼굴로부터 인식 또는 추정가능한 특성들을 포함할 수 있다.
로봇(1)은 사용자의 인터랙션 의도를 검출할 수 있다(S1620). 인터랙션 의도가 검출된 경우, 로봇(1)은 검출된 사용자의 특성에 기초한 안내 음성 또는 안내 화면을 출력할 수 있다(S1630).
도 17의 예시를 참조하면, 인터랙션 의도를 갖는 사용자의 특성이 '어린이'인 경우, 제어부(690)는 조작부(183)의 터치 스크린을 통해 '동물 캐릭터'를 포함하는 안내 화면을 표시할 수 있다. 또한, 제어부(690)는 '동물 캐릭터'의 음성으로 상기 안내 음성을 출력할 수 있다.
한편, 도 18의 예시를 참조하면, 인터랙션 의도를 갖는 사용자의 특성이 '청소년 여성'인 경우, 제어부(690)는 조작부(183)의 터치 스크린을 통해 '남자 연예인'을 포함하는 안내 화면을 표시할 수 있다. 또한, 제어부(690)는 상기 '남자 연예인'의 음성으로 안내 음성을 출력할 수 있다.
비록 도시되지는 않았으나, 예를 들어 사용자의 특성이 '서양인'인 경우, 제어부(690)는 영어, 프랑스어, 또는 스페인어 등으로 안내 음성을 출력할 수도 있다. 반면, 사용자의 특성이 '동양인'인 경우, 제어부(690)는 한국어, 중국어, 또는 일본어로 안내 음성을 출력할 수도 있다.
즉, 로봇(1)은 인터랙션 의도를 갖는 사용자의 특성에 기초한 안내 화면 또는 안내 음성을 제공함으로써, 사용자와 보다 효과적인 인터랙션을 수행할 수 있다. 또한, 사용자로 하여금 로봇(1)에 대한 흥미를 유발함으로써, 로봇(1) 및 제조사에 대한 긍정적 이미지가 제고될 수 있다.
도 19는 본 발명의 로봇이 수행하는 제어 동작의 다른 예를 설명하기 위한 플로우차트이다.
도 19를 참조하면, 로봇(1)은 주행 중 사용자의 접근을 감지할 수 있다(S1900).
S1900 단계는 도 8 내지 도 9를 통해 상술한 내용과 유사한 바, 이에 대한 구체적인 설명은 생략하기로 한다.
로봇(1)은 다른 사용자에게 서비스를 제공하고 있는 경우, 제공되는 서비스에 기초하여 특정 위치로 주행할 수 있다. 또는, 로봇(1)이 현재 서비스를 제공하고 있지 않은 상태이더라도, 로봇(1)은 공간 내를 자율 주행하면서 기설정된 동작(광고화면 표시 등)을 수행할 수 있다.
로봇(1)이 현재 다른 사용자에게 서비스를 제공하고 있거나, 기설정된 서비스를 다수의 사용자에게 제공중인 경우(S1905의 YES), 로봇(1)은 현재 서비스 제공 중임을 상기 접근 감지된 사용자에게 알린 후, 서비스를 지속 제공할 수 있다(S1910).
제어부(690)는 주행 중 장애물 감지나 위치 인식 등을 위해, 다른 사용자에게 서비스를 제공하는 동안에도 사용자 감지부(630)나 얼굴 검출부(640) 등에 포함된 센서들을 지속 구동시킬 수 있다.
이 경우, 제어부(690)는 사용자 감지부(630)를 통해 로봇(1)으로 접근 중인 사용자를 감지할 수 있다. 그러나, 로봇(1)은 현재 다른 사용자와의 인터랙션이 수행 중(서비스 제공 중)이므로, 상기 접근 중인 사용자와는 인터랙션이 불가능할 수 있다.
이에 따라, 제어부(690)는 로봇(1)이 상기 접근 중인 사용자와의 인터랙션이 불가함을 나타내는 화면 또는 음성을 출력부(670)를 통해 출력하고, 상기 다른 사용자에 대한 서비스를 지속 제공할 수 있다.
반면, 로봇(1)이 현재 서비스를 제공하고 있지 않은 경우(S1905의 NO), 로봇(1)은 주행을 정지할 수 있다(S1915).
제어부(690)는 서비스를 제공하고 있지 않은 상태에서 접근 중인 사용자가 감지된 경우, 사용자의 인터랙션 의도를 정확히 검출하기 위해 주행을 정지하도록 주행부(650)를 제어할 수 있다.
실시 예에 따라, 제어부(690)는 헤드부(180)의 조작부(183)가 상기 접근 중인 사용자를 향하도록 헤드 모터(660)를 제어할 수도 있다.
로봇(1)은 사용자로부터 인터랙션의 시도를 위한 입력이 수신되는지 여부를 확인할 수 있다(S1920). 인터랙션 시도를 위한 입력이 수신되지 않는 경우(S1920의 NO), 로봇(1)은 사용자의 인터랙션 의도를 검출할 수 있다(S1925).
제어부(690)는 조작부(183) 또는 입력부(620)를 통해, 사용자로부터 인터랙션의 시도를 위한 입력이 수신되는지 여부를 확인할 수 있다.
기 설정된 시간 동안 상기 입력이 수신되지 않는 경우, 제어부(690)는 도 10의 S1000 단계 내지 S1020 단계에 따라 사용자의 인터랙션 의도를 검출할 수 있다.
다만, 실시 예에 따라 S1920 단계와 S1925 단계는 병렬적으로 수행될 수도 있다. 즉, 제어부(690)는 상기 인터랙션의 시도를 위한 입력의 수신을 대기하면서, 동시에 사용자의 인터랙션 의도를 검출할 수도 있다.
인터랙션 의도가 검출된 경우, 로봇(1)은 사용자 방향으로 로봇 바디를 회전하고(S1930), 사용자의 발화를 유도하기 위한 안내 음성 또는 안내 화면을 출력할 수 있다(S1935).
S1930 단계 및 S1935 단계는 도 15의 S1500 단계 및 S1510 단계와 실질적으로 동일할 수 있다.
사용자의 발화에 따른 음성이 획득되지 않는 경우(S1940의 NO), 로봇(1)은 사용자의 인터랙션 의도가 없는 것으로 확인하고 주행을 재개할 수 있다(S1945).
제어부(690)는 기 설정된 시간 동안 사용자로부터 상기 음성 등의 입력이 획득되지 않는 경우, 사용자의 인터랙션 의도가 없는 것으로 확인할 수 있다.
이 경우, 제어부(690)는 주행부(650)를 제어하여 주행을 재개할 수 있다.
실시 예에 따라, 제어부(690)는 기 설정된 시간 동안 사용자로부터 상기 음성 등의 입력이 획득되지 않는 경우, 상기 안내 음성 또는 안내 화면을 소정 회 재출력할 수도 있다.
반면, 사용자의 발화에 따른 음성이 획득된 경우(S1940의 YES), 로봇(1)은 획득된 음성에 기초하여 사용자와의 인터랙션을 수행할 수 있다(S1950).
한편, S1920 단계에서 사용자로부터 인터랙션 시도를 위한 입력이 수신된 경우(S920의 YES), 로봇(1)은 수신된 입력에 기초하여 사용자와의 인터랙션을 수행할 수 있다(S1950).
즉, 도 19에 도시된 실시 예에 따르면, 로봇(1)은 주행 중 사용자가 접근함이 감지되면, 서비스의 제공 중인지 여부에 기초하여 보다 지능적인 동작 수행이 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 로봇에 있어서,
    사용자를 감지하는 적어도 하나의 센서를 포함하는 사용자 감지부;
    상기 사용자 감지부에 의해 감지된 사용자의 얼굴을 포함하는 이미지를 획득하는 얼굴 검출부;
    상기 획득된 이미지로부터 상기 사용자의 인터랙션 의도를 검출하는 제어부; 및
    상기 인터랙션 의도가 검출된 경우, 상기 사용자의 인터랙션 유도를 위한 음성과 화면 중 적어도 하나를 출력하기 위한 스피커와 디스플레이 중 적어도 하나를 포함하는 출력부를 포함하고,
    상기 사용자 감지부는,
    상기 로봇으로부터 기설정된 거리 이내의 감지 영역에 존재하는 적어도 하나의 오브젝트를 감지하는 오브젝트 감지 센서; 및
    오브젝트가 상기 사용자인지 여부를 감지하는 사용자 감지 센서를 포함하고,
    상기 제어부는,
    상기 오브젝트 감지 센서를 이용하여, 상기 감지된 적어도 하나의 오브젝트 중 상기 로봇으로 접근하는 오브젝트를 감지하고,
    상기 사용자 감지 센서를 이용하여, 상기 로봇으로 접근하는 오브젝트가 상기 사용자인지 여부를 감지하고,
    상기 사용자 감지부를 통해 상기 감지 영역에 존재하는 복수의 사용자들을 감지하고,
    상기 감지된 복수의 사용자들 중, 상기 감지 영역 내의 인터랙션 의도 검출 영역으로 선 진입한 순서에 따라 우선순위를 설정하고, 상기 우선순위에 기초하여 제1 사용자의 얼굴을 포함하는 제1 이미지를 획득하도록 상기 얼굴 검출부를 제어하고,
    상기 획득된 제1 이미지에 기초하여 상기 제1 사용자의 인터랙션 의도를 검출하고,
    상기 제1 사용자의 인터랙션 의도가 검출된 경우, 상기 제1 사용자의 인터랙션 유도를 위한 음성과 화면 중 적어도 하나를 출력하도록 상기 출력부를 제어하고,
    상기 제1 사용자의 인터랙션 의도가 검출되지 않은 경우, 상기 복수의 사용자들 중 상기 제1 사용자 다음으로 상기 인터랙션 의도 검출 영역으로 진입한 제2 사용자의 얼굴을 포함하는 제2 이미지를 획득하도록 상기 얼굴 검출부를 제어하고,
    상기 획득된 제2 이미지에 기초하여 상기 제2 사용자의 인터랙션 의도를 검출하는 로봇.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 오브젝트 감지 센서는 라이다 센서(LiDar sensor)를 포함하고, 상기 사용자 감지 센서는 3D 스테레오 카메라를 포함하는 로봇.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 얼굴 검출부에 의해 획득된 상기 이미지로부터 상기 사용자의 시선을 감지하고,
    감지된 시선이 상기 로봇을 향하는 경우 상기 인터랙션 의도가 존재함을 검출하는 로봇.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 얼굴 검출부에 의해 획득된 상기 이미지로부터 상기 사용자의 특성을 검출하고,
    상기 인터랙션 의도가 검출된 경우, 상기 사용자의 특성에 기초하여 상기 음성과 상기 화면 중 적어도 하나를 출력하도록 상기 출력부를 제어하는 로봇.
  8. 제1항에 있어서,
    사용자로부터 입력을 수신하는 입력부를 더 포함하고,
    상기 제어부는,
    상기 출력된 음성과 화면 중 적어도 하나에 기초한 입력을 상기 입력부를 통해 수신하고,
    수신된 입력에 기초하여 서비스를 제공함으로써 상기 사용자와의 인터랙션을 수행하는 로봇.
  9. 제8항에 있어서,
    상기 입력부는 마이크로폰을 포함하고,
    상기 제어부는,
    상기 출력된 음성과 화면 중 적어도 하나에 기초하여 상기 사용자로부터 발화된 음성을 상기 마이크로폰을 통해 수신하고,
    수신된 음성에 포함된 키워드를 인식하고, 인식된 키워드에 기초하여 상기 서비스를 제공하는 로봇.
  10. 제1항에 있어서,
    이동을 위한 주행부를 더 포함하고,
    상기 제어부는,
    상기 로봇의 주행 중 상기 사용자 감지부를 통해 상기 사용자의 접근을 감지하고,
    타 사용자에게 서비스 제공 중인 경우, 상기 사용자와의 인터랙션이 불가함을 나타내는 음성 또는 화면을 출력하도록 상기 출력부를 제어하는 로봇.
  11. 제10항에 있어서,
    상기 제어부는,
    타 사용자에게 서비스 제공 중이 아닌 경우, 상기 주행부를 제어하여 주행을 정지하고,
    상기 얼굴 검출부를 통해 획득된 이미지로부터 상기 사용자의 인터랙션 의도를 검출하고,
    상기 인터랙션 의도가 검출된 경우, 상기 사용자의 인터랙션 유도를 위한 음성과 화면 중 적어도 하나를 출력하도록 상기 출력부를 제어하는 로봇.
  12. 로봇에 있어서,
    이동을 위한 주행부와, 오브젝트 감지 센서가 구비된 하부모듈;
    상기 하부모듈의 상부에 연결되고, 사용자 감지 센서가 일 측에 구비된 바디부, 및 상기 바디부의 상부에 연결되고, 얼굴 검출부를 포함하는 헤드부를 포함하는 상부모듈;
    상기 오브젝트 감지 센서와 상기 사용자 감지 센서를 통해, 기설정된 거리 이내의 감지 영역에 존재하는 사용자를 감지하고, 상기 얼굴 검출부를 통해 상기 사용자의 얼굴을 포함하는 이미지를 획득하고, 획득된 이미지로부터 상기 사용자의 인터랙션 의도를 검출하는 제어부; 및
    상기 인터랙션 의도가 검출된 경우, 상기 사용자의 인터랙션 유도를 위한 음성과 화면 중 적어도 하나를 출력하기 위한 스피커와 디스플레이 중 적어도 하나를 포함하는 출력부를 포함하고,
    상기 제어부는,
    상기 오브젝트 감지 센서를 이용하여, 상기 감지된 적어도 하나의 오브젝트 중 상기 로봇으로 접근하는 오브젝트를 감지하고,
    상기 사용자 감지 센서를 이용하여, 상기 로봇으로 접근하는 오브젝트가 상기 사용자인지 여부를 감지하고,
    상기 감지된 복수의 사용자들 중, 상기 감지 영역 내의 인터랙션 의도 검출 영역으로 선 진입한 순서에 따라 우선순위를 설정하고, 상기 우선순위에 기초하여 제1 사용자의 얼굴을 포함하는 제1 이미지를 획득하도록 상기 얼굴 검출부를 제어하고,
    상기 획득된 제1 이미지에 기초하여 상기 제1 사용자의 인터랙션 의도를 검출하고,
    상기 제1 사용자의 인터랙션 의도가 검출된 경우, 상기 제1 사용자의 인터랙션 유도를 위한 음성과 화면 중 적어도 하나를 출력하도록 상기 출력부를 제어하고,
    상기 제1 사용자의 인터랙션 의도가 검출되지 않은 경우, 상기 복수의 사용자들 중 상기 제1 사용자 다음으로 상기 인터랙션 의도 검출 영역으로 진입한 제2 사용자의 얼굴을 포함하는 제2 이미지를 획득하도록 상기 얼굴 검출부를 제어하고,
    상기 획득된 제2 이미지에 기초하여 상기 제2 사용자의 인터랙션 의도를 검출하는 로봇.
  13. 제12항에 있어서,
    상기 상부모듈에 구비되어, 상기 헤드부를 회전시키는 헤드 모터를 더 포함하고,
    상기 제어부는,
    상기 오브젝트 감지 센서와 상기 사용자 감지 센서를 통해 상기 사용자의 위치를 감지하고,
    상기 얼굴 검출부가 상기 사용자의 얼굴을 포함하는 이미지를 획득하기 위해, 상기 감지된 위치에 기초하여 상기 헤드부가 회전되도록 상기 헤드 모터를 제어하는 로봇.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 얼굴 검출부에 의해 획득된 상기 이미지로부터 상기 사용자의 시선을 감지하고,
    감지된 시선이 상기 헤드부를 향하는 경우, 상기 인터랙션 의도가 존재함을 검출하는 로봇.
  15. 제12항에 있어서,
    상기 제어부는,
    상기 인터랙션 의도가 검출된 경우, 상기 로봇이 상기 사용자를 향하도록 상기 주행부를 제어하는 로봇.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 인터랙션 의도가 검출된 경우, 상기 사용자가 위치한 방향으로 주행하도록 상기 주행부를 제어하는 로봇.
  17. 제12항에 있어서,
    상기 오브젝트 감지 센서는,
    상기 로봇의 전방위에 대해, 상기 감지 영역 이내의 오브젝트를 감지하는 제1 라이다 센서와 제2 라이다 센서를 포함하고,
    상기 하부모듈의 저면으로부터 상기 제1 라이다 센서의 높이와, 상기 저면으로부터 상기 제2 라이다 센서의 높이는 서로 다른 로봇.
  18. 제17항에 있어서,
    상기 사용자 감지 센서는,
    상기 오브젝트 감지 센서에 의해 감지된 오브젝트가 사용자인지 여부를 검출하는 3D 스테레오 카메라를 포함하는 로봇.
  19. 제12항에 있어서,
    상기 얼굴 검출부는,
    상기 헤드부의 일 측에 구비된 카메라 및 RGBD 센서 중 적어도 하나를 포함하는 로봇.
  20. 제12항에 있어서,
    상기 헤드부에 구비되는 마이크로폰을 더 포함하고,
    상기 제어부는,
    상기 출력부를 통해 출력된 음성과 화면 중 적어도 하나에 기초하여 상기 사용자로부터 발화된 음성을 상기 마이크로폰을 통해 수신하고,
    수신된 음성에 포함된 키워드를 인식하고, 인식된 키워드에 기초하여 상기 사용자에게 서비스를 제공하는 로봇.
KR1020180124634A 2018-10-18 2018-10-18 로봇 및 그의 제어 방법 KR102228866B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180124634A KR102228866B1 (ko) 2018-10-18 2018-10-18 로봇 및 그의 제어 방법
US16/420,852 US11285611B2 (en) 2018-10-18 2019-05-23 Robot and method of controlling thereof
EP19188093.9A EP3639986B1 (en) 2018-10-18 2019-07-24 Robot and method of controlling thereof
CN201910898663.2A CN111070214B (zh) 2018-10-18 2019-09-23 机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180124634A KR102228866B1 (ko) 2018-10-18 2018-10-18 로봇 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200046186A KR20200046186A (ko) 2020-05-07
KR102228866B1 true KR102228866B1 (ko) 2021-03-17

Family

ID=67438718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180124634A KR102228866B1 (ko) 2018-10-18 2018-10-18 로봇 및 그의 제어 방법

Country Status (4)

Country Link
US (1) US11285611B2 (ko)
EP (1) EP3639986B1 (ko)
KR (1) KR102228866B1 (ko)
CN (1) CN111070214B (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970953B2 (en) * 2019-03-21 2021-04-06 Techolution LLC Face authentication based smart access control system
US11422568B1 (en) * 2019-11-11 2022-08-23 Amazon Technolgoies, Inc. System to facilitate user authentication by autonomous mobile device
KR102591830B1 (ko) * 2020-07-24 2023-10-24 한국전자통신연구원 사람과 로봇 간의 인터랙션 방식 결정 장치 및 방법
CN112071326A (zh) * 2020-09-07 2020-12-11 三星电子（中国）研发中心 音效处理方法和装置
KR102360857B1 (ko) * 2020-09-24 2022-02-11 주식회사에이로봇 특정인을 추적하는 로봇시스템
KR102415997B1 (ko) * 2020-11-05 2022-07-05 (주)로보티즈 사용자의 돌봄 감성을 자극하는 반려 로봇
KR20220083100A (ko) * 2020-12-11 2022-06-20 삼성전자주식회사 로봇 및 그 제어 방법
CN114670953A (zh) * 2020-12-24 2022-06-28 沈阳新松机器人自动化股份有限公司 一种移动机器人
CN113093916A (zh) * 2021-05-10 2021-07-09 深圳市黑金工业制造有限公司 一种红外智能交互系统
CN114012746B (zh) * 2021-10-28 2023-07-14 深圳市普渡科技有限公司 一种机器人、信息播放的方法、控制装置以及介质
CN114260916B (zh) * 2022-01-05 2024-02-27 森家展览展示如皋有限公司 一种交互式展会展览智能型机器人
KR102443705B1 (ko) * 2022-06-30 2022-09-19 주식회사 에이펀인터렉티브 상호 작용 지원 로봇 및 이를 포함하는 메타버스 컨텐츠 제작 시스템

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4398720A (en) * 1981-01-05 1983-08-16 California R & D Center Robot computer chess game
JPS61156405A (ja) * 1984-12-28 1986-07-16 Nintendo Co Ltd 光感応制御装置
US6580369B1 (en) * 1995-10-11 2003-06-17 Motorola, Inc. Electronic tag assembly and method therefor
EP1092514A4 (en) * 1999-01-07 2007-05-23 Sony Corp MACHINE, ITS CONTROL METHOD AND RECORDING MEDIUM
US6519506B2 (en) * 1999-05-10 2003-02-11 Sony Corporation Robot and control method for controlling the robot's emotions
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
JP3615702B2 (ja) * 1999-11-25 2005-02-02 ソニー株式会社 脚式移動ロボットの動作制御装置及び動作制御方法、並びに、脚式移動ロボット
JP2001154685A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声認識装置および音声認識方法、並びに記録媒体
JP2001157976A (ja) * 1999-11-30 2001-06-12 Sony Corp ロボット制御装置およびロボット制御方法、並びに記録媒体
WO2001039932A1 (fr) * 1999-11-30 2001-06-07 Sony Corporation Robot, son procede de commande et procede d'appreciation du caractere du robot
JP2001154681A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
WO2001059643A1 (fr) * 2000-02-10 2001-08-16 Sony Corporation Dispositif automatique, dispositif fournissant des informations, robot, et procede de transaction
JP2001322079A (ja) * 2000-05-15 2001-11-20 Sony Corp 脚式移動ロボット及びその動作教示方法
JP2002307354A (ja) * 2000-11-07 2002-10-23 Sega Toys:Kk 電子玩具
AU2002258422A1 (en) * 2001-02-27 2002-09-12 Anthrotronix, Inc. Robotic apparatus and wireless communication system
US6967455B2 (en) * 2001-03-09 2005-11-22 Japan Science And Technology Agency Robot audiovisual system
EP1262844A1 (en) * 2001-06-01 2002-12-04 Sony International (Europe) GmbH Method for controlling a man-machine-interface unit
JP4689107B2 (ja) * 2001-08-22 2011-05-25 本田技研工業株式会社 自律行動ロボット
US6560512B1 (en) * 2002-01-04 2003-05-06 Machine Consciousness, Inc. Relational robotic controller
JP3790816B2 (ja) * 2002-02-12 2006-06-28 国立大学法人 東京大学 人型リンク系の運動生成方法
JP2003255991A (ja) * 2002-03-06 2003-09-10 Sony Corp 対話制御システム、対話制御方法及びロボット装置
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7640164B2 (en) * 2002-07-04 2009-12-29 Denso Corporation System for performing interactive dialog
US6925357B2 (en) * 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
JP2004302785A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
US20050038647A1 (en) * 2003-08-11 2005-02-17 Aurilab, Llc Program product, method and system for detecting reduced speech
JP2005193331A (ja) * 2004-01-06 2005-07-21 Sony Corp ロボット装置及びその情動表出方法
JP4244812B2 (ja) * 2004-01-16 2009-03-25 ソニー株式会社 行動制御システム及びロボット装置の行動制御方法
JP3924583B2 (ja) * 2004-02-03 2007-06-06 松下電器産業株式会社 ユーザ適応型装置およびその制御方法
JP4477924B2 (ja) * 2004-03-31 2010-06-09 本田技研工業株式会社 移動ロボットの外部検出装置
JP4661074B2 (ja) * 2004-04-07 2011-03-30 ソニー株式会社 情報処理システム、情報処理方法、並びにロボット装置
US7949616B2 (en) * 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
DE102004041821A1 (de) * 2004-08-27 2006-03-16 Abb Research Ltd. Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes
US20060122837A1 (en) * 2004-12-08 2006-06-08 Electronics And Telecommunications Research Institute Voice interface system and speech recognition method
JP4460528B2 (ja) * 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット
US20060136210A1 (en) * 2004-12-16 2006-06-22 Sony Corporation System and method for tying variance vectors for speech recognition
JP4204541B2 (ja) * 2004-12-24 2009-01-07 株式会社東芝 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US20060257830A1 (en) * 2005-05-13 2006-11-16 Chyi-Yeu Lin Spelling robot
JP5188977B2 (ja) * 2005-09-30 2013-04-24 アイロボット コーポレイション 個人の相互交流のためのコンパニオンロボット
JP4751192B2 (ja) * 2005-12-12 2011-08-17 本田技研工業株式会社 移動ロボット
US8484146B2 (en) * 2006-01-18 2013-07-09 Sony Corporation Interaction device implementing a bayesian's estimation
ES2359430T3 (es) * 2006-04-27 2011-05-23 Mobiter Dicta Oy Procedimiento, sistema y dispositivo para la conversión de la voz.
KR20090005238A (ko) * 2006-05-16 2009-01-12 무라타 기카이 가부시키가이샤 로봇
WO2007138741A1 (ja) * 2006-05-26 2007-12-06 Nec Corporation 音声入力システム、対話型ロボット、音声入力方法、および、音声入力プログラム
WO2007148493A1 (ja) * 2006-06-23 2007-12-27 Panasonic Corporation 感情認識装置
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4528295B2 (ja) * 2006-12-18 2010-08-18 株式会社日立製作所 案内ロボット装置及び案内システム
US20120264095A1 (en) * 2006-12-29 2012-10-18 Industrial Technology Research Institute Emotion abreaction device and using method of emotion abreaction device
US20080281766A1 (en) * 2007-03-31 2008-11-13 Mitchell Kwok Time Machine Software
US20080256008A1 (en) * 2007-03-31 2008-10-16 Mitchell Kwok Human Artificial Intelligence Machine
US7966093B2 (en) * 2007-04-17 2011-06-21 Yefim Zhuk Adaptive mobile robot system with knowledge-driven architecture
EP2140341B1 (en) * 2007-04-26 2012-04-25 Ford Global Technologies, LLC Emotive advisory system and method
JP5386692B2 (ja) * 2007-08-31 2014-01-15 独立行政法人情報通信研究機構 対話型学習装置
KR100976512B1 (ko) * 2007-12-17 2010-08-17 주식회사 신한은행 고객 인식 기반 맞춤형 금융상품 홍보 기능을 구비한뱅크로봇 및 뱅크로봇 운용 방법과 이를 위한 기록매체
US9165199B2 (en) * 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US7809664B2 (en) * 2007-12-21 2010-10-05 Yahoo! Inc. Automated learning from a question and answering network of humans
JP5075664B2 (ja) * 2008-02-15 2012-11-21 株式会社東芝 音声対話装置及び支援方法
JP4998364B2 (ja) * 2008-04-28 2012-08-15 オムロン株式会社 視線検出装置および方法、並びに、プログラム
KR20100086262A (ko) * 2009-01-22 2010-07-30 삼성전자주식회사 로봇 및 그 제어방법
JP5663201B2 (ja) * 2009-06-04 2015-02-04 本田技研工業株式会社 音源方向推定装置及び音源方向推定方法
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
JP2011186351A (ja) * 2010-03-11 2011-09-22 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8706298B2 (en) * 2010-03-17 2014-04-22 Raytheon Company Temporal tracking robot control system
FR2962048A1 (fr) * 2010-07-02 2012-01-06 Aldebaran Robotics S A Robot humanoide joueur, methode et systeme d'utilisation dudit robot
FR2963132A1 (fr) * 2010-07-23 2012-01-27 Aldebaran Robotics Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface
US8818556B2 (en) * 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction
US8594845B1 (en) * 2011-05-06 2013-11-26 Google Inc. Methods and systems for robotic proactive informational retrieval from ambient context
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
CN102830793B (zh) * 2011-06-16 2017-04-05 北京三星通信技术研究有限公司 视线跟踪方法和设备
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
US8918208B1 (en) * 2012-02-07 2014-12-23 Ryan Hickman Projection of interactive map data
KR101336641B1 (ko) * 2012-02-14 2013-12-16 (주) 퓨처로봇 감성 교감 로봇 서비스 시스템 및 그 방법
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
WO2013176758A1 (en) * 2012-05-22 2013-11-28 Intouch Technologies, Inc. Clinical workflows utilizing autonomous and semi-autonomous telemedicine devices
JP2015526309A (ja) * 2012-08-31 2015-09-10 リシンク ロボティクス インコーポレイテッド 安全ロボット動作のためのシステムおよび方法
JPWO2014073612A1 (ja) * 2012-11-08 2016-09-08 日本電気株式会社 会話文生成装置、会話文生成方法及び会話文生成プログラム
US9679553B2 (en) * 2012-11-08 2017-06-13 Nec Corporation Conversation-sentence generation device, conversation-sentence generation method, and conversation-sentence generation program
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US20170206064A1 (en) * 2013-03-15 2017-07-20 JIBO, Inc. Persistent companion device configuration and deployment platform
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9302393B1 (en) * 2014-04-15 2016-04-05 Alan Rosen Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes
EP2933065A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Humanoid robot with an autonomous life capability
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot
EP2933067B1 (en) 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
EP2952300A1 (en) * 2014-06-05 2015-12-09 Aldebaran Robotics Collision detection
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US20180009118A1 (en) * 2015-02-17 2018-01-11 Nec Corporation Robot control device, robot, robot control method, and program recording medium
CN104951808B (zh) * 2015-07-10 2018-04-27 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法
US10880470B2 (en) * 2015-08-27 2020-12-29 Accel Robotics Corporation Robotic camera system
US10265859B2 (en) * 2016-02-09 2019-04-23 Cobalt Robotics Inc. Mobile robot with removable fabric panels
JP2017144521A (ja) 2016-02-18 2017-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
JP6844124B2 (ja) * 2016-06-14 2021-03-17 富士ゼロックス株式会社 ロボット制御システム
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
JP6761598B2 (ja) * 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム
EP3338963B1 (en) 2016-12-23 2022-02-02 LG Electronics Inc. Guide robot
KR20180074403A (ko) 2016-12-23 2018-07-03 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
KR102660834B1 (ko) * 2016-12-23 2024-04-26 엘지전자 주식회사 안내 로봇
US11407116B2 (en) 2017-01-04 2022-08-09 Lg Electronics Inc. Robot and operation method therefor
KR20180096078A (ko) * 2017-02-20 2018-08-29 엘지전자 주식회사 모듈형 가정용 로봇
JP2019005842A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US10438587B1 (en) * 2017-08-08 2019-10-08 X Development Llc Speech recognition biasing
CN107450729B (zh) 2017-08-10 2019-09-10 上海木木机器人技术有限公司 机器人交互方法及装置
US10898999B1 (en) * 2017-09-18 2021-01-26 X Development Llc Selective human-robot interaction
US10453454B2 (en) * 2017-10-26 2019-10-22 Hitachi, Ltd. Dialog system with self-learning natural language understanding
US10649460B2 (en) * 2017-11-14 2020-05-12 Facebook, Inc. Interactive robots positionable for optimal interactions
US10923101B2 (en) * 2017-12-26 2021-02-16 International Business Machines Corporation Pausing synthesized speech output from a voice-controlled device
US10657951B2 (en) * 2017-12-26 2020-05-19 International Business Machines Corporation Controlling synthesized speech output from a voice-controlled device
US10593318B2 (en) * 2017-12-26 2020-03-17 International Business Machines Corporation Initiating synthesized speech outpout from a voice-controlled device
US11110608B2 (en) * 2017-12-29 2021-09-07 International Business Machines Corporation Robotic physical movement adjustment based on user emotional state
US20200341480A1 (en) * 2018-01-22 2020-10-29 Lg Electronics Inc. Operation method of moving robot
US10453265B1 (en) * 2018-04-05 2019-10-22 Page International—FZ—LLC Method and device for the virtual try-on of garments based on augmented reality with multi-detection

Also Published As

Publication number Publication date
CN111070214B (zh) 2023-04-14
KR20200046186A (ko) 2020-05-07
CN111070214A (zh) 2020-04-28
US20200122333A1 (en) 2020-04-23
EP3639986A1 (en) 2020-04-22
EP3639986B1 (en) 2023-08-30
US11285611B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
KR102228866B1 (ko) 로봇 및 그의 제어 방법
US10948913B2 (en) Method of identifying unexpected obstacle and robot implementing the method
KR102391914B1 (ko) 이동 로봇의 동작 방법
WO2019138834A1 (ja) 情報処理装置、情報処理方法、プログラム、およびシステム
US11697211B2 (en) Mobile robot operation method and mobile robot
US11731261B2 (en) Moving robot and operating method for the same
US20150336276A1 (en) Personal robot
US20210138654A1 (en) Robot and method for controlling the same
US20150062168A1 (en) System and method for providing augmented reality based directions based on verbal and gestural cues
US11330951B2 (en) Robot cleaner and method of operating the same
KR20190003121A (ko) 이동 로봇
JP5764795B2 (ja) 移動ロボット、移動ロボット用の学習システムおよび移動ロボットの行動学習方法
KR102660834B1 (ko) 안내 로봇
US11385643B2 (en) Artificial intelligence moving agent
KR102070213B1 (ko) 이동 로봇의 동작 방법
KR102639904B1 (ko) 공항용 로봇 및 그의 동작 방법
KR20190003124A (ko) 이동 로봇의 동작 방법
KR20190106866A (ko) 로봇 및 로봇에 의해 안내 서비스를 제공하는 방법
US11766779B2 (en) Mobile robot for recognizing queue and operating method of mobile robot
JP7317436B2 (ja) ロボット、ロボット制御プログラムおよびロボット制御方法
JP2017177228A (ja) サービス提供ロボットシステム
KR20190004986A (ko) 안내 로봇
US11548154B2 (en) Systems and methods for dimensionally-restricted robotic teleoperation
KR20190003125A (ko) 이동 로봇의 동작 방법
US11717955B2 (en) Robot system and method for controlling the same

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant