CN113423541B - 机器人的控制方法 - Google Patents
机器人的控制方法 Download PDFInfo
- Publication number
- CN113423541B CN113423541B CN201980092275.3A CN201980092275A CN113423541B CN 113423541 B CN113423541 B CN 113423541B CN 201980092275 A CN201980092275 A CN 201980092275A CN 113423541 B CN113423541 B CN 113423541B
- Authority
- CN
- China
- Prior art keywords
- user
- robot
- information
- mobile robot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000002131 composite material Substances 0.000 claims abstract description 10
- 230000033001 locomotion Effects 0.000 claims description 35
- 230000009471 action Effects 0.000 claims description 8
- 230000037237 body shape Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 46
- 238000004891 communication Methods 0.000 description 29
- 210000003128 head Anatomy 0.000 description 25
- 238000007726 management method Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 238000004140 cleaning Methods 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000033228 biological regulation Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003370 grooming effect Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40411—Robot assists human in non-industrial environment like home or office
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40414—Man robot interface, exchange of information between operator and robot
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Manipulator (AREA)
Abstract
本发明的一方式的机器人的控制方法,可以包括:接收包含试衣(fitting)服务请求的用户输入的步骤;判断在当前位置是否能够获取包含试衣服务中设定的身体特定部位的影像数据的步骤;若无法获取影像数据,则向能够获取影像数据的位置移动的步骤;若能够获取影像数据,则通过影像获取部扫描(scan)用户的身体的步骤;以及将用户界面屏幕显示在显示部的步骤,所述用户界面屏幕包含有将基于扫描结果生成的用户的替身角色和用户选择的衣服的图像进行合成的合成影像。
Description
技术领域
本发明涉及机器人及其控制方法,更详细而言涉及一种能够提供虚拟试衣服务的机器人及其控制方法。
背景技术
机器人被开发成工业用并一直以来承担着工厂自动化的一部分。最近,应用机器人的领域被进一步扩大,进而开发出医疗用机器人、宇宙航空机器人等,并且还制作有能够在一般家庭中使用的家庭用机器人。在这样的机器人中,将能够自主地行驶的机器人称为移动机器人。
随着机器人利用的增加,从单纯功能的反复执行演变到对于能够提供多样的信息、趣味、服务的机器人的需求呈增多的趋势。
由此,开发出配置在家庭、卖场、公共场所等并能够与人相互沟通的交流机器人。
并且,提示出利用能够自主地行驶的移动机器人的服务。例如,在先文献(韩国公开特许公报10-2008-0090150号,公开日2008年10月8日)中提示出在服务区域中移动并且能够提供与当前位置对应的服务的服务机器人和利用服务机器人的服务系统以及利用服务机器人的服务系统的控制方法。
但是,当前利用可移动的机器人来提供的服务的种类有限。因此,亟需开发出利用机器人具备的硬件、软件及移动性的多样的服务。
发明内容
所要解决的问题
本发明的目的在于提供一种能够提供虚拟试衣服务的机器人及其控制方法。
本发明的目的在于提供一种在使用户的移动最小化的情况下,还能够准确地判断用户的身体信息并生成替身的机器人及其控制方法。
本发明的目的在于提供一种能够利用反映用户的身体信息的替身来提供包含多样的信息的虚拟试衣服务的机器人系统及其控制方法。
解决问题的技术方案
为了实现所述或其他目的,本发明的一方式的机器人及其控制方法中,机器人能够边移动边方便地提供虚拟试衣服务。
为了实现所述或其他目的,本发明的一方式的机器人的控制方法可以包括:接收包含试衣(fitting)服务请求的用户输入的步骤;判断在当前位置是否能够获取包含试衣服务中设定的身体特定部位的影像数据的步骤;若无法获取影像数据,则向能够获取影像数据的位置移动的步骤;若能够获取影像数据,则通过影像获取部扫描(scan)用户的身体的步骤;以及将用户界面屏幕显示在显示部的步骤,所述用户界面屏幕包含有将基于扫描结果生成的用户的替身角色和用户选择的衣服的图像进行合成的合成影像。
并且,扫描步骤可以包括:拍摄用户的步骤;以用户为中心旋转移动的步骤;在移动之后拍摄用户的步骤;以及基于利用拍摄而获取的用户图像来判断用户的身体信息的步骤。
本发明的一方式的机器人可以包括:驱动部,用于移动本体;影像获取部,具有一个以上的照相机;语音输入部,接收用户的语音输入;显示部,接收用户的触摸输入;以及控制部,若通过语音输入部或显示部接收到包含试衣(fitting)服务请求的用户输入,则判断在当前位置是否能够获取包含试衣服务中设定的身体特定部位的影像数据;若无法获取影像数据,则控制所述驱动部以使所述机器人向能够获取影像数据的位置移动;若能够获取影像数据,则控制影像获取部以使其扫描(scan)用户的身体;控制在显示部显示用户界面屏幕,所述用户界面屏幕包含有将基于扫描结果生成的用户的替身角色和用户选择的衣服的图像进行合成的合成影像。
技术效果
根据本发明的实施例中的至少一种,能够提供虚拟试衣服务,从而能够提高使用便利性。
并且,根据本发明的实施例中的至少一种,在使用户的移动最小化的情况下,还能够准确地判断用户的身体信息并生成替身。
并且,根据本发明的实施例中的至少一种,能够利用反映用户的身体信息的替身来提供包含多样的信息的虚拟试衣服务。
并且,根据本发明的实施例中的至少一种,能够提供基于用户的试衣履历、购买履历的推荐服务。
另外,除此之外的多样的效果将在后述的本发明的实施例的详细的说明中直接地或暗示地披露。
附图说明
图1是本发明的一实施例的机器人系统构成图。
图2a和图2b是在与本发明的一实施例的机器人系统中包括的机器人服务交付平台(Robot Service Delivery Platform)相关的说明中作为参照的图。
图3是在与利用本发明的一实施例的机器人获取的数据(data)的学习(Learning)相关的说明中作为参照的图。
图4是本发明的一实施例的移动机器人的立体图。
图5是从底面观察本发明的一实施例的移动机器人的底面立体图。
图6是本发明的一实施例的移动机器人的侧视图。
图7是本发明的一实施例的移动机器人的显示器对齐的图。
图8是示出本发明的一实施例的移动机器人的主要结构元件间的控制关系的框图。
图9是示出本发明的一实施例的机器人的控制方法的流程图。
图10是示出本发明的一实施例的机器人的控制方法的流程图。
图11a至图20是在与本发明的实施例的机器人提供的虚拟试衣服务相关的说明中作为参照的图。
具体实施方式
以下参照附图对本发明的实施例进行详细的说明。但是,本发明并不限定于这样的实施例,而是也可以变形为多样的形态。
另外,以下说明中使用的结构元件相关的词尾“模块”及“部”仅单纯地考虑到容易地撰写本说明书而被赋予,其本身并未被赋予特别地重要的含义或作用。因此,所述“模块”及“部”也可以彼此混合使用。
并且,在本说明书中,为了说明多样的元件而可以利用第一、第二等术语,但是这样的元件并不限定于这样的术语。这样的术语仅是为了将一个元件与其他元件进行区别而使用。
图1是本发明的一实施例的机器人系统构成图。
参照图1,本发明的一实施例的机器人系统1可以具有一个以上的机器人100a、100b、100c1、100c2、100c3并在机场、酒店、超市、衣物卖场、物流、医院等多样的场所提供服务。例如,机器人系统1可以包括能够对于规定场所、物品、服务进行引导的引导机器人100a、在家庭等中与用户交互(interaction)并基于用户的输入来与其他机器人、电子设备进行通信的家庭机器人100b、能够搬运规定物品的配送机器人100c1、100c2、100c3、自主行驶并能够执行清扫作业的清扫机器人100d中的至少一种。
优选地,本发明的一实施例的机器人系统1可以包括复数个机器人100a、100b、100c1、100c2、100c3、100d以及能够管理并控制复数个机器人100a、100b、100c1、100c2、100c3的服务器10。
服务器10可以远程方式监控并控制复数个机器人100a、100b、100c1、100c2、100c3、100d的状态,机器人系统1可以利用复数个机器人100a、100b、100c1、100c2、100c3、100d来提供更加有效的服务。
更优选地,机器人系统1可以包括多样的种类的机器人100a、100b、100c1、100c2、100c3、100d。由此,不仅能够多样地提供各机器人提供的服务,而且还能够通过机器人的协作提供更加多样且便利的服务。
复数个机器人100a、100b、100c1、100c2、100c3、100d及服务器10可以具有支持一种以上的通信标准的通信单元(未图示)并进行相互通信。并且,复数个机器人100a、100b、100c1、100c2、100c3、100d及服务器10可以与PC、移动终端、外部的其他服务器进行通信。
例如,复数个机器人100a、100b、100c1、100c2、100c3、100d及服务器10可以利用消息队列遥测传输(MQTT,Message Queueing Telemetry Transport)方式进行通信。
或者,复数个机器人100a、100b、100c1、100c2、100c3、100d及服务器10可以利用超文本传输协议(HTTP,HyperText Transfer Protocol)方式进行通信。
并且,复数个机器人100a、100b、100c1、100c2、100c3、100d及服务器10可以利用HTTP或MQTT方式与PC、移动终端、外部的其他服务器进行通信。
根据情况,复数个机器人100a、100b、100c1、100c2、100c3、100d及服务器10支持两种以上的通信标准,并可以根据通信数据的种类、参与通信的设备的种类而使用最佳的通信标准。
服务器10实现为云(cloud)服务器,用户可以利用PC、移动终端等多样的设备来使用以通信方式连接的服务器10中存储的数据和服务器10提供的功能、服务。云10可以与机器人100a、100b、100c1、100c2、100c3、100d联动来监控、控制机器人100a、100b、100c1、100c2、100c3、100d,并且以远程方式提供多样的解决方案和内容。
用户可以通过PC、移动终端等来确认或控制与机器人系统内的机器人100a、100b、100c1、100c2、100c3、100d相关的信息。
在本说明书中,“用户”是利用通过至少一个机器人的服务的人,其可以包括购买或租赁机器人并在家庭等中使用的个人客户以及利用机器人向职员或客户提供服务的企业的管理员、职员和利用这样的企业提供的服务的客户。因此,“用户”可以包括个人客户(Business to Consumer:B2C)和企业客户(Business to Business:B2B)。
用户可以通过PC、移动终端等来监控机器人系统内的机器人100a、100b、100c1、100c2、100c3、100d的状态、位置,并且管理内容及作业日程。
另外,服务器10可以存储及管理从机器人100a、100b、100c1、100c2、100c3、100d、其他设备接收的信息。
所述服务器10可以是由机器人100a、100b、100c1、100c2、100c3、100d的制造商或制造商委托服务的公司提供的服务器。
另外,本发明的系统可以与两个以上的服务器联动并进行动作。
例如,所述服务器10可以与E1、E2等外部的云服务器20以及T1、T2、T3等提供内容(content)、服务的第三方30等进行通信。由此,所述服务器10可以与外部的云服务器20、第三方30联动并提供多样的服务。
所述服务器10可以是管理并控制机器人100a、100b、100c1、100c2、100c3、100d的管制服务器。
所述服务器10可以统一地相同地控制机器人100a、100b、100c1、100c2、100c3、100d,或者也可以按个别机器人进行控制。并且,服务器10可以对机器人100a、100b、100c1、100c2、100c3、100d中的至少一部分机器人设定群组后按群组进行控制。
另外,所述服务器10可以由复数个服务器分散信息、功能而构成,也可以由一个整合服务器构成。
所述服务器10可以由复数个服务器分散信息、功能而构成或由一个整合服务器构成来管理利用机器人的全体服务,因此,可以将其称为机器人服务交付平台(RobotService Delivery Platform:RSDP)。
图2a和图2b是在与本发明的一实施例的机器人系统中包括的机器人服务交付平台(Robot Service Delivery Platform)相关的说明中作为参照的图。
图2a例示出本发明的一实施例的机器人服务交付平台的通信架构(architecture)。
参照图2a,机器人服务交付平台10可以包括一个以上的服务器11、12,并且管理并控制引导机器人100a、清扫机器人100d等机器人100。
机器人服务交付平台10可以包括:管制服务器11,通过网页浏览器41、移动终端等应用程序42等来与客户端40侧进行通信,管理并控制机器人100;设备管理服务器12,中继并管理与机器人100相关的数据。
管制服务器11可以包括:管制/服务服务器11a,基于从客户端40接收的用户输入来监控机器人100的状态、位置,提供能够管理内容及作业日程的管制服务;以及管理员应用程序(admin app)服务器11b,管制管理员能够通过网页浏览器41等访问所述管理员应用程序服务器11b。
管制/服务服务器11a具有数据库DB,并能够响应于客户端40的机器人管理、控制、无线固件更新(Firmware Over The Air:FOTA)、位置查询等服务请求。
管理员应用程序服务器11b可以由管制管理员利用管理员权限访问,并能够管理与机器人相关的功能、应用程序、内容。
设备管理服务器12可以起到作为代理(proxy)服务器的作用,其存储与原数据相关的元数据,并执行利用用于表示存储装置的状态的快照(Snapshot)等的数据备份功能。
设备管理服务器12可以包括存储各种数据的存储器(storage)和与管制/服务服务器11a等进行通信的公共服务器(common server)。公共服务器可以将各种数据存储在存储器(storage)或从存储器调用数据,并且可以响应于管制/服务服务器11a的机器人管理、控制、无线固件更新、位置查询等服务请求。
并且,机器人100可以下载存储器中存储的地图数据、固件数据。
通过将管制服务器11和设备管理服务器12以分离的方式构成,将数据存储在存储器,并且无需将其再次传送,因此,在处理速度和时间方面上具有优点,并且在安全方面上也具有容易地实现有效的管理的优点。
另外,机器人服务交付平台10是提供机器人相关服务的服务器的集合,其可以表示图2a中除了客户端40和机器人100以外的全部。
例如,机器人服务交付平台10可以还包括管理用户帐户的用户管理服务器13。用户管理服务器13可以管理用户认证、注册、注销。
根据实施例,机器人服务交付平台10可以还包括提供地图(map)数据、基于地理信息的数据的地图服务器14。
从所述地图服务器14接收的地图数据等可以存储在管制服务器10和/或设备管理服务器12,并可以在机器人100下载所述地图服务器14的地图数据。或者,根据管制服务器11和/或设备管理服务器12的请求,可以从所述地图服务器14向所述机器人100发送地图数据。
机器人100及服务器11、12可以具有支持一种以上的通信标准的通信单元(未图示),从而进行相互通信。
参照图2a,机器人100及服务器11、12可以利用MQTT方式进行通信。MQTT方式是通过中介(broker)收发消息的方式,其在低功率、速度方面存在有优点。另外,当机器人服务交付平台10利用MQTT方式时,中介可以构筑在设备管理服务器12等。
并且,机器人100及服务器11、12支持两种以上的通信标准,并可以根据通信数据的种类、参与通信的设备的种类而使用最佳的通信标准。图2a中例示出利用MQTT方式的通信路径和利用HTML方式的通信路径。
另外,服务器11、12和机器人100之间的通信方法可以与机器人种类无关地使用MQTT方式。
机器人100可以通过MQTT会话将当前状态传送给服务器11、12,并从服务器11、12接收远程控制指令。为了进行MQTT连接,可能会需要(为了生成CSR而颁发的)个人密钥、机器人注册时收到的X.509认证书、设备管理服务器认证书等数字认证书,并且也可以使用其他认证方式。
图2a中以各服务器11、12、13、14执行的功能为基准进行了区分,因此,本发明并不限定于此,其可以是两种以上的功能通过一个服务器来执行,也可以是一种功能通过两个以上的服务器来执行。
图2b例示出本发明的一实施例的机器人服务交付平台的框图,其例示出与机器人管制相关的机器人管制平台的高层的应用程序。
参照图2b,机器人管制平台2可以包括用户界面2和管制/服务服务器11提供的功能/服务4。
机器人管制平台2可以提供基于网站的管制管理员用户界面3a和基于应用程序的用户界面3b。
客户端40可以通过自己使用的设备来利用机器人管制平台2提供的用户界面3b。
另外,参照图2b,管制/服务服务器11可以包括:共同部4a、4b,包括共同地适用于复数个机器人的功能及服务;以及专用部4c,包括与所述复数个机器人中的至少一部分相关的专用功能。
根据实施例,共同部4a、4b也可以被分为基本服务4a和共同功能4b。
共同部4a、4b可以包括能够确认机器人的状态的状态监控服务、能够诊断机器人的状态的诊断服务、能够以远程方式控制机器人的远程控制服务、能够追踪机器人的位置的机器人位置追踪服务、能够分配、确认、修改机器人的业务的日程管理服务、能够确认各种统计数据和分析报告的统计/报告服务等。
并且,共同部4a、4b可以包括管理机器人认证功能用户的权限的用户角色(Role)管理功能、运用履历管理功能、机器人管理功能、固件管理功能、与提醒推送(push)相关的推送功能、能够设定并管理机器人的群组的机器人群组管理功能、能够确认并管理地图数据、版本信息等的地图管理功能、公知事项管理功能等。
专用部4c可以由考虑到机器人运用的场所、服务的种类、客户的要求事项等的专用功能构成。专用部4c可以主要包括用于B2B客户的专用功能。例如,在清扫机器人100d的情况下,专用部4c可以包括清扫区域设定、按不同地点(site)的状态监控、清扫预约设定、清扫履历查询功能。
另外,专用部4c提供的专用功能可以基于共同地适用的功能及服务。例如,专用功能也可以通过修改基本服务4a或向基本服务4a追加规定服务而构成。或者,专用功能也可以通过修改共同功能4b的一部分而构成。
在此情况下,与专用部4c提供的专用功能对应的基本服务、共同功能也可以被去除或不激活。
图3是在与利用本发明的一实施例的机器人获取的数据(data)的学习(Learning)相关的说明中作为参照的图。
参照图3,利用机器人100等规定设备的动作来获取的产品数据(product data)可以传送给服务器10。
例如,机器人100可以向服务器10传送空间(space)、物体(Object)、使用(Usage)相关数据(Data)。
其中,空间(space)、物体(Object)相关数据可以是机器人100识别出的空间(space)和物体(Object)的识别相关数据,或者是对于影像获取部(参照图8的820)获取的空间(space)和物体(Object)的图像数据。
根据实施例,机器人100及服务器10可以包括被学习为用于识别用户、语音、空间的属性、障碍物等物体的属性中的至少一种的软件或硬件形态的人工神经网络(Artificial Neural Networks:ANN)。
根据本发明的一实施例,机器人100及服务器10可以包括以深度学习(DeepLearning)方式学习的卷积神经网络(CNN,Convolutional Neural Network)、递归神经网络(RNN,Recurrent Neural Network)、深度信念网络(DBN,Deep Belief Network)等深度神经网络(Deep Neural Network:DNN)。例如,在机器人100的控制部(参照图8的840)可以搭载有卷积神经网络(CNN,Convolutional Neural Network)等深度神经网络结构(DNN)。
服务器10可以基于从机器人100接收的数据、由用户输入的数据等来使深度神经网络(DNN)学习后,将更新的深度神经网络(DNN)结构数据传送给机器人100。由此,可以更新机器人100具有的人工智能(artificial intelligence)的深度神经网络(DNN)结构。
并且,使用(Usage)相关数据(Data)为根据规定产品例如机器人100的使用而获取的数据,可以有使用履历数据、传感器部(参照图7的170)获取的检测数据等。
被学习的深度神经网络结构(DNN)可以接收识别用输入数据,识别输入数据中包含的人、物体、空间的属性并输出其结果。
并且,所述被学习的深度神经网络结构(DNN)可以接收识别用输入数据,分析并学习机器人100的使用(Usage)相关数据(Data)来识别使用样态、使用环境等。
另外,空间(space)、物体(Object)、使用(Usage)相关数据(Data)可以通过通信部(参照图8的890)传送给服务器10。
服务器10可以基于接收的数据来使深度神经网络(DNN)学习后,将更新的深度神经网络(DNN)结构数据传送给机器人100进行更新。
由此,可以提供使机器人100逐渐变得更加聪明且越使用越进化的用户经验(UX)。
机器人100及服务器10还可以利用外部信息(external information)。例如,服务器10可以通过综合使用从其他关联服务服务器20、30获取的外部信息来提供优异的用户经验。
所述服务器10可以接收用户发出的语音输入信号并执行语音识别。为此,所述服务器10可以包括语音识别模块,语音识别模块可以包括被学习为对于输入数据执行语音识别来输出语音识别结果的人工神经网络。
根据实施例,所述服务器10可以包括用于语音识别的语音识别服务器。并且,语音识别服务器也可以包括语音识别过程中承担并执行规定过程的复数个服务器。例如,语音识别服务器可以包括:自动语音识别(Automatic Speech Recognition:ASR)服务器,接收语音数据并将接收的语音数据转换为文本(text)数据;以及自然语言处理(NaturalLanguage Processing:NLP)服务器,从所述自动语音识别服务器接收所述文本数据,对接收的文本数据进行分析来判断语音指令。根据情况,语音识别服务器可以还包括将自然语言处理服务器输出的文本语音识别结果转换为语音数据并发送给其他服务器或设备的文本语音转换(Text to Speech:TTS)服务器。
根据本发明,由于机器人100和/或服务器10能够执行语音识别,能够将用户语音使用作为用于控制机器人100的输入。
并且,根据本发明,通过使机器人100主动地首先提供信息或输出推荐功能、服务的语音,能够向用户提供更加多样且积极的控制功能。
并且,根据本发明的一实施例,机器人100可以提供虚拟试衣服务。更优选地,通过使可以自主地移动的移动机器人提供虚拟试衣服务,能够更加准确地判断用户的身体信息,并提供简便的虚拟试衣服务。例如,本发明的一实施例的移动机器人可以是能够对于特定场所、物品、服务进行引导并提供多样的服务的引导机器人100a。以下,以引导机器人100a提供虚拟试衣服务的实施例为中心进行说明。
图4是本发明的一实施例的移动机器人的立体图,图5是从底面观察本发明的一实施例的移动机器人的底面立体图,图6是本发明的一实施例的移动机器人的侧视图。
参照图4至图6,本发明的一实施例的移动机器人100a可以包括形成外观且在其内部容置各种部件的本体10a。
所述本体10a在上下方向上长度细长地形成,其可以整体上具有从下部越向上部方向越纤细的不倒翁形状。
所述本体10a可以包括形成所述移动机器人100a的外观的外壳30a。所述外壳30a可以包括:配置在上侧的顶盖31a;配置在所述顶盖31a的下侧的第一中间盖32a;配置在所述第一中间盖32a的下侧的第二中间盖33a;以及配置在所述第二中间盖33a的下侧的底盖34a。其中,所述第一中间盖32a和所述第二中间盖33a可以由一个中间盖构成。
所述顶盖31a位于所述移动机器人100a的最上端,并可以具有半球或圆顶(dome)形状。为了容易地接收用户输入的指令,所述顶盖31a可以位于比成人的身高更低的高度。此外,所述顶盖31a可以构成为能够旋转规定角度。
另外,所述顶盖31a配置在移动机器人100a的最上端,在其内部容置各种部件,从而具有与人的头(head)相似的形状和功能并可以承担与用户的交互(interaction)。因此,所述顶盖31a和在其内部布置的部件可以被称为头(head)。并且,在所述顶盖31a的内部容置或配置在外部的部件的结构元件可以被称为头部。另外,配置在所述头的下侧的其余部分可以被称为主体(body)。
所述顶盖31a可以在正面一侧包括操作部311。所述操作部311可以执行从用户接收指令的功能。为此,所述操作部311可以包括用于接收用户的触摸输入的显示器312。
可以将配置在所述操作部311的显示器312称为第一显示器或头显示器312,将配置在主体的显示部20a中包括的显示器称为第二显示器或主体显示器21a。
所述头显示器312可以与触摸板相互构成层结构而构成为触摸屏。在此情况下,所述头显示器312除了输出装置以外,还可以作为能够输入基于用户的触摸的信息的输入装置来使用。
并且,为使用户边往下看所述头显示器312边容易地进行操作,所述操作部311可以按预定角度朝向上侧。例如,所述操作部311可以配置在所述顶盖31a的一部分被截断而形成的面。由此,所述头显示器312可以倾斜地配置。
并且,所述操作部311可以整体上具有圆形或椭圆形的外形。这样的所述操作部311可以与人的脸形状相似地实现。
作为一例,所述操作部311具有圆形形状,在所述操作部311上可以布置有用于表现人的眼、鼻、嘴、眉等的一个以上的结构物。
即,在所述操作部311上可以为了表现人的眼、鼻、嘴、眉等而配置有特定结构物,或者可以涂有特定涂料。因此,所述操作部311具有人的脸形状,从而能够向用户提供感性的感觉。进一步,在具有人的脸形状的机器人行驶的情况下,可以提供犹如人移动一样的感觉,从而能够消除对机器人的抗拒感。
作为另一例,在所述头显示器312上可以显示用于表现人的眼、鼻、嘴、眉等的一个以上的图像。
即,在所述头显示器312上不仅显示与引导服务、虚拟试衣服务相关的信息以外,还可以显示用于表现人的脸形状的多样的图像。此外,在所述头显示器312上还可以显示用于在预定时间间隔或特定时刻表现设定的脸表情的图像。
另外,以图4为基准,将所述主体显示器21a所朝的方向定义为“后方”。此外,将“后方”的相反方向定义为“前方”。
并且,所述操作部311可以配置有用于识别人和物体的头照相机部313。
所述头照相机部313可以配置在所述头显示器312的上侧。所述头照相机部313可以包括2D照相机313a及RGBD传感器313b、313c。
所述2D照相机313a可以是用于基于二维影像来识别人或物体的传感器。
并且,所述RGBD传感器313b、313c(Red,Green,Blue,Distance)可以是用于获取人的位置或脸图像或身体图像的传感器。所述RGBD传感器313b、313c可以是用于利用从具有RGBD传感器的照相机或其他相似的3D成像装置获取的具有深度(Depth)数据的被捕捉的图像来检测人或物体的传感器。并且,所述RGBD传感器313b、313c可以拍摄位于规定距离以内的用户并扫描用户的身体。
为了准确地检测人的位置或脸图像或身体图像,所述RGBD传感器313b、313c可以构成为复数个。作为一例,所述RGBD传感器313b、313c可以构成为两个,并分别配置在所述2D照相机313a的左侧及右侧。
所述头照相机部313可以由RGBD照相机传感器等3D可视传感器构成,可以检测规定距离以内的人的存在与否、在引导模式下的引导对象的存在与否、人与移动机器人100a的距离、人的移动速度、用户的身体信息等。
另外,虽未图示,所述操作部311可以还包括用于直接接收用户输入的指令的物理键。
并且,所述顶盖31a可以还包括麦克风314。
所述麦克风314可以执行用于接收用户输入的音频信号的指令的功能。作为一例,为了从用户准确地接收语音指令,所述麦克风314可以在所述顶盖31a的上端部某个地点形成在四个位置。由此,即使在所述移动机器人100a行驶中或所述顶盖31a旋转中,也能够准确地接收来自用户的语音的服务请求。
在本发明的一实施例中,在所述移动机器人100a行驶中时,所述顶盖31a可以旋转以使所述操作部311朝向行驶方向。此外,当在所述移动机器人100a行驶中从用户接收到指令(例:语音指令等)时,所述顶盖31a可以旋转以使所述操作部311朝向用户所处的方向。
与此不同地,当在所述移动机器人100a行驶中从用户接收到指令时,所述顶盖31a可以向与所述移动机器人100a的行驶方向相反的方向旋转。即,所述顶盖31a可以向所述主体显示部20a所朝的方向旋转。由此,用户可以边看所述主体显示部20a上显示的引路服务信息等边有效地操作所述操作部311。
图7是本发明的一实施例的移动机器人100a的显示器312、20a对齐的图。
参照图7,在交互(interaction)状态下从用户接收指令或待机中时,移动机器人100a使显示器312、20a沿着一方向对齐,从而使用户或公共场所的利用者能够更容易地看到两个显示器312、20a上显示的信息。
交互状态可以有移动机器人100a向规定用户提供语音引导、菜单画面等,或者从用户接收触摸、语音输入,或者服务提供中的情况等。
另外,所述操作部311和所述主体显示部20a所朝的方向可以彼此相反。在这样的情况下,例如所述操作部311可以朝一方向,所述显示部20a朝与一方向为相反的另一方向,因此,具有能够从两方向看到所述操作部311或所述主体显示部20a上显示的信息的优点。
优选地,在所述移动机器人100a行驶中或停止的状态下,所述操作部311和所述主体显示部20a所朝的方向可以不同。
例如,在所述移动机器人100a行驶中的情况下,如图4所例示,所述操作部311和所述主体显示部20a所朝的方向可以彼此相反。
并且,在所述移动机器人100a为待机中的情况下,如图7所例示,所述操作部311和所述主体显示部20a所朝的方向可以彼此相同。
并且,所述顶盖31a可以还包括紧急操作键315。在所述移动机器人100a停止或行驶中时,所述紧急操作键315可以执行立即停止所述移动机器人100a的运转的功能。作为一例,所述紧急操作键315可以位于所述移动机器人100a的后方,从而即使所述移动机器人100a朝前方行驶,也能够容易地操作所述紧急操作键315。
所述第一中间盖32a可以配置在所述顶盖31a的下侧。在所述第一中间盖33的内部可以布置包括基板的各种电子部件。此外,所述第一中间盖32a可以具有从上部越向下部方向其直径越大的圆筒形状。
更优选地,所述第一中间盖32a可以包括RGBD传感器321。
在所述移动机器人100a行驶中时,所述RGBD传感器321可以执行感测所述移动机器人100a与障碍物之间的碰撞的功能。为此,所述RGBD传感器321可以位于所述移动机器人100a行驶的方向,即所述第一中间盖32a的前方。作为一例,所述RGBD传感器321可以考虑到所述移动机器人100a的前方存在的障碍物或人的身高而位于所述第一中间盖32a的上端部。但是本发明并不限定于此,所述RGBD传感器321可以配置在所述第一中间盖32a的前方的多样的位置。
根据实施例,所述RGBD传感器321可以由3D可视传感器构成,并可以检测在规定距离以内的人的存在与否、在引导模式下的引导对象的存在与否、人与移动机器人100a的距离、人的移动速度等。并且,所述RGBD传感器321可以拍摄位于规定距离以内的用户并扫描用户的身体。
根据实施例,在所述第一中间盖32a可以未配置有RGBD传感器321,并且RGBD传感器321的功能也由头照相机部313执行。
并且,所述第一中间盖32a可以还包括扬声器孔322。
所述扬声器孔322可以是用于将扬声器中产生的声音向外部传递的孔。所述扬声器孔322可以形成在所述第一中间盖32a的外周面,并可以形成为单数个。但是与此不同地,所述扬声器孔322可以形成为复数个,并在所述第一中间盖32a的外周面彼此隔开地形成。
并且,所述第一中间盖32a可以还包括立体照相机孔323。
所述立体照相机孔323可以是用于所述本体10a的内部设置的立体照相机(未图示)的运转的孔。作为一例,所述立体照相机孔323可以形成在所述第一中间盖32a的前方下端。由此,所述立体照相机可以通过所述立体照相机孔323拍摄所述移动机器人100a的前方区域。
所述第二中间盖33a可以配置在所述第一中间盖32a的下侧。在所述第二中间盖33a的内部可以布置有电池和用于自主行驶的激光雷达等。与所述第一中间盖32a相同地,所述第二中间盖33a可以具有从上部越向下部方向其直径越大的圆筒形状。此外,所述第二中间盖33a的外侧可以与所述第一中间盖32a的外侧以不形成台阶的方式连接。即,由于所述第二中间盖33a的外侧和所述第一中间盖32a的外侧可以光滑地连接,能够使其外观显得美观。
并且,由于所述第一中间盖32a和所述第二中间盖33a具有从上部越向下部方向其直径越大的圆筒形状,其整体上可以具有不倒翁形状。因此,在所述本体10a与人或障碍物碰撞的情况下,能够缓解所产生的冲击。
详细而言,所述第二中间盖33a可以包括第一切开部331。
所述第一切开部331可以从所述第二中间盖33a的外周面的前方到侧方的范围内形成。所述第一切开部331是所述第二中间盖33a中被切开的部分,以使后述的前方激光雷达136能够进行动作。
具体而言,所述第一切开部331可以从所述第二中间盖33a的前方外周面向径向按规定长度被切开。其中,所述前方激光雷达136位于所述第二中间盖33a的内部。此外,所述第一切开部331可以从与所述前方激光雷达136的位置对应的所述第二中间盖33a的外周面沿着所述第二中间盖33a的周缘切开而形成。即,所述第一切开部331和所述前方激光雷达136可以彼此面对。因此,所述前方激光雷达136可以利用所述第一切开部331向外部露出。
作为一例,所述第一切开部331可以从所述第二中间盖33a的前方沿着周缘按270度大小被切开。需要将所述第一切开部331形成在所述第二中间盖33a的理由在于防止从所述前方激光雷达136发出的激光直接照射到成人的眼睛或儿童的眼睛。
并且,所述第二中间盖33a可以还包括第二切开部332。
所述第二切开部332可以从所述第二中间盖33a的外周面的后方到侧方的范围内形成。所述第二切开部332是所述第二中间盖33a中被切开的部分,以使后述的后方激光雷达118能够进行动作。
具体而言,所述第二切开部332可以从所述第二中间盖33a的后方外周面向径向按规定长度被切开。其中,所述后方激光雷达118位于所述第二中间盖33a的内部。此外,所述第二切开部332可以在与所述后方激光雷达118的位置对应的地点沿着所述第二中间盖33a的周缘切开而形成。因此,所述后方激光雷达118可以利用所述第二切开部332向外部露出。作为一例,所述第二切开部332可以从所述第二中间盖33a的后方沿着周缘按130度大小被切开。
在本实施例中,所述第一切开部331可以与所述第二切开部332在上下方向上隔开而彼此不连接。此外,所述第一切开部331可以位于比所述第二切开部332更上侧的位置。
如果所述第一切开部331和所述第二切开部332位于同一线上时,从一个移动机器人的激光雷达发出的激光可能会照射到另一个移动机器人的激光雷达。此时,从各个移动机器人的激光雷达发出的激光引起相互干扰,从而可能不易进行准确的距离检测。在这样的情况下,由于将无法检测移动机器人与障碍物的距离,将不易进行正常的行驶,并可能会引起移动机器人与障碍物碰撞的问题。
并且,在所述第二中间盖33a可以还配置有超声波传感器333。
所述超声波传感器333可以是用于利用超声波信号来测量障碍物与所述移动机器人100a之间的距离的传感器。所述超声波传感器333可以执行用于感测与所述移动机器人100a接近的障碍物的功能。
作为一例,所述超声波传感器333可以构成为复数个,从而能够感测与所述移动机器人100a接近的所有方向的障碍物。此外,所述复数个超声波传感器333可以沿着所述第二中间盖33a的下端周缘彼此隔开地布置。
所述底盖34a可以配置在所述第二中间盖33a的下侧。在所述底盖34a的内部可以布置有轮112及脚轮112a等。此外,与所述第一中间盖32a及所述第二中间盖33a不同地,所述底盖34a可以具有从上部越向下部方向其直径越小的圆筒形状。即,所述本体10a整体上具有不倒翁形状,从而减少机器人的碰撞时被施加的冲击量,并且所述本体10a的下端部具有向内侧凹入的结构,从而能够防止人的脚被机器人的轮卡住的情形。
详细而言,在所述底盖34a的内侧可以布置有底座111。
所述底座111可以形成所述移动机器人100a的底部面。
此外,在所述底座111可以设置有用于所述移动机器人100a的行驶的轮112。所述轮112可以在所述底座111的左侧及右侧分别布置有一个。
并且,在所述底座111可以设置有用于辅助所述移动机器人100a的行驶的脚轮112a。其中,所述脚轮112a可以构成为复数个,从而用于所述移动机器人100a的手动移动。作为一例,所述脚轮112a可以在所述底座111的前方及后方分别布置有两个。
根据上述的脚轮结构,在所述移动机器人100a的电源关闭或需要以手动方式移动所述移动机器人100a的情况下,具有不费较大的力便能够推动所述移动机器人100a以使其移动的优点。
在所述底盖34a可以配置有各个包括一个以上的发光二极管(LED)的发光模块40a,发光模块40a中的至少一个可以根据移动机器人的工作状态而开启或关闭。例如,发光模块40a中的至少一个可以根据移动机器人的工作状态而输出规定颜色的光或按规定周期闪烁。并且,发光模块40a中的两个以上的发光模块可以根据移动机器人的工作状态而按规定样态输出光。
发光模块40a可以分别包括作为光源的一个以上的发光二极管。在光源具有复数个的情况下,为了供应均匀地光,复数个光源可以彼此具有预定的间距(Pitch)的方式排列。可以考虑光度来设定光源的数目和间距。并且,复数个光源的颜色可以都是白色,也可以将相邻的光源的颜色彼此混色而输出白色。
光源不仅包括发光二极管为一个的单体的情况以外,还可以包括复数个发光二极管彼此靠近地配置的集合体的情况。并且,例如还可以包括作为光的三原色的红色、蓝色、绿色的发光二极管彼此靠近地配置的情况。
优选地,所述发光模块40a可以沿着所述底盖34a的周缘配置。例如,可以在水平方向上包围所述底盖34a的周缘的任意的圆上布置所述发光模块40a。
通过将所述发光模块40a配置在作为移动机器人100a的下端的所述底盖34a,其可以配置在远低于人眼的高度的位置。由此,当所述发光模块40a持续地输出特定光或闪烁时,人们可以较少地感到耀眼。
通过使所述发光模块40a在水平方向上以包围所述底盖34a的周缘的方式配置,人们在360度任意方向上均能够看到从所述发光模块40a输出的光。
通过将所述发光模块40a配置在所述底盖34a,其与显示规定影像的大屏幕的主体显示器21a隔开规定距离。由此,能够防止所述发光模块40a的输出光和主体显示器21a的输出影像降低彼此的识别性的情形。
并且,所述发光模块40a可以具有复数个行(row)并以多段的方式配置。由此,能够更加提高所述发光模块40a输出的光的识别性。
例如,所述发光模块40a可以按具有彼此不同的长度的三个行41a、42a、43a配置。在此情况下,在所述三个行41a、42a、43a中,位于最下端的行41a的长度可以最短。
更优选地,所述发光模块40a可以具有复数个行(row)和列(column)的方式配置。例如,所述发光模块40a可以按三个行41a、42a、43a配置,并且各行41a、42a、43a可以包括能够独立地控制的复数个发光模块。由此,发光模块40a可以具有复数个行(row)和列(column),当展开整个发光模块40a时,其可以M*N的矩阵(matrix)形态配置。
所述主体显示部20a可以在所述移动机器人100a的一侧沿着上下方向细长地形成。
详细而言,所述主体显示部20a可以包括主体显示器21a、支撑部22a。
所述主体显示器21a可以位于所述第一中间盖32a的后方。所述主体显示器21a可以执行输出与当前提供中的服务相关的视觉信息(例:机场登机口询问信息、引路服务信息等)的功能。
并且,所述主体显示器21a可以构成为具有向外侧按规定曲率弯曲的形状的曲面显示器。即,所述主体显示器21a可以整体上具有凹入的形状。此外,所述主体显示器21a可以具有从上部越向下部方向其越向后方倾斜的形状。换言之,所述主体显示器21a可以形成为,从上部越向下部方向其越从所述外壳30a远离。
根据上述的显示部结构,具有不仅在与所述移动机器人100a远离的位置上能够较好地看到所述主体显示器21a上显示的信息,而且在多样的角度上均不会失真地显示所述主体显示器21a上显示的信息的优点。
并且,根据本发明的实施例,所述移动机器人100a可以为了向用户引路而首先沿着设定的路径移动。然后,用户可以边随着所述移动机器人100a移动边看所述移动机器人100a的后方设置的主体显示部20a。即,即使所述移动机器人100a为了引路而行驶,用户也可以边跟随所述移动机器人100a边容易地看到所述主体显示部20a上显示的信息。
并且,所述主体显示器21a的上端可以延伸至所述第一中间盖32a的上端,所述主体显示器21a的下端可以延伸至所述第二切开部332。在本实施例中,所述主体显示器21a的下端需要形成为避免其越过所述第二切开部332。如果所述主体显示器21a以遮挡所述第二切开部332的方式形成时,从所述后方激光雷达118发出的激光将与所述主体显示器21a的下端碰撞。由此,可能会引起所述移动机器人100a无法进行与位于后方的障碍物的距离检测的问题。
另外,支撑部22a可以执行保持所述主体显示器21a位于所述第一中间盖32a的后方的功能。所述支撑部22a可以从所述主体显示部21的背面延伸形成。所述支撑部22a可以从所述主体显示器21a的背面沿着上下方向细长地形成,并且可以从上部越向下部方向越凸出。
并且,所述支撑部22a可以贯穿所述第一中间盖32a的后方并插入到所述第一中间盖32a内部。为此,在所述第一中间盖32a的后方可以形成有供所述支撑部22a能够贯穿的贯通孔(未图示)。所述贯通孔可以由所述第一中间盖32a的外周面后方一部分被切开而形成。
此外,所述主体显示部20a可以利用额外的固定构件138固定在所述本体10a的内部。
在所述本体10a的内部可以提供有用于将所述主体显示部20a固定在所述本体10a的固定构件138。所述固定构件138的一侧可以固定在所述本体10a,另一侧固定在所述主体显示部20a。为此,所述固定构件138的另一侧可以贯穿所述贯通孔并向所述外壳30a的外部凸出。即,在所述贯通孔内可以一同布置有所述支撑部22a和所述固定构件138。
在本实施例中,所述主体显示部20a可以利用紧固单元紧固在所述固定构件138。此时,所述主体显示部20a的支撑部22a可以放置在所述固定构件138的上侧。换言之,在所述固定构件138的上侧放置所述支撑部22a,所述固定构件138的一部分可以与所述主体显示部20a的一部分固定。利用这样的显示部固定结构,所述主体显示部20a能够稳定地位于所述第一中间盖32a的后方。
并且,所述主体显示部20a可以还包括票券(ticket)投放口50a。本实施例中示出所述票券投放口50a配置在所述主体显示部20a的例,但是本发明并不限定于此,所述票券投放口50a也可以配置在移动机器人100a的其他部位。
另外,移动机器人100a可以具有扫描向所述票券投放口50a投放的票券的扫描器(未图示),扫描器可以根据控制部840的控制而被激活。
根据本发明的一实施例,当向所述票券投放口50a投放优惠券、机票、行李票等票券时,移动机器人100a内部具有的扫描器可以扫描票券中包含的条形码、QR码等。
并且,移动机器人100a可以在主体显示器21a显示扫描结果,并向用户提供与扫描结果对应的信息等。
另外,所述主体显示部20a可以还包括用于服务对象的识别及追踪的主体照相机部25a。
所述主体照相机部25a可以由RGBD照相机传感器等3D可视传感器构成,并可以检测在规定距离以内的人的存在与否、在引导模式下的引导对象的存在与否、人与移动机器人100a的距离、人的移动速度等。
根据实施例,移动机器人100a也可以不包括所述主体照相机部25a,而是还包括配置在其他部位的引导对象识别及追踪用传感器。
图8是示出本发明的一实施例的移动机器人的主要结构元件间的控制关系的框图。
参照图8,本发明的一实施例的移动机器人100a可以包括:语音输入部825,通过麦克风314接收用户的语音输入;存储部830,存储各种数据;通信部890,与服务器10等其他电子设备收发数据;发光部850,包括向外部输出光的一个以上的发光模块;控制部840,控制移动机器人100a的整体动作。
语音输入部825可以包括将模拟声音转换为数字数据的处理部或与处理部连接,从而将用户输入语音信号进行数据化以供控制部840或服务器10能够识别。
控制部840控制构成移动机器人100a的语音输入部825、存储部830、发光部850、通信部890等,从而能够控制移动机器人100a的整体上的动作。
存储部830用于记录移动机器人100a的控制所需的各种信息,其可以包括易失性或非易失性存储介质。存储介质存储能够被微处理器(micro processor)读取的数据,其可以包括硬盘驱动器(Hard Disk Drive,HDD)、固态硬盘(Solid State Disk,SSD)、硅磁盘驱动器(Silicon Disk Drive,SDD)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。
并且,存储部830可以存储移动机器人100a提供引导服务、试衣服务等时所需的各种数据。
并且,控制部840可以通过通信部890将移动机器人100a的工作状态或用户输入等传送给服务器等。
通信部890包括至少一个通信模块,从而使移动机器人100a连接到因特网或规定的网络。
另外,存储部830中可以存储用于语音识别的数据,所述控制部840可以处理通过语音输入部825接收的用户的语音输入信号并执行语音识别过程。
另外,控制部840可以控制为,基于语音识别结果来使移动机器人100a执行规定动作。
例如,在语音信号中包含的指令为请求规定信息的指令的情况下,控制部840可以控制为将规定信息显示在显示部810。
并且,当有用户的引导请求时,控制部840可以控制为护送(escort)用户到用户选择的引导目的地。
并且,当有用户的虚拟试衣服务请求时,控制部840可以控制为扫描用户的身体并提供虚拟试衣服务。
另外,语音识别过程可以在服务器10中执行,而不是在移动机器人100a自身中实施。
在此情况下,控制部840可以控制通信部890以将用户输入语音信号发送给所述服务器,并通过通信部890从所述服务器接收对于所述语音信号的识别结果。
或者,调用语识别等简单的语音识别可以由移动机器人100a执行,自然语言处理等高层次的语音识别由服务器执行。
另外,移动机器人100a可以包括以影像方式显示规定信息的显示部810和以音响方式输出规定信息的音响输出部880。
显示部810可以影像方式显示与用户的请求输入对应的信息、与用户的请求输入对应的处理结果、工作模式、工作状态、出错状态等。
如以上参照图4至图7所述,所述显示部810可以包括头显示器312和主体显示器21a。由于所述主体显示器21a相对于所述头显示器312实现为大屏幕,更优选地在所述主体显示器21a以大屏幕的方式显示信息。
并且,音响输出部880可以根据控制部840的控制而以音响方式输出警告音、工作模式、工作状态、出错状态等提示消息、与用户的请求输入对应的信息、与用户的请求输入对应的处理结果等。音响输出部880可以将来自控制部840的电信号转换为音频信号并输出。为此,其可以具有扬声器等。
另外,移动机器人100a可以包括能够拍摄规定范围的影像获取部820。
影像获取部820用于拍摄移动机器人100a周边、外部环境等,其可以包括照相机模块。这样的照相机也可以为了拍摄效率而按不同的各部位设置有多个。
例如,如以上参照图4至图7所述,所述影像获取部820可以包括用于识别人和物体的头照相机部313和用于引导对象的识别及追踪的主体照相机部25a。但是,影像获取部820具有的照相机的数目、布置、种类、拍摄范围并非必须限定于此。
影像获取部820可以拍摄用户识别用影像、虚拟试衣服务用影像。控制部840可以基于所述影像获取部820拍摄并获取的影像来判断外部状况,或者识别用户并判断用户的身体信息。
并且,所述控制部840可以控制为,基于所述影像获取部820拍摄并获取的影像来使移动机器人100a行驶。
另外,所述影像获取部820拍摄并获取的影像可以存储在存储部830。
另外,移动机器人100a可以包括用于移动的驱动部860,所述驱动部860可以根据控制部840的控制来移动本体10a。
驱动部860包括使移动机器人100a的本体10a移动的至少一个驱动轮112。驱动部860可以包括连接在驱动轮112并旋转驱动轮的驱动马达(未图示)。驱动轮112可以分别设置在本体10a的左、右侧,以下将其分别称为左轮和右轮。
左轮和右轮可以利用一个驱动马达驱动,但是根据需要也可以分别设置有驱动左轮的左轮驱动马达和驱动右轮的右轮驱动马达。可以通过在左轮和右轮的旋转速度上留有差异来向左侧或右侧转换本体10a的行驶方向。
另外,移动机器人100a可以包括传感器部870,所述传感器部870包括检测与移动机器人100a的动作、状态相关的各种数据的传感器。
所述传感器部870可以包括感测障碍物的障碍物感测传感器,所述障碍物感测传感器可以包括红外线传感器、超声波传感器、RF传感器、地磁传感器、位置敏感(PSD,Position Sensitive Device)传感器等。例如,所述障碍物感测传感器可以有以上参照图4至图7所述的超声波传感器333、RGBD传感器321等。
并且,所述传感器部870可以还包括感测行驶区域内的地面上悬崖的存在与否的悬崖感测传感器113。
根据实施例,所述传感器部870可以还包括感测通过麦克风314获取的声音的大小的传感器,由此,可以检测用户发出的语音的大小、周边噪音的大小。
或者,无需还包括额外的传感器,而是可以由语音输入部825在通过麦克风314获取的信号的处理过程中判断用户的语音、周边噪音的大小。
并且,所述传感器部870可以包括激光雷达(light detection and ranging:Lidar)136、118。
激光雷达136、118能够以激光(Laser)为媒介,基于发送信号和接收信号的飞行时间(TOF,Time of Flight)或发送信号和接收信号的相位差(phase difference)来检测障碍物等对象。
并且,所述激光雷达132a、132b可以检测与对象的距离、与对象的相对速度及对象的位置。
所述激光雷达132a、132b可以被配置为所述障碍物感测传感器的结构元件中的一部分。并且,所述激光雷达132a、132b也可以被配置为用于地图(map)制作的传感器。
另外,所述障碍物感测传感器感测移动机器人的行驶(移动)方向上存在的物体(尤其是,障碍物)并将障碍物信息传送给控制部840。此时,控制部840可以根据感测出的障碍物的位置来控制移动机器人100a的移动。
另外,所述传感器部870可以还包括:动作感测传感器,感测与本体101的驱动对应的移动机器人100a的动作并输出动作信息。例如,作为动作感测传感器,可以使用陀螺仪传感器(Gyro Sensor)、轮传感器(Wheel Sensor)、加速度传感器(Acceleration Sensor)等。
当移动机器人100a根据运转模式移动时,陀螺仪传感器感测旋转方向并检测旋转角。陀螺仪传感器检测移动机器人100a的角速度并输出与角速度成正比的电压值。控制部840利用从陀螺仪传感器输出的电压值来算出旋转方向及旋转角。
轮传感器连接在左轮和右轮并感测轮的转数。其中,轮传感器可以是旋转编码器(Rotary Encoder)。旋转编码器感测左轮和右轮的转数并输出。
控制部840可以利用转数来计算左、右侧轮的旋转速度。并且,控制部840可以利用左轮和右轮的转数差来计算旋转角。
加速度传感器感测移动机器人100a的速度变化,例如,与出发、停止、方向转换、与物体的碰撞等对应的移动机器人100a的变化。加速度传感器贴附在主轮或辅助轮的邻近的位置,并可以检测轮的打滑或空转。
并且,加速度传感器可以内置在控制部840并感测移动机器人100a的速度变化。即,加速度传感器检测与速度变化对应的冲击量,并输出与之对应的电压值。由此,加速度传感器可以执行电子式保险杠的功能。
控制部840可以基于从动作感测传感器输出的动作信息来算出移动机器人100a的位置变化。这样的位置将与利用影像信息的绝对位置对应地成为相对位置。移动机器人可以通过这样的相对位置识别来提高利用影像信息和障碍物信息的位置识别的性能。
发光部850可以包括复数个发光模块。例如,如参照图4至图7所述,发光部850可以包括复数个发光模块40a,各个所述发光模块40a包括一个以上的发光二极管(LED)。
并且,复数个所述发光模块40a可以配置在所述底盖34a,复数个发光模块40a可以根据控制部840的控制进行动作。
例如,控制部840可以控制为,使复数个发光模块40a中的至少一个根据移动机器人的工作状态来输出规定颜色的光或按规定周期闪烁。并且,控制部840可以控制为,使复数个发光模块40a中的两个以上的发光模块根据移动机器人的工作状态来按规定样态输出光。
所述发光部850的各个发光模块40a可以包括一个以上的光源。例如,各个发光模块40a可以包括一个以上的发光二极管(Light Emitting Diode,LED)。
已有的模拟方式的照明在精确地控制照度上存在有局限,而发光二极管(LED)可以通过调节施加的电流量和驱动脉冲的宽度来精确地调节照度。并且,在将R、G、B颜色的发光二极管(LED)组合设置的情况下,能够提供特定颜色的光,并能够容易地调节色温。
发光二极管(LED)也可以是红色(Red)、蓝色(Blue)、绿色(Green)以及白色(White)等单色发光二极管(LED)。根据实施例,发光二极管(LED)也可以是能够再现复数个颜色的多色发光二极管(LED)。
并且,所述发光模块40a可以包括复数个发光二极管(LED),复数个发光二极管(LED)可以均发出白色光并提供白色的照明,可以将红色(Red)、蓝色(Blue)、绿色(Green)发光二极管(LED)进行组合来提供特定颜色的照明或白色的照明。
例如,所述发光模块40a可以输出表示正常工作状态的第一颜色(White)的光、表示临时停止状态的第二颜色(Yellow)的光、表示停止、出错状态的第三颜色(Red)的光。
所述发光模块40a可以执行一种信号灯的作用,从而通过所输出的光的颜色、样态来表示当前工作状态,并向人们提示移动机器人100a的行驶状态、工作状态。
并且,控制部840可以控制发光部850。
例如,所述控制部840可以控制为,根据移动机器人100a的当前状态来使复数个所述发光模块40a中的至少一个输出规定颜色的光。并且,所述控制部840可以控制为,使复数个所述发光模块40a中的至少一个在规定时间期间按规定周期闪烁。
当移动机器人100a移动(行驶)时,在用户为了信息确认、设定输入、其他操作而向移动机器人100a靠近或儿童等因好奇而抚摸移动机器人100a时,如果此时移动机器人100a仍然行驶,则可能会发生碰撞等安全事故。
尤其是,机场、火车站、地铁、百货、超市等公共场所中流动人口较多,与之对应的突发变数也较多,因而发生安全事故的危险更大。
因此,本发明的移动机器人100a在公共场所中进行动作时,通过发光部850可以输出表示移动机器人100a的当前工作状态的光,从而提供能够使公共场所中存在的人们容易地确认移动机器人100a的当前状态的信号信息。由此,能够减小公共场所中人与移动机器人100a间的事故发生的可能性。
通过使所述发光模块40a与所述第二显示器21a隔开地配置在作为移动机器人100a的下端的所述底盖34a,可以配置在相对于人眼的高度和第二显示器21更低的位置。由此,当所述发光模块40a持续地输出或闪烁特定光时,人们可以较少地感到耀眼,并能够防止所述发光模块40a的输出光和主体显示器21a的输出影像降低彼此的识别性的情形。
优选地,发光模块40a可以沿着所述底盖34a的周缘配置。通过使所述发光模块40a以在水平方向上包围所述底盖34a的周缘的方式配置,人们在360度任意方向上均能够看到从所述发光模块40a输出的光。
另外,所述发光模块40a可以具有复数个行(row)并以多段的方式配置。由此,能够更加提高所述发光模块40a输出的光的识别性。
图9是示出本发明的一实施例的机器人的控制方法的流程图。
参照图9,本发明的一实施例的机器人100可以接收包含试衣(fitting)服务请求的用户输入(步骤S910)。更优选地,本发明的一实施例的移动机器人100a可以接收包含试衣(fitting)服务请求的用户输入(步骤S910)。
本发明的一实施例的移动机器人100a提供的试衣服务可以是生成用户的替身(avatar),并且生成的用户的替身虚拟地穿戴衣服的虚拟试衣(virtual fitting)服务。
在消费者自己试穿较多的衣服的情况下,因挑选要试穿的衣服的时间、携带衣服往返于试衣间的时间、试穿衣服的时间等而花去较长的时间并可能会感到不便。但是,当利用虚拟试衣服务时,具有消费者可以通过自己的替身来虚拟地试穿衣服,并能够快速地变更试穿的衣服的优点。
移动机器人100a可以触摸或语音方式接收包含所述试衣服务请求的用户输入。在此情况下,用户可能会处于移动机器人100a的影像获取部820具有的照相机的像角以外。例如,用户可以转到移动机器人100a的侧面、后面并以语音方式请求所述试衣服务。并且,即使用户在移动机器人100a的正面以触摸或语音方式请求所述试衣服务的情况下,由于用户过于靠近移动机器人100a的影像获取部820具有的照相机,也可能会不易以足以身体扫描的程度拍摄用户。根据实施例,为了进行身体扫描,可能会至少需要确保从用户的膝盖到头部或从脚踝到头部的影像数据。
根据本发明的一实施例,根据接收包含所述试衣服务请求的用户输入(步骤S910),控制部840可以判断在当前位置上是否能够获取包含所述试衣服务中设定的身体特定部位的影像数据(步骤S913)。
其中,所述试衣服务中设定的身体特定部位可以是身体全部。
或者,所述试衣服务中设定的身体特定部位可以是从特定关节到头部。例如,其可以是从膝盖到头部、从脚踝到头部。
或者,所述试衣服务中设定的身体特定部位可以是从特定关节上方到头部。例如,其可以是从膝盖上方到头部、从脚踝上方到头部。
如果无法根据预设定的基准获取包含所需的身体的特定部位的影像数据(步骤S913),则控制部840可以控制驱动部860以使移动机器人100a向能够获取包含所述试衣服务中设定的身体特定部位的影像数据的位置移动(步骤S915)。
因此,用户无需为了进行身体扫描而移动,从而能够提高使用便利性。
在移动(步骤S915)之后,如果能够根据预设定的基准获取包含所需的身体的特定部位的影像数据(步骤S913),则移动机器人100a可以通过影像获取部820扫描(scan)所述用户的身体(步骤S920)。
或者,当接收包含所述试衣服务请求的用户输入(步骤S910)时,如果在当前位置上能够根据预设定的基准获取包含所需的身体的特定部位的影像数据(步骤S913),则移动机器人100a可以通过影像获取部820扫描(scan)所述用户的身体(步骤S920)。
即,在能够获取包含所述试衣服务中设定的身体特定部位的影像数据的情况下,控制部840可以控制所述影像获取部820以使其扫描(scan)所述用户的身体。
在移动之后或在没有移动的情况下,如果能够根据预设定的基准获取包含所需的身体的特定部位的影像数据(步骤S913),则移动机器人100a可以通过影像获取部820扫描(scan)所述用户的身体(步骤S920)。
移动机器人100a可以利用影像获取部820具有的一个以上的3D可视传感器来拍摄用户并扫描用户的身体。
其中,其可以表示拍摄用户来获取影像数据,并基于获取的影像数据判断用户的身体信息。
本发明的一实施例的移动机器人100a可以利用所述头照相机部313中包括的RGBD传感器313b、313c或所述主体照相机部25a中包括的RGBD传感器321来扫描所述用户的身体。
或者,为了更加提高扫描准确度,移动机器人100a可以利用所述头照相机部313中包括的RGBD传感器313b、313c及所述主体照相机部25a中包括的RGBD传感器321来扫描所述用户的身体。
控制部840可以基于通过影像获取部820获取的用户图像来判断所述用户的身体信息,并对所述用户的身体信息进行建模(modeling)来生成三维替身角色(步骤S930)。
控制部840可以从用户图像提取用户的身体各部分的信息。
例如,控制部840可以利用骨架(skeleton)方法导出身体不同部位的顶点,基于导出的顶点来推测身体尺寸并判断用户的身体信息。
移动机器人100a可以利用影像获取部820具有的一个以上的3D可视传感器来拍摄用户并获取用户图像。所述用户图像可以包含深度(Depth)数据。
控制部840可以从包含深度(Depth)数据的用户图像判断用户的身高、臂长度、腿长度、关节的位置等用户的身体信息。
根据实施例,在试衣服务过程中,移动机器人100a可以与服务器10进行通信。
例如,为了判断用户是否位于移动机器人100a的正面、用户从移动机器人100a的正面远离多少程度、用户的姿势、用户的身体尺寸中的至少一种,移动机器人100a可以与服务器10进行通信。并且,在生成替身角色时也可以利用服务器10中存储的数据。
移动机器人100a可以将影像获取部820和/或传感器部870获取的数据发送给服务器10,服务器10可以将其与预存储的参考数据比较,从而判断用户的姿势、身体尺寸等。服务器10可以将判断出的信息响应给所述移动机器人100a。
根据实施例,服务器10可以包括被学习为基于影像来判断用户的姿势、身体尺寸等的人工智能。并且,服务器10中学习的人工智能可以下载到移动机器人100a,或者基于服务器10中学习的人工智能数据来更新移动机器人100a的人工智能数据。在此情况下,移动机器人100a可以利用基于影像来学习的人工智能,对拍摄了所述用户的用户图像进行识别,从而生成所述用户的替身角色。
另外,控制部840可以从用户图像判断用户的体形轮廓信息。
根据实施例,移动机器人100a可以在显示部810输出注意事项、引导用于扫描的用户的动作等的消息。
例如,在当用户张开臂站立时会提高扫描准确度的情况下,控制部840可以控制为在显示部810显示用于引导用户张开臂站立的引导消息。
图10是示出本发明的一实施例的机器人的控制方法的流程图,其是详细地示出图9的扫描步骤S920中包括移动机器人100的旋转动作的实施例的流程图。
参照图10,本发明的一实施例的移动机器人100a可以通过影像获取部820拍摄所述用户(步骤S1020)。
另外,虽然可以利用一次的用户拍摄来判断用户的身体信息并生成替身角色,但是为了提高判断身体信息的准确度,优选地利用按不同的角度拍摄用户的复数个图像。
为此,虽然以往提示出在设置有复数个照相机的专用空间中拍摄用户的方法等,但是利用专用空间时存在有降低衣物卖场空间利用率且花去较多的费用的问题。
因此,可以不具有专用空间而要求用户在扫描装置前方旋转360度。
由于用户在有其他人的衣物卖场等中可能会对于旋转360度的动作感到抗拒感、不舒适感,所以更优选地,移动机器人100a能够以所述用户为中心旋转移动(步骤S1030)。
通过使移动机器人100a在移动(步骤S1030)之后拍摄所述用户(步骤S1040),在不向用户要求对于其不便的特定动作的情况下,也能够确保不同的角度的用户图像。
并且,控制部840可以基于利用所述拍摄(步骤S1020、步骤S1040)而获取的用户图像来判断所述用户的身体信息(步骤S1050)。由此,利用多样的角度的图像,能够实现更加准确的身体扫描。
另外,所述控制部840可以控制为,在所述旋转移动(步骤S1030)中连续地或周期性地获取影像。
即,并不是仅在移动(步骤S1030)之后拍摄所述用户(步骤S1040),而是在所述旋转移动(步骤S1030)中也确保其他角度的图像,从而能够实现更加准确的身体扫描。为了最大地提高身体扫描准确度,移动机器人100a能够以用户为中心画360度的圆移动,并且可以在移动中连续地或按规定周期拍摄用户。
在替身角色生成步骤S930中,控制部840可以判断用户的身体信息,并基于判断出的身体信息来生成用户的替身角色。
根据实施例,移动机器人100a可以在显示部810输出引导用于扫描的用户的动作的消息(步骤S1010)。
例如,在当用户张开臂站立时会提高扫描准确度的情况下,控制部840可以控制为在显示部810显示用于引导用户张开臂站立的引导消息。
并且,移动机器人100a可以在显示部810输出用于引导注意事项的消息。
例如,控制部840可以控制为在显示部810显示用于引导在穿厚的衣服的情况下,身体扫描结果可能会与实际情况有出入等注意事项的引导消息。
并且,控制部840可以控制为在扫描(步骤S920)中在显示部810显示用于表示扫描进行度的文本(text)及图形图像。由此,用户能够直观地确认扫描程度。
另外,当扫描(步骤S920)及替身生成(步骤S930)完毕时,控制部840可以控制为在显示部810显示包含虚拟试衣影像的用户界面屏幕(步骤S940)。
例如,控制部840可以控制为在显示部810显示用户界面屏幕,所述用户界面屏幕包含将基于所述扫描结果生成的所述用户的替身角色和所述用户选择的衣服的图像进行合成的合成影像(步骤S940)。
用户可以在所述试衣服务请求(步骤S910)之前先选择衣服,并且可以在先挑选衣服后根据引导机器人100a的推荐来请求所述试衣服务(步骤S910)。
或者,用户可以在所述试衣服务请求(步骤S910)之后选择衣服。
例如,当用户请求所述试衣服务时(步骤S910),引导机器人100a可以在显示部810显示与可以利用试衣服务的衣服对应的项目,并接收用户的衣服选择输入。或者,在所述替身角色生成(步骤S910)之后,引导机器人100a可以在显示部810显示与可以利用试衣服务的衣服对应的项目,并接收用户的衣服选择输入。
另外,控制部840可以基于所述扫描结果生成所述用户的替身角色(步骤S930),并在生成的替身角色上叠加(overlay)衣服进行显示。
并且,控制部840可以在生成的替身角色合成衣服的三维模型。
为此,移动机器人100a可以从服务器10接收衣服的三维建模数据。
在服务器10中可以存储要提供试衣服务的衣服的拍摄数据和/或基于所述衣服的拍摄数据来生成的三维建模数据。
移动机器人100a可以从服务器10下载要提供试衣服务的衣服的三维建模数据等试衣服务所需的数据。
根据本发明,机器人能够边移动边便利地提供虚拟试衣服务,从而能够提高使用便利性。
并且,用户可以方便地让替身角色穿戴被推荐的衣服等多样的衣服,然后购买心仪的衣服。
另外,在所述扫描(步骤S920)中或之后,可以在显示部810显示所述影像获取部120的照相机视角(view)画面。
在此情况下,可以在所述照相机视角(view)画面上显示基于至少一个用户图像的体形轮廓信息。即,控制部840将基于利用一次拍摄(步骤S1020)获取的用户图像来判断的用户的体形轮廓信息显示在所述照相机视角画面上,从而有助于用户确认自己的身体轮廓并直观地确认出正在执行扫描中。
另外,在包括旋转移动(步骤S1030)的实施例的情况下,控制部840可以控制为根据旋转移动(步骤S1030)来变更显示所述体形轮廓信息。随着移动机器人100a的旋转移动(步骤S1030),所述影像获取部120的照相机将从不同的方向朝向用户并拍摄不同的角度的影像。因此,通过在所述照相机视角画面上显示根据旋转而变更的体形轮廓信息,有助于用户确认移动机器人100a的旋转移动(步骤S1030)及拍摄的画面。
或者,控制部840可以控制为根据用户的移动而变更显示所述体形轮廓信息。由此,用户可以直观地确认出根据自己的移动而身体扫描是否受到影响或其如何执行。
并且,控制部840可以控制为,在扫描(步骤S920)中在显示部810显示所述体形轮廓信息和表示扫描进行度的文本(text)以及图形图像。由此,用户可以直观地确认出扫描程度。
根据实施例,在显示部810显示表示扫描进行度的文本(text)及图形图像。
另外,当扫描(步骤S920)完毕时,控制部840可以控制显示部810以使其显示用于提示所述扫描完毕的消息和基于所述用户的身体信息的推荐尺寸(size)信息。
由此,除了替身角色以外,还可以向用户提供与扫描结果对应的推荐尺寸(size)信息。
根据实施例,在身体扫描(步骤S920)时可以设定移动机器人100a和用户之间的参考距离。例如,在参考距离被设定为1m的情况下,移动机器人100a在与用户远离作为参考距离的1m的位置拍摄用户,并可以对参考距离1m时设定的基准身体尺寸值和影像内身体尺寸值应用比例式来判断用户的身体尺寸。
为此,移动机器人100a可以向用户引导参考距离,并引导用户按参考距离大小远离移动机器人100a。
利用试衣服务的用户可以按照移动机器人100a的引导而移动到从移动机器人100a远离参考距离的位置并准确地扫描自己的身体。
更优选地,控制部840可以控制移动机器人100a以使其前进或后退移动,从而使移动机器人100a与用户的距离达到预设定的参考距离。
根据本实施例,无需要求用户进行移动,而是由移动机器人100a自动地将使其与用户的距离调节为参考距离。
由此,在使用户的移动最小化的情况下,也能够准确地判断用户的身体信息并生成替身,并且能够利用替身提供包含多样的信息的虚拟试衣服务。
根据实施例,可以经过将根据身体扫描来判断出的身体信息提供给用户并使其确认的过程。在此情况下,还可以提供能够使用户以手动方式修改身体信息中的至少一部分的菜单。
根据本发明的一实施例,移动机器人100a可以通过通信部890从服务器10接收新款商品信息、人气商品信息、促销活动信息中的至少一种,并可以基于所述接收的信息将规定商品推荐给用户。
用户可以确认显示部810上显示的推荐商品,并可以请求对于推荐商品的试衣服务。
根据本发明的一实施例,移动机器人100a可以识别用户。
例如,移动机器人100a可以具有能够识别条形码等的扫描器,并且将通过识别用户出示的卡或电子设备的画面等中包含的条形码、QR码等来识别出的信息与预存储的客户数据库进行比较,从而能够识别用户。
或者,移动机器人100a可以通过影像获取部820获取位于前方的用户的脸影像,并且将获取的用户脸影像数据与预存储的客户数据库进行比较,从而能够识别用户。
在此情况下,移动机器人100a可以通过通信部890向服务器10请求被识别的用户的信息。
在因安全策略、数据量、系统资源的问题而移动机器人100a不具有客户数据库的情况下,移动机器人100a可以识别条形码、QR码等并将识别出的识别信息或获取的用户脸影像数据发送给服务器10,并且可以从服务器10接收被确认的用户信息。
另外,服务器10还可以将识别出的用户的先前购买明细、喜好商品信息、试衣明细信息等发送给移动机器人100a。
移动机器人100a可以通过通信部890从服务器10接收所述用户的先前购买明细或试衣明细信息,并可以基于所述接收的所述用户的先前购买明细或试衣明细来推荐规定商品。
或者,服务器10可以基于所述用户的先前购买明细或试衣明细信息来判断所述推荐商品,并将与判断出的推荐商品相关的信息传送给移动机器人100a。
另外,根据本发明,在提供虚拟试衣服务之前,可以请求关于个人信息的用户的准许。
为此,可以在显示部810显示与虚拟试衣服务相关的说明及注意全文、个人信息收集/利用同意全文等,并在用户同意之后开始服务。
并且,在用户同意之后,可以利用用户及试衣相关信息。
移动机器人100a可以向服务器10发送所述判断出的身体信息。由此,服务器10可以存储并管理用户的试衣明细。
根据实施例,移动机器人100a可以拍摄用户并将拍摄的影像数据发送给服务器10,服务器10中基于接收的影像数据来判断用户的身体信息并生成替身角色。
根据实施例,移动机器人100a可以识别用户并向服务器10请求被识别的用户的信息,从而从所述服务器10接收所述用户的身体信息。
由此,移动机器人100a可以综合性地利用基于拍摄获取的影像数据的身体信息和从服务器10接收的身体信息来生成替身角色。
另外,移动机器人100a提供的虚拟试衣用户界面屏幕可以还包含能够变更所选择的衣服的选项的商品选项项目。例如,用户可以选择商品选项项目并变更衣服的颜色、尺寸等。
并且,在所述商品选项项目中选择与基于所述用户的身体信息的推荐尺寸(size)对应的尺寸的情况下,所述用户界面屏幕可以还显示所述推荐尺寸相关的信息。由此,用户可以得知适合自己的身体的尺寸。
并且,所述用户界面屏幕可以还包括风格菜单项目和合身(fit)菜单项目,所述风格菜单项目与可以变更所述替身角色上合成的所述被选择的衣服的尺寸和颜色的用户界面屏幕对应,所述合身(fit)菜单项目与可以变更所述替身角色上合成的所述被选择的衣服的尺寸并且利用颜色来表示所述被选择的衣服与所述替身角色紧凑(tight)的程度的用户界面屏幕对应。
参照图13至图19,在后面详细地叙述本发明的实施例的虚拟试衣用户界面屏幕。
图11a至图20是在与本发明的实施例的机器人提供的虚拟试衣服务相关的说明中作为参照的图。
参照图11a和图11b,移动机器人100a可以配置在衣物卖场并对于衣物商品、促销活动进行引导。
另外,移动机器人100a可以在待机中在显示部810显示商品信息、促销活动信息或其他待机画面,或者通过音响输出部880以语音方式输出商品信息、促销活动信息等。
并且,移动机器人100a可以提供试衣服务、揽客、产品介绍、购买引导、打扮建议等多样的服务,并可以在卖场内特定场所待机或边自主行驶边引导服务利用。
移动机器人100a可以通过影像获取部820、传感器部870识别进入衣物卖场的客户或向移动机器人100a靠近的客户,向客户表达欢迎的同时,通过虚拟试衣服务体验积极地引导光顾卖场、利用服务、购买。
参照图11a,移动机器人100a可以通过音响输出部880发出用于劝导试衣服务体验的语音引导消息1110。并且,用于劝导试衣服务体验的语音引导消息1110可以诸如“将自动测量身体并告诉您衣服的合身感。请置于前方地面的圆上并按顺时针方向缓慢转一圈。”的包含引导用于利用试衣服务的客户的动作的内容。
根据本发明的一实施例,由于用户在有其他人的衣物卖场等中可能会对于旋转360度的动作感到抗拒感、不舒适感,可以不要求客户旋转,而是由移动机器人100a边移动边拍摄用户。在此情况下,语音引导消息的内容也将改变。
参照图11b,移动机器人100a可以通过音响输出部880发出诸如“将自动测量身体并告诉您衣服的合身感。请稍微张开臂。”的语音引导消息1120。
当客户请求试衣服务时,可以在客户的身体扫描(Body Scanning)之后,对于客户感兴趣的衣服或当前热销产品进行虚拟试衣。
当客户请求试衣服务时,可以经过参照图9及图10所述的过程来判断客户的身体信息并生成替身角色,并且将虚拟试衣用户界面屏幕显示在显示部810。
参照图12a,本发明的一实施例的移动机器人100a可以根据控制部840的控制而在移动到影像获取部820能够获取包含试衣服务中设定的身体特定部位的影像数据,即身体扫描所需的影像数据的第一位置P1后开始进行身体扫描。
例如,在移动机器人100a位于与规定位置H的客户1210过于靠近的第零位置P0的情况下,因照相机的像角、性能、照相机与客户1210间的距离和角度而可能无法充分地拍摄用户的身体。
在此情况下,控制部840可以控制驱动部860以使移动机器人100a移动到影像获取部820能够获取身体扫描所需的影像数据的第一位置P1。
在移动之后,控制部840可以控制影像获取部820以使其拍摄用户并扫描用户身体。
根据实施例,对于获取身体扫描所需的影像数据而言最佳的距离可以被设定为参考距离d。例如,在参考距离被设定为1m的情况下,如果移动机器人100a位于比作为参考距离的1m更近的第零位置P0时,可以使其从所述第零位置P0移动。
在此情况下,控制部840可以控制驱动部860以使移动机器人100a移动,从而使移动机器人100a与用户的距离达到预设定的参考距离d,并且使用户包括在影像获取部820具有的照相机的像角。
优选地,控制部840可以移动移动机器人100a,从而使移动机器人100a与用户的距离达到预设定的参考距离d,并且所述用户位于移动机器人100a的正面。
根据本实施例,并不要求用户移动,而是使移动机器人100a移动,从而自动地将其与用户的距离调节为参考距离,并且使用户位于照相机的像角内。
由此,在使用户的移动最小化的情况下,还能够准确地判断用户的身体信息并生成替身。
参照图12b,本发明的一实施例的移动机器人100a可以在第一位置P1通过影像获取部820拍摄规定位置H的客户1210。
并且,移动机器人100a在以客户1210为中心旋转规定角度rd之后,可以在第二位置P2通过影像获取部820拍摄客户1210。
根据实施例,移动机器人100a在旋转移动中也可以拍摄客户1210,从而按多样的角度获取客户的身体图像。
控制部840可以从复数个客户身体图像提取用户的身高、臂长度、腿长度、关节的位置、用户的身体各部分的信息等。
由此,客户无需经历旋转的不便,也能够利用多样的角度的图像来实现更加准确的身体扫描。
根据实施例,可以设定移动机器人100a和客户1210之间的参考距离d。例如,在参考距离被设定为1m的情况下,移动机器人100a可以在与用户远离作为参考距离的1m的位置拍摄用户。根据实施例,可以对参考距离1m时设定的基准身体尺寸值和影像内身体尺寸值应用比例式来判断用户的身体尺寸。
在此情况下,控制部840可以控制移动机器人100a以使其前进或后退移动,从而使移动机器人100a与用户的距离达到预设定的参考距离d。
例如,如果移动机器人100a位于比参考距离更远的第三位置P3,可以使其向所述第一位置P1前进移动。
根据本实施例,并不要求用户移动,而是使移动机器人100a自动地将其与用户的距离调节为参考距离。
由此,在使用户的移动最小化的情况下,还能够准确地判断用户的身体信息并生成替身。
图13中示出在身体扫描时显示的用户界面屏幕的一例。
参照图13,在显示部810可以显示身体扫描的引导语句1310、表示扫描进行度的文本1320以及图形图像1330。由此,用户可以直观地确认出扫描程度。
另外,当扫描及替身生成完毕时,移动机器人100a可以引导扫描及替身生成完毕。
例如,移动机器人100a能够以影像和/或语音方式输出“替身生成完毕。请用风格菜单挑选衣服,并用合身菜单确认衣服的穿戴感和匹配度。”等引导语句,从而引导替身生成及之后的操作。
参照图14,显示部810可以包括:风格菜单项目1410,可以变更衣服或确认替身穿戴被选择的衣服的虚拟试衣画面;合身菜单项目1420,可以确认被选择的衣服的紧凑(tight)-宽松(loose)的程度等穿戴感。
客户可以在主区域1430选择衣服,并选择风格菜单项目1410或合身菜单项目1420来确认与被选择的项目对应的虚拟试衣用户界面屏幕。
控制部840可以控制为在显示部810显示包括虚拟试衣影像的虚拟试衣用户界面屏幕。虚拟试衣用户界面屏幕可以提供包括替身穿戴被选择的衣服的合成影像的虚拟试衣,从而使客户能够看到在穿戴被选择的衣服时的合身感、柔软度、面料等。
图15例示出根据选择风格菜单项目1410而显示的虚拟试衣用户界面屏幕。
参照图15,虚拟试衣用户界面屏幕可以包含能够转换用户界面屏幕的风格菜单项目1410、合身菜单项目1420以及替身穿戴被选择的衣服的合成影像1510。
并且,虚拟试衣用户界面屏幕可以还包括可以变更被选择的衣服的选项的商品选项项目1520、1530。例如,商品选项项目1520、1530可以包括可以变更衣服的尺寸的尺寸选项项目1520、可以变更衣服的颜色的颜色选项项目1530中的至少一种。
另外,虚拟试衣用户界面屏幕可以还包括其他菜单项目1540。例如,虚拟试衣用户界面屏幕中包括的菜单项目1540可以包括可以变更虚拟试衣对象衣服的其他菜单项目1541、可以购买当前选择的衣服的购买菜单项目1542等。
另外,图11a至图15中以先选择利用虚拟试衣服务,再选择衣服的实施例为中心进行了说明,但是,也可以实现为先选择衣服,再选择利用虚拟试衣服务。
例如,移动机器人100a的显示部810可以在待机画面显示规定商品或商品列表。
当客户利用触摸或语音输入来选择一个以上的衣服时,控制部840可以控制为在显示部810显示用于引导虚拟试衣服务的消息及可以开始虚拟试衣服务的菜单项目。
并且,控制部840可以通过显示部810提供虚拟试衣服务引导图像。
当客户请求虚拟试衣服务时,移动机器人100a可以扫描客户的身体并生成替身,从而提供虚拟试衣影像。
图16示出在身体扫描时显示的用户界面屏幕的一例。
参照图16,在显示部810可以显示身体扫描的引导语句1610、扫描进行度信息1620以及扫描图像1630。由此,用户可以直观地确认出扫描程度。
参照图16,引导语句1610可以是诸如“请您站立并张开臂。”的引导在扫描中所需的客户的动作。
并且,扫描进行度信息1620可以用1至100%的数值来提供扫描时进行的程度。当扫描进行完毕而达到100%时,画面可以转换为包括虚拟试衣影像的虚拟试衣用户界面屏幕。
例如,当扫描完毕时,画面可以转换为与风格菜单项目1410对应的虚拟试衣用户界面屏幕。
并且,扫描图像1630为扫描引导图像,其可以用图形图像来表现扫描中所需的客户的动作。
并且,扫描图像1630根据扫描进行度来使其各区域的颜色逐渐地变更,从而能够直观地表示进行程度。
根据实施例,扫描图像1630可以基于客户的体形轮廓信息而生成。
本发明的一实施例的用户界面屏幕可以还包括:风格菜单项目1741,与可以变更所述替身角色上合成的所述被选择的衣服的尺寸和颜色的用户界面屏幕对应;合身(fit)菜单项目1742,与可以变更所述替身角色上合成的所述被选择的衣服的尺寸并且利用颜色来表示所述被选择的衣服与所述替身角色紧凑(tight)的程度的用户界面屏幕对应。
图17例示出根据选择风格菜单项目1741而显示的虚拟试衣用户界面屏幕,图18例示出根据合身菜单项目1742而显示的虚拟试衣用户界面屏幕。
参照图17和图18,虚拟试衣用户界面屏幕可以包括风格菜单项目1741和合身菜单项目1742,并且可以根据被选择的菜单项目来转换画面。并且,在风格菜单项目1741和合身菜单项目1742中,可以将当前被选择的项目高亮显示。
另外,如图17所示,与风格菜单项目1741对应的用户界面屏幕被设定作为默认(default)画面并先显示,并且在选择合身菜单项目1742时,如图18所示,转换为与合身菜单项目1742对应的用户界面屏幕。
参照图17,与风格菜单项目1741对应的用户界面屏幕可以包括反映了用户体形的替身1710穿戴被选择的衣服的替身合成影像。
其中,替身1710穿戴的衣服可以是反映了用户选择的颜色和尺寸的衣服。
参照图17,与风格菜单项目1741对应的用户界面屏幕可以还包括可以变更被选择的衣服的选项的商品选项项目1720、1730。例如,商品选项项目1720、1730可以包括:尺寸选项项目1720,可以变更衣服的尺寸;颜色选项项目1730,可以变更衣服的颜色。
由此,用户可以方便地变更衣服的颜色和尺寸并确认虚拟试衣影像。
并且,与风格菜单项目1741对应的用户界面屏幕可以还包括可以变更虚拟试衣对象衣服的其他(others)菜单项目1743。当选择其他菜单项目1743时,可以转换为可以挑选衣服的画面。
参照图18,与合身菜单项目1742对应的虚拟试衣用户界面屏幕可以包括反映了用户体形的替身1810穿戴被选择的衣服的替身合成影像。
其中,替身1810穿戴的衣服可以是反映了用户选择的尺寸的衣服。
参照图18,与合身菜单项目1742对应的虚拟试衣用户界面屏幕可以还包括:尺寸选项项目1720,可以变更被选择的衣服的尺寸。
参照图18,在与合身菜单项目1742对应的用户界面屏幕中,用颜色来表示替身1810穿戴被选择的衣服的紧凑(tight)-宽松(loose)的程度等穿戴感。
在此情况下,与合身菜单项目1742对应的用户界面屏幕可以还包括表示紧凑(tight)-宽松(loose)的程度的颜色相关的信息1830。
由此,用户可以直观地确认出紧凑(tight)-宽松(loose)的程度,并且也能够按身体不同的部位容易地确认出紧凑(tight)-宽松(loose)的程度。
参照图17和图18,虚拟试衣用户界面屏幕包括文本区域1750,在文本区域1750可以提供各种引导语句。
例如,在所述商品选项项目1720中选择与基于所述用户的身体信息的推荐尺寸(size)对应的尺寸的情况下,可以在文本区域1750显示所述推荐尺寸相关的信息。由此,用户可以得知适合自己的身体的尺寸。
参照图17和图18,虚拟试衣用户界面屏幕可以还包括:在进入画面时显示规定时间的360度旋转对象1770、1870。
用户可以通过操作360度旋转对象1770、1870来旋转替身1710、1810。
参照图17和图18,虚拟试衣用户界面屏幕可以包括:返回键,可以返回到上一画面;主页键,可以跳转到预设定的主页画面。
并且,可以包括在选择时可以跳转到购买画面的购买键1760。
图19示出选择购买键1760并结算完毕的情况下显示的购买画面的一例。
参照图19,购买画面可以包括:购买明细区域1910,显示购买明细、品牌信息、结算信息等;文本区域1930,显示结算完毕等文本信息;主页键1920,可以跳转到主页画面。
在购买明细区域1910可以提供对于购买的商品的信息及结算信息。
在购买明细区域1910可以按品牌信息、结算信息顺序提供信息。
在购买明细区域1910可以显示品牌标识(logo)、品牌名称等品牌信息、订单号、商品名、商品信息(尺寸/颜色)、优惠金额、最终结算金额等结算信息。
结算完毕的客户可以移动到收银台并收取衣服。
或者,在另一实施例中,在客户对选择的衣服同意购买后,可以移动到收银台并结算后收取衣服。
参照图20,在将移动机器人100a在衣物卖场、百货等中运用的情况下,管理员可以在服务器10存储与在衣物卖场、百货等中移动机器人100a可以提供的功能相关的数据2000并进行管理。例如,管理员可以存储客户试衣明细2010、打扮分析及建议内容2020、客户购买明细2030等并进行管理。
服务器10可以对存储的数据进行学习并分析。
例如,服务器10可以计数试衣服务利用次数,并将分析了与客户的交互数据的报告提供给管理员。
由此,卖场管理员可以确认客户穿戴过的商品和购买的商品,然后在下一季促销活动等中作为参考。
另外,移动机器人100a可以从服务器10下载客户试衣明细2010、打扮分析及建议内容2020、客户购买明细2030等。
并且,移动机器人100a可以下载新款商品及人气商品列表和商品详细信息、活动信息、促销信息等。
另外,移动机器人100a可以将下载到的信息应用于引导服务、试衣服务。
本发明的机器人及包括其的机器人系统及其控制方法并不限定性地适用于如上所述的实施例的结构和方法,为使所述实施例能够实现多样的变形,也可以将各实施例的全部或一部分选择性地组合而构成。
另外,本发明的实施例的机器人及包括其的机器人系统的控制方法可以在处理器可读取的存储介质中作为处理器可读取的代码来实现。处理器可读取的存储介质包括存储可以被处理器读取的数据的所有种类的存储装置。处理器可读取的存储介质的例有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等,并且,还包括由诸如通过因特网的传输等的载波的形态来实现的情形。并且,处理器可读取的存储介质可以分散到利用网络连接的计算机系统,并且以分散方式存储处理器可读取的代码并执行。
并且,虽然以上对本发明的优选实施例进行了图示并说明,但是本发明并不限定于上述的特定的实施例,而是在不背离权利要求书中请求的本发明的技术思想的范围内,本发明所属的技术领域的普通技术人员可以对其进行多样的变形实施,并且这样的变形实施不应脱离本发明的技术思想或前景而单独地加以理解。
Claims (15)
1.一种机器人的控制方法,其中,
包括:
接收包含试衣服务请求的用户输入的步骤;
判断在当前位置是否能够获取包含试衣服务中设定的身体特定部位的影像数据的步骤;
若无法获取所述影像数据,则向能够获取包含当前位置的试衣服务中设定的身体特定部位的影像数据的位置移动的步骤;
若在移动之后的位置能够获取所述影像数据,则通过影像获取部扫描所述用户的身体的步骤;以及
将用户界面屏幕显示在显示部的步骤,所述用户界面屏幕包含有将基于所述扫描的结果生成的所述用户的替身角色和所述用户选择的衣服的图像进行合成的合成影像;
在所述移动的步骤中,不要求用户移动,而是机器人移动为与所述用户的距离达到预设定的参考距离,使得所述用户位于所述影像获取部的像角内;
所述扫描的步骤包括:
拍摄所述用户的步骤;
以所述用户为中心旋转移动的步骤;
在移动之后拍摄所述用户的步骤;以及
基于利用所述拍摄而获取的用户图像来判断所述用户的身体信息的步骤。
2.根据权利要求1所述的机器人的控制方法,其中,
所述扫描的步骤还包括:
将所述影像获取部的照相机视角画面显示在显示部的步骤;以及
在所述照相机视角画面上显示基于至少一个用户图像的体形轮廓信息的步骤。
3.根据权利要求1所述的机器人的控制方法,其中,
在所述扫描的步骤中,在所述旋转移动中连续地或周期性地获取影像。
4.根据权利要求1所述的机器人的控制方法,其中,
所述扫描的步骤还包括:
将所述影像获取部的照相机视角画面显示在显示部的步骤;
在所述照相机视角画面上显示基于至少一个用户图像的体形轮廓信息的步骤;以及
根据所述旋转移动而变更显示所述体形轮廓信息的步骤。
5.根据权利要求1所述的机器人的控制方法,其中,
还包括:
输出引导用于扫描的用户的动作的消息的步骤。
6.根据权利要求1所述的机器人的控制方法,其中,
还包括:
在所述扫描中显示表示扫描进行度的文本及图形图像的步骤。
7.根据权利要求1所述的机器人的控制方法,其中,
还包括:
若所述扫描完毕,则显示提示所述扫描完毕的消息和基于所述用户的身体信息的推荐尺寸信息的步骤。
8.根据权利要求1所述的机器人的控制方法,其中,
还包括:
从服务器接收新款商品信息、人气商品信息、促销活动信息中的至少一种的步骤;以及
基于接收到的所述信息来推荐规定商品的步骤。
9.根据权利要求1所述的机器人的控制方法,其中,
还包括:
识别所述用户的步骤;
从服务器接收所述用户的先前购买明细或试衣明细信息的步骤;以及
基于接收到的所述用户的先前购买明细或试衣明细来推荐规定商品的步骤。
10.根据权利要求1所述的机器人的控制方法,其中,
还包括:
向服务器发送所判断的所述身体信息的步骤。
11.根据权利要求10所述的机器人的控制方法,其中,
还包括:
识别所述用户的步骤;以及
从所述服务器接收所述用户的身体信息的步骤。
12.根据权利要求1所述的机器人的控制方法,其中,
所述用户界面屏幕还包括能够变更被选择的所述衣服的选项的商品选项项目。
13.根据权利要求12所述的机器人的控制方法,其中,
在所述商品选项项目中选择与基于所述用户的身体信息的推荐尺寸对应的尺寸的情况下,所述用户界面屏幕还显示所述推荐尺寸相关的信息。
14.根据权利要求1所述的机器人的控制方法,其中,
所述用户界面屏幕还包括:
风格菜单项目,与能够变更所述替身角色上合成的被选择的所述衣服的尺寸和颜色的用户界面屏幕对应;以及
合身菜单项目,与能够变更所述替身角色上合成的被选择的所述衣服的尺寸并且用颜色来表示被选择的所述衣服与所述替身角色紧凑的程度的用户界面屏幕对应。
15.一种机器人,其中,
包括:
驱动部,用于移动本体;
影像获取部,具有一个以上的照相机;
语音输入部,接收用户的语音输入;
显示部,接收所述用户的触摸输入;以及
控制部,若通过所述语音输入部或所述显示部接收到包含试衣服务请求的用户输入,则判断在当前位置是否能够获取包含所述试衣服务中设定的身体特定部位的影像数据;
若无法获取所述影像数据,则所述控制部控制所述驱动部以使所述机器人向能够获取所述影像数据的位置移动;
若在移动之后的位置能够获取所述影像数据,则所述控制部控制所述影像获取部以使其扫描所述用户的身体;
所述控制部控制在所述显示部显示用户界面屏幕,所述用户界面屏幕包含有将基于所述扫描的结果生成的所述用户的替身角色和所述用户选择的衣服的图像进行合成的合成影像;
所述控制部不要求用户移动,而是控制所述驱动部以使所述机器人移动为与所述用户的距离达到预设定的参考距离,使得所述用户位于所述照相机的像角内;
在扫描所述用户的身体时,所述控制部控制所述驱动部以使在拍摄所述用户之后,以所述用户为中心旋转移动,在移动之后拍摄所述用户,并基于利用所述拍摄而获取的用户图像来判断所述用户的身体信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862783207P | 2018-12-21 | 2018-12-21 | |
US62/783,207 | 2018-12-21 | ||
PCT/KR2019/000222 WO2020130219A1 (ko) | 2018-12-21 | 2019-01-07 | 로봇의 제어 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113423541A CN113423541A (zh) | 2021-09-21 |
CN113423541B true CN113423541B (zh) | 2024-03-22 |
Family
ID=71101380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980092275.3A Active CN113423541B (zh) | 2018-12-21 | 2019-01-07 | 机器人的控制方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11341355B2 (zh) |
EP (1) | EP3900885A4 (zh) |
KR (1) | KR102314536B1 (zh) |
CN (1) | CN113423541B (zh) |
WO (1) | WO2020130219A1 (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019082376A1 (ja) * | 2017-10-27 | 2019-05-02 | 株式会社アシックス | 動作状態評価システム、動作状態評価装置、動作状態評価サーバ、動作状態評価方法、および動作状態評価プログラム |
WO2020256195A1 (ko) * | 2019-06-21 | 2020-12-24 | 엘지전자 주식회사 | 빌딩 관리 로봇 및 그를 이용한 서비스 제공 방법 |
US11687635B2 (en) | 2019-09-25 | 2023-06-27 | Google PLLC | Automatic exposure and gain control for face authentication |
CN113544692B (zh) * | 2019-10-10 | 2024-09-06 | 谷歌有限责任公司 | 用于面部认证的摄像头同步和图像标记 |
KR20210085696A (ko) * | 2019-12-31 | 2021-07-08 | 삼성전자주식회사 | 전자 장치의 움직임을 결정하는 방법 및 이를 사용하는 전자 장치 |
US11410659B1 (en) * | 2020-03-30 | 2022-08-09 | Amazon Technologies, Inc. | Dynamic skill endpoint |
KR102563026B1 (ko) * | 2020-09-22 | 2023-08-07 | 주식회사 스타일봇 | 아바타 기반의 의류 매칭 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램 |
CN115708889A (zh) * | 2021-08-20 | 2023-02-24 | 上海西门子医疗器械有限公司 | 用于ct扫描室消毒的引导方法以及引导系统 |
FR3127622B1 (fr) * | 2021-09-28 | 2023-11-17 | Jusdeliens | Méthode de détermination en temps réel de coordonnées de dispositifs mécatroniques mobiles posés sur une surface matricielle |
KR102545742B1 (ko) | 2021-11-18 | 2023-06-20 | 한국기술교육대학교 산학협력단 | 계단 등반 로봇 및 이의 동작 방법 |
KR20230143002A (ko) * | 2022-04-04 | 2023-10-11 | 두산로보틱스 주식회사 | 로봇의 기능 모듈의 개발 환경 제공 장치 및 방법 |
WO2024007886A1 (en) * | 2022-07-04 | 2024-01-11 | Braun Gmbh | Oral scanner system |
KR20240057536A (ko) * | 2022-10-24 | 2024-05-03 | 삼성전자주식회사 | 3d 모델을 생성하는 로봇 및 이의 제어 방법 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140018599A (ko) * | 2012-08-02 | 2014-02-13 | (주)유한프리젠 | 맞춤형 서비스를 위한 피팅 룸 시스템 및 그 방법 |
CN104813340A (zh) * | 2012-09-05 | 2015-07-29 | 体通有限公司 | 从2d图像序列导出准确身体尺寸测量的系统和方法 |
EP2933071A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | Methods and systems for managing dialogs of a robot |
CN105989618A (zh) * | 2014-08-08 | 2016-10-05 | 株式会社东芝 | 虚拟试穿装置及虚拟试穿方法 |
KR20180005625A (ko) * | 2016-07-06 | 2018-01-16 | 주식회사 케이티 | 가상 피팅 서비스의 제공 방법 및 장치 |
CN107618036A (zh) * | 2016-07-15 | 2018-01-23 | 株式会社日立制作所 | 控制装置、控制系统和控制方法 |
CN108582106A (zh) * | 2018-05-06 | 2018-09-28 | 佛山市光线网络科技有限公司 | 一种服装导购机器人 |
CN108582105A (zh) * | 2018-05-06 | 2018-09-28 | 佛山市光线网络科技有限公司 | 一种虚拟试衣机器人 |
CN208027417U (zh) * | 2018-01-02 | 2018-10-30 | 美格智能技术股份有限公司 | 基于双视点三维重建技术以实现网店服装试穿的装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080090150A (ko) | 2007-04-04 | 2008-10-08 | 삼성전자주식회사 | 서비스 로봇과 서비스 로봇을 이용하는 서비스 시스템 및서비스 로봇을 이용하는 서비스 시스템의 제어방법 |
US20170011258A1 (en) * | 2010-06-07 | 2017-01-12 | Affectiva, Inc. | Image analysis in support of robotic manipulation |
KR20120121036A (ko) * | 2011-04-26 | 2012-11-05 | (주)클로버추얼패션 | 사용자의 체형에 맞게 아바타를 생성하는 방법 |
US9259842B2 (en) * | 2011-06-10 | 2016-02-16 | Microsoft Technology Licensing, Llc | Interactive robot initialization |
US20130083065A1 (en) * | 2011-08-02 | 2013-04-04 | Jessica Schulze | Fit prediction on three-dimensional virtual model |
KR101500651B1 (ko) * | 2012-10-10 | 2015-03-09 | 주식회사 케이티 | 이미지를 이용한 신장 측정 방법 및 이동 로봇 장치 |
AU2014268117B9 (en) * | 2013-05-13 | 2020-03-12 | mPort Ltd | Devices, frameworks and methodologies for enabling user-driven determination of body size and shape information and utilisation of such information across a networked environment |
US9773274B2 (en) * | 2013-12-02 | 2017-09-26 | Scott William Curry | System and method for online virtual fitting room |
RU2551731C1 (ru) * | 2014-07-02 | 2015-05-27 | Константин Александрович Караваев | Способ виртуального подбора одежды |
US20170353711A1 (en) * | 2016-06-04 | 2017-12-07 | Shape Labs Inc. | System for capturing a textured 3d scan of a human body |
US11763365B2 (en) * | 2017-06-27 | 2023-09-19 | Nike, Inc. | System, platform and method for personalized shopping using an automated shopping assistant |
-
2019
- 2019-01-07 WO PCT/KR2019/000222 patent/WO2020130219A1/ko unknown
- 2019-01-07 EP EP19901092.7A patent/EP3900885A4/en active Pending
- 2019-01-07 CN CN201980092275.3A patent/CN113423541B/zh active Active
- 2019-09-26 KR KR1020190119013A patent/KR102314536B1/ko active IP Right Grant
- 2019-12-20 US US16/723,561 patent/US11341355B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140018599A (ko) * | 2012-08-02 | 2014-02-13 | (주)유한프리젠 | 맞춤형 서비스를 위한 피팅 룸 시스템 및 그 방법 |
CN104813340A (zh) * | 2012-09-05 | 2015-07-29 | 体通有限公司 | 从2d图像序列导出准确身体尺寸测量的系统和方法 |
EP2933071A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | Methods and systems for managing dialogs of a robot |
CN105989618A (zh) * | 2014-08-08 | 2016-10-05 | 株式会社东芝 | 虚拟试穿装置及虚拟试穿方法 |
KR20180005625A (ko) * | 2016-07-06 | 2018-01-16 | 주식회사 케이티 | 가상 피팅 서비스의 제공 방법 및 장치 |
CN107618036A (zh) * | 2016-07-15 | 2018-01-23 | 株式会社日立制作所 | 控制装置、控制系统和控制方法 |
CN208027417U (zh) * | 2018-01-02 | 2018-10-30 | 美格智能技术股份有限公司 | 基于双视点三维重建技术以实现网店服装试穿的装置 |
CN108582106A (zh) * | 2018-05-06 | 2018-09-28 | 佛山市光线网络科技有限公司 | 一种服装导购机器人 |
CN108582105A (zh) * | 2018-05-06 | 2018-09-28 | 佛山市光线网络科技有限公司 | 一种虚拟试衣机器人 |
Also Published As
Publication number | Publication date |
---|---|
KR20200078311A (ko) | 2020-07-01 |
US11341355B2 (en) | 2022-05-24 |
EP3900885A4 (en) | 2022-09-28 |
WO2020130219A1 (ko) | 2020-06-25 |
EP3900885A1 (en) | 2021-10-27 |
CN113423541A (zh) | 2021-09-21 |
US20200320297A1 (en) | 2020-10-08 |
KR102314536B1 (ko) | 2021-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113423541B (zh) | 机器人的控制方法 | |
US11557387B2 (en) | Artificial intelligence robot and method of controlling the same | |
US7206753B2 (en) | Methods for facilitating a retail environment | |
US6584375B2 (en) | System for a retail environment | |
US20210373576A1 (en) | Control method of robot system | |
US9796093B2 (en) | Customer service robot and related systems and methods | |
US10380814B1 (en) | System for determining entry of user to an automated facility | |
US10024679B2 (en) | Smart necklace with stereo vision and onboard processing | |
US10024678B2 (en) | Wearable clip for providing social and environmental awareness | |
US20200218254A1 (en) | Control method of robot | |
US20150199566A1 (en) | Smart necklace with stereo vision and onboard processing | |
US11697211B2 (en) | Mobile robot operation method and mobile robot | |
KR20190141303A (ko) | 이동 로봇의 동작 방법 | |
US11945651B2 (en) | Method of controlling robot system | |
WO2015108882A1 (en) | Smart necklace with stereo vision and onboard processing | |
JP2017529521A (ja) | 社会的且つ環境的認識を提供する装用可能イヤピース | |
CN110352116A (zh) | 智能服务机器人和相关系统及方法 | |
US20190018486A1 (en) | Augmented mirror | |
KR20190143541A (ko) | 이동 로봇의 동작 방법 | |
JP2003099629A (ja) | 遠隔商品販売システムおよび方法 | |
JP6950192B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
KR20210099218A (ko) | 서버 및 이를 포함하는 로봇 시스템 | |
KR20190104934A (ko) | 인공지능 학습방법 및 이를 이용하는 로봇의 동작방법 | |
US11500393B2 (en) | Control method of robot system | |
KR20190104282A (ko) | 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |