CN111070214A - 机器人 - Google Patents

机器人 Download PDF

Info

Publication number
CN111070214A
CN111070214A CN201910898663.2A CN201910898663A CN111070214A CN 111070214 A CN111070214 A CN 111070214A CN 201910898663 A CN201910898663 A CN 201910898663A CN 111070214 A CN111070214 A CN 111070214A
Authority
CN
China
Prior art keywords
robot
user
controller
sensor
interact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910898663.2A
Other languages
English (en)
Other versions
CN111070214B (zh
Inventor
朴龙镇
金珉煜
孙政宽
崔宅盛
丘世完
孙震豪
赵泽一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN111070214A publication Critical patent/CN111070214A/zh
Application granted granted Critical
Publication of CN111070214B publication Critical patent/CN111070214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/086Proximity sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • B25J19/061Safety devices with audible signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

一种机器人。该机器人包括:感测单元,该感测单元包括用于检测用户的至少一个传感器;面部检测器,该面部检测器被配置为获取包括由感测单元检测的用户的面部的图像;控制器,该控制器被配置为从所获取的图像检测用户的交互意图;以及输出单元,该输出单元包括扬声器和显示器中的至少一者,用于在检测到交互意图时输出用于引起用户的交互的声音和屏幕中的至少一者。

Description

机器人
技术领域
本公开涉及一种机器人,更具体地,涉及一种能够识别具有与机器人交互意图的用户并与所识别用户执行交互的机器人。
背景技术
机器人可以应用于各种领域,例如工业、太空和海洋勘探以及医学。例如,机器人可以在制造中执行重复任务,例如汽车生产。此外,机器人可以适于执行各种服务,这些服务可以根据机器人的场所、场所处的用户、情况、时间等而变化。例如,机器人可以在机场、旅馆、医院、学校、大型购物设施、文化设施或公共设施中执行各种功能。例如,机器人可以包括用于捕获图像的照相机,并且机器人可以显示所捕获的图像或基于处理所捕获的图像生成的数据。
为了发起机器人的动作,用户通常可以借助触摸屏、按钮或其他输入装置提供输入,和/或用户可以表达由机器人检测的音频输入,例如所选择的启动词或短语。然后,机器人可以基于接收输入来执行动作,诸如与用户交互。然而,当机器人基于借助输入装置接收用户输入启动动作时,用户需要被定位得足够靠近机器人来使用输入装置,这在机器人移动时或者在机器人位于对机器人的访问可能被其他用户阻止的拥挤场所时可能是困难的。类似地,当机器人基于接收音频输入启动动作时,由于高水平的环境噪声,机器人可能无法在拥挤的场所中准确地识别用户的音频输入。此外,机器人无法准确地识别在位于拥挤场所中的多个用户当中表达音频输入的用户。
发明内容
本公开的一个方面提供了一种机器人,该机器人能够在没有用于与机器人交互的用户的操作或启动词的话语的情况下自主地检测具有交互意图的用户。本公开的另一方面提供了一种机器人,该机器人能够有效地检测在机器人周围的用户当中具有交互意图的用户。本公开的另一方面提供了一种机器人,当多个用户位于机器人周围时,该机器人能够有效地检测多个用户的交互意图。本公开的另一方面提供了一种机器人,该机器人能够通知用户机器人已经检测到具有交互意图的用户。本公开的另一方面提供了一种机器人,该机器人能够输出与具有交互意图的用户的特性对应的音频或屏幕。本公开的另一方面提供了一种能够容易地检测具有各种高度的用户的机器人。
根据本公开的实施方式的机器人包括:感测单元,该感测单元被配置为检测接近机器人的用户;和面部检测器,该面部检测器被配置为从用户的面部检测与机器人交互的意图,从而在没有用户的操作或启动词的话语的情况下自动检测用户的交互意图。感测单元可包括:对象检测传感器,该对象检测传感器被配置为检测存在于距机器人预定距离内的检测区中的对象;和用户检测传感器,该用户检测传感器被配置为检测对象是否是用户。在一些实施方式中,对象检测传感器可以设置在机器人的下模块中,从而有效地检测具有低高度的对象。
在一些实施方式中,当机器人检测到多个用户时,可以根据进入预定区的顺序执行优先化,以顺序地检测交互意图,从而执行高效的交互意图检测操作。机器人可以从由面部检测器获取的、包括用户的面部的图像检测用户的特性,并且基于用户的特性提供用于引起交互的声音或屏幕。
在一些实施方式中,面部检测器可以设置在机器人的头部中,机器人可以基于用户的位置旋转头部,并且面部检测器可以根据头部的旋转来获取包括用户的面部的图像。机器人可以从由面部检测器获取的图像检测用户的视线,并且当检测到的视线面向头部时,检测交互意图的存在。在一些实施方式中,当检测到交互意图时,机器人可以控制行进单元面向用户或控制行进单元沿用户所在的方向行进。
附图说明
将参照以下附图详细描述实施方式,在附图中,同样的附图标记指代同样的元件,附图中:
图1是示出根据本公开的实施方式的机器人的外观的立体图。
图2是示出图1的上模块和下模块分离的状态的视图。
图3是示出图1所示的机器人的外观的侧视图。
图4是示出图1的机器人的上模块的内部的视图。
图5是示出图1的机器人的下模块的内部的视图。
图6是示意性地示出根据本公开的实施方式的机器人的控制配置的图。
图7是示意性地例示根据本公开的实施方式的机器人的控制操作的流程图。
图8和图9是例示根据本公开的实施方式的检测用户在机器人处的接近的操作的示例的视图。
图10和图11是例示检测由本公开的机器人检测的接近用户的交互意图的操作的示例的视图。
图12至图14是例示当本公开的机器人检测多个用户的接近时检测具有交互意图的用户的操作的示例的视图。
图15是例示与具有与本公开的机器人的交互意图的用户执行交互的详细示例的流程图。
图16至图18是示出在本公开的实施方式中的、由机器人基于用户的特性执行交互的操作的示例的视图。
图19是例示在本公开的实施方式中的、由机器人执行的控制操作的另一个示例的流程图。
具体实施方式
在下文中,将参考附图详细描述本说明书中公开的实施方式。附图仅为了便于理解本说明书中公开的实施方式而示出,并且应当理解,它们不旨在限制本说明书中公开的技术构思,并且包括在本公开的范围和精神中包括的所有变更、等同物以及替换。
在下面的讨论中,根据本公开的实施方式的机器人可以被实现为引导机器人,该引导机器人用于向在机场或百货商店中使用机器人的用户提供诸如路线引导、产品引导以及航班信息的各种信息。然而,本公开不限于此,并且可以实施能够进行不同类型的服务和交互的各种类型的机器人。
图1是示出根据本公开的实施方式的机器人1的外观的立体图,并且图2是示出图1中的机器人1的上模块10和下模块20被分离的状态的视图。参照图1和图2,根据本公开的实施方式的机器人1可以包括上模块10和下模块20。另外,上模块10和下模块20可以被设置为附接到彼此或者相互脱离。在根据本公开的实施方式的机器人1中,上模块10可以包括部件(下面描述)以提供根据服务环境而变化的用户界面(UI)。另外,下模块20可以包括提供用于移动的行进功能的部件(下面描述)。
上模块10可包括主体100、头部180以及显示器170。主体100可包括形成其外观的上壳体15、以及各设置在上壳体15的一侧上的第一照相机16和第二照相机17。
上壳体15可以具有直径向下增大的圆柱形状。然而,应当理解的是,形状仅被提供为示例,并且上壳体15可以具有例如可以基于场所和要执行的服务变化的其他形状或配置。第一照相机16可以设置在上壳体15的前表面上,面向前。多个第二照相机17可以设置在上壳体15的侧表面上。
第一照相机16可包括三维(3D)立体照相机。3D立体照相机可以执行诸如障碍物检测、用户面部识别、立体图像获取等功能。机器人1可以基于由第一照相机16捕获的图像,根据其移动方向来检测并避开障碍物,确认当前位置,识别用户,以执行各种控制操作等。
第二照相机17可以包括同时定位与地图创建(SLAM)照相机。SLAM照相机用于借助特征点匹配跟踪照相机的当前位置,并且基于当前位置创建三维地图。例如,机器人1可以基于由第二照相机17捕获的图像来检查其当前位置。
主体100还可以包括设置在上壳体15的一侧上的红色、绿色、蓝色、距离(RGBD)传感器(未示出)和/或扬声器(未示出)。RGBD传感器可以执行用于检测在机器人1行进的同时与障碍物碰撞的功能。为此,RGBD传感器可以位于机器人1的前侧,例如,与第一照相机16相邻。扬声器可以执行用于向用户可听地输出机场相关信息的功能。例如,扬声器可以形成在上壳体15的外周表面上。
显示器170可以位于主体100的一个方向上。例如,显示器170可以设置在机器人1的后侧上,以将视觉内容输出给后续用户。另外,显示器170可以包括在上下方向上延伸的弯曲显示器,以提高显示器的下区域相对于后续用户的可视性。显示器可以显示用于提供视觉信息的屏幕。参照图1,基于机器人1的中心轴,安装第一照相机16的方向可以被定义为“前”侧,并且安装显示器170的方向可以被定义为“后”侧。
显示器170可以联接到主体100的移动引导单元140。基于从移动引导单元140接收的引导数据,显示器170可以打开或遮蔽主体100的内部。在另一个示例中,显示器170可以使用物理固定构件(诸如螺钉或螺栓)将主体100联接并固定到主体100。
显示器170可以被设置为使得机器人1向用户提供引导功能。因此,显示器170可以位于与机器人1的移动方向相反的方向上,以向跟随显示器170的用户视觉地提供引导信息。例如,显示器170可以执行用于显示与当前提供的服务有关的视觉信息(例如,机场大门查询信息、路线引导服务信息等)的功能。例如,机器人1可以首先沿着设置路线移动,以便沿着路线引导用户。另外,用户可以在跟随机器人1的同时查看安装在机器人1后侧上的显示器170。即,即使当机器人1行进以进行路线引导时,用户也可以容易地查看显示在显示器170上的服务信息。
头部180可以位于主体100上。具体地,头部180可以连接到主体100的上端,以形成机器人1的上部。头部180可以包括用于保护操作单元(或用户输入装置)183的内部配置的头部壳体185,该头部壳体用于接收来自用户的命令。
操作单元183可以包括例如用于接收来自用户的触摸输入或显示各种信息的触摸屏。触摸屏可以包括用于接收触摸输入的触控面板和用于显示各种信息的显示器。另外,操作单元183还可包括物体识别传感器。
对象识别传感器可包括2D照相机和红色、绿色、蓝色、距离(RGBD)传感器。2D照相机可以是用于基于2D图像识别人或对象的传感器。另外,2D照相机和RGBD传感器可以获取人的位置或面部图像。在一个示例中,第一照相机16可以对应于对象识别传感器。
头部壳体185可以连接到上壳体15。另外,头部壳体185和上壳体15可以一体地形成在单个部件中,使得上壳体15向上延伸以具有圆顶形状。另外,头部壳体185可以被配置为旋转预定的旋转距离(例如,360度)。另外,头部180还可包括麦克风(未示出)。麦克风可以执行用于接收来自用户的音频信号中的命令的功能。
下模块20可包括形成外观的下壳体25和照明单元280。下壳体25可具有直径向下增大的圆柱形状。另外,照明单元280可以设置在下壳体25的下部,并且照明单元280和下壳体25可以一体地形成为单个部件。例如,下模块20可以具有与照明单元280和下壳体25的组合相关联的罐形状。如下面将描述的,照明单元280可以根据机器人1的功能提供各种照明。
上壳体15和下壳体25可以形成为在竖直方向上具有连续形状。例如,上壳体15可以具有直径向下增大的圆柱形状,并且下壳体25可以具有圆柱形状,其直径以与上壳体15的直径增加率相似的速率向下增大。因此,下壳体25的上端的直径可以大致等于或大于上壳体15的下端的直径。因此,当上模块10和下模块20联接时,下壳体25和上壳体15可以在上下方向上形成连续的外观。
下模块20还可包括多个超声传感器(未示出),该多个超声传感器彼此隔开并形成在下壳体25的一侧上。例如,多个超声传感器可沿着下壳体25的下端的圆周彼此隔开特定距离。超声传感器可以执行使用超声信号确定障碍物与机器人1之间的距离的功能。另外,超声传感器可以执行用于检测接近机器人1的障碍物的功能。
上模块10和下模块20在结构中彼此独立地形成,由此可以彼此分离或联接到彼此。因此,上模块10的下端和下模块20的上端可以设置有用于相互硬件和软件连接的配置。例如,主电源开关271、输入组件、连接引导部等可以位于上模块10的下端与下模块20的上端。
图3是示出图1所示的机器人1的外观的侧视图。参照图3,上模块10可包括可旋转地连接到上壳体15的子壳体(或次壳体)18。另外,主电源开关271和电源插头(未示出)可以根据子壳体18的旋转而暴露到外部。
开口可以形成在上壳体15的下端中,以便改善对设置在下模块20中的主电源开关271和用于对电池充电的电源插头的可接近性。主电源开关271和电源插头可位于开口中。另外,开口可以形成在上壳体15的后侧中,并且可以取决于显示器170是否连接而位于打开或关闭的连接开口的下侧处。另外,该开口可以通过向下延伸连接开口来形成。
子壳体18可以可旋转地连接到上壳体15,以打开或关闭上壳体15。例如,子壳体18可以借助旋转铰链连接到上壳体15。旋转铰链可以设置在子壳体18的侧边缘处,用于与上壳体15联接。例如,子壳体18的下端可以向外移动,使得主电源开关271或电源插头可能会暴露在外部。在该打开位置中,操作员可以接通/断开主电源开关271或连接电源插头。当操作者释放子壳体18时,子壳体18可以由弹力返回到原始位置,从而再次遮蔽开口。
如图所示,下壳体25可包括第一切口部分(或第一凹口)31和第二切口部分(或第二凹口)32。第一切口部分31可形成在下壳体25的前表面中。例如,第一切口部分31可以形成为使得下壳体25的上端和上壳体15的下端彼此隔开。例如,第一切口部分31可以被理解为上壳体15与下壳体25之间的使得前光学雷达233(或其他传感器)能够操作的开口。另外,第一切口部分31可以通过提供抓握表面(例如,第一切口部分31的上表面)来起手柄的作用,该抓握表面能够允许用户在上模块10和下模块20联接或分离时在下端处支撑上模块10。
前光学雷达233可以位于下壳体25的内部。另外,第一切口部分31可以在与前光学雷达233的位置对应的点处沿着下壳体25的圆周形成。因此,前光学雷达233可以由第一切口部分31暴露到外部。
第二切口部分32可以形成在下壳体25的后表面中。第二切口部分32可以是下壳体25中的使得后光学雷达234(或其他传感器)能够操作的开口。例如,第二切口部分32可以在下壳体25的后表面中沿径向延伸特定长度,并且后光学雷达234可以位于下壳体25内部。另外,第二切口部分32可以被形成为在与后光学雷达234的位置对应的点处沿着下壳体25的圆周切割。因此,后光学雷达234可以由第二切口部分32暴露到外部。另外,第一切口部分31可以在垂直方向上与第二切口部分32隔开。例如,第一切口部分31可以位于第二切口部分32上方。
前光学雷达233和后光学雷达234是这样的光学雷达,其包括用于发射激光束的激光发射器和用于收集并分析激光的反射且基于分析检测到的激光反射来执行位置识别的传感器。另外,当发射的激光束从对象反射时,前光学雷达233和后光学雷达234可以接收所反射的激光束。机器人1可以基于所接收的激光束检测位于机器人1周围的对象的存在和位置。前光学雷达233和后光学雷达234可以设置在下模块20中,以有效地检测具有低高度的对象。例如,前光学雷达233和后光学雷达234可以设置在下模块20中,以容易地检测身高低的用户(例如,儿童或轮椅中的人)。
图4是示出图1的上模块10的内部的示例的视图。参照图4,主体100可包括提供上模块10的底部的底板110、位于底板110上方的中间板120以及位于中间板120上方的顶板130。
底板110可以提供上模块10的基面。底板110可以形成为盘形。另外,底板110可以形成为具有比中间板120的外周大的外周。另外,中间板120可以形成为具有比顶板130的外周大的外周。因此,当底板110、中间板120以及顶板130联接时,上壳体15可以具有向下增大的直径。
底板110可以坐落在下模块20中,以与下模块联接或分离。因此,底板110可包括用于与下模块20联接或分离的部件。例如,主体100还可包括用于将底板110紧固到下模块20的紧固构件106a(例如,螺钉或螺栓)。
同时,底板110可以在其最下端处固定并支撑上模块10的部件,并且坐落在下模块20中,使得上模块10和下模块20稳定地联接或分离。
主体100可包括悬崖检测传感器101,该悬崖检测传感器与下模块20联接,以补充机器人1的行进功能。悬崖检测传感器101可执行用于检测机器人1在其上移动的行进表面的台阶的功能。当在行进期间检测到悬崖或障碍物时,机器人1可以停止或避开悬崖或障碍物。
主体100还可以包括能够根据各种服务环境提供用户界面(UI)的主印刷电路(PC)127。主PC 127可以位于中间板120上方。另外,主PC 127可以联接到PC支撑件(或PC框架)126,以被固定并支撑。例如,主PC 127可以位于PC支撑件126的前表面上。
主PC 127可以根据由机器人1提供的各种服务环境来设置UI。例如,主PC 127可以根据服务环境来不同地设置UI,以提供适于单独服务环境的机器人服务。当主PC 127根据机器人1操作的操作服务环境改变UI的设置时,用于提供视觉屏幕的部件(例如显示器170和/或操作单元183),可以根据更改的UI设置向用户提供视觉屏幕。这里,用于提供视觉屏幕的部件,诸如显示器170和操作单元183,可以被称为机器人1的显示器672(参见图6)。
另外,主PC 127可以连续地升级程序,从而连续地开发并提供适合机器人1的操作服务环境的服务。例如,根据本公开的实施方式的机器人1可以根据机器人1使用的服务环境改变所设置的UI。然而,可以根据使用机器人1的服务环境来改变结构。例如,当向机场和百货商店中的用户提供路线引导服务时,可以改变UI,以适应机场或百货商店的环境。特别地,机器人的上部的结构改变可能频繁发生,在该结构改变中,执行用户的命令的输入,并且执行辅助通信。另外,如果结构改变在传统机器人中是必要的,则需要重新设计在两个服务环境中通常使用的行进相关部件。
根据本公开的实施方式的机器人1可以向上模块10和下模块20独立地分割并提供部件。例如,在根据本公开的实施方式的机器人1中,下模块20可以设置有可以共用的行进功能,并且内部频繁发生结构改变的上部模块10可以被设置为联接到下模块10或与其分离。
同时,主PC 127所生成的热量可以由在底板110中设置的第一冷却器103a和第二冷却器103b逸出到外部。例如,第一冷却器103a和第二冷却器103b可以执行关于上模块10的散热功能。
主体100可以包括用于控制机器人1的操作的各种类型的板。例如,除了主PC 127之外或作为其另选方案,主体100可以还包括主板121、用户界面板(未示出)、和/或立体板(未示出)。主板121可以位于中间板120上。主板121可以连接到主PC 127,以执行用于稳定地驱动主PC 127并执行各种控制装置之间的数据交换的功能。
用户界面板可以连接到主PC 127,以控制负责用户输入/输出的部件的操作。立体板可以用来处理从各种类型的传感器和照相机收集的感测数据,并且管理用于机器人1的位置识别和障碍物识别的数据。
主体100还可以包括能够执行上模块10与外部设备或上模块10与下模块20之间的通信的通信设备(或通信接口)122。例如,通信设备122可以包括:通信处理器,该通信处理器根据一个或多个通信协议生成或解码信号;以及收发器,该收发器收发信号。通信设备122可以位于中间板120上方。另外,通信设备122可以包括互联网协议(IP)路由器。
头部180还可包括读取器181。读取器181可位于顶板130上方。
读取器181可以包括例如发射器,该发射器输出红外光或其他辐射,并且读取器可以基于所输出辐射从用户的文件(例如,护照、机票、移动条形码等)的反射扫描或识别文件。因此,可以基于借助读取器181获取的信息借助显示器170显示用户的信息。例如,当用户将移动装置插入到读取器181中时,读取器可以识别移动登机牌的所显示条形码。并且显示器170可以基于所获取的与移动登机牌关联的信息,显示关于用户应该移动到的登机门的引导数据。
头部180还可包括旋转构件(或旋转板)182和头部马达(未示出)。头部马达可以位于顶板130的中心处。另外,旋转构件182可以沿向上方向连接到头部马达。头部壳体185可以联接到旋转构件182的边缘。因此,头部壳体185可以由旋转构件182的旋转来旋转。头部马达可以提供用于使旋转构件182旋转的动力。
图5是示出图1所示的机器人1的下模块20的内部的视图。如上所述,上模块10执行可以根据机器人1的各种服务环境而改变的UI功能,并且下模块20执行即使在各种服务环境中也不太可能改变的行进功能。对于机器人1的行进功能,下模块20可包括:行进单元210,该行进单元包括轮子、马达等;驱动单元200,该驱动单元包括能够向行进单元210供电的电池;以及连接器(或连接器板)260,该连接器用于与上模块10联接。
驱动单元200可包括形成下模块20的基面的下板203、坐落在下板203上的电池201、位于电池201上方的上板205、以及连接下板203和上板205的下框架(或下框架柱)204。下板203可以形成下模块20的底部。另外,下板203可以连接到行进单元210。下板203可以具有各种形状。例如,下板203可以形成为矩形板。
下框架204可以从下板203的一端向上延伸。例如,多个下框架204可以设置在与下板203的顶点对应的位置处。下框架204可以垂直地连接到下板203和上板205。具体地,下框架204可以联接到下板203的上表面和上板205的下表面。另外,下框架204可以具有沿一个方向延伸的六面体柱状形状。
可以在上板205的中心中形成孔。上面安装多个电子设备的板243可以设置在上板205的孔中。上板205可以具有各种形状。例如,上板205可以形成为矩形板。上板205的尺寸可以对应于下板203的尺寸。因此,下板203与下框架204之间的联接的位置可以对应于上板205与下框架204之间的联接的位置。然而,上板205的尺寸不限于下板203的尺寸。上板205的下表面可以连接到下框架204,并且其上表面可以连接到上框架245。
下板203、下框架204以及上板205可以具有矩形平行六面体形状,该形状具有中空的内部空间。另外,下板203与上板205之间的内部空间被称为安装空间206。安装空间206可以被理解为具有较大重量的电池201所在的空间。
电池201可以包括锂离子电池,不限于此。应当理解,电池201可以包括除了锂离子电池之外或者与锂离子电池不同的不同类型的电池。电池201可以供应用于驱动机器人1的电力。另外,电池201可以位于安装空间206中。因为电池201通常占据机器人1的总重量的最大部分,所以优选的是电池在重心方面坐落在下板203的上表面上。
驱动单元200还可包括支撑连接器260的上框架245和位于上板205中心处的板243。板243可位于上板205的中心处。可以设置多个板243来在垂直向下方向上形成多个层。多个板243可以沿垂直方向设置,以形成多个层,并且该多个层被称为空间246。多个电子设备可以位于空间246中。多个电子设备可以联接到板243。例如,可以在空间246中设置多个板。
上框架245可以连接到上板205。上框架245可以位于上板205的外周与中心孔的内周之间。例如,上框架245可以被定位为使得虚拟三角形在板243外部形成在上板205的上表面上。上框架245可以位于虚拟三角形的顶点处。
在一种配置中,可以设置多个上框架245来在三个点处支撑连接器260。例如,上框架245可包括位于板243前方的第一上框架和位于板243两侧处的第二和第三子框架。连接器260的连接板261可联接到第一至第三上框架245的上侧。
上框架245可以垂直地联接到上板205的上表面。另外,上框架245可以具有在一个方向上延伸的六面体柱形形状。另外,因为上框架245可以固定并支撑连接器260以便与上模块10联接或分离,所以为了在将上模块10与下模块20联接时的稳定平衡,上框架245的竖向长度可以小于下框架204的竖向长度。
驱动单元200还可包括位于上板205上方的块240、位于块240上的负载传感器241、以及位于负载传感器241上方的接触环242。块240可在上板205的顶点处向上延伸。例如,块240可以位于上框架245的外部。
负载传感器241可以设置在块240上。例如,块240可以固定并支撑负载传感器241和接触环242。多个负载传感器241可以连接到接触环242,以由从接触环242接收的力检测负载。块240的数量可以对应于负载传感器241的数量。
负载传感器241可包括对应于上板205的顶点的第一负载传感器、第二负载传感器、第三负载传感器以及第四负载传感器。第一至第四负载传感器241可位于上板外部。另外,接触环242可以沿着第一至第四负载传感器241的外端连接。
接触环242可以沿着第一至第四负载传感器241的上端向外坐落。接触环242可以位于块240上方并且与块240向外隔开。接触环242可以形成为环形。接触环242的外径可以较大,使得上板205位于接触环242的内部。另外,接触环242可以连接到下壳体25。因此,当下模块20的碰撞发生时,可以容易地传递冲击。
负载传感器241和接触环242可用来检测下模块20的碰撞,以控制行进操作。例如,当下模块20的碰撞发生时,接触环242可能由于下壳体25接收的冲击而扭曲。例如,在接触环242中生成动量,并且负载传感器241检测动量并传递信号。控制器(例如,图6中的控制器690)可以基于接收负载传感器241的信号来执行控制,以停止行进单元210的滚动运动。因此,可以提高机器人1的行进安全性。
下板203可以连接到行进单元210,以便执行机器人1的移动功能。行进单元210可以包括主轮(例如,驱动轮)211、辅助轮(例如,从动轮)212以及悬架(未示出),使得下模块20容易移动。例如,行进单元210可以向机器人1提供移动能力。
悬架(未示出)可以位于下板203的相对侧上。例如,悬架可以联接到下板203的两端。另外,悬架可以连接到位于其外部的主轮211。
主轮211可以连接到下板203的两侧。例如,主轮211可以连接到位于下板203的下表面上的马达组件(未示出)。另外,马达从电池201接收电力来旋转,从而向主轮211提供旋转力。主轮211可以接收马达的旋转力并执行滚动运动,使得下模块20行进。另外,如上所述,主轮211可以连接到悬架并且位于悬架外部。
设置在下板203两侧上的主轮211可以由对应马达独立地旋转。当马达向主轮211提供对应的旋转力时,机器人1可以笔直前进或后退。相反,当马达向主轮211提供不同的旋转力时,机器人1可以弯曲或旋转。
辅助轮212可以位于下板203下方。例如,辅助轮212可以联接到向下连接到下板203的前端和后端的辅助轮板。可以设置多个辅助轮212。多个辅助轮212可以在下板203的下表面的前后方向上稳定地支撑下模块20。例如,辅助轮212可以用来保持下模块20的平衡,使得下模块20稳定地行进。
辅助轮212可以基于由于来自马达的驱动力产生的主轮211的旋转来执行滚动运动。例如,辅助轮212可以不独立地旋转,并且可以取决于主轮211的旋转执行滚动运动。辅助轮212可以包括脚轮。
图6是示意性地示出根据本公开的实施方式的机器人1的控制配置的框图。在图6中,机器人1包括通信单元610、输入单元620、感测单元630、面部检测器640、行进单元650、头部马达660、输出单元670、存储器680以及控制器690。然而,为了便于描述,示出了图6的部件,并且这些部件对于实施机器人1不是必要的,由此机器人1可以包括图6所示的部件中的一些,并且省略图6所示的其他部件。另外,在一些实施方式中,机器人1可以包括图6所示的部件,并且还包括另外的控制部件。
通信单元(或通信接口)610可以包括至少一个通信模块,该至少一个通信模块用于借助网络将机器人1连接到服务器、终端或另一个机器人。例如,通信单元610可以包括诸如
Figure BDA0002211090430000122
或近场通信(NFC)的短程通信模块、诸如
Figure BDA0002211090430000121
的无线因特网模块或移动通信模块。控制器690可以借助通信单元610向服务器、终端和/或另一个机器人发送机器人1的状态信息或操作信息、借助输入单元620接收的用户输入或由感测单元630或面部检测器640获取的各种检测数据。另外,控制器690可以借助通信单元610从远程服务器或终端接收机器人1的控制信息。
输入单元(或输入装置)620可以包括至少一个输入装置,该输入装置用于由用户操作或其他动作向机器人1输入预定信号或数据。例如,输入装置可以包括按钮、拨号盘、触摸板、麦克风等。用户可以通过操作按钮、拨号盘和/或触摸板向机器人1输入请求或命令。另外,用户可以借助麦克风向机器人1输入语音请求或命令。
感测单元630可以包括至少一个传感器,该传感器用于检测在距离机器人1预定距离内存在的对象。例如,在特定实施方式中,感测单元630可以通过区分接近的用户与其他检测到的对象或其他用户来检测用户是否正在接近机器人1。下文中,在本说明书中,用户可以指人。用户可以被理解为包括具有与机器人1交互的意图的人和无意与机器人1交互的人。
感测单元630还可以包括至少一个对象检测传感器632,该对象检测传感器用于检测在距离机器人1预定距离内存在的对象。例如,对象检测传感器632可以包括光学雷达传感器,不限于此,并且可以包括其他传感器,诸如超声传感器。例如,对象检测传感器632可以包括至少一个光学雷达传感器,该光学雷达传感器用于检测机器人1的所有方向上的对象。例如,在图1至图5所示的机器人1中,对象检测传感器632可以意指前光学雷达233和后光学雷达234。光学雷达传感器可以发射激光束并接收从对象反射的激光束。光学雷达传感器可以基于所接收的激光束检测对象的存在和位置。
感测单元630可以包括用户检测传感器634,该传感器用于检测所检测到的对象是否是用户。例如,用户检测传感器可以被实现为3D立体照相机(例如,第一照相机16)。在一些实施方式中,用户检测传感器可以被实现为用于将用户与各种对象中的其他对象区分。由3D立体照相机获取的图像可以包括各像素的深度信息。控制器690可以使用所获取的图像的各像素值和深度信息来检测对象是否是用户。
用户检测传感器634可以包括至少一个3D立体照相机,以便在机器人1的一个或多个方向上获取图像以检测用户。在该示例中,当光学雷达传感器632检测到对象时,控制器690可以控制至少一个3D立体照相机当中的、面向检测到的对象的3D立体照相机,从而获取包括对象的图像。
在图1至图5所示的机器人1中,3D立体照相机可以对应于在主体100中设置的第一照相机16。在图1至图5的实施方式中,如果机器人1包括一个3D立体照相机,则无法沿所有方向获取图像。在该示例中,当对象检测传感器632检测到对象时,控制器690可以旋转主体100,使得3D立体照相机面向对象。例如,控制器690可以控制行进单元650改变行进方向。随着行进方向改变,主体100可以旋转。在一些实施方式中,如果在机器人1中设置用于水平旋转主体100的单独马达,则控制器690可以控制马达旋转主体100。
当感测单元630检测到用户时,面部检测器(或照相机)640可以检测检测到的用户的面部。面部检测器640可以包括用于获取包括用户面部的图像的至少一个照相机。
控制器690可以基于在所获取的图像中包括的用户的面部的属性来检测交互意图。当用户想要与机器人1交互时,用户的视线通常面向机器人1。例如,控制器690可以从获取的图像检测用户的视线方向,并且当用户的视线方向面向机器人1时,检测到用户具有交互意图。例如,在图1至图5所示的机器人1中,面部检测器640可以包括在头部180中设置的2D照相机或者RGBD传感器中的至少一者。控制器690可以控制头部马达660旋转头部180,使得面部检测器640面向用户。
头部180设置有诸如触摸屏的操作单元183,并且控制器690可以借助操作单元183显示视觉屏幕。因此,具有与机器人1交互意图的用户的视线可能面向头部180。例如,面部检测器640可以包括在头部180中,从而有效地检测用户的视线是否面向头部180。因此,机器人1可以更准确地检测用户的交互意图。
行进单元650是用于机器人1的移动的部件。例如,行进单元650可以包括设置在下模块20中的轮子211和用于向轮子211提供旋转力的马达。例如,在图1至图5所示的机器人1中,轮子211可包括布置在下模块20的相对侧处的第一轮和第二轮,并且马达可包括用于向第一轮提供旋转力的第一马达和用于向第二轮提供旋转力的第二马达。当控制器690控制第一马达和第二马达在类似方向上提供类似的力时,机器人1可以笔直前进或后退。相反,当控制器690控制第一马达和第二马达提供不同量的力和/或不同方向上的力时,机器人1可以弯曲或旋转。随着机器人1旋转,主体110可以旋转。
输出单元(或输出模块)670可以输出与机器人1的操作或状态或由机器人1提供的服务有关的各种信息。另外,输出单元670可以输出用于与用户交互的各种类型的消息或信息。例如,输出单元670可以包括显示器672、扬声器674和光输出单元676中的至少一者。在一个示例中,输出单元670可以与机器人1分开设置,诸如设置在服务环境中设置的远程终端上(例如,在机场中设置的显示器上)或设置到用户装置(例如,与用户关联的智能装置)。例如,控制器690可以将用于前向指令的通信单元610选择性地引导到远程装置,以输出音频和/或视觉内容。
显示器672可以以图形的形式输出各种类型的消息或信息,并且扬声器674可以可听地输出各种类型的消息或信息。在图1至图5所示的机器人1的实施方式中,显示器672可以被理解为包括显示器170和操作单元183的触摸屏。扬声器674可以设置在主体100或头部180中。
光输出单元676可以输出具有与各种类型的消息或信息对应的特定颜色或图案的光。光输出单元676可以在显示器672或扬声器674的输出时用作辅助输出装置,不限于此。
各种数据,例如用于控制在机器人1中包括的部件的操作的控制数据和用于执行与借助输入单元620获取的输入对应的操作的数据,可以存储在存储器680中。借助感测单元630的对象检测传感器632和用户检测传感器634获取的所检测数据可以存储在存储器680中,并且用于基于所检测数据检测用户的算法和与其相关的数据可以存储在存储器680中。另外,借助面部检测器640获取的图像可以存储在存储器680中,并且用于从图像检测用户的交互意图的算法和与其相关的数据可以存储在存储器680中。
控制器690可以包括在机器人1中包括的电路(例如,主PC 127和/或主板121),并且可以执行机器人1的整体操作。例如,控制器690可以控制在感测单元630中包括的至少一个传感器632和634以检测位于机器人1周围的用户。另外,控制器690可以控制面部检测器640获取包括检测到的用户的面部的图像,并且基于所获取的图像检测用户的交互意图。当检测到交互意图时,控制器690可以输出引导声音或用于执行与用户的交互的引导屏幕。
机器人1可以向用户提供各种信息并通过与用户交互来执行引导操作。在一个实施方案中,用户操作机器人1的操作单元183或者说出用于与机器人1交互的启动词。然而,用户直接操作操作单元183可能是麻烦的,并且当在操作单元183上而不是在菜单屏幕上显示广告屏幕时,可能延迟或不执行与机器人1的交互。另外,当机器人1被放置在存在许多用户的空间(诸如机场或百货商店)中时,机器人1由于噪声而无法容易地识别由用户说出的启动词。
根据本公开的实施方式,机器人1可以自动检测用户与机器人1交互的意图,而不从用户接收单独的操作或启动词,从而更有效地发起与用户的交互。将参照图7至图19描述与此相关的各种实施方式。
图7是示意性地例示根据本公开的实施方式的机器人1的控制操作的流程图。下文中,在本说明书中,为了便于描述,假设用于执行根据本公开的实施方式的各种控制操作的机器人是图1至图5所示的机器人1。另外,如上所述,在本说明书中,用户可以被理解为包括具有交互意图的人(例如,期望与机器人交互以请求服务)或没有交互意图的人。
参照图7,机器人1可以检测用户的接近(S700)。机器人1的控制器690可以使用在感测单元630中包括的传感器632和634来检测存在于距机器人1的预定距离内的用户。另外,控制器690可以基于所检测用户的位置变化来检测用户的接近。将参照图8至图9更详细地描述这一点。
当检测到用户的接近时,机器人1可以沿所检测到的用户所在的方向旋转头部180(S710)。控制器690可以控制头部马达660旋转头部180,使得设置在头部180(或机器人1的其他部分)中的面部检测器640面向用户。
机器人1可以检测用户的面部并确定用户是否具有交互意图(S720)。例如,控制器690可以控制面部检测器640获取包括用户的面部的图像并检测用户与机器人1交互的意图。将参照图10至图14描述与此相关的实施方式。
如果检测到交互意图(例如,机器人确定用户希望与机器人交互),则机器人1沿所检测到用户所在的方向旋转机器人主体(S730),并且与用户执行交互(S740)。例如,当检测到用户的交互意图时,控制器690可以控制行进单元650,使得主体100的前侧面向用户。
在一些实施方式中,控制器690可以控制行进单元650,使得机器人1在主体100的前侧面向用户之后朝向用户行进。例如,控制器690可以朝向具有检测到的交互意图的用户自主行进,从而通过减少用户朝向机器人1的所需移动而更加改善用户便利性。
机器人可以为具有交互意图的所检测用户执行各种服务。例如,控制器690可以控制输出单元670输出诸如引导声音或引导屏幕的引导用于与用户交互。用户可以基于所输出引导请求特定服务,并且控制器690可以响应于所接收的请求向用户提供服务,从而与用户执行交互。例如,根据本公开的实施方式,机器人1可以自主检测用户的交互意图,而不从用户接收单独的操作输入或语音输入,从而更有效地与用户执行交互。
现在将参照图8至图18描述与上面参照图7描述的机器人1的各控制操作有关的更具体的实施方式。图8和图9是例示根据本公开的检测用户在机器人1处的接近的操作的示例的视图。参照图8和图9,机器人1可以借助对象检测传感器632检测在预定距离D1内存在的对象(S800)。
如前所述,对象检测传感器632包括机器人1的前光学雷达233和后光学雷达234。控制器690可以使用前光学雷达233和后光学雷达234来检测对象是否存在于距机器人1的预定距离D1内。如上所述,控制器690可以控制前光学雷达233和后光学雷达234发射激光束,接收从对象反射的激光束,并且基于所接收的激光束检测对象的存在。预定距离D1可以等于或小于对象检测传感器632的最大检测距离。
参照图9,对象901和902可以存在于距机器人1的预定距离D1内的检测区(区1)中。在该示例中,从前光学雷达233或后光学雷达234发射的第一激光束L1可以由第一对象901反射,并且前光学雷达233或后光学雷达234可以接收反射的第一激光束L1’。另外,从前光学雷达233或后光学雷达234发射的第二激光束L2被第二对象902反射,并且前光学雷达233或后光学雷达234可以接收所反射的第二激光束L2'。
控制器690可以基于所反射的第一激光束L1'和所反射的第二激光束L2'检测第一对象901和第二对象902。另外,控制器690可以基于所反射的第一激光束L1’的接收方向和时间识别第一对象901的位置,并且基于所反射的第二激光束L2’的接收方向和时间识别第二对象902的位置。例如,控制器690可以以二维坐标的形式定义所识别的位置。
如前所述,前光学雷达233和后光学雷达234可以布置在下模块20中,从而有效地检测具有低高度的障碍物。例如,前光学雷达233和后光学雷达234可以有效地检测具有低高度的用户(例如,儿童)。
当检测到对象时,机器人1可以使用用户检测传感器634检测对象是否是用户(S810)。例如,当对象检测传感器632检测到对象时,控制器690可以使用用户检测传感器634检测对象是否是用户。
例如,用户检测传感器634包括设置在机器人1的主体100中的第一照相机16。在这种情况下,控制器690可以控制行进单元650旋转主体100,使得对象包括在由第一照相机16获取的图像中。当主体100旋转时,控制器690可以借助第一照相机16获取包括对象的图像。
例如,控制器690可以旋转主体100,使得第一对象901包括在由第一照相机16获取的图像中,并且控制第一照相机16获取包括第一对象901的图像。另外,控制器690可以旋转主体100,使得第二对象902包括在由第一照相机16获取的图像中,并且控制第一照相机16获取包括第二对象902的图像。在一些实施方式中,如果用户检测传感器634包括沿不同方向布置的多个3D立体照相机,则控制器690可以控制多个3D立体照相机当中能够获取包括对象的图像的3D立体照相机,从而获取图像。
控制器690可以基于所获取的图像来检测对象是否是用户。由3D立体照相机获取的图像不仅包括指示对象的颜色或形状的像素值(例如,RGB数据),还包括各像素(或一些像素)处的、指示对象与3D立体照相机之间的距离的深度信息。控制器690可以使用像素值和深度信息来检测对象是否是用户。例如,与用户(人)的像素值模式和深度信息模式有关的数据以及用于确定对象是否是用户的算法可以存储在存储器680中。例如,控制器690可以检测第一个对象901是来自包括第一对象901的图像的用户。另外,控制器690可以从包括第二对象902的图像检测第二对象902不是用户。
在一些实施方式中,控制器690可以控制前光学雷达233和后光学雷达234周期性地发射激光束,从而检测对象的位置变化。在检测到对象正在接近机器人1时,控制器690可以使用用户检测传感器634检测接近对象是否是用户。另选地,控制器690可以与步骤S610并行地使用对象检测传感器632和/或用户检测传感器634来检测对象是否正在接近机器人1。接近机器人1的对象可以意味着对象和机器人1之间的距离由于对象和/或机器人1的移动而减小。例如,当对象是用户时,控制器690可以执行步骤S720及其后续步骤。
另选地,控制器690可以在检测到用户正在接近机器人1时执行步骤S720及其后续步骤。例如,即使当用户存在于预定距离D1内时,控制器690也仅在用户正在接近机器人1时执行步骤S720及其后续步骤。因此,可以最小化机器人1的负载浪费。
图10和图11是例示检测接近由本公开的机器人1检测的用户的交互意图的操作的示例的视图。参照图10至图11,当检测到用户的接近时,机器人1可以控制头部马达660使头部180沿检测到的用户所在的方向旋转(S1000)。
当感测单元630检测到用户1100的接近时,控制器690可以旋转头部180,使得操作单元183和面部检测器640面向检测到的用户1100。控制器690可以控制头部马达660旋转头部180。
控制器690可以以二维坐标的形式指示检测到的用户1100的位置。控制器690可以使用与用户1100的位置对应的坐标来计算头部180的旋转角度,并且基于所计算的旋转角度来控制头部马达660。
在一些示例中,在控制器690控制头部马达660的同时,用户1100可以从现有位置移动到另一个位置。在将头部180旋转所计算的旋转角度之后,控制器690可以使用感测单元630重新检测用户1100的位置。控制器690可以基于重新检测到的用户1100的位置来校正头部180的旋转角度,使得面部检测器640准确地面向用户1100。
机器人1可以使用面部检测器640检测用户的面部(S1010)。在旋转头部180使得面部检测器640面向用户1100之后,控制器690可以控制面部检测器640获取包括用户1100的面部的图像I1。
机器人1可以基于从检测到的面部检测到的用户的视线来检测用户与机器人1交互的意图(S1020)。参照图11,控制器690可以从借助面部检测器640获取的图像I1使用图像识别算法来检测用户1100的眼睛。控制器690可以从检测到的用户1100的眼睛来检测用户1100的视线S1的方向。例如,控制器690可以使用已知的眼睛跟踪算法检测瞳孔的方向,从而检测用户1100的视线S1的方向。
在检测出检测到的视线S1面向机器人1时,控制器690可以检测到用户1100具有与机器人1交互的意图。例如,控制器690可以在检测到视线S1面向操作单元183时检测到存在交互意图,因为具有与机器人1交互的意图的用户1100通常观看机器人1的操作单元183。
此外,具有交互意图的用户1100的视线可以连续面向机器人1或操作单元183。相反,没有交互意图的用户1100的视线可能在一分钟时间期间面向机器人1或操作单元183之后变到另一个方向。因此,控制器690可以当视线S1在预定时间或更长时间期间面向机器人1或操作单元183时检测到交互意图,从而更加提高检测准确度。
图12至图14是例示当本公开的机器人1检测到多个用户的接近时检测具有交互意图的用户的操作示例的视图。当在诸如机场和百货商店的公共场所中有许多用户时,多个用户可能经过机器人1附近。即使在检测到多个用户的接近时,根据本公开的实施方式的机器人1也可以顺利地检测具有交互意图的用户。
参照图12至图14,机器人1可以检测多个用户的接近(S1200)。下文中,为了便于描述,在图12至图14中,假设多个用户包括第一用户1301和第二用户1302。
类似于图8至图9的描述,控制器690可以使用在感测单元630中包括的传感器632和634,来检测在距机器人1的预定距离内的检测区(区2)中存在的第一用户1301和第二用户1302的接近。检测区(区2)可以意指具有对象检测传感器632的最大检测距离或更小的区。
机器人1可以检测多个检测到的用户当中已经进入预定距离内的区域的第一用户的交互意图(S1210)。控制器690可以检测在多个检测到的用户1301和1302当中首先进入检测区2中的交互意图检测区(区1)的第一用户1301的交互意图。交互意图检测区(区1)可以等于检测区(区2)或者是检测区(区2)的一部分。
类似于图10至图11的描述,控制器690可以旋转头部180,使得面部检测器640面向第一用户1301。控制器690可以控制面部检测器640获取包括第一用户1301的面部的图像,并且检测第一用户1301的视线方向,从而检测交互意图。例如,当检测到多个用户的接近时,机器人1可以根据进入到交互意图检测区(区1)的顺序确定多个用户的优先顺序,从而有效地检测多个用户的交互意图。
在一些实施方式中,优先化可以以各种方式执行。例如,优先化可以按照机器人1与用户之间的距离的顺序执行。另选地,优先化可以按照基于用户的移动速度计算的到达机器人1的顺序执行。
如果检测到交互意图(S1220的“是”),则机器人1可以执行与第一用户1301的交互(S1230)。在该示例中,即使另一个用户进入交互意图检测区(区1),控制器690也可以连续地执行与第一用户1301的交互。当在与第一用户1301交互之后第一用户1301离开交互意图检测区(区)1时,控制器690可以检测其他用户执行交互的交互意图。
相反,如果未检测到交互意图(S1220的“否”),则机器人1可以将头部180朝向多个用户当中随后进入预定距离内的区域的第二用户旋转(S1240),并且检测第二用户的交互意图(S1250)。当未从借助面部检测器640获取的图像I1检测到第一用户1301的交互意图时,控制器690可以检测在第一用户1301之后进入交互意图检测区(区1)的第二用户1302的交互意图。
为此,控制器690可以旋转头部180,使得面部检测器640面向第二用户1302并控制面部检测器640获取包括第二用户1302的面部的图像I2。控制器690可以从所获取的图像I2检测第二用户1302的视线方向,并且基于检测到的视线方向检测第二用户1302的交互意图。
如果检测到第二用户的交互意图(S1260的“是”),则机器人1可以执行与第二用户的交互(S1270)。相反,如果未检测到第二用户的交互意图,则控制器690可以检测进入交互意图检测区(区1)的另一个用户的交互意图。
在一些实施方式中,即使未检测到第一用户1301的交互意图,控制器690也不可以执行另一用户的交互意图检测,直到第一用户1301离开交互意图检测区(区1)为止。根据该实施方式,即使控制器690错误地检测到第一用户1301没有交互意图,第一用户1301也可以移动到机器人1,以执行交互操作或语音话语,从而从机器人1接收期望的服务。
图15是例示在本公开的机器人1处与具有交互意图的用户执行交互的详细示例的流程图。参照图15,当在步骤S720中检测到用户的交互意图时,机器人1可以控制行进单元650,使得机器人主体沿用户所在的方向旋转(S1500)。
机器人主体在用户所在方向上的旋转可以意指行进方向被改变为使得机器人1的前侧对应于用户所在的方向。例如,控制器690可以控制在行进单元650中包括的马达(第一马达和第二马达),使得机器人1的前侧对应于用户所在的方向。
头部180的操作单元183可以在检测到用户的交互意图时面向用户。在这种情况下,控制器690可以与行进单元650的控制相对应地控制头部马达660,以使头部180相对于主体100旋转,以便当机器人1旋转时维持操作单元183面向用户的状态。
机器人1可以输出用于引起输出言语内容的用户话语的引导声音或引导屏幕(S1510)。控制器690可以输出用于借助扬声器674从用户接收与期望接收的服务有关的话语的引导声音、或者借助显示器672的操作单元183的触摸屏的引导屏幕。在一些实施方式中,控制器690可以借助操作单元183的触摸屏输出菜单屏幕,以便从用户接收选择期望接收的服务的输入。
机器人1可以借助输入单元620的麦克风根据用户的话语获取语音(S1520),并且基于所获取的语音提供服务,以执行与用户的交互(S1530)。用户可以基于输出引导声音或引导屏幕说出与期望从机器人1接收的服务有关的言语内容。例如,语音可以包括用于用户期望接收的服务的关键字。
控制器690可以借助输入单元620的麦克风接收用户说出的言语内容。控制器690可以使用已知的语音识别方法识别在接收的语音中包括的关键字。控制器690可以通过基于所识别的关键字提供用户期望的服务来执行与用户的交互。
在一些实施方式中,用户可以基于借助操作单元183输出的菜单屏幕来选择与期望从机器人1接收的服务有关的菜单。控制器690可以借助操作单元183的触摸屏接收用户的选择的输入,并且基于所选择的菜单提供用户期望的服务,从而执行与用户的交互。
当在预定时间期间未从用户接收到诸如言语内容的输入时,控制器690可以再次输出引导声音或引导屏幕。另选地,当在预定时间期间未从用户接收到诸如言语内容的输入时,控制器690可以完成引导声音或引导屏幕的输出并且检测另一个用户的交互意图。
图16至图18是示出在本公开的机器人1处基于用户的特性执行交互的操作的示例的视图。参照图16,在步骤S710中,机器人1可以旋转头部180,使得面部检测器640面向用户。
机器人1可以使用面部检测器640检测用户的面部(S1600)。步骤S1600类似于图10的步骤S101,由此将省略其描述。
机器人1可以从检测到的面部检测用户的特性(S1610)。控制器690可以从借助面部检测器640获取的图像中的用户的面部提取与用户的特性有关的特征。控制器690可以基于所提取的特征来检测用户的特性。
特征可以包括与用户的特性有关的各种信息,诸如面部或面部的各部分(眼睛、鼻子、嘴等)的大小、肤色、皱纹、发型等。用户的特性可以包括能够从用户的面部识别或估计的特性,例如用户的年龄组、性别以及种族。
机器人1可以检测用户的交互意图(S1620),以确定用户是否希望与机器人交互,例如需要服务。如果检测到交互意图,则机器人1可以基于检测到的用户特性输出引导声音或引导屏幕(S1630)。
参照图17的示例,如果具有交互意图的用户的特性是“儿童”,则控制器690可以借助操作单元183的触摸屏显示包括“动物角色”的引导屏幕。另外,控制器690可以由“动物角色”的语音输出引导声音。
同时,参照图18的示例,如果具有交互意图的用户的特性是“女青年”,则控制器690可以借助操作单元183的触摸屏显示包括“男艺人”或被选择为在美学上令所检测用户愉悦的其他角色的引导屏幕。另外,控制器690可以由“男艺人”的语音输出引导声音。
虽然未示出,但是例如,如果用户的特性是“欧洲人”,则控制器690可以输出英语、法语、西班牙语等的引导声音。相反,如果用户的特性是“东亚人”,则控制器690可以输出韩语、中文、日语等的引导声音。例如,机器人1可以基于具有交互意图的用户的特性来提供引导屏幕或引导声音,从而更有效地执行与用户交互。另外,通过唤起用户对机器人1的兴趣,可以增强机器人1和制造商的积极形象。
图19是例示根据本公开的实施方式由机器人1执行的控制操作的另一个示例的流程图。参照图19,机器人1可以在行进期间检测用户的接近(S1900)。步骤S1900类似于在图8至图9的以上描述中描述的步骤,因此,将省略其详细描述。
当向另一用户提供服务时,机器人1可以基于所提供的服务行进到特定位置。另选地,即使机器人1当前没有提供服务,机器人1也可以在空间中自主行进的同时执行预定操作(广告屏幕显示等)。当机器人1当前向另一服务提供服务或向多个用户提供预定服务时(S1905的“是”),机器人1可以通知接近的用户当前正在提供服务,然后继续提供服务(S1910)。
即使在将服务提供给另一用户时,控制器690也可以连续地驱动在感测单元630或面部检测器640中包括的传感器,以便在行进的同时执行障碍物检测或位置识别。例如,控制器690可以借助感测单元630检测用户接近机器人1。然而,机器人1可能无法与接近的用户交互,因为机器人正在与另一个用户执行交互(例如,机器人已经在向其他用户提供服务)。控制器690可以借助输出单元670输出指示与接近用户的交互在当前不可能的屏幕或声音,并且继续向另一用户提供服务。在另一个示例中,控制器690可以提供将接近用户引导到另一个可用机器人1的方向或引导通信单元610向另一个可用机器人1发送信号,以朝向接近用户行进。
相反,当机器人1当前不提供服务时(S1905的“否”),机器人1可以停止行进(S1915)。当在没有向另一用户提供服务的同时检测到接近用户时,控制器690可以控制行进单元650停止,以便更准确地检测用户的交互意图。在一些实施方式中,控制器690可以控制头部马达660,使得头部180的操作单元183面向接近的用户。
机器人1可以确定是否从用户接收到尝试交互的输入(S1920)。如果未接收到尝试交互的输入(S1920的“否”),则机器人1可以检测用户的交互意图(S1925)。控制器690可以确定是否借助操作单元183或输入单元620从用户接收到尝试交互的输入。
当在预定时间期间没有接收到输入时,控制器690可以检测用户的交互意图,如上面关于图10的步骤S1000到S1020所描述的。然而,在一些实施方式中,可以并行执行步骤S1920和步骤S1925。例如,控制器690可以在等待接收尝试交互的输入的同时检测用户的交互意图。
如果检测到交互意图,则机器人1沿用户所在的方向旋转机器人主体(S1930),并输出用于引起用户的话语的引导声音或引导屏幕(S1935)。步骤S1930和步骤S1935可以大致对应于图15的步骤S1500和步骤S1510。
如果未获取根据用户的话语的语音(S1940的“否”),则机器人1可以确定用户没有交互意图并恢复行进(S1945)。当在预定时间期间未从用户获取语音输入时,控制器690可以确定用户没有交互意图。在这种情况下,控制器690可以控制行进单元650恢复行进。在一些实施方式中,当在预定时间期间未从用户获取语音输入时,控制器690可以将引导声音或引导屏幕输出预定次数,以验证用户不希望接收服务。
相反,如果获取了根据用户的话语的言语内容(S1940的是),则机器人1可以基于所获取的语音执行与用户的交互(S1950)。当在步骤S1920中从用户接收到与尝试交互相关的输入时(S1920的“是”),机器人1可以基于所接收的输入执行与用户的交互(S1950)。由此,根据图19所示的实施方式,当在行进期间检测到用户正在接近时,机器人1可以取决于是否正在提供服务来执行更智能的操作。
根据本公开的实施方式,可以在不从用户接收单独的操作或启动词的情况下自动检测用户的交互意图,从而有效地执行与用户的交互。例如,因为机器人使用诸如光学雷达传感器、3D立体照相机、2D照相机以及RGBD传感器的各种传感器,所以可以更准确地检测用户的存在和用户的交互意图。另外,当检测到多个用户接近时,机器人可以根据进入到预定区中的顺序执行优先化,从而有效地检测多个用户的交互意图。
当检测到具有交互意图的用户时,机器人可以控制行进单元面向用户或者沿用户所在的方向行进,使得用户容易地识别出机器人已经检测到用户。另外,机器人可以基于具有交互意图的用户的特性来提供屏幕或声音,从而执行与用户的更有效的交互。另外,通过唤起用户对机器人的兴趣,可以增强机器人和制造商的积极形象。另外,因为用于检测对象的光学雷达传感器设置在机器人的下模块中,所以可以容易地检测具有低高度的用户,诸如儿童。
前面的描述仅例示了本公开的技术构思,并且本领域技术人员可以在不脱离本公开的必要特性的情况下进行各种改变和修改。因此,本公开中公开的实施方式旨在例示而不是限制本公开的范围,并且本公开的技术构思的范围不受这些实施方式限制。本公开的范围应当根据以下权利要求来解释,并且等同物范围内的所有技术构思应该被解释为落入本公开的范围内。
将理解,当元件或层被称为在另一个元件或层“上”时,元件或层可以直接在另一个元件或层或介入元件或层上。相反,当元件被称为“直接在”另一个元件或层上时,没有介入元件或层存在。如这里所用的,术语“和/或”包括关联所列项中的一个或更多个的任意和全部组合。
将理解,虽然术语第一、第二、第三等在这里可以用于描述各种元件、部件、区域、层和/或段,但这些元件、部件、区域、层和/或段不应受这些术语限制。这些术语仅用于区分一个元件、部件、区域、层或段与另一个区域、层或段。由此,第一元件、部件、区域、层或段可以在不偏离本发明的示教的情况下被称为第二元件、部件、区域、层或段。
空间上相对的术语(诸如“下”、“上”等)在这里为了方便描述可以用于如附图例示的描述一个元件或特征与另一个元件或特征的关系。将理解,空间上相对的术语旨在除了包含附图中描绘的方位之外还包含使用或操作中装置的不同方位。例如,如果翻转附图中的装置,那么被描述为相对于其他元件或特征“下”的元件然后将被定向为相对于其他元件或特征“上”。由此,示例性术语“下”可以包含上方和下方方位这两者。装置可以以其他方式来定向(旋转90度或处于其他方位),因此解释这里所用的空间上相对的描述符。
这里所用的术语仅是为了描述特定实施方式的目的且不旨在限制本发明。如此处所用的,单数形式“一”和“一个”旨在也包括复数形式,除非上下文另外清楚指示。还将理解,术语“包括”在用于本说明书中时指定所叙述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组的存在或添加。
本公开的实施方式在这里参照是本公开的理想化实施方式(和中间结构)的示意图的剖面图来描述。由此可见,预期来自作为例如制造技术和/或公差的结果的、例示的形状的变化。由此,本公开的实施方式不应被解释为限于这里所例示的区域的特定形状,而是包括例如因制造而产生的形状的偏差。
除非另外限定,否则这里所用的所有术语(包括科技术语)具有与由本发明属于的领域中的一个普通技术人员通常理解的相同含义。还将理解,诸如在常用词典中定义的那些术语的术语应被解释为具有与它们在相关领域中的含义一致的含义,并且将不在理想化或过于正式的意义上解释,除非这里明确地如此定义。
本说明书中对“一个实施方式”、“实施方式”“示例实施方式”等的任意参考意指被关于实施方式描述的特定特征、结构或特性被包括在本发明的至少一个实施方式中。这种短语在说明书中的各种地点中的出现不是必须全部指同一实施方式。进一步地,在关于任意实施方式描述特定特征、结构或特性时,认为关于其他实施方式实现这种特征、结构或特性的本领域技术人员的权限内。
虽然已经参照本发明的若干例示性实施方式描述了实施方式,但应理解,本领域技术人员可以设计将落在本公开的原理的精神和范围内的大量其他修改例和实施方式。更具体地,各种变型例和修改例在本公开、附图以及所附权利要求的范围内的主题组合结构的组成部分和/或结构中是可以的。除了组成部分和/或结构的变型例和修改例之外,另选用途也将对本领域技术人员显而易见。

Claims (20)

1.一种机器人,该机器人包括:
至少一个传感器,该至少一个传感器检测用户的存在;
照相机,该照相机获取包括由所述至少一个传感器检测的所述用户的面部的图像;以及
控制器,该控制器被配置为:
基于由所述照相机获取的所述图像检测所述用户的视线,
基于所述用户的视线是否面向所述机器人来确定所述用户何时具有与所述机器人交互的意图,并且
基于确定所述用户具有与所述机器人交互的意图来管理扬声器和显示器中的至少一者,以输出引起所述用户与所述机器人交互的内容。
2.根据权利要求1所述的机器人,其中,所述至少一个传感器包括:
对象检测传感器,该对象检测传感器被配置为检测存在于在所述机器人的第一预定距离内的检测区中的对象;和
检测传感器,该检测传感器被配置为检测所检测的对象是否是所述用户。
3.根据权利要求2所述的机器人,其中,所述控制器还:
借助所述至少一个传感器检测存在于所述检测区中的多个用户,
控制所述照相机获取包括所检测的多个用户当中第一个进入所述检测区中的交互意图检测区的第一用户的面部的第一图像,所述交互意图检测区在所述机器人的第二预定距离内,该第二预定距离小于所述第一预定距离,并且
基于所获取的第一图像确定所述第一用户是否具有与所述机器人交互的意图。
4.根据权利要求3所述的机器人,其中,所述控制器还:
当所述第一用户具有与所述机器人交互的意图时,管理所述扬声器和所述显示器中的所述至少一者,以输出引起所述第一用户与所述机器人交互的内容,
当所述用户不具有与所述机器人交互的意图时,控制所述照相机获取包括所检测的多个用户当中继所述第一用户之后进入所述交互意图检测区的第二用户的面部的第二图像,并且
基于所获取的第二图像确定所述第二用户是否具有与所述机器人交互的意图。
5.根据权利要求2所述的机器人,其中,所述对象检测传感器包括光学雷达传感器,并且所述用户检测传感器包括三维立体照相机。
6.根据权利要求1所述的机器人,其中,所述控制器还:
当所述用户的视线在预定时间段期间面向所述机器人时,确定该用户具有与所述机器人交互的意图。
7.根据权利要求1所述的机器人,其中,所述控制器还:
从由所述照相机获取的所述图像检测所述用户的一个或多个特性,并且
基于所述用户的所述特性管理所述扬声器和所述显示器中的所述至少一者,以选择性地输出多个内容中的一个。
8.根据权利要求1所述的机器人,该机器人还包括输入装置,该输入装置被配置为接收来自用户的输入,
其中,所述控制器还:
借助所述输入装置接收响应于由所述扬声器和所述显示器中的所述至少一者输出的所述内容而进行的输入,并且
基于所接收的输入提供服务,以执行与所述用户的交互。
9.根据权利要求8所述的机器人,
其中,所述输入装置包括麦克风,
其中,所述控制器还:
借助所述麦克风接收由所述用户说出的声音内容,并且
识别在所接收的声音内容中包括的关键字并基于所识别的关键字提供所述服务。
10.根据权利要求1所述的机器人,该机器人还包括轮子,该轮子基于所接收的驱动力旋转,以使所述机器人移动,
其中,所述控制器还:
在所述机器人移动的同时借助所述至少一个传感器检测特定用户的接近,并且
在所述机器人向另一个用户提供服务时,控制所述扬声器和所述显示器中的一个或多个,以输出所述特定用户与所述机器人之间的交互当前不可用的指示。
11.根据权利要求10所述的机器人,其中,所述控制器还:
在不向所述另一个用户提供所述服务时,控制所述轮子停止所述机器人的行进,
基于借助所述照相机获取的所述特定用户的图像确定所述特定用户是否具有与所述机器人交互的意图,并且
当所述控制器确定所述特定用户具有与所述机器人交互的意图时,控制所述扬声器和所述显示器中的所述至少一者,以输出引起所述特定用户与所述机器人交互的内容。
12.一种机器人,该机器人包括:
下模块,该下模块包括:
至少一个轮子,该至少一个轮子基于接收驱动力旋转,以使所述机器人移动;和
第一传感器;
上模块,该上模块连接到所述下模块的上区域,所述上模块包括:
壳体,第二传感器设置在该壳体的一侧;以及
头部,该头部连接到所述壳体的上区域,并且包括照相机;以及
控制器,该控制器被配置为:
借助所述第一传感器检测存在于所述机器人的预定距离内的检测区中的对象,并且借助所述第二传感器确定所述对象是用户,
借助所述照相机获取包括所述用户的面部的图像,
从由所述照相机获取的所述图像检测所述用户的视线,
基于所述用户的视线是否面向所述机器人来确定所述用户何时具有与所述机器人交互的意图,并且
基于确定所述用户具有与所述机器人交互的意图管理包括扬声器和显示器中的至少一者的输出模块,以输出引起所述用户与所述机器人交互的内容。
13.根据权利要求12所述的机器人,
其中,所述头部可旋转地联接到所述上模块,
其中,所述控制器还:
借助所述第一传感器和所述第二传感器中的至少一者检测所述用户的位置,并且
基于所述用户的所检测的位置控制所述头部旋转,使得由所述照相机捕捉的所述图像包括所述用户的面部。
14.根据权利要求12所述的机器人,其中,所述控制器还:
当所述用户的所检测的视线面向所述机器人的所述头部至少预定持续时间时,确定所述用户打算与所述机器人交互。
15.根据权利要求12所述的机器人,其中,所述控制器基于确定所述用户打算与所述机器人交互,管理到所述至少一个轮子的所述驱动力,使得所述机器人移动为面向所述用户。
16.根据权利要求15所述的机器人,其中,所述控制器基于确定用户打算与所述机器人交互,管理到所述至少一个轮子的所述驱动力,以使得所述机器人沿所述用户所在的方向行进。
17.根据权利要求12所述的机器人,
其中,所述第一传感器包括被配置为检测所述检测区内的所述对象的第一光学雷达传感器和第二光学雷达传感器,并且
其中,所述第一光学雷达传感器距所述机器人在上面行进的表面的高度与所述第二光学雷达传感器距所述机器人在上面行进的所述表面的高度不同。
18.根据权利要求17所述的机器人,其中,所述第二传感器包括三维立体照相机,该三维立体照相机被配置为检测由所述第一传感器检测的所述对象是否是所述用户。
19.根据权利要求12所述的机器人,其中,所述照相机设置在所述头部的一侧。
20.根据权利要求12所述的机器人,该机器人还包括在所述头部中设置的麦克风,
其中,所述控制器还:
借助所述麦克风接收由所述用户响应于由所述输出模块的所述扬声器和所述显示器中的所述至少一者输出的内容而说出的声音内容;
识别在所接收的声音内容中包括的关键字,并且
基于所识别的关键字向所述用户提供服务。
CN201910898663.2A 2018-10-18 2019-09-23 机器人 Active CN111070214B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0124634 2018-10-18
KR1020180124634A KR102228866B1 (ko) 2018-10-18 2018-10-18 로봇 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
CN111070214A true CN111070214A (zh) 2020-04-28
CN111070214B CN111070214B (zh) 2023-04-14

Family

ID=67438718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910898663.2A Active CN111070214B (zh) 2018-10-18 2019-09-23 机器人

Country Status (4)

Country Link
US (1) US11285611B2 (zh)
EP (1) EP3639986B1 (zh)
KR (1) KR102228866B1 (zh)
CN (1) CN111070214B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093916A (zh) * 2021-05-10 2021-07-09 深圳市黑金工业制造有限公司 一种红外智能交互系统
CN114670953A (zh) * 2020-12-24 2022-06-28 沈阳新松机器人自动化股份有限公司 一种移动机器人

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970953B2 (en) * 2019-03-21 2021-04-06 Techolution LLC Face authentication based smart access control system
US11422568B1 (en) * 2019-11-11 2022-08-23 Amazon Technolgoies, Inc. System to facilitate user authentication by autonomous mobile device
KR102591830B1 (ko) * 2020-07-24 2023-10-24 한국전자통신연구원 사람과 로봇 간의 인터랙션 방식 결정 장치 및 방법
KR102360857B1 (ko) * 2020-09-24 2022-02-11 주식회사에이로봇 특정인을 추적하는 로봇시스템
KR102415997B1 (ko) * 2020-11-05 2022-07-05 (주)로보티즈 사용자의 돌봄 감성을 자극하는 반려 로봇
KR20220083100A (ko) * 2020-12-11 2022-06-20 삼성전자주식회사 로봇 및 그 제어 방법
CN114012746B (zh) * 2021-10-28 2023-07-14 深圳市普渡科技有限公司 一种机器人、信息播放的方法、控制装置以及介质
CN114260916B (zh) * 2022-01-05 2024-02-27 森家展览展示如皋有限公司 一种交互式展会展览智能型机器人
KR102443705B1 (ko) * 2022-06-30 2022-09-19 주식회사 에이펀인터렉티브 상호 작용 지원 로봇 및 이를 포함하는 메타버스 컨텐츠 제작 시스템

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2025478A1 (en) * 2006-05-16 2009-02-18 Murata Kikai Kabushiki Kaisha Robot
KR20090064814A (ko) * 2007-12-17 2009-06-22 주식회사 신한은행 고객 인식 기반 맞춤형 금융상품 홍보 기능을 구비한뱅크로봇 및 뱅크로봇 운용 방법과 이를 위한 기록매체
US20090268944A1 (en) * 2008-04-28 2009-10-29 Omron Corporation Line of sight detecting device and method
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
KR20130093290A (ko) * 2012-02-14 2013-08-22 (주) 퓨처로봇 감성 교감 로봇 서비스 시스템 및 그 방법
CN104951808A (zh) * 2015-07-10 2015-09-30 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法
US9174342B2 (en) * 2012-05-22 2015-11-03 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
CN107450729A (zh) * 2017-08-10 2017-12-08 上海木爷机器人技术有限公司 机器人交互方法及装置
US20180009118A1 (en) * 2015-02-17 2018-01-11 Nec Corporation Robot control device, robot, robot control method, and program recording medium
KR20180074499A (ko) * 2016-12-23 2018-07-03 엘지전자 주식회사 안내 로봇

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4398720A (en) * 1981-01-05 1983-08-16 California R & D Center Robot computer chess game
JPS61156405A (ja) * 1984-12-28 1986-07-16 Nintendo Co Ltd 光感応制御装置
US6580369B1 (en) * 1995-10-11 2003-06-17 Motorola, Inc. Electronic tag assembly and method therefor
WO2000040377A1 (fr) * 1999-01-07 2000-07-13 Sony Corporation Appareil de type machine, procede d'actionnement de celui-ci et support enregistre
US6519506B2 (en) * 1999-05-10 2003-02-11 Sony Corporation Robot and control method for controlling the robot's emotions
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
JP3615702B2 (ja) * 1999-11-25 2005-02-02 ソニー株式会社 脚式移動ロボットの動作制御装置及び動作制御方法、並びに、脚式移動ロボット
JP2001154685A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声認識装置および音声認識方法、並びに記録媒体
JP2001154681A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
JP2001157976A (ja) * 1999-11-30 2001-06-12 Sony Corp ロボット制御装置およびロボット制御方法、並びに記録媒体
US7117190B2 (en) * 1999-11-30 2006-10-03 Sony Corporation Robot apparatus, control method thereof, and method for judging character of robot apparatus
CN1364275A (zh) * 2000-02-10 2002-08-14 索尼公司 自动装置、信息提供装置、机器人装置和交易方法
JP2001322079A (ja) * 2000-05-15 2001-11-20 Sony Corp 脚式移動ロボット及びその動作教示方法
JP2002307354A (ja) * 2000-11-07 2002-10-23 Sega Toys:Kk 電子玩具
JP2005500912A (ja) * 2001-02-27 2005-01-13 アンソロトロニックス インコーポレイテッド ロボット装置および無線通信システム
EP1375084A4 (en) * 2001-03-09 2009-10-21 Japan Science & Tech Agency AUDIOVISUAL ROBOT SYSTEM
EP1262844A1 (en) * 2001-06-01 2002-12-04 Sony International (Europe) GmbH Method for controlling a man-machine-interface unit
JP4689107B2 (ja) * 2001-08-22 2011-05-25 本田技研工業株式会社 自律行動ロボット
US6560512B1 (en) * 2002-01-04 2003-05-06 Machine Consciousness, Inc. Relational robotic controller
JP3790816B2 (ja) * 2002-02-12 2006-06-28 国立大学法人 東京大学 人型リンク系の運動生成方法
JP2003255991A (ja) * 2002-03-06 2003-09-10 Sony Corp 対話制御システム、対話制御方法及びロボット装置
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
US7640164B2 (en) * 2002-07-04 2009-12-29 Denso Corporation System for performing interactive dialog
US6925357B2 (en) * 2002-07-25 2005-08-02 Intouch Health, Inc. Medical tele-robotic system
US20090030552A1 (en) * 2002-12-17 2009-01-29 Japan Science And Technology Agency Robotics visual and auditory system
JP2004302785A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
US20050038647A1 (en) * 2003-08-11 2005-02-17 Aurilab, Llc Program product, method and system for detecting reduced speech
JP2005193331A (ja) * 2004-01-06 2005-07-21 Sony Corp ロボット装置及びその情動表出方法
JP4244812B2 (ja) * 2004-01-16 2009-03-25 ソニー株式会社 行動制御システム及びロボット装置の行動制御方法
JP3924583B2 (ja) * 2004-02-03 2007-06-06 松下電器産業株式会社 ユーザ適応型装置およびその制御方法
JP4477924B2 (ja) * 2004-03-31 2010-06-09 本田技研工業株式会社 移動ロボットの外部検出装置
JP4661074B2 (ja) * 2004-04-07 2011-03-30 ソニー株式会社 情報処理システム、情報処理方法、並びにロボット装置
US7949616B2 (en) * 2004-06-01 2011-05-24 George Samuel Levy Telepresence by human-assisted remote controlled devices and robots
DE102004041821A1 (de) * 2004-08-27 2006-03-16 Abb Research Ltd. Vorrichtung und Verfahren zur Sicherung eines maschinell gesteuerten Handhabungsgerätes
US20060122837A1 (en) * 2004-12-08 2006-06-08 Electronics And Telecommunications Research Institute Voice interface system and speech recognition method
JP4460528B2 (ja) * 2004-12-14 2010-05-12 本田技研工業株式会社 識別対象識別装置およびそれを備えたロボット
US20060136210A1 (en) * 2004-12-16 2006-06-22 Sony Corporation System and method for tying variance vectors for speech recognition
JP4204541B2 (ja) * 2004-12-24 2009-01-07 株式会社東芝 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム
US20060257830A1 (en) * 2005-05-13 2006-11-16 Chyi-Yeu Lin Spelling robot
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
JP4751192B2 (ja) * 2005-12-12 2011-08-17 本田技研工業株式会社 移動ロボット
US8484146B2 (en) * 2006-01-18 2013-07-09 Sony Corporation Interaction device implementing a bayesian's estimation
ES2359430T3 (es) * 2006-04-27 2011-05-23 Mobiter Dicta Oy Procedimiento, sistema y dispositivo para la conversión de la voz.
US9135913B2 (en) * 2006-05-26 2015-09-15 Nec Corporation Voice input system, interactive-type robot, voice input method, and voice input program
JP4085130B2 (ja) * 2006-06-23 2008-05-14 松下電器産業株式会社 感情認識装置
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP4528295B2 (ja) * 2006-12-18 2010-08-18 株式会社日立製作所 案内ロボット装置及び案内システム
US20120264095A1 (en) * 2006-12-29 2012-10-18 Industrial Technology Research Institute Emotion abreaction device and using method of emotion abreaction device
US20080256008A1 (en) * 2007-03-31 2008-10-16 Mitchell Kwok Human Artificial Intelligence Machine
US20080281766A1 (en) * 2007-03-31 2008-11-13 Mitchell Kwok Time Machine Software
US7966093B2 (en) * 2007-04-17 2011-06-21 Yefim Zhuk Adaptive mobile robot system with knowledge-driven architecture
US9811935B2 (en) * 2007-04-26 2017-11-07 Ford Global Technologies, Llc Emotive advisory system and method
JP5386692B2 (ja) * 2007-08-31 2014-01-15 独立行政法人情報通信研究機構 対話型学習装置
US9165199B2 (en) * 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US7809664B2 (en) * 2007-12-21 2010-10-05 Yahoo! Inc. Automated learning from a question and answering network of humans
JP5075664B2 (ja) * 2008-02-15 2012-11-21 株式会社東芝 音声対話装置及び支援方法
KR20100086262A (ko) * 2009-01-22 2010-07-30 삼성전자주식회사 로봇 및 그 제어방법
JP5663201B2 (ja) * 2009-06-04 2015-02-04 本田技研工業株式会社 音源方向推定装置及び音源方向推定方法
US8676581B2 (en) * 2010-01-22 2014-03-18 Microsoft Corporation Speech recognition analysis via identification information
JP2011186351A (ja) * 2010-03-11 2011-09-22 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8706298B2 (en) * 2010-03-17 2014-04-22 Raytheon Company Temporal tracking robot control system
FR2962048A1 (fr) * 2010-07-02 2012-01-06 Aldebaran Robotics S A Robot humanoide joueur, methode et systeme d'utilisation dudit robot
FR2963132A1 (fr) * 2010-07-23 2012-01-27 Aldebaran Robotics Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface
US8818556B2 (en) * 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction
US8594845B1 (en) * 2011-05-06 2013-11-26 Google Inc. Methods and systems for robotic proactive informational retrieval from ambient context
US9259842B2 (en) * 2011-06-10 2016-02-16 Microsoft Technology Licensing, Llc Interactive robot initialization
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
US8918208B1 (en) * 2012-02-07 2014-12-23 Ryan Hickman Projection of interactive map data
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US9043025B2 (en) * 2012-08-31 2015-05-26 Rethink Robotics, Inc. Systems and methods for safe robot operation
US9570064B2 (en) * 2012-11-08 2017-02-14 Nec Corporation Conversation-sentence generation device, conversation-sentence generation method, and conversation-sentence generation program
JPWO2014073613A1 (ja) * 2012-11-08 2016-09-08 日本電気株式会社 会話文生成装置、会話文生成方法及び会話文生成プログラム
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US20170206064A1 (en) * 2013-03-15 2017-07-20 JIBO, Inc. Persistent companion device configuration and deployment platform
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9302393B1 (en) * 2014-04-15 2016-04-05 Alan Rosen Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes
EP2933067B1 (en) 2014-04-17 2019-09-18 Softbank Robotics Europe Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
EP2933071A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems for managing dialogs of a robot
EP2933070A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Methods and systems of handling a dialog with a robot
EP2933065A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics Humanoid robot with an autonomous life capability
EP2952300A1 (en) * 2014-06-05 2015-12-09 Aldebaran Robotics Collision detection
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10880470B2 (en) * 2015-08-27 2020-12-29 Accel Robotics Corporation Robotic camera system
US10265859B2 (en) * 2016-02-09 2019-04-23 Cobalt Robotics Inc. Mobile robot with removable fabric panels
JP2017144521A (ja) 2016-02-18 2017-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
JP6844124B2 (ja) * 2016-06-14 2021-03-17 富士ゼロックス株式会社 ロボット制御システム
JP6681800B2 (ja) * 2016-07-15 2020-04-15 株式会社日立製作所 制御装置、制御システム、および制御方法
JP6761598B2 (ja) * 2016-10-24 2020-09-30 富士ゼロックス株式会社 感情推定システム、感情推定モデル生成システム
EP3338963B1 (en) 2016-12-23 2022-02-02 LG Electronics Inc. Guide robot
KR20180074403A (ko) 2016-12-23 2018-07-03 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
KR20180080498A (ko) 2017-01-04 2018-07-12 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
KR20180096078A (ko) * 2017-02-20 2018-08-29 엘지전자 주식회사 모듈형 가정용 로봇
JP2019005842A (ja) * 2017-06-23 2019-01-17 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
US10438587B1 (en) * 2017-08-08 2019-10-08 X Development Llc Speech recognition biasing
US10898999B1 (en) * 2017-09-18 2021-01-26 X Development Llc Selective human-robot interaction
US10453454B2 (en) * 2017-10-26 2019-10-22 Hitachi, Ltd. Dialog system with self-learning natural language understanding
US10649460B2 (en) * 2017-11-14 2020-05-12 Facebook, Inc. Interactive robots positionable for optimal interactions
US10657951B2 (en) * 2017-12-26 2020-05-19 International Business Machines Corporation Controlling synthesized speech output from a voice-controlled device
US10923101B2 (en) * 2017-12-26 2021-02-16 International Business Machines Corporation Pausing synthesized speech output from a voice-controlled device
US10593318B2 (en) * 2017-12-26 2020-03-17 International Business Machines Corporation Initiating synthesized speech outpout from a voice-controlled device
US11110608B2 (en) * 2017-12-29 2021-09-07 International Business Machines Corporation Robotic physical movement adjustment based on user emotional state
WO2019143010A1 (ko) * 2018-01-22 2019-07-25 엘지전자 주식회사 이동 로봇의 동작 방법
US10453265B1 (en) * 2018-04-05 2019-10-22 Page International—FZ—LLC Method and device for the virtual try-on of garments based on augmented reality with multi-detection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2025478A1 (en) * 2006-05-16 2009-02-18 Murata Kikai Kabushiki Kaisha Robot
KR20090064814A (ko) * 2007-12-17 2009-06-22 주식회사 신한은행 고객 인식 기반 맞춤형 금융상품 홍보 기능을 구비한뱅크로봇 및 뱅크로봇 운용 방법과 이를 위한 기록매체
US20090268944A1 (en) * 2008-04-28 2009-10-29 Omron Corporation Line of sight detecting device and method
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
KR20130093290A (ko) * 2012-02-14 2013-08-22 (주) 퓨처로봇 감성 교감 로봇 서비스 시스템 및 그 방법
US9174342B2 (en) * 2012-05-22 2015-11-03 Intouch Technologies, Inc. Social behavior rules for a medical telepresence robot
US20180009118A1 (en) * 2015-02-17 2018-01-11 Nec Corporation Robot control device, robot, robot control method, and program recording medium
CN104951808A (zh) * 2015-07-10 2015-09-30 电子科技大学 一种用于机器人交互对象检测的3d视线方向估计方法
KR20180074499A (ko) * 2016-12-23 2018-07-03 엘지전자 주식회사 안내 로봇
CN107450729A (zh) * 2017-08-10 2017-12-08 上海木爷机器人技术有限公司 机器人交互方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114670953A (zh) * 2020-12-24 2022-06-28 沈阳新松机器人自动化股份有限公司 一种移动机器人
CN113093916A (zh) * 2021-05-10 2021-07-09 深圳市黑金工业制造有限公司 一种红外智能交互系统

Also Published As

Publication number Publication date
CN111070214B (zh) 2023-04-14
US11285611B2 (en) 2022-03-29
KR102228866B1 (ko) 2021-03-17
US20200122333A1 (en) 2020-04-23
KR20200046186A (ko) 2020-05-07
EP3639986B1 (en) 2023-08-30
EP3639986A1 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
CN111070214B (zh) 机器人
US11701782B2 (en) Moving robot
US11731261B2 (en) Moving robot and operating method for the same
KR102391914B1 (ko) 이동 로봇의 동작 방법
KR20190003122A (ko) 이동 로봇의 동작 방법
US11325260B2 (en) Method for operating moving robot
US11697211B2 (en) Mobile robot operation method and mobile robot
EP3563980B1 (en) Guide robot
US20200341480A1 (en) Operation method of moving robot
KR102660834B1 (ko) 안내 로봇
KR102070213B1 (ko) 이동 로봇의 동작 방법
KR102648103B1 (ko) 안내 로봇
US11766779B2 (en) Mobile robot for recognizing queue and operating method of mobile robot
US20190375093A1 (en) Moving robot and operating method for the same
KR102021948B1 (ko) 안내 로봇
KR20190003125A (ko) 이동 로봇의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant