CN110861107A - 服务机器人及其显示控制方法、控制器和存储介质 - Google Patents

服务机器人及其显示控制方法、控制器和存储介质 Download PDF

Info

Publication number
CN110861107A
CN110861107A CN201911220522.1A CN201911220522A CN110861107A CN 110861107 A CN110861107 A CN 110861107A CN 201911220522 A CN201911220522 A CN 201911220522A CN 110861107 A CN110861107 A CN 110861107A
Authority
CN
China
Prior art keywords
service robot
controller
robot
distance
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911220522.1A
Other languages
English (en)
Other versions
CN110861107B (zh
Inventor
许哲涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Shuke Haiyi Information Technology Co Ltd
Jingdong Technology Information Technology Co Ltd
Original Assignee
Beijing Haiyi Tongzhan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Haiyi Tongzhan Information Technology Co Ltd filed Critical Beijing Haiyi Tongzhan Information Technology Co Ltd
Priority to CN201911220522.1A priority Critical patent/CN110861107B/zh
Publication of CN110861107A publication Critical patent/CN110861107A/zh
Priority to PCT/CN2020/127751 priority patent/WO2021109806A1/zh
Priority to US17/777,250 priority patent/US20220402142A1/en
Priority to EP20895347.1A priority patent/EP4046759A4/en
Application granted granted Critical
Publication of CN110861107B publication Critical patent/CN110861107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及一种服务机器人及其显示控制方法、控制器和存储介质。该服务机器人显示控制方法包括：接收人体识别传感器发送的启动信号，其中，人体识别传感器在服务机器人周围的预定范围内出现用户的情况下，向控制器输出启动信号；在接收到启动信号的情况下，控制挂载设备开启运行。本公开的机器人表情屏在无用户时处于待机状态，当有用户接近机器人的情况下，表情屏启动变亮，从而使得用户在使用机器人时能感受到机器人拟人化的交流方式。

Description

服务机器人及其显示控制方法、控制器和存储介质
技术领域
本公开涉及人工智能领域，特别涉及一种服务机器人及其显示控制方法、控制器和存储介质。
背景技术
人工智能技术的发展，推动了服务机器人的市场化。显示交互是服务机器人的重要交互方式之一。
相关技术服务机器人显示屏采用固定的方式，当机器人处于运行状态时，机器人显示屏处于常亮状态，并且随着人的靠近或者远离不会做出相应的互动。
发明内容
鉴于以上技术问题中的至少一项，本公开提供了一种服务机器人及其显示控制方法、控制器和存储介质，提高了服务型机器人显示交互的互动性。
根据本公开的一个方面，提供一种服务机器人，包括人体识别传感器、控制器和挂载设备，其中：
人体识别传感器，用于在服务机器人周围的预定范围内出现用户的情况下，向控制器输出启动信号；
控制器，用于在接收到启动信号的情况下，控制挂载设备开启运行。
在本公开的一些实施例中，所述挂载设备包括距离传感器，其中：
距离传感器，用于在开启运行后，测量出用户相对于服务机器人的距离和方位；
控制器，用于根据用户相对于服务机器人的距离和方位，控制服务机器人头部沿水平方向旋转到用户对应的方位。
在本公开的一些实施例中，所述挂载设备包括至少一个距离传感器，其中：
所有距离传感器的探测范围之和包含人体识别传感器的探测范围。
在本公开的一些实施例中，人体识别传感器和所有距离传感器均设置于服务机器人上；
距离传感器均设置于距离人体识别传感器预定距离的同一水平面上。
在本公开的一些实施例中，在挂载设备包括偶数个距离传感器的情况下，距离传感器对称设置在通过人体识别传感器的所述水平面的垂直面的两侧；
在挂载设备包括奇数个距离传感器的情况下，一个距离传感器设置于通过人体识别传感器的所述水平面的垂直面上，其他距离传感器对称设置在通过人体识别传感器的所述水平面的垂直面的两侧。
在本公开的一些实施例中，所述挂载设备包括表情屏，其中：
表情屏设置在服务机器人头部；
控制器，用于根据用户相对于服务机器人的距离和方位，控制表情屏沿水平方向旋转到用户对应的方位，并控制表情屏做出相应的表情变化。
在本公开的一些实施例中，所述挂载设备还包括摄像头，摄像头设置于表情屏，其中：
摄像头，用于在控制器接收到启动信号的情况下，根据控制器的指示，识别人脸区域；
控制器，用于根据人脸区域在摄像头画面中的位置，调节表情屏的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域。
在本公开的一些实施例中，所述挂载设备还包括显示屏，其中：
显示屏，用于在控制器接收到启动信号的情况下，根据控制器的指示，向用户显示相应的内容。
在本公开的一些实施例中，所述控制器包括单片机和机器人处理器，其中：
单片机和机器人处理器通过CAN总线连接；
单片机分别与俯仰机械装置、距离传感器和表情屏连接；
机器人处理器分别与摄像头和显示屏连接。
根据本公开的另一方面，提供一种服务机器人显示控制方法，包括：
接收人体识别传感器发送的启动信号，其中，人体识别传感器在服务机器人周围的预定范围内出现用户的情况下，向控制器输出启动信号；
在接收到启动信号的情况下，控制挂载设备开启运行。
在本公开的一些实施例中，所述控制挂载设备开启运行包括：控制距离传感器开启运行，并测量出用户相对于服务机器人的距离和方位。
在本公开的一些实施例中，所述服务机器人显示控制方法还包括：根据用户相对于服务机器人的距离和方位，控制服务机器人头部沿水平方向旋转到用户对应的方位。
在本公开的一些实施例中，所述服务机器人显示控制方法还包括：根据用户相对于服务机器人的距离和方位，控制表情屏沿水平方向旋转到用户对应的方位，并控制表情屏做出相应的表情变化。
在本公开的一些实施例中，所述控制挂载设备开启运行包括：控制摄像头开启运行，并识别人脸区域。
在本公开的一些实施例中，所述服务机器人显示控制方法还包括：根据人脸区域在摄像头画面中的位置，调节表情屏的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域。
根据本公开的另一方面，提供一种控制器，包括：
信号接收模块，用于接收人体识别传感器发送的启动信号，其中，人体识别传感器在服务机器人周围的预定范围内出现用户的情况下，向控制器输出启动信号；
挂载控制模块，用于在接收到启动信号的情况下，控制挂载设备开启运行；
其中，所述控制器用于执行实现如上述任一实施例所述的服务机器人显示控制方法的操作。
根据本公开的另一方面，提供一种控制器，包括存储器和处理器，其中：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述控制器执行实现如上述任一实施例所述的服务机器人显示控制方法的操作。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例所述的服务机器人显示控制方法。
本公开的机器人表情屏在无用户时处于待机状态，当有用户接近机器人的情况下，表情屏启动变亮，从而使得用户在使用机器人时能感受到机器人拟人化的交流方式。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开服务机器人一些实施例的示意图。
图2为本公开一些实施例中服务机器人各个模块在服务机器人的位置示意图。
图3为本公开服务机器人另一些实施例的示意图。
图4为本公开一些实施例中传感器探测区域的示意图。
图5为本公开服务机器人又一些实施例的示意图。
图6为本公开一些实施例中服务机器人表情屏旋转的示意图。
图7为本公开服务机器人显示控制方法一些实施例的示意图。
图8为本公开控制器一些实施例的示意图。
图9为本公开控制器另一些实施例的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本公开服务机器人一些实施例的示意图。图2为本公开一些实施例中服务机器人各个模块在服务机器人的位置示意图。
如图1所示，本公开服务机器人可以包括人体识别传感器1、控制器2和挂载设备3，其中：
人体识别传感器1，用于在服务机器人周围的预定范围内出现用户的情况下，向控制器2输出启动信号。
在本公开的一些实施例中，人体识别传感器1还可以用于在用户距离服务机器人的距离小于等于预定距离的情况下，向控制器2输出启动信号。
在本公开的一些实施例中，所述人体识别传感器可以实现为红外热释电传感器。
在本公开的一些实施例中，如图2所示，人体识别传感器1为位于服务机器人胸部的探测角度120°、探测距离2米的人体识别传感器。
控制器2，用于在接收到启动信号的情况下，控制挂载设备3开启运行。
在本公开的一些实施例中，人体识别传感器1还可以用于在用户距离服务机器人的距离大于预定距离的情况下，向控制器2输出待机信号。
控制器2，还可以用于在接收到待机信号的情况下，控制挂载设备3处于待机状态。
图3为本公开服务机器人另一些实施例的示意图。如图3所示，本公开挂载设备3在本公开的一些实施例中，所述挂载设备3可以包括显示屏31和表情屏32中的至少一项。
显示屏31和表情屏32，用于在控制器接收到启动信号的情况下，根据控制器2的指示，向用户显示相应的内容。
在本公开的一些实施例中，如图2所示，显示屏31位于服务机器人的胸部；人体识别传感器1位于显示屏31的下方，表情屏32位于服务机器人的头部。
在本公开的一些实施例中，如图2和图3所示，图1或图3实施例的挂载设备3还可以包括距离传感器33，其中：
距离传感器33，用于在开启运行后，测量出用户相对于服务机器人的距离和方位。
在本公开的一些实施例中，所述距离传感器33可以实现为超声波传感器和光学传感器等距离传感器。
在本公开的一些实施例中，如图2和图4所示，所述挂载设备包括至少一个距离传感器，其中：所有距离传感器的探测范围之和包含人体识别传感器的探测范围。即，所有距离传感器的探测范围之和可以覆盖人体识别传感器的探测范围。
在本公开的一些实施例中，如图2和图4所示，人体识别传感器和所有距离传感器均设置于服务机器人上；距离传感器均设置于距离人体识别传感器预定距离的同一水平面上。
在本公开的一些实施例中，在挂载设备包括偶数个距离传感器的情况下，距离传感器对称设置在通过人体识别传感器的所述水平面的垂直面的两侧。
在本公开的一些实施例中，如图2和图4所示，在挂载设备包括奇数个距离传感器的情况下，一个距离传感器设置于通过人体识别传感器的所述水平面的垂直面上，其他距离传感器对称设置在通过人体识别传感器的所述水平面的垂直面的两侧。
控制器2，用于根据用户相对于服务机器人的距离和方位，控制服务机器人头部沿水平方向旋转到用户对应的方位。
在本公开的一些实施例中，控制器2，还可以用于根据用户相对于服务机器人的距离和方位，控制表情屏沿水平方向旋转到用户对应的方位，并控制表情屏做出相应的表情变化。
图4为本公开一些实施例中传感器探测区域的示意图。图4为服务机器人的胸部剖面示意图。如图2和图4所示，人体识别传感器1为位于服务机器人胸部的探测角度120°、探测距离2米的人体识别传感器；距离传感器33可以包括位于胸部探测距离为2米、探测角度为60°的第一超声波传感器331、第二超声波传感器332和第三超声波传感器333。
如图2和图4所示，第一超声波传感器331、第二超声波传感器332和第三超声波传感器333位于显示屏31的下方，人体识别传感器1位于第二超声波传感器332的下方。
在本公开的一些实施例中，如图3所示，图1或图3实施例的挂载设备3还可以包括左右转动机械装置34，其中：
左右转动机械装置34，用于控制器2的指示，进行左右转动，以便带动表情屏32沿水平方向旋转到对应的方位。
在本公开的一些实施例中，如图2所示，左右转动机械装置34可以实现为第一舵机。左右转动机械装置34位于机器人胸部内，支撑着机器人的脖子，左右转动机械装置34旋转可实现机器人脖子在水平方向上旋转，即，可以实现服务机器人头部(包括表情屏)的左右转动。
在本公开的一些实施例中，如图2或图3所示，图1或图3实施例所述挂载设备3还可以包括摄像头35，其中：
如图2所示，摄像头35设置于表情屏32的上方。
摄像头35，用于在控制器接收到启动信号的情况下，根据控制器的指示，识别人脸区域。
控制器2，用于根据人脸区域在摄像头画面中的位置，调节表情屏32的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域。
在本公开的一些实施例中，如图2或图3所示，图1或图3实施例所述挂载设备3还可以包括俯仰机械装置36，其中：
控制器2，用于根据人脸区域在摄像头画面中的位置，计算出人脸区域在摄像头画面中的位置与摄像头画面中心区域位置的距离，将所述距离转换为表情屏32的俯仰角和水平角的调节角度。
俯仰机械装置36和左右转动机械装置34，用于根据控制器2的指示，根据所述调节角度进行俯仰转动和左右转动，以便带动表情屏32进行俯仰运动和左右转动，使得人脸区域位于摄像头画面中心区域。
在本公开的一些实施例中，俯仰机械装置36可以实现为第二舵机。
在本公开的一些实施例中，如图2所示，左右转动机械装置34位于机器人胸部内，支撑着机器人的脖子，左右转动机械装置34旋转可实现机器人脖子在水平方向上旋转，俯仰机械装置36位于机器人头部与脖子固定位置，俯仰机械装置36的旋转可控制机器人头部进行俯仰选择，通过左右转动机械装置34和俯仰机械装置36的配合可实现机器人头部在水平和垂直两个自由度旋转。
基于本公开上述实施例提供的服务机器人，主要用于服务机器人，通过热释电和超声波传感器配合可探测用户方位，利用摄像头捕捉用户影像，处理器进行人脸检测，将检测的结果作为调整表情屏俯仰和水平角的依据，由此可实现表情屏时刻朝向用户，使用户产生被注视的感觉，用户在心理上会感受到尊重，赋予机器人更多拟人特征，从而提升了用户体验。
图5为本公开服务机器人又一些实施例的示意图。如图5所示，本公开控制器(例如图1、图3实施例中的控制器2)可以包括单片机21和机器人处理器22，其中：
单片机21和机器人处理器22通过CAN总线连接。
在本公开的一些实施例中，如图5所示，所述CAN总线可以为机器人CAN总线。
如图5所示，单片机21分别与俯仰机械装置36、左右转动机械装置34、人体识别传感器1、距离传感器33和表情屏32连接。
如图5所示，机器人处理器22分别与摄像头35和显示屏31连接。
在本公开的一些实施例中，如图5所示，第一超声波传感器331、第二超声波传感器332和第三超声波传感器333选用的是485接口，超声波传感器与单片机21进行通讯需要通过485转UART(Universal Asynchronous Receiver/Transmitter，通用异步收发传输器)电路进行转换。
在本公开的一些实施例中，如图5所示，表情屏32采用的是RS232通讯，单片机21将要显示的内容通过UART发送，UART转RS232电路将UART电平转换为RS232电平，表情屏32收到指令根据指令信息变更显示的内容。
在本公开的一些实施例中，如图5所示，所述服务机器人还可以包括比较器11，其中：
比较器11分别与人体识别传感器1和单片机21连接。
人体识别传感器1输出高低电平，当有人靠近时，热释电传感器输出电平会发生变化，人体识别传感器1输出的电平经过比较器11进行比较，比较器11将比较的结果输出给单片机21进行识别。
服务机器人在周边无用户时处于待机状态，当有用户靠近并且距离2米时，人体识别传感器1输出高电平，通过比较器11比较输出TTL电平，单片机21将用户接近的信息通过机器人内的CAN总线上报给机器人处理器22，机器人处理器22唤醒机器人挂载的设备。通过HDMI将需要显示的内容输出到显示屏31显示。
在本公开的一些实施例中，如图5所示，机器人处理器22通过HDMI接口将需要显示的内容，输出到显示屏31显示。
在本公开的一些实施例中，如图5所示，表情屏32上的摄像头35通过USB接口与处理器进行通信。
在本公开的一些实施例中，如图5所示，所述服务机器人还可以包括第一驱动电路341和第二驱动电路361，其中：
第一驱动电路341，用于根据单片机21的指令，驱动左右转动机械装置34发生水平方向上的旋转。
第二驱动电路361，用于根据单片机21的指令，驱动俯仰机械装置36发生垂直方向上的旋转。
在本公开的一些实施例中，如图4所示，每个超声波传感器探测距离为2米，探测角度为60°，机器人被唤醒后意味着用户与机器人距离小于2米，超声波探测到用户与机器人的距离，若第一超声波传感器331探测到距离小于2米的用户，则单片机21向第一驱动电路341发出指令，驱动左右转动机械装置34发生水平方向上的旋转，使表情屏32朝向第一超声波传感器331的方向，并且单片机21向表情屏32发送指令，显示预设的内容。
图6为本公开一些实施例中服务机器人表情屏旋转的示意图。当左右转动机械装置34旋转完成后，表情屏32会朝向用户方向，并且用户会进入摄像头35拍摄的视野范围，如图6所示。摄像头35会通过USB将采集到的画面传输给机器人处理器22，机器人处理器22运行人脸检测算法，框选出距离最近的人脸；并且计算人脸区域与摄像头35中心区域距离，按照移动1和移动2两步，调整左右转动机械装置34和俯仰机械装置36的旋转角度。机器人处理器22通过CAN总线向单片机21发出旋转左右转动机械装置34和俯仰机械装置36的指令，单片机21收到指令后控制俯仰机械装置36朝移动1相反的方向旋转，控制左右转动机械装置34朝移动2相反的方向旋转，逐渐将人脸区域位于摄像头35十字靶标中心区域
本公开上述实施例经过表情屏32的姿态调整，表情屏32时刻正对用户，使用户体验到被注视的感觉。
本公开上述实施例可以用于服务型机器人，机器人表情屏32在无用户时处于待机状态，当有用户接近机器人，距离达到2米时，热释电会探测到有人靠近，从而唤醒机器人。位于机器人胸部的距离传感器33，测量出用户的距离和方位，表情屏32在水平方向旋转到对应的方位，并做出相应的表情变化。位于表情屏32上的摄像机识别人脸区域，并根据人脸在画面中的位置调节表情屏32的俯仰角，使人脸区域位于摄像头画面中心区域。通过表情屏32旋转运动和表情变化，使用户感受到被关注的感觉，从而提升了交互体验。
图7为本公开服务机器人显示控制方法一些实施例的示意图。优选的，本实施例可由本公开服务机器人或本公开控制器执行。该方法包括以下步骤：
步骤71，接收人体识别传感器1发送的启动信号，其中，人体识别传感器1在服务机器人周围的预定范围内出现用户的(例如用户距离服务机器人的距离小于等于预定距离)情况下，向控制器2输出启动信号；
步骤72，在接收到启动信号的情况下，控制挂载设备3开启运行。
在本公开的一些实施例中，步骤72中，所述控制挂载设备3开启运行的步骤还可以包括：控制距离传感器33开启运行，并测量出用户相对于服务机器人的距离和方位；根据用户相对于服务机器人的距离和方位，控制服务机器人头部沿水平方向旋转到用户对应的方位。
在本公开的一些实施例中，步骤72中，所述控制挂载设备3开启运行的步骤还可以包括：根据用户相对于服务机器人的距离和方位，控制表情屏32沿水平方向旋转到用户对应的方位，并表情屏做出相应的表情变化。
在本公开的一些实施例中，步骤72中，所述控制挂载设备3开启运行的步骤还可以包括：控制摄像头35开启运行，并识别人脸区域；根据人脸区域在摄像头画面中的位置，调节表情屏32的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域。
在本公开的一些实施例中，所述根据人脸区域在摄像头画面中的位置，调节表情屏32的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域的步骤可以包括：根据人脸区域在摄像头画面中的位置，计算出人脸区域在摄像头画面中的位置与摄像头画面中心区域位置的距离，将所述距离转换为表情屏32的俯仰角和水平角的调节角度；根据所述调节角度控制俯仰机械装置36和左右转动机械装置34进行俯仰转动和左右转动，以便带动表情屏32进行俯仰运动和左右转动，使得人脸区域位于摄像头画面中心区域。
在本公开的一些实施例中，所述服务机器人显示控制方法还可以包括：接收人体识别传感器1发送的待机信号，其中，人体识别传感器1在用户距离服务机器人的距离大于预定距离的情况下，向控制器2输出待机信号；在接收到待机信号的情况下，控制挂载设备3处于待机状态。
在本公开的一些实施例中，所述服务机器人显示控制方法还可以包括：控制显示屏31和表情屏32向用户显示相应的内容。
基于本公开上述实施例提供的服务机器人显示控制方法，可以应用于服务机器人，本公开上述实施例的目的是提高服务型机器人显示交互的互动性，使用户在使用机器人时能感受到机器人拟人化的交流方式，使机器人更富有生命力，更生动，从而提高了用户的使用体验。
本公开上述实施例可以更好地将服务机器人拟人化，需要提高机器人的显示互动性，使用户感受到类似于与人交流时的眼神互动。
图8为本公开控制器一些实施例的示意图。本公开控制器(例如图1、图3实施例中的控制器2)可以包括信号接收模块201和挂载控制模块202，其中：
信号接收模块201，用于接收人体识别传感器1发送的启动信号，其中，人体识别传感器1在服务机器人周围的预定范围内出现用户(例如用户距离服务机器人的距离小于等于预定距离)的情况下，向控制器2输出启动信号。
挂载控制模块202，用于在接收到启动信号的情况下，控制挂载设备3开启运行。
在本公开的一些实施例中，挂载控制模块202可以用于在接收到启动信号的情况下，控制距离传感器33开启运行，并测量出用户相对于服务机器人的距离和方位；根据用户相对于服务机器人的距离和方位，控制表情屏32沿水平方向旋转到用户对应的方位，并控制表情屏32做出相应的表情变化。
在本公开的一些实施例中，挂载控制模块202可以用于在接收到启动信号的情况下，控制摄像头35开启运行，并识别人脸区域；根据人脸区域在摄像头画面中的位置，调节表情屏32的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域。
在本公开的一些实施例中，挂载控制模块202在根据人脸区域在摄像头画面中的位置，调节表情屏32的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域的情况下，可以用于根据人脸区域在摄像头画面中的位置，计算出人脸区域在摄像头画面中的位置与摄像头画面中心区域位置的距离，将所述距离转换为表情屏32的俯仰角和水平角的调节角度；根据所述调节角度控制俯仰机械装置36和左右转动机械装置34进行俯仰转动和左右转动，以便带动表情屏32进行俯仰运动和左右转动，使得人脸区域位于摄像头画面中心区域。
在本公开的一些实施例中，所述控制器2还可以用于接收人体识别传感器1发送的待机信号，其中，人体识别传感器1在用户距离服务机器人的距离大于预定距离的情况下，向控制器2输出待机信号；在接收到待机信号的情况下，控制挂载设备3处于待机状态。
在本公开的一些实施例中，所述控制器2还可以用于控制显示屏31和表情屏32向用户显示相应的内容。
在本公开的一些实施例中，所述控制器2可以用于执行实现如上述任一实施例(例如图7实施例)所述的服务机器人显示控制方法的操作。
基于本公开上述实施例提供的控制器，可以应用于服务机器人，本公开上述实施例的目的是提高服务型机器人显示交互的互动性，使用户在使用机器人时能感受到机器人拟人化的交流方式，使机器人更富有生命力，更生动，从而提高了用户的使用体验。
图9为本公开控制器另一些实施例的示意图。本公开控制器(例如图1、图3实施例中的控制器2)可以包括存储器208和处理器209，其中：
存储器208，用于存储指令。
处理器209，用于执行所述指令，使得所述控制器2执行实现如上述任一实施例(例如图7实施例)所述的服务机器人显示控制方法的操作。
本公开上述实施例可以更好地将服务机器人拟人化，需要提高机器人的显示互动性，使用户感受到类似于与人交流时的眼神互动。
根据本公开的另一方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如上述任一实施例(例如图7实施例)所述的服务机器人显示控制方法。
基于本公开上述实施例提供的计算机可读存储介质，可以提高服务型机器人显示交互的互动性，使用户在使用机器人时能感受到机器人拟人化的交流方式，使机器人更富有生命力，更生动，从而提高了用户的使用体验。
本公开上述实施例可以更好地将服务机器人拟人化，需要提高机器人的显示互动性，使用户感受到类似于与人交流时的眼神互动。
在上面所描述的控制器可以实现为用于执行本申请所描述功能的通用处理器、可编程逻辑控制器(PLC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (16)

1.一种服务机器人，其特征在于，包括人体识别传感器、控制器和挂载设备，其中：
人体识别传感器，用于在服务机器人周围的预定范围内出现用户的情况下，向控制器输出启动信号；
控制器，用于在接收到启动信号的情况下，控制挂载设备开启运行。
2.根据权利要求1所述的服务机器人，其特征在于，所述挂载设备包括距离传感器，其中：
距离传感器，用于在开启运行后，测量出用户相对于服务机器人的距离和方位；
控制器，用于根据用户相对于服务机器人的距离和方位，控制服务机器人头部沿水平方向旋转到用户对应的方位。
3.根据权利要求2所述的服务机器人，其特征在于，所述挂载设备包括至少一个距离传感器，其中：
所有距离传感器的探测范围之和包含人体识别传感器的探测范围。
4.根据权利要求3所述的服务机器人，其特征在于，
人体识别传感器和所有距离传感器均设置于服务机器人上；
距离传感器均设置于距离人体识别传感器预定距离的同一水平面上。
5.根据权利要求4所述的服务机器人，其特征在于，
在挂载设备包括偶数个距离传感器的情况下，距离传感器对称设置在通过人体识别传感器的所述水平面的垂直面的两侧；
在挂载设备包括奇数个距离传感器的情况下，一个距离传感器设置于通过人体识别传感器的所述水平面的垂直面上，其他距离传感器对称设置在通过人体识别传感器的所述水平面的垂直面的两侧。
6.根据权利要求2-5中任一项所述的服务机器人，其特征在于，所述挂载设备包括表情屏，其中：
表情屏设置在服务机器人头部；
控制器，用于根据用户相对于服务机器人的距离和方位，控制表情屏沿水平方向旋转到用户对应的方位，并控制表情屏做出相应的表情变化。
7.根据权利要求6所述的服务机器人，其特征在于，所述挂载设备还包括摄像头，摄像头设置于表情屏，其中：
摄像头，用于在控制器接收到启动信号的情况下，根据控制器的指示，识别人脸区域；
控制器，用于根据人脸区域在摄像头画面中的位置，调节表情屏的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域。
8.根据权利要求7所述的服务机器人，其特征在于，所述挂载设备还包括显示屏，其中：
显示屏，用于在控制器接收到启动信号的情况下，根据控制器的指示，向用户显示相应的内容。
9.根据权利要求8所述的服务机器人，其特征在于，所述控制器包括单片机和机器人处理器，其中：
单片机和机器人处理器通过CAN总线连接；
单片机分别与俯仰机械装置、距离传感器和表情屏连接；
机器人处理器分别与摄像头和显示屏连接。
10.一种服务机器人显示控制方法，其特征在于，包括：
接收人体识别传感器发送的启动信号，其中，人体识别传感器在服务机器人周围的预定范围内出现用户的情况下，向控制器输出启动信号；
在接收到启动信号的情况下，控制挂载设备开启运行。
11.根据权利要求10所述的服务机器人显示控制方法，其特征在于，
所述控制挂载设备开启运行包括：控制距离传感器开启运行，并测量出用户相对于服务机器人的距离和方位；
所述服务机器人显示控制方法还包括：根据用户相对于服务机器人的距离和方位，控制服务机器人头部沿水平方向旋转到用户对应的方位。
12.根据权利要求10或11所述的服务机器人显示控制方法，其特征在于，还包括：
根据用户相对于服务机器人的距离和方位，控制表情屏沿水平方向旋转到用户对应的方位，并控制表情屏做出相应的表情变化。
13.根据权利要求10或11所述的服务机器人显示控制方法，其特征在于，
所述控制挂载设备开启运行包括：控制摄像头开启运行，并识别人脸区域；
所述服务机器人显示控制方法还包括：根据人脸区域在摄像头画面中的位置，调节表情屏的俯仰角和水平角，使得人脸区域位于摄像头画面中心区域。
14.一种控制器，其特征在于，包括：
信号接收模块，用于接收人体识别传感器发送的启动信号，其中，人体识别传感器在服务机器人周围的预定范围内出现用户的情况下，向控制器输出启动信号；
挂载控制模块，用于在接收到启动信号的情况下，控制挂载设备开启运行；
其中，所述控制器用于执行实现如权利要求10-13中任一项所述的服务机器人显示控制方法的操作。
15.一种控制器，其特征在于，包括存储器和处理器，其中：
存储器，用于存储指令；
处理器，用于执行所述指令，使得所述控制器执行实现如权利要求10-13中任一项所述的服务机器人显示控制方法的操作。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求10-13中任一项所述的服务机器人显示控制方法。
CN201911220522.1A 2019-12-03 2019-12-03 服务机器人及其显示控制方法、控制器和存储介质 Active CN110861107B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911220522.1A CN110861107B (zh) 2019-12-03 2019-12-03 服务机器人及其显示控制方法、控制器和存储介质
PCT/CN2020/127751 WO2021109806A1 (zh) 2019-12-03 2020-11-10 服务机器人及其显示控制方法、控制器和存储介质
US17/777,250 US20220402142A1 (en) 2019-12-03 2020-11-10 Service robot and display control method thereof, controller and storage medium
EP20895347.1A EP4046759A4 (en) 2019-12-03 2020-11-10 SERVICE ROBOT AND DISPLAY CONTROL METHOD THEREOF, CONTROL AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911220522.1A CN110861107B (zh) 2019-12-03 2019-12-03 服务机器人及其显示控制方法、控制器和存储介质

Publications (2)

Publication Number Publication Date
CN110861107A true CN110861107A (zh) 2020-03-06
CN110861107B CN110861107B (zh) 2020-12-22

Family

ID=69657295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911220522.1A Active CN110861107B (zh) 2019-12-03 2019-12-03 服务机器人及其显示控制方法、控制器和存储介质

Country Status (4)

Country Link
US (1) US20220402142A1 (zh)
EP (1) EP4046759A4 (zh)
CN (1) CN110861107B (zh)
WO (1) WO2021109806A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109806A1 (zh) * 2019-12-03 2021-06-10 京东数科海益信息科技有限公司 服务机器人及其显示控制方法、控制器和存储介质
WO2021204106A1 (zh) * 2020-04-10 2021-10-14 京东数科海益信息科技有限公司 体温测量方法、装置、机器人及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114190295B (zh) * 2021-12-20 2023-06-09 珠海一微半导体股份有限公司 一种多宠物机器人控制方法、系统及芯片

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355242A (zh) * 2016-09-26 2017-01-25 苏州小璐机器人有限公司 一种基于人脸检测的互动机器人
CN106956274A (zh) * 2017-03-28 2017-07-18 旗瀚科技有限公司 一种机器人唤醒方法
JP2017164854A (ja) * 2016-03-17 2017-09-21 カシオ計算機株式会社 ロボット及びプログラム
CN207189673U (zh) * 2017-08-25 2018-04-06 科沃斯机器人股份有限公司 自移动机器人
CN107891430A (zh) * 2017-12-23 2018-04-10 河南智盈电子技术有限公司 一种基于物联网的安防机器人
CN108346243A (zh) * 2018-02-10 2018-07-31 佛山市建金建电子科技有限公司 一种优惠券领票机器人
CN208262848U (zh) * 2018-03-19 2018-12-21 山西安信恒创机器人技术有限公司 一种智能服务机器人

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221300A (ja) * 2006-02-15 2007-08-30 Fujitsu Ltd ロボット及びロボットの制御方法
CN106054895A (zh) * 2016-07-11 2016-10-26 湖南晖龙股份有限公司 智能营业厅机器人及其室内行走偏航自动校正方法
CN206170100U (zh) * 2016-11-14 2017-05-17 上海木爷机器人技术有限公司 机器人
KR102639904B1 (ko) * 2016-12-23 2024-02-26 엘지전자 주식회사 공항용 로봇 및 그의 동작 방법
KR102391322B1 (ko) * 2017-06-30 2022-04-26 엘지전자 주식회사 이동 로봇
CN107932511A (zh) * 2017-11-29 2018-04-20 芜湖星途机器人科技有限公司 自动控制人脸姿态的机器人
CN107825438A (zh) * 2017-12-06 2018-03-23 山东依鲁光电科技有限公司 城市智能综合服务机器人及其运行方法
WO2019147235A1 (en) * 2018-01-24 2019-08-01 Ford Global Technologies, Llc Path planning for autonomous moving devices
CN110653812B (zh) * 2018-06-29 2021-06-04 深圳市优必选科技有限公司 一种机器人的交互方法、机器人及具有存储功能的装置
CN109062482A (zh) * 2018-07-26 2018-12-21 百度在线网络技术（北京）有限公司 人机交互控制方法、装置、服务设备及存储介质
KR102012968B1 (ko) * 2018-08-07 2019-08-27 주식회사 서큘러스 인터렉션 로봇의 제어 방법 및 제어 서버
CN209022077U (zh) * 2018-09-11 2019-06-25 小白智能科技（长春）股份有限公司 小白人智媒体设备
CN109940638B (zh) * 2019-04-26 2021-04-16 北京猎户星空科技有限公司 机器人、机器人控制方法、装置、存储介质和控制器
CN110154056A (zh) * 2019-06-17 2019-08-23 常州摩本智能科技有限公司 服务机器人及其人机交互方法
CN110861107B (zh) * 2019-12-03 2020-12-22 北京海益同展信息科技有限公司 服务机器人及其显示控制方法、控制器和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017164854A (ja) * 2016-03-17 2017-09-21 カシオ計算機株式会社 ロボット及びプログラム
CN106355242A (zh) * 2016-09-26 2017-01-25 苏州小璐机器人有限公司 一种基于人脸检测的互动机器人
CN106956274A (zh) * 2017-03-28 2017-07-18 旗瀚科技有限公司 一种机器人唤醒方法
CN207189673U (zh) * 2017-08-25 2018-04-06 科沃斯机器人股份有限公司 自移动机器人
CN107891430A (zh) * 2017-12-23 2018-04-10 河南智盈电子技术有限公司 一种基于物联网的安防机器人
CN108346243A (zh) * 2018-02-10 2018-07-31 佛山市建金建电子科技有限公司 一种优惠券领票机器人
CN208262848U (zh) * 2018-03-19 2018-12-21 山西安信恒创机器人技术有限公司 一种智能服务机器人

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109806A1 (zh) * 2019-12-03 2021-06-10 京东数科海益信息科技有限公司 服务机器人及其显示控制方法、控制器和存储介质
WO2021204106A1 (zh) * 2020-04-10 2021-10-14 京东数科海益信息科技有限公司 体温测量方法、装置、机器人及存储介质
EP4134210A4 (en) * 2020-04-10 2024-05-08 Jingdong Technology Information Technology Co., Ltd. BODY TEMPERATURE MEASUREMENT METHOD AND DEVICE, ROBOT AND STORAGE MEDIUM

Also Published As

Publication number Publication date
US20220402142A1 (en) 2022-12-22
EP4046759A4 (en) 2023-11-22
WO2021109806A1 (zh) 2021-06-10
EP4046759A1 (en) 2022-08-24
CN110861107B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN110861107B (zh) 服务机器人及其显示控制方法、控制器和存储介质
EP2534554B1 (en) Input command
KR101663452B1 (ko) 화면 조작장치 및 화면 조작방법
EP2802966B1 (en) Device and method for controlling rotation of displayed image
US9342925B2 (en) Information processing apparatus, information processing method, and program
WO2023071884A1 (zh) 注视检测方法、电子设备的控制方法及相关设备
CN207292469U (zh) 多姿态传感器云台装置、相机和无人机飞行器
US11023034B2 (en) Method and apparatus for multiuser interaction and accompanying robot
JP2002355779A (ja) ロボット型インタフェース装置およびその制御方法
WO2011040932A1 (en) Digital display device
US9934735B2 (en) Display control method and electronic device
JP2017208638A (ja) 虹彩認証装置、虹彩認証方法、及びプログラム
CN104345882A (zh) 屏幕显示模式的调整方法与电子装置
US20110228155A1 (en) Cosmetic mirror and adjusting method for the same
CN105335121A (zh) 一种控制方法及电子设备
WO2013175845A1 (en) Information processing apparatus, information processing method, and program
US20170091995A1 (en) Virtual fitting system and virtual fitting method
US20130176218A1 (en) Pointing Device, Operating Method Thereof and Relative Multimedia Interactive System
CN112733673A (zh) 一种内容显示方法、装置、电子设备及可读存储介质
JPH05298015A (ja) 視線検出システムおよび情報処理システム
US20190176336A1 (en) Device controller
JP2019202354A (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
EP4075786A1 (en) Image processing device, system, image processing method and image processing program
US20200089935A1 (en) Body information analysis apparatus capable of indicating shading-areas
CN205750722U (zh) 一种手势传感系统及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee before: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd.