CN114450726A - 数据处理装置、数据处理方法和机器人 - Google Patents

数据处理装置、数据处理方法和机器人 Download PDF

Info

Publication number
CN114450726A
CN114450726A CN202080067410.1A CN202080067410A CN114450726A CN 114450726 A CN114450726 A CN 114450726A CN 202080067410 A CN202080067410 A CN 202080067410A CN 114450726 A CN114450726 A CN 114450726A
Authority
CN
China
Prior art keywords
sensing
human
program
human sensing
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067410.1A
Other languages
English (en)
Inventor
濑田健一
后藤礼史
大塚雅弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114450726A publication Critical patent/CN114450726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本技术涉及数据处理装置、数据处理方法和机器人,利用其可以使用适当的算法执行人感测。根据本技术的一个方面的数据处理装置根据人感测条件适应性地选择和执行人感测程序,人感测程序指定基于从安装在机器人上的传感器输出的传感器数据来执行人感测的人感测算法。本技术可适用于安装在各种设备上的传感器装置。

Description

数据处理装置、数据处理方法和机器人
技术领域
本技术尤其涉及能够使用适当的算法执行人感测的数据处理装置、数据处理方法和机器人。
背景技术
常规地,已经从添加功能和确保与其他装置的兼容性的角度提出了用于更新装置的软件的各种技术。
例如,专利文献1公开了确定可以通过相机和通信装置的组合实现的服务并且安装提供该服务的软件的技术。
此外,专利文献2公开了在检测到成像装置上的固件与主机系统不兼容的情况下更新成像装置与主机系统之间的固件的技术。
[引用列表]
[专利文献]
专利文献1:日本专利申请特开第2007-286850号
专利文献2:日本未审查专利公报第2002-504724号
发明内容
本发明要解决的问题
尽管公开了用于改变成像装置如相机的软件的各种技术,但是没有公开根据感测目标的状况等适应性地改变执行感测的装置的软件。
本技术是鉴于这种状况实现的,并且其目的是使用适当的算法执行人感测。
问题的解决方案
根据本技术的第一方面的数据处理装置设置有感测控制单元,该感测控制单元被配置成根据人感测条件适应性地选择执行人感测程序,在所述人感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测人的人感测算法。
根据本技术的第二方面的数据处理装置设置有数据处理单元,该数据处理单元被配置成根据人感测条件适应性地选择人感测程序并且将其发送至机器人,在所述人感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测人的人感测算法。
根据本技术的第三方面的机器人设置有:传感器,其被配置成输出指示感测结果的传感器数据;感测控制单元,其被配置成根据人感测条件适应性地选择执行人感测程序,在所述人感测程序中定义了基于从传感器输出的传感器数据来感测人的人感测算法;操作计划设置单元,其被配置成基于感测控制单元对人感测程序的执行结果来设置操作计划;以及操作单元,其被配置成根据由操作计划设置单元设置的操作计划来执行操作。
在本技术的第一方面中,根据人感测条件适应性地选择要执行的人感测程序,在人感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测人的人感测算法。
在本技术的第二方面中,根据人感测条件适应性地选择人感测程序并且将其发送至机器人,在人感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测人的人感测算法。
在本技术的第三方面中,根据人感测条件适应性地选择要执行的人感测程序,在人感测程序中定义了基于从输出指示感测结果的传感器数据的传感器输出的传感器数据来感测人的人感测算法,基于人感测程序的执行结果来设置操作计划,以及根据设置的操作计划来执行操作。
附图说明
图1是示出根据本技术的一个实施方式的程序提供系统的配置示例的视图。
图2是示出传感器装置的配置示例的视图。
图3是示出传感器装置的外观的示例的视图。
图4是示出感测程序的示例的视图。
图5是示出感测程序的另一示例的视图。
图6是示出感测程序的又一示例的视图。
图7是示出感测程序的更新的示例的视图。
图8是示出感测程序的更新的示例的视图。
图9是示出感测程序的更新的另一示例的视图。
图10是示出感测程序集的示例的视图。
图11是示出感测程序集的示例的视图。
图12是示出感测程序集的示例的视图。
图13是示出感测程序的更新的示例的视图。
图14是示出感测程序的提供源的示例的视图。
图15是示出感测程序集的生成的示例的视图。
图16是示出传送机器人的传送状态的视图。
图17是传送机器人的外观的放大图。
图18是示出当其上放置菜肴时传送机器人的姿势的示例的视图。
图19是示出传送机器人在其中移动的空间的布局的平面图。
图20是示出感测算法的示例的视图。
图21是示出传送机器人的硬件的配置示例的框图。
图22是示出传送机器人的功能配置示例的框图。
图23是用于说明传送机器人的处理的流程图。
图24是用于说明在图23中的步骤S1处执行的准确性选择处理的流程图。
图25是用于说明在图24中的步骤S14处执行的室内处理的流程图。
图26是用于说明在图24中的步骤S16处执行的室外处理的流程图。
图27是用于说明在图23中的步骤S2处执行的人感测处理的流程图。
图28是用于说明在图23中的步骤S2处执行的人感测处理的流程图。
图29是示出人感测的应用示例的视图。
图30是示出感测算法的控制的示例的视图。
图31是示出实现程序管理服务器的计算机的硬件的配置示例的框图。
具体实施方式
<本技术的概述>
本技术聚焦于以下要点:由于以下因素而难以在安装在诸如机器人、移动体和智能电话的各种设备上的传感器装置中使用最佳算法来执行感测,并且实现了其解决方案。
因素
·存在很多类型的基本技术。
·基本技术的成熟度不同。
·在成本方面存在很多变化。
·在应用方面存在很多变化。
·系统设计和实现方式具有挑战性。
·存在很多类型的用户请求。
·存在很多安装限制,例如处理器功率、功耗和电路尺寸。
·存在很多类型的感测目标。
尤其是,本技术使执行人感测的传感器装置能够使用最佳算法作为感测算法来执行感测,该感测算法是关于感测的算法。
在下文中,描述了用于执行本技术的模式。按以下顺序给出描述。
1.程序提供系统
2.感测程序的使用实例
3.传送机器人的配置和操作
4.其他使用实例
5.变型
<程序提供系统>
图1是示出根据本技术的一个实施方式的程序提供系统的配置示例的视图。
图1中的程序提供系统通过将诸如移动终端2-1、臂式机器人2-2、移动体2-3、烹饪机器人2-4和传送机器人2-5的各种装置经由包括因特网等的网络11连接至程序管理服务器1而形成。
移动终端2-1是智能电话。
臂式机器人2-2是双臂机器人。在臂式机器人2-2的壳体中设置有托架。臂式机器人2-2是可移动的机器人。
移动体2-3是汽车。在移动体2-3上安装有自动驾驶等功能。
烹饪机器人2-4是厨房型机器人。烹饪机器人2-4具有通过驱动多个烹饪臂进行烹饪的功能。烹饪臂再现了类似于由人执行的烹饪操作的操作。
传送机器人2-5是可以将传送对象放置在作为放置台而准备的顶板上的机器人,机器人在该状态下能够移动至目标位置。传送机器人2-5的底座上设置有轮子。
图1中示出的每个设备都配备有用于环境的感测、物体的感测、人的感测等的传感器装置。
图2是示出传感器装置的配置示例的视图。
如图2中所示,传感器装置21设置有控制器31和传感器组32。
控制器31控制形成传感器组32的每个传感器以执行各种目标的感测,例如环境的感测、物体的感测和人的感测。基于从形成传感器组32的每个传感器输出的传感器数据执行控制器31的感测。
控制器31向主机侧的装置输出感测结果。由主机侧的装置基于控制器31的感测结果执行各种类型的处理。在传感器装置21安装在移动终端2-1上的情况下,移动终端2-1的中央处理单元(CPU)用作主机侧的装置。控制器31还具有与主机侧的装置进行通信的功能。
传感器组32包括执行各种目标的感测的多个传感器。在图2中的示例中,传感器组32包括RGB相机32A、立体相机32B、ToF传感器32C、结构光传感器32D和LiDAR 32E。
RGB相机32A包括用于RGB图像的图像传感器。RGB相机32A通过驱动图像传感器对周边状态进行成像,并且输出通过成像获取的RGB图像作为传感器数据。
立体相机32B是立体相机系统的距离传感器,并且包括用于距离图像的两个图像传感器。立体相机32B输出指示到目标的距离的距离图像作为传感器数据。
ToF传感器32C是飞行时间(ToF)系统的距离传感器。ToF传感器32C通过ToF系统测量到目标的距离,并且输出距离信息作为传感器数据。
结构光传感器32D是结构光系统的距离传感器。结构光传感器32D通过结构光系统测量到目标的距离,并且输出距离信息作为传感器数据。
激光雷达(LiDAR)32E测量目标的每个点的三维位置,并且输出指示测量结果的信息作为传感器数据。
传感器组32中可以包括与图2中示出的传感器不同的传感器,例如定位传感器、陀螺仪传感器、加速度传感器、温度传感器和照度传感器。
形成传感器组32的传感器的类型根据其上安装有传感器装置21的装置而适当地改变。一个传感器可以形成传感器组32。
传感器装置21可以包括其上布置有控制器31和传感器组32的基板,或者可以形成为以下装置:其上布置有每个传感器的基板容纳在如图3中示出的壳体21A中。
在具有这样的配置的传感器装置21中,控制器31执行作为用于感测的程序的感测程序,并且实现诸如环境、物体和人的各种目标的感测功能。基于形成传感器组32的一个传感器的输出或者基于多个传感器的输出的组合来实现控制器31的感测功能。
环境感测(环境的感测)包括例如以下内容。
·使用RGB相机32A对RGB图像进行成像
·使用立体相机32B、ToF传感器32C和结构光传感器32D的输出测量到目标的距离
·使用LiDAR 32E的输出生成三维地图
·使用三维地图估计自身位置
由传感器装置21感测的环境包括各种物理状态,这些物理状态是传感器装置21外部或其上安装有传感器装置21的装置外部的状态,这些状态可以通过执行感测被表示为量化数据。
物体感测(物体的感测)包括例如以下内容。
·使用由RGB相机32A成像的RGB图像辨识(Recognition)和识别(identification)目标
·测量目标的特征,例如形状、尺寸、颜色和温度
由传感器装置21感测的物体包括传感器装置21周围或其上安装有传感器装置21的装置周围的各种静止物体和移动物体。
人感测(人的感测)包括例如以下内容。
·使用由RGB相机32A成像的RGB图像辨识人、辨识人的脸、识别人
·辨识人的特定部位,例如头、手臂、手、眼睛和鼻子
·估计特定部位的位置,包括骨骼估计
·估计人的身体特征,例如身高和体重
·估计人的属性,例如年龄和性别
由传感器装置21感测的人包括传感器装置21周围或其上安装有传感器装置21的装置周围的人。
控制器31包括具有不同的算法的多个程序作为用于实现相应的感测功能的感测程序。
图4是示出传感器装置21中准备的感测程序的示例的视图。
在图4中的示例中,测距程序A、测距程序B和测距程序C被准备为在操作系统(OS)上运行的固件。测距程序A、测距程序B和测距程序C是实现作为人感测功能的测距功能的感测程序。
测距程序A、测距程序B和测距程序C是通过不同的感测算法实现相同的测距功能的感测程序。测距程序A、测距程序B和测距程序C定义不同的感测算法。
测距程序A是通过测距算法A执行测距的感测程序。测距程序B是通过测距算法B执行测距的感测程序。测距程序C是通过测距算法C执行测距的感测程序。
例如,测距算法A至C是使用不同的参数执行测距的感测算法:在同一传感器中设置不同的参数,并且通过基于传感器的输出执行相同的计算来计算距离。
此外,测距算法A至C是使用不同的计算方法执行测距的感测算法:在同一传感器中设置相同的参数,并且通过基于传感器的输出执行不同的计算来计算距离。
在准备有诸如立体相机32B、ToF传感器32C和结构光传感器32D的多个距离传感器的情况下,测距算法A至C可以是使用不同的距离传感器执行测距的感测算法。
在这种情况下,例如,测距算法A基于立体相机32B的输出执行测距,并且测距算法B基于ToF传感器32C的输出执行测距。此外,测距算法C基于结构光传感器32D的输出执行测距。
以这种方式,在传感器装置21中,准备有具有不同的感测算法的多个程序作为用于实现相同的测距功能的感测程序。用于测距的传感器与每个感测算法或定义每个感测算法的感测程序中的至少任意一个相关联。在执行感测程序的情况下,结合感测程序控制相关联的传感器的操作。
例如,在安装在传送机器人2-5上的传感器装置21中,选择对应于感测条件的感测算法并且执行测距。感测条件是根据传送机器人2-5的状况确定的感测算法的选择条件。
例如,在状况适合于测距算法A的情况下,执行测距程序A,并且使用测距算法A执行测距。此外,在状况适合于测距算法B的情况下,执行测距程序B,并且使用测距算法B执行测距。在状况适合于测距算法C的情况下,执行测距程序C,并且使用测距算法C执行测距。
由于通过适应性地选择对应于感测条件的感测算法(感测程序)来执行测距,因此可以通过最佳感测算法进行测距。这同样适用于感测目标不是距离的情况。
一种感测程序定义一种感测算法。选择感测程序对应于选择感测算法。
注意,适应性地选择感测算法意味着当检测到感测条件时选择与该条件相关联的感测算法。被认为合适的感测算法与对应于每种假设状况的感测条件相关联。感测条件与感测算法之间的关联可以动态地改变。
图5是示出感测程序的另一示例的视图。
在图5中的示例中,食材辨识程序A、食材辨识程序B和食材辨识程序C被准备为在OS上运行的固件。食材辨识程序A至C是实现食材辨识功能作为物体感测功能的感测程序。
食材辨识程序A是通过食材辨识算法A执行食材辨识的感测程序。食材辨识程序B是通过食材辨识算法B执行食材辨识的感测程序。食材辨识程序C是通过食材辨识算法C执行食材辨识的感测程序。例如,在安装在烹饪机器人2-4上的传感器装置21中,选择与通过烹饪过程等确定的感测条件对应的感测算法并且辨识食材。
图6是示出感测程序的又一示例的视图。
在图6中的示例中,人脸辨识程序A、人脸辨识程序B和人脸辨识程序C被准备为在OS上运行的固件。人脸辨识程序A至C是实现人脸辨识功能作为人感测功能的感测程序。
人脸辨识程序A是通过人脸辨识算法A执行人脸辨识的感测程序。人脸辨识程序B是通过人脸辨识算法B执行人脸辨识的感测程序。人脸辨识程序C是通过人脸辨识算法C执行人脸辨识的感测程序。例如,在安装在烹饪机器人2-4上的传感器装置21中,选择与由烹饪过程等确定的感测条件对应的感测算法并且辨识人脸。
·感测程序的更新
在图1中的程序提供系统中,可以更新在每个设备的传感器装置21中作为固件准备的感测程序。
图7是示出感测程序的更新的示例的视图。
如图7中通过箭头指示的,程序管理服务器1向每个装置提供感测程序。程序管理服务器1包括要提供给每个装置的感测程序的数据库(DB)。
在图7中的示例中,向移动终端2-1提供通过测距算法D执行测距的测距程序D,并且向臂式机器人2-2提供通过人脸辨识算法H执行人脸辨识的人脸辨识程序H。
此外,向移动体2-3提供通过自身位置估计算法J执行自身位置估计的自身位置估计程序J,并且向烹饪机器人2-4提供通过物体辨识算法K执行物体辨识的物体辨识程序K。向传送机器人2-5提供通过人辨识算法M执行人辨识的人辨识程序M。
图8是示出感测程序的更新的示例的视图。
在每个设备的传感器装置21中,可以如图8的A中所示添加感测程序。在图8的A中的示例中,通过测距算法D执行测距的测距程序D被添加到分别通过测距算法A至C执行测距的测距程序A至C。
在默认状态下,在每个设备的传感器装置21中准备有定义对应于一般状况的感测算法的感测程序。即使在每个设备的传感器装置21不能用预先准备的感测程序响应于此的状况的情况下,这也可以通过添加定义对应于这种特殊状况的感测算法的感测程序来响应于特殊状况。
此外,如图8的B中所示,还可以删除(卸载)不需要的程序。在图8的B中的示例中,如由虚线框指示的,测距程序A至C中的测距程序C被删除。
图9是示出感测程序的更新的另一示例的视图。
如图9中所示,可以以包括多个感测程序的感测程序集为单位执行更新。在图9中的示例中,包括通过测距算法D执行测距的测距程序D、通过测距算法E执行测距的测距程序E和通过测距算法F执行测距的测距程序F的感测程序集由程序管理服务器1提供以被添加。
在程序管理服务器1的DB中,如图10中所示,准备有多个感测程序集,其中针对每种使用条件如地方、状况和目的收集了多个感测程序。
在图10中的示例中,准备有用于室内测距的感测程序集和用于室外测距的感测程序集。这些感测程序集是对应于地方的感测程序集。
对应于地方的感测程序集是例如在安装在具有移动功能的设备上的传感器装置21中使用的集。在同一室内中,可以以更精细的地方为单位准备感测程序集,例如针对厨房的感测程序集和针对餐厅的感测程序集。
还可以为各种地方准备感测程序集,例如针对海的感测程序集、针对山的感测程序集和针对火车内部的感测程序集。
此外,在图10中的示例中,准备了用于在晴天时测距的感测程序集和用于在雨天时测距的感测程序集。这些感测程序集是对应于天气的感测程序集。
对应于天气的感测程序集是例如在安装在具有移动功能并且可以在户外移动的设备上的传感器装置21中使用的集。还可以为各种变化状况准备感测程序集,例如针对一天中的每一个时间如早晨、中午和晚上的感测程序集,针对每个亮度的感测程序集,以及针对每个温度的感测程序集。
还可以为各种目的准备感测程序集,例如当跑步时的感测程序集、当打棒球时的感测程序集、当烹饪咖喱时的感测程序集以及当烹饪沙拉时的感测程序集。
每个设备的传感器装置21可以通过指定对应于使用条件的感测程序集的ID来共同添加感测程序。作为识别数据的ID被设置在每个感测程序集中。作为识别数据的ID也被设置在形成感测程序集的每个感测程序中。
代替通过不同的感测算法实现相同的测距功能的感测程序集,可以添加实现不同的功能的感测程序集,如图11中所示。
在图11中的示例中,感测程序集包括测距程序D、人脸辨识程序H和物体辨识程序K。测距程序D是通过测距算法D执行测距的感测程序,以及人脸辨识程序H是通过人脸辨识算法H执行人脸辨识的感测程序。物体辨识程序K是通过物体辨识算法K执行物体辨识的感测程序。
图12是示出感测程序集的示例的视图。
图12中示出的感测程序集包括算法管理器,该算法管理器是控制算法的适应性选择的程序。
传感器装置21执行算法管理器并且选择对应于感测条件的感测算法。在算法管理器中,设置指示控制执行的感测程序的类型的信息和指示感测程序的执行顺序的信息的组合。以这种方式,可以为每个感测程序集准备算法管理器。
图13是示出感测程序的更新的示例的视图。
感测程序可以在传感器装置21和作为主机侧的装置的控制器51中的每一个中执行,并且可以实现诸如测距功能的预定功能。在这种情况下,控制器51的感测程序可以类似于传感器装置21的感测程序被更新。控制器51是例如主机侧的数据处理装置,诸如移动终端2-1的CPU和安装在臂式机器人2-2上的PC的CPU。
更新传感器装置21的固件的感测程序和更新控制器51的固件的感测程序可以被包括在一个感测程序集中以被提供。
可以收费或免费提供感测程序和感测程序集。一个感测程序集可以包括付费的感测程序和免费的感测程序二者。
当如上所述更新感测程序时,传感器装置21可以由程序管理服务器1基于用于认证的密钥信息进行认证,并且在确认传感器装置是合法装置的情况下执行更新。用于认证的密钥信息被准备为每个传感器装置21中的唯一信息。
可以不在更新感测程序时而是在执行感测程序时执行使用用于认证的密钥信息认证传感器装置21。
·感测程序的提供源
图14是示出感测程序的提供源的示例的视图。
如图14中所示,从程序管理服务器1向每个装置提供的感测程序由例如在程序提供系统中执行服务的用户注册的开发者开发。通过使用程序提供系统操作服务的服务提供者,每个开发者被提供有关于传感器装置21和开发工具如软件开发工具包(SDK)的规格的信息。
每个开发者通过使用SDK等开发感测程序或感测程序集,并且将其从自己的计算机上传至程序管理服务器1。上传的感测程序和感测程序集被存储在感测程序DB中以便被管理。
程序管理服务器1管理每个感测程序和感测程序集的使用状况,例如在每个装置中的安装次数和执行次数。可以从服务提供者向开发者提供预定的激励,例如积分的发行和与使用状况对应的金额的支付。
图15是示出感测程序集的生成的示例的视图。
感测程序集可以由任何用户通过将由每个开发者开发和上传的感测程序放在一起来生成。
在图15中的示例中,通过将以下三个感测程序放在一起来生成室内测距程序集:测距程序A至G中的测距程序D、测距程序E和测距程序F。
以这种方式生成的室内测距程序集作为可安装的感测程序集由程序管理服务器1释放,并且被安装在预定装置上。
可以向通过将多个感测程序放在一起而生成感测程序集的用户提供激励。
<感测程序的使用实例>
·传送机器人的使用实例
在此,描述了人感测的使用实例。
例如,在传送机器人2-5传送菜肴作为传送对象,即在诸如餐厅的店铺中供应菜肴的情况下,安装在传送机器人2-5上的传感器装置21根据感测程序执行人感测。为了给订购菜肴的人供应菜肴,需要辨识周围的人并且指定订购菜肴的人。
图16是示出由传送机器人2-5进行的传送的状态的视图。
图16示出了在建筑物的厨房内移动的传送机器人2-5的状态。将烹饪好的菜肴放置在作为用于传送对象的放置台而准备的顶板上。在该示例中,传送机器人2-5用于供应菜肴。
传送机器人2-5基于传感器装置21的人感测结果计划移动路线、避开障碍物等,移动至目的地,并且供应菜肴。此外,传送机器人2-5基于传感器装置21的人感测结果来控制顾客服务。
图17是传送机器人2-5的外观的放大图。
如图17中所示,传送机器人2-5通过将环状底座101和圆形薄板状的顶板102与细杆状的支承臂103连接而形成。底座101的底面侧上设置有多个轮胎。底座101用作实现传送机器人2-5的移动的移动单元。
底座101的径向长度与顶板102的径向长度基本上相同。在顶板102基本上在底座101正上方的情况下,支承臂103处于如图17中所示的倾斜状态。
支承臂103包括臂构件103-1和臂构件103-2。顶板102侧的臂构件103-1的直径略小于底座101侧的臂构件103-2的直径。当臂构件103-1在延伸/收缩单元103A处容纳在臂构件103-2内部时,支承臂103的长度如由双向箭头所指示的被调整。
支承臂103的角度可以在底座101与支承臂103之间的连接件以及顶板102与支承臂103之间的连接件中的每一个连接件处进行调整。
图18是示出当在其上放置菜肴时传送机器人2-5的姿势的示例的视图。
在图18中的示例中,通过基本上垂直地设置支承臂103并且将其长度设置成最大长度,顶板102的高度被调整成与烹饪机器人2-4的顶板的高度基本上相同。
当传送机器人2-5处于这种状态时,烹饪机器人2-4的烹饪臂将菜肴放置在顶板102上。在图18中的示例中,通过烹饪机器人2-4的烹饪操作完成的菜肴由烹饪臂放置。
如图18中所示,烹饪机器人2-4设置有多个烹饪臂,多个烹饪臂执行各种烹饪操作,例如食材的切割、食材的烘烤和烹饪好的食材的布置。根据定义烹饪操作的内容和顺序的烹饪数据执行由烹饪臂进行的烹饪操作。烹饪数据包括关于菜肴完成之前的每个烹饪过程的信息。
以这种方式,由传送机器人2-5供应的菜肴是由烹饪机器人2-4烹饪的菜肴。由人制作的菜肴可以由人放置在顶板102上并且供应。
图19是示出传送机器人2-5在其中移动的空间的布局的平面图。
如图19中所示,在传送机器人2-5在其中移动的餐厅中准备有厨房#1和大厅#2。在厨房#1与大厅#2之间存在通道#11。
在图19中的建筑物(其范围由虚线指示)外部,提供了花园#21以便面向大厅#2。不仅在大厅#2中而且在花园#21中准备有供顾客用餐的桌子等。
描述了传送机器人2-5在这样的空间中移动并且执行顾客服务的情况。由传送机器人2-5执行的顾客服务包括接收订单、供应菜肴、提供饮料等。
由安装在传送机器人2-5上的传感器装置21进行的人感测是使用与取决于传送机器人2-5的状况(例如传送机器人2-5所位于的位置)设置的人感测条件对应的算法来执行的。执行人感测的感测程序根据人感测条件适应性地选择并且由传感器装置21执行。
·感测算法的具体示例
图20是示出由传送机器人2-5中准备的感测程序定义的感测算法的示例的视图。
如图20中所示,在传送机器人2-5中,准备有个体识别算法A1和属性辨识算法A2作为用于人感测的感测算法。
个体识别算法A1是用于识别要感测的目标是谁以及辨识目标的属性的感测算法。目标的属性包括性别和年龄。此外,目标的属性还包括外观的特征,例如优势手和头发长度。
相比之下,属性辨识算法A2是用于辨识目标的属性的感测算法。通过属性辨识算法A2,不识别目标而仅辨识目标的属性。
此外,对于个体识别算法A1和属性辨识算法A2中的每一个,准备有针对每种状况的感测算法如室内感测算法、室外感测算法、针对黑暗地方的感测算法等。
在图20中,例如个体识别算法A1-1是室内感测算法,并且个体识别算法A1-2是室外感测算法。此外,个体识别算法A1-3是针对黑暗地方的感测算法。
类似地,属性辨识算法A2-1是室内感测算法,以及属性辨识算法A2-2是室外感测算法。此外,属性辨识算法A2-3是针对黑暗地方的感测算法。
以这种方式,在传送机器人2-5中,准备有与根据状况设置的人感测条件对应的定义每个个体识别算法A1的感测程序和定义每个属性辨识算法A2的感测程序。在传送机器人2-5中,选择与人感测条件对应的个体识别算法A1或属性辨识算法A2,并且执行人感测。
由于所需的感测算法根据目的例如是否需要与属性一起指定目标是谁或者是否需要仅指定属性而不同,所以准备了个体识别算法A1和属性辨识算法A2。
此外,针对个体识别算法A1和属性辨识算法A2中的每一个准备了针对每种状况的感测算法,因为需要根据状况例如目标所在的地方来改变处理以便确保准确性。
例如,在黑暗地方中执行人感测的情况下,需要抗黑暗地方(噪声)的感测算法。
此外,在室外执行人感测的情况下,需要抗阳光直射的感测算法。由于噪声根据天气例如下雨和多云而不同,因此需要对应于每种天气的感测算法。
此外,因由于时间的推移和天气的突然变化引起照度变化,因此需要对应于每个照度的感测算法。
在此,描述了针对每个使用实例的个体识别算法A1和属性辨识算法A2的切换。
·使用实例1
使用实例1是传送机器人2-5确认顾客进入图19中的餐厅中的使用实例。
在使用实例1中,使用属性辨识算法A2辨识顾客的属性。基于属性辨识结果,例如由传送机器人2-5执行确定顾客被引导至的座位的处理。
·使用实例2
使用实例2是当接收订单时确认烹饪的量和喜好的使用实例。在使用实例2中,存在使用个体识别算法A1的情况和使用属性辨识算法A2的情况。
在使用属性辨识算法A2的情况下,使用属性辨识算法A2辨识顾客的属性。
例如,基于属性辨识结果辨识接收订单的人和未接收订单的人。
此外,基于属性辨识结果存储顾客的属性的信息。存储的信息用于在下次访问时的顾客服务等。
此外,基于属性辨识结果确定接收订单的方式。例如,在顾客是女性的情况下,在接收订单时确认是否减少量。此外,在顾客是儿童的情况下,当建议推荐的饮料时,建议除含酒精的饮料之外的饮料。
在使用个体识别算法A1的情况下,使用个体识别算法A1辨识目标是谁连同属性。
根据此人的订单历史,基于个体识别结果确定接收订单的方式。例如,执行呈现先前访问中的订单内容或者从订单历史分析此人的喜好以建议推荐的菜肴的处理。此外,执行基于此人的喜好和关于不耐受的信息推荐菜肴或者根据此人的背景知识解释菜单的处理。
·使用实例3
使用实例3是向大厅内的顾客递送(供应)菜肴的使用实例。在使用实例3中,使用属性辨识算法A2辨识顾客的属性。
例如,基于属性辨识结果将菜肴递送至订购的目标。此外,在设置了要优先供应的人的属性的情况下,优先将菜肴递送至具有设置的属性的人。根据目标的优势手执行改变供应方向的处理。
稍后参照流程图描述与如上所述的使用实例对应的一系列的处理。
<传送机器人的配置和操作>
·传送机器人的配置
图21是示出传送机器人2-5的硬件的配置示例的框图。
通过将顶板升降驱动单元122、轮胎驱动单元123、传感器组124和通信单元125连接至控制器121形成传送机器人2-5。传感器装置21还连接至控制器121。
控制器121包括CPU、ROM、RAM、闪存等。控制器121执行预定程序并且控制包括传感器装置21的传送机器人2-5的整体操作。控制器121对应于主机侧的控制器51(图13)。
顶板升降驱动单元122包括设置在底座101与支承臂103之间的连接件上、顶板102与支承臂103之间的连接件上的马达等。顶板升降驱动单元122驱动相应的连接件。
此外,顶板升降驱动单元122包括设置在支承臂103内部的轨道或马达。顶板升降驱动单元122使支承臂103延伸和收缩。
轮胎驱动单元123包括马达,马达驱动设置在底座101的底面上的轮胎。
传感器组124包括各种传感器,例如定位传感器、陀螺仪传感器、加速度传感器、温度传感器和照度传感器。指示传感器组124的检测结果的传感器数据被输出至控制器121。
通信单元125是无线通信模块,例如无线LAN模块或移动通信模块。通信单元125与外部装置如程序管理服务器1通信。
图22是示出传送机器人2-5的功能配置示例的框图。
图22中所示的功能单元的至少一部分是由形成控制器121的CPU和形成传感器装置21的控制器31的CPU通过执行预定程序来实现。
在控制器121中,实现了路线信息获取单元151、定位控制单元152、移动控制单元153、姿势控制单元155、环境数据获取单元156和周边状态辨识单元157。
相比之下,在传感器装置21的控制器31中,实现了状况检测单元201和感测控制单元202。传感器装置21是控制感测算法的数据处理装置。
控制器121的路线信息获取单元151控制通信单元125并且接收从未示出的控制装置发送的目的地和移动路线的信息。由路线信息获取单元151接收到的信息被输出至移动控制单元153。
路线信息获取单元151可以在准备好传送对象等时基于传送机器人2-5的目的地和当前位置来计划移动路线。
在这种情况下,路线信息获取单元151用作计划传送机器人2-5的操作并且设置操作计划的操作计划设置单元。
定位控制单元152检测传送机器人2-5的当前位置。例如,定位控制单元152基于形成传感器装置21的距离传感器的检测结果来生成安装有烹饪机器人2-4的空间的地图。作为传感器装置21的输出的传感器数据由环境数据获取单元156获取并且被提供给定位控制单元152。
定位控制单元152通过指定其自身在所生成的地图上的位置来检测当前位置。关于由定位控制单元152检测到的当前位置的信息被输出至移动控制单元153。定位控制单元152对当前位置的检测可以基于形成传感器组124的定位传感器的输出来执行。传送机器人2-5的当前位置可以由传感器装置21检测。
移动控制单元153基于从路线信息获取单元151提供的信息和由定位控制单元152检测到的当前位置,控制轮胎驱动单元123以控制传送机器人2-5的移动。
此外,在由周边状态辨识单元157提供关于其周围的障碍物的信息的情况下,移动控制单元153控制移动以便避开障碍物。障碍物包括各种移动物体和静止物体,例如人、家具和家用电器。以这种方式,移动控制单元153基于传感器装置21的人感测结果来控制传送机器人2-5伴随传送对象的传送的移动。
姿势控制单元155控制顶板升降驱动单元122以控制传送机器人2-5的姿势。此外,结合移动控制单元153的控制,姿势控制单元155控制传送机器人2-5在移动期间的姿势以便保持顶板102水平。
姿势控制单元155根据由周边状态辨识单元157辨识的周边状态来控制传送机器人2-5的姿势。例如,姿势控制单元155控制传送机器人2-5的姿势,使得顶板102的高度接近烹饪机器人2-4的顶板的高度或由周边状态辨识单元157辨识的餐桌的顶板的高度。
环境数据获取单元156控制传感器装置21以执行人感测并且获取指示人感测结果的传感器数据。由环境数据获取单元156获取的传感器数据被提供给定位控制单元152和周边状态辨识单元157。
周边状态辨识单元157基于从环境数据获取单元156提供的指示人感测结果的传感器数据来辨识周边状态。将指示周边状态辨识单元157的辨识结果的信息提供给移动控制单元153和姿势控制单元155。
在由传感器装置21执行障碍物的检测、到障碍物的距离的测量、障碍物的方向的估计、自身位置的估计等的情况下,周边状态辨识单元157输出关于障碍物的信息作为指示周边状态的辨识结果的信息。
障碍物的检测、到障碍物的距离的测量、障碍物的方向的估计、自身位置的估计等可以由周边状态辨识单元157基于传感器装置21的感测结果来执行。在这种情况下,用于由周边状态辨识单元157执行的每个处理的传感器数据由传感器装置21检测。
以这种方式,由传感器装置21执行的处理的内容是任意的。也就是说,可以将由设置在传感器装置21上的传感器检测到的原始数据作为传感器数据直接提供给控制器121,或者可以在传感器装置21侧执行原始数据的处理和分析,并且处理和分析的结果可以作为传感器数据提供给控制器121。
传感器装置21侧的状况检测单元201检测传送机器人2-5的状况。基于例如从形成传感器组124的传感器输出的传感器数据或从设置在传感器装置21上的传感器输出的传感器数据来检测传送机器人2-5的状况。
传送机器人2-5的状况包括例如传送机器人2-5的操作,例如由传送机器人2-5执行的操作,传送机器人2-5所位于的地方,传送机器人2-5所位于的地方的天气、温度、湿度和亮度。此外,传送机器人2-5的状况还包括外部状况,例如与传送机器人2-5通信的人的状况以及传送机器人2-5周围的障碍物的状况。
状况检测单元201向感测控制单元202输出指示传送机器人2-5的这种状况的信息。
感测控制单元202根据在由状况检测单元201检测到的状况下执行人感测的人感测条件选择感测算法,并且执行定义所选择的感测算法的感测程序。
例如,感测算法或感测程序与每种人感测条件相关联。感测控制单元202使用ID作为识别数据选择对应于人感测条件的感测算法或感测程序。可以根据人感测条件选择感测程序集。
感测控制单元202通过执行感测程序来驱动设置在传感器装置21上的每个传感器,并且基于每个传感器的输出来执行人感测。感测控制单元202将指示人感测结果的传感器数据输出至控制器121。感测控制单元202适当地输出除人感测结果之外的各种类型的传感器数据。
·传送机器人的操作
参照图23中的流程图描述传送机器人2-5的处理。
在步骤S1处,感测控制单元202执行准确性选择处理。通过准确性选择处理,选择用于确保人感测的准确性的感测算法。稍后参照图24中的流程图详细地描述准确性选择处理。
在步骤S2处,感测控制单元202执行人感测处理。人感测处理是对应于如上所述的使用实例的处理。稍后参照图27中的流程图详细地描述人感测处理。
接下来,参照图24中的流程图描述在图23中的步骤S1处执行的准确性选择处理。
在步骤S11处,状况检测单元201基于来自传感器组124的传感器数据或由形成传感器装置21的每个传感器输出的传感器数据,检测传送机器人2-5的地方。可以使用来自传感器组124的传感器数据和从形成传感器装置21的每个传感器输出的传感器数据二者来检测传送机器人2-5的状况。
在步骤S12处,感测控制单元202基于状况检测单元201的检测结果确定传送机器人2-5是否位于室内。
在步骤S12处确定传送机器人2-5位于室内的情况下,感测控制单元202在步骤S13处选择室内基本算法并且执行人感测。
室内基本算法是根据环境光的强度调整RGB相机32A的成像参数如快门速度和灵敏度并且执行人感测的感测算法。快门速度被设置成更低速度的水平,并且灵敏度被设置成更高灵敏度的水平。
在步骤S14处,感测控制单元202执行室内处理。在室内处理中,根据室内状况选择感测算法,并且执行人感测。将用于人感测的感测算法从室内基本算法适当地切换至另一感测算法。稍后参照图25中的流程图详细地描述室内处理。
相比之下,在步骤S12处确定传送机器人2-5不位于室内,即位于室外的情况下,在步骤S15处感测控制单元202选择室外基本算法并且执行人感测。
室外基本算法是根据环境光的强度调整RGB相机32A的成像参数例如快门速度和灵敏度并且执行人感测的感测算法。快门速度被设置成更高速度的水平,并且灵敏度被设置成更低灵敏度的水平。
在步骤S16处,感测控制单元202执行室外处理。在室外处理中,根据室外状况选择感测算法,并且执行人感测。将用于人感测的感测算法从室外基本算法适当地切换至另一感测算法。稍后参照图26中的流程图详细地描述室外处理。
在步骤S14处执行室内处理之后或在步骤S16处执行室外处理之后,过程返回至图23中的步骤S1,并且重复随后的处理。
接下来,参照图25中的流程图描述在图24中的步骤S14处执行的室内处理。
在步骤S21处,感测控制单元202基于状况检测单元201的检测结果确定传送机器人2-5是否位于黑暗地方。
在步骤S21处确定传送机器人2-5位于黑暗地方的情况下,在步骤S22处,感测控制单元202根据在黑暗地方执行人感测的人感测条件选择针对黑暗地方的算法,并且执行人感测。针对黑暗地方的算法是例如以下感测算法:在将RGB相机32A的灵敏度设置成高于标准灵敏度时对RGB图像进行成像,并且基于通过成像获取的RGB图像执行人感测。
在步骤S21处确定传送机器人2-5不位于黑暗地方的情况下,在步骤S23处,感测控制单元202根据在明亮地方执行人感测的人感测条件选择针对明亮地方的算法,并且执行人感测。针对明亮地方的算法是例如以下感测算法:在将RGB相机32A的灵敏度设置成低于标准灵敏度时对RGB图像进行成像,并且基于通过成像获取的RGB图像执行人感测。
在使用根据传送机器人2-5的地方选择的感测算法执行人感测之后,过程返回至图24中的步骤S14,并且执行随后的处理。
接下来,参照图26中的流程图描述在图24中的步骤S16处执行的室外处理。
在步骤S31处,感测控制单元202确定传送机器人2-5所位于的地方的天气是否晴朗。基于状况检测单元201的状况检测结果确定天气是否晴朗。
在步骤S31处确定传送机器人2-5的地方的天气晴朗的情况下,在步骤S32处,感测控制单元202确定这是否是可能出现阴影的地方。
在步骤S32处确定该地方是可能出现阴影的地方的情况下,在步骤S33处,感测控制单元202根据在可能出现阴影的地方执行人感测的人感测条件选择抗阴影噪声的算法。在此选择的感测算法是以下感测算法:在调整RGB相机32A的成像参数以便扩展亮度的动态范围时进行成像,并且基于通过成像获取的RGB图像执行人感测。
在选择感测算法之后,执行定义选择的感测算法的感测程序,并且执行人感测。这同样适用于选择另一感测算法的情况。
在步骤S32处确定该地方不是可能出现阴影的地方的情况下,在步骤S34处,感测控制单元202根据在阳光直射下执行人感测的人感测条件选择抗阳光直射的算法。在此选择的感测算法是以下感测算法:在调整RGB相机32A的成像参数以便提高快门速度和降低灵敏度时进行成像,并且基于通过成像获取的RGB图像执行人感测。
相比之下,在步骤S31处确定天气不晴朗的情况下,过程转移至步骤S35。
在步骤S35处,感测控制单元202确定是否正在下雨。基于状况检测单元201的状况检测结果确定是否正在下雨。
在步骤S35处确定正在下雨的情况下,在步骤S36处,感测控制单元202根据在正在下雨的地方执行人感测的人感测条件选择抗雨噪声的算法。在此选择的感测算法是以下感测算法:对由RGB相机32A成像的RGB图像执行图像处理以去除噪声,并且然后基于噪声去除之后获取的RGB图像执行人感测。
已知技术用于噪声去除。用于噪声去除的技术在例如“https://digibibo.com/blog-entry-3422.html和http://www.robot.t.u-tokyo.ac.jp/~yamashita/paper/A/A025Final.pdf”中公开。
在步骤S35处确定没有下雨的情况下,在步骤S37处,感测控制单元202根据在阴暗地方执行人感测的人感测条件选择适用于阴暗地方的算法。在此选择的感测算法是以下感测算法:在调整RGB相机32A的成像参数以便降低快门速度和提高灵敏度时进行成像,并且基于通过成像获取的RGB图像执行人感测。
在使用根据传送机器人2-5的地方选择的感测算法执行人感测之后,过程返回至图24中的步骤S16,并且执行随后的处理。
接下来,参照图27中的流程图描述在图23中的步骤S2处执行的人感测处理。
在此,如使用实例2所描述的,描述了接收订单的传送机器人2-5的处理。图27中的处理例如在传送机器人2-5移动至从其接收订单的目标的附近之后执行。
在步骤S51处,感测控制单元202在接收订单时确定是否执行个体识别。
在步骤S51处确定执行个体识别的情况下,在步骤S52处,感测控制单元202根据执行个体识别的人感测条件使用个体识别算法执行人感测。
在步骤S51处确定不执行个体识别的情况下,在步骤S53处,感测控制单元202根据执行属性辨识的人感测条件使用属性辨识算法执行人感测。
在使用根据是否进行个体识别而选择的算法执行人感测之后,过程转移至步骤S54。
在步骤S54处,控制器121(例如,周边状态辨识单元157)基于人感测结果确定由人感测指定的人是否是第一次拜访店铺的顾客。
在步骤S54处确定顾客是第一次拜访店铺的顾客的情况下,控制器121在步骤S55处执行针对第一次顾客的服务。
在步骤S56处,控制器121基于个体识别结果或属性辨识结果接收订单。例如,在由人感测指定的人是女性的情况下,确认是否减少量。
相比之下,在步骤S54处确定顾客不是第一次拜访店铺的顾客的情况下,在步骤S57处,控制器121执行与店铺访问的次数对应的服务。在步骤S56处或步骤S57处执行顾客服务之后,过程转移至步骤S58。
在步骤S58处,在使用个体识别算法的情况下,感测控制单元202将用于人感测的感测算法切换至属性辨识算法。此后,过程返回至图23中的步骤S2,并且重复上述的处理。
接下来,参照图28中的流程图描述在图23中的步骤S2执行的另一人感测处理。
在此,如使用实例3所描述的,描述供应菜肴的传送机器人2-5的处理。图28中的处理例如在传送机器人2-5移动至向其供应菜肴的目标(订购者)的附近之后执行。
在步骤S71处,传感器装置21的感测控制单元202根据执行属性辨识的人感测条件使用属性辨识算法执行人感测。
在步骤S72处,控制器121基于传感器装置21的人感测结果确定是否存在要优先供应的订购者。
在步骤S72处确定存在要优先供应的订购者的情况下,在步骤S73处,感测控制单元202搜索要优先供应的订购者。
相比之下,在步骤S72处确定不存在要优先供应的订购者的情况下,在步骤S74处,感测控制单元202搜索最近的订购者。
在步骤S73处或步骤S74处搜索订单之后,过程转移至步骤S75。
在步骤S75处,控制器121(例如,移动控制单元153)基于传感器装置21的人感测结果而移动。例如,传送机器人2-5被移动以便接近通过搜索找到的订购者。
在步骤S76处,控制器121基于传感器装置21的人感测结果确定供应方向是否改变。例如,在传送机器人2-5位于与订购者的优势手相对的手的一侧的位置的情况下,确定供应方向改变。相比之下,在传送机器人2-5位于订购者的优势手的一侧的位置的情况下,确定供应方向不改变。
在步骤S76处确定供应方向改变的情况下,在步骤S77处控制器121使传送机器人2-5移动以改变供应方向。在步骤S76处确定供应方向不改变的情况下,跳过步骤S77处的处理。
在步骤S78处,例如控制器121的姿势控制单元155控制传送机器人2-5的姿势,将顶板102的高度调整成由顾客使用的桌子的高度并且向订购者供应菜肴。
在步骤S79处,感测控制单元202确定是否供应了所有菜肴。
在步骤S79处确定存在尚未供应的菜肴的情况下,过程返回至步骤S72,并且重复上述处理。
相比之下,在步骤S79处确定供应了所有菜肴的情况下,在步骤S80处,感测控制单元202使用属性辨识算法执行人感测。此后,过程返回至图23中的步骤S2,并且重复上述的处理。
通过上述处理,传送机器人2-5可以根据状况如其所位于的地方选择感测算法并且执行人感测。此外,传送机器人2-5可以基于使用根据状况选择的感测算法执行的人感测的结果来控制各种操作例如供应。
<其他使用实例>
描述由传送机器人2-5进行的人感测的其他使用实例。
·使用实例4
使用实例4是供应饮料的使用实例。
在使用实例4中,使用属性辨识算法A2辨识顾客的属性。基于属性辨识结果,例如由传送机器人2-5执行确定要供应的一种饮料的处理。例如,在要供应的人的属性是儿童的情况下,供应除含酒精的饮料之外的饮料。
·使用实例5
使用实例5是根据订购的菜肴提供甜食如口香糖和糖果的使用实例。
在使用实例5中,使用属性辨识算法A2辨识顾客的属性。基于属性辨识结果,例如传送机器人2-5执行将订购者的属性与由此人订购的菜肴彼此相关联地进行管理的处理。在有人在完成用餐之后离开店铺的情况下,根据订购的菜肴提供甜食。
尽管上面描述了由传送机器人2-5进行的人感测的使用实例,但是类似地假设各种使用实例用于由其他装置进行的人感测。
在此,描述了由烹饪机器人2-4进行的人感测的使用案例。
·使用实例6
使用实例6是当布置食材时的使用实例。在使用实例6中,存在使用个体识别算法A1的情况和使用属性辨识算法A2的情况。
注意,通过驱动烹饪臂将烹饪好的食材布置在餐具的预定位置来执行烹饪机器人2-4对食材的布置。基于传感器装置21等的物体感测的结果,辨识出烹饪好的食材的位置、餐具的位置等并且执行布置。
在使用属性辨识算法A2的情况下,使用属性辨识算法A2辨识订购所安排的菜肴的人的属性。
基于属性辨识结果改变布置方式:例如,在订购的目标是女性的情况下,使用女性的餐具,而在目标是儿童的情况下,执行针对儿童的布置。
在使用个体识别算法A1的情况下,使用个体识别算法A1辨识目标是谁连同属性。
基于个体识别结果,例如烹饪机器人2-4执行根据此人的喜好改变布置方式或改变要使用的食材的处理。
·使用实例7
使用实例7是当确定菜单时的使用实例。根据对应于菜单的烹饪数据执行由烹饪机器人2-4进行的烹饪。烹饪数据包括定义在完成菜肴之前的每个烹饪过程中烹饪臂的烹饪操作的内容和顺序的信息。
在使用实例7中,使用个体识别算法A1辨识目标是谁连同属性。
例如,基于个体识别结果指定目标的进餐内容的历史,并且确定考虑到营养平衡的菜单。
·使用实例8
使用实例8是当在家烹饪时的使用实例。在使用实例8中,使用个体识别算法A1辨识目标是谁连同属性。
例如,在基于个体识别结果指定了只有家庭成员的情况下,首先使用较旧的食材执行烹饪。此外,根据家庭成员的健康情形执行改变烹饪内容(味道的强度、烘烤的程度、沸腾的程度等)的处理。
·使用实例9
使用实例9是当洗手时的使用实例。在烹饪机器人2-4的顶板的预定位置处准备用于洗手的凹槽。凹槽设置有用于朝向手喷射水或洗涤液的配置。
在使用实例9中,存在使用个体识别算法A1的情况和使用属性辨识算法A2的情况。
在使用属性辨识算法A2的情况下,使用属性辨识算法A2辨识洗手的人的属性。
基于属性辨识结果,例如,在洗手的人是女性或儿童的情况下,用具有抑制强度的水洗手。
在使用个体识别算法A1的情况下,使用个体识别算法A1辨识目标是谁连同属性。
基于个体识别结果,例如根据此人的喜好改变清洁的强度和清洁液的类型。
·使用实例10
使用实例10是当使用烹饪机器人2-4时的使用实例。在使用实例10中,使用属性辨识算法A2辨识目标的属性。
基于属性辨识结果,例如由烹饪机器人2-4执行控制以便防止被儿童使用。
<变型>
·其他系统的应用示例
图29是示出人感测的应用示例的视图。
在一个店铺中提供的多个系统中的每一个中执行人感测的情况下,针对每个系统定义对应于使用实例的人感测,如图29中所示的。
图29中所示的供应系统是包括传送机器人2-5的系统。在供应系统中,通过参照图23描述的处理来执行对应于使用实例的人感测。
图29中所示的店铺监视系统是使用传感器装置21作为监视相机的系统。传感器装置21附接至店铺中的每一个位置。同样在店铺监视系统中,通过与参照图23描述的处理类似的处理来执行对应于使用实例的人感测。
·感测算法是从外部选择的实例的示例
在传感器装置21中执行对应于人感测条件的感测算法的选择,但是这可以由其上安装有传感器装置21的设备外部的设备来执行。
图30是示出感测算法的控制的示例的视图。
在图30中的示例中,由作为外部设备的程序管理服务器1执行对应于感测条件的感测算法的选择。在这种情况下,图22中的控制器31的配置在程序管理服务器1中实现。程序管理服务器1是控制由安装在传送机器人2-5上的传感器装置21执行的感测程序的数据处理装置。
如由箭头#1所指示的,用于检测状况的传感器数据从传送机器人2-5发送至程序管理服务器1,并且请求感测程序的执行。
程序管理服务器1的状况检测单元201基于从传送机器人2-5发送的传感器数据,检测传送机器人2-5的状况。此外,由感测控制单元202确定对应于传送机器人2-5的状况的人感测条件,并且选择感测算法。
程序管理服务器1的感测控制单元202将定义对应于人感测条件的感测算法的感测程序发送至安装在传送机器人2-5上的传感器装置21,并且使其执行感测程序。
以这种方式,可以由传感器装置21外部的设备控制感测算法。例如,其上安装有传感器装置21的传送机器人2-5的控制器121可以形成外部设备,并且可以由控制器121控制感测算法。
定义对应于人感测条件的感测算法的感测程序可以由作为外部设备的程序管理服务器1或控制器121执行,并且指示执行结果的信息可以被发送至传感器装置21。
图31是示出实现程序管理服务器1的计算机的硬件的配置示例的框图。
中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004彼此连接。
输入/输出接口1005还连接至总线1004。包括键盘、鼠标等的输入单元1006以及包括显示器、扬声器等的输出单元1007连接至输入/输出接口1005。此外,包括硬盘、非易失性存储器等的存储单元1008,包括网络接口等的通信单元1009以及驱动可移除介质1011的驱动器1010连接至输入/输出接口1005。
如上所述对感测算法的控制是通过由CPU 1001执行预定程序来实现的。
·程序的示例
上述的一系列处理可以由硬件来执行或者可以由软件来执行。在由软件执行一系列处理的情况下,将形成软件的程序安装在并入专用硬件的计算机、通用个人计算机等上。
要安装的程序记录在图31中所示的可移除介质1011中,该可移除介质1011包括要提供的光盘(只读光盘存储器(CD-ROM)、数字多功能光盘(DVD)等)、半导体存储器等。此外,这可以经由有线或无线传输介质例如局域网、因特网或数字广播来提供。程序可以预先安装在ROM 1002和存储单元1008上。
注意,由计算机执行的程序可以是按照该说明书中描述的顺序按时间顺序执行处理的程序,或者可以是并行或在需要时(例如当发出调用时)执行处理的程序。
注意,在该说明书中,系统旨在意指表示多个部件(装置、模块(部件)等)的集合,并且所有部件是否在同一壳体中无关紧要。因此,容纳在不同的壳体中并且经由网络连接的多个装置和其中多个模块被容纳在一个壳体中的一个装置都是系统。
该说明书中描述的效果仅是说明性的;效果不限于此并且还可以存在其他效果。
本技术的实施方式不限于上述实施方式,并且可以在不脱离本技术的主旨的情况下进行各种修改。
例如,本技术可以被配置为由多个装置经由网络共享一个功能以一起处理的云计算。
此外,上述流程图中描述的每个步骤可以由一个装置执行,或者由多个装置以共享的方式执行。
此外,在一个步骤中包括多个处理的情况下,被包括在一个步骤中的多个处理可以由一个装置或者以共享的方式由多个装置来执行。
[附图标记列表]
1 程序管理服务器
2-1 移动终端
2-2 臂式机器人
2-3 移动体
2-4 烹饪机器人
2-5 传送机器人
21 传感器装置
31 控制器
32 传感器组
121 控制器
124 传感器组
201 状况检测单元
202 感测控制单元

Claims (19)

1.一种数据处理装置,包括:
感测控制单元,其被配置成根据人感测条件适应性地选择执行人感测程序,在所述人感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测人的人感测算法。
2.根据权利要求1所述的数据处理装置,其中,
所述感测控制单元选择经由网络获取的人感测程序。
3.根据权利要求1所述的数据处理装置,其中,
所述感测控制单元从包括多个人感测程序的组合的人感测程序集中选择要执行的人感测程序。
4.根据权利要求3所述的数据处理装置,其中,
所述人感测程序集包括指示所述人感测程序中定义的人感测算法的类型的信息和指示所述人感测程序的执行顺序的信息的组合。
5.根据权利要求3所述的数据处理装置,其中,
所述感测控制单元选择经由网络获取的人感测程序集中包括的人感测程序。
6.根据权利要求5所述的数据处理装置,其中,
所述感测控制单元使用识别所述人感测程序集的识别数据选择所述人感测程序集。
7.根据权利要求3所述的数据处理装置,其中,
所述多个人感测程序中定义的人感测算法是适用于在对同一传感器设置不同的参数时输出的传感器数据的算法。
8.根据权利要求3所述的数据处理装置,其中,
所述多个人感测程序中定义的人感测算法是适用于在对同一传感器设置相同的参数时输出的传感器数据的算法。
9.根据权利要求3所述的数据处理装置,其中,
所述多个人感测程序中定义的人感测算法是适用于从不同的传感器输出的传感器数据的算法。
10.根据权利要求9所述的数据处理装置,其中,
所述人感测程序和所述人感测程序中定义的所述人感测算法中的至少任意一个与所述传感器相关联,以及
所述感测控制单元结合所述人感测程序的选择和执行来控制多个传感器的操作。
11.根据权利要求1所述的数据处理装置,还包括:
移动控制单元,其被配置成基于所述感测控制单元对所述人感测程序的执行结果来控制移动单元伴随传送对象的传送的移动状态。
12.根据权利要求11所述的数据处理装置,还包括:
其上放置所述传送对象的顶板;
支承所述顶板的可伸缩的支承单元;以及
连接至所述支承单元的所述移动单元,其中,
所述移动控制单元基于所述感测控制单元对所述人感测程序的执行结果来控制包括所述顶板的状态和所述支承单元的状态的姿势状态以及所述移动单元的移动状态。
13.根据权利要求12所述的数据处理装置,其中,
在所述顶板上放置由根据烹饪过程驱动的烹饪系统的烹饪臂或人放置的所述传送对象。
14.一种数据处理方法,包括:
通过数据处理装置进行以下操作:
根据人感测条件适应性地选择执行人感测程序,在所述人感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测人的人感测算法。
15.一种数据处理装置,包括:
数据处理单元,其被配置成根据人感测条件适应性地选择人感测程序并且将其发送至机器人,在所述人感测程序中定义了基于从安装在所述机器人上的传感器输出的传感器数据来感测人的人感测算法。
16.根据权利要求15所述的数据处理装置,其中,
所述数据处理单元响应于来自所述机器人的请求发送所述人感测程序。
17.根据权利要求15所述的数据处理装置,其中,
所述数据处理单元响应于来自所述机器人的请求执行所述人感测程序。
18.一种数据处理方法,包括:
通过数据处理装置进行以下操作:
根据人感测条件适应性地选择人感测程序,在所述人感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测人的人感测算法;以及
将所选择的人感测程序发送至所述机器人。
19.一种机器人,包括:
传感器,其被配置成输出指示感测结果的传感器数据;
感测控制单元,其被配置成根据人感测条件适应性地选择执行人感测程序,在所述人感测程序中定义了基于从所述传感器输出的所述传感器数据来感测人的人感测算法;
操作计划设置单元,其被配置成基于所述感测控制单元对所述人感测程序的执行结果来设置操作计划;以及
操作单元,其被配置成根据由所述操作计划设置单元设置的所述操作计划来执行操作。
CN202080067410.1A 2019-10-03 2020-09-23 数据处理装置、数据处理方法和机器人 Pending CN114450726A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-183085 2019-10-03
JP2019183085 2019-10-03
PCT/JP2020/035754 WO2021065610A1 (ja) 2019-10-03 2020-09-23 データ処理装置、データ処理方法、ロボット

Publications (1)

Publication Number Publication Date
CN114450726A true CN114450726A (zh) 2022-05-06

Family

ID=75337326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067410.1A Pending CN114450726A (zh) 2019-10-03 2020-09-23 数据处理装置、数据处理方法和机器人

Country Status (4)

Country Link
US (1) US20220288790A1 (zh)
JP (1) JPWO2021065610A1 (zh)
CN (1) CN114450726A (zh)
WO (1) WO2021065610A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220410392A1 (en) * 2021-06-29 2022-12-29 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4297142B2 (ja) * 2006-09-13 2009-07-15 株式会社日立製作所 運搬システム
JP5234441B2 (ja) * 2010-03-19 2013-07-10 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
DE102016125408A1 (de) * 2016-12-22 2018-06-28 RobArt GmbH Autonomer mobiler roboter und verfahren zum steuern eines autonomen mobilen roboters

Also Published As

Publication number Publication date
JPWO2021065610A1 (zh) 2021-04-08
US20220288790A1 (en) 2022-09-15
WO2021065610A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
KR102352794B1 (ko) 개인 맞춤형 조절이 가능한 키오스크 및 그 제어 시스템
US10869003B2 (en) Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US11413764B2 (en) Serving robot and method for receiving customer using the same
US10306157B2 (en) Using images of a monitored scene to identify windows
US9424601B2 (en) Method, computer program product, and system for providing a sensor-based environment
US9613423B2 (en) Using a depth map of a monitored scene to identify floors, walls, and ceilings
US9626849B2 (en) Using scene information from a security camera to reduce false security alerts
US20170270681A1 (en) Simulating an Infrared Emitter Array in a Video Monitoring Camera to Construct a Lookup Table for Depth Determination
CN110174888A (zh) 自移动机器人控制方法、装置、设备及存储介质
US11074451B2 (en) Environment-based application presentation
US11049344B2 (en) Dual-mode commercial messaging systems
US9886620B2 (en) Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera
GB2556387A (en) In-store audio systems, devices, and methods
CN114450726A (zh) 数据处理装置、数据处理方法和机器人
US20170316190A1 (en) System and method for supporting operations in a retail store
EP4039421A1 (en) Data processing apparatus, data processing method, and robot
KR102439875B1 (ko) 무인 상점 운영 방법 및 이를 이용한 무인 상점 시스템
EP4170594A1 (en) System and method of simultaneous localisation and mapping
US20220318816A1 (en) Speech, camera and projector system for monitoring grocery usage
KR102235796B1 (ko) 위험도 판단에 기초한 로봇 움직임 제어 방법 및 이를 이용한 로봇 장치
KR20220148060A (ko) 로봇을 이용하여 광고 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2021062681A1 (zh) 一种自动送餐的方法、装置及机器人
TWI734464B (zh) 基於光通信裝置的資訊顯示方法、電子設備、以及電腦可讀取記錄媒體
CN109255071B (zh) 公共场所识别处理方法及装置
EP3308365B1 (en) Using infrared images of a monitored scene to identify false alert regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination