CN114450132A - 数据处理装置、数据处理方法和机器人 - Google Patents

数据处理装置、数据处理方法和机器人 Download PDF

Info

Publication number
CN114450132A
CN114450132A CN202080067421.XA CN202080067421A CN114450132A CN 114450132 A CN114450132 A CN 114450132A CN 202080067421 A CN202080067421 A CN 202080067421A CN 114450132 A CN114450132 A CN 114450132A
Authority
CN
China
Prior art keywords
sensing
program
environment sensing
environment
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080067421.XA
Other languages
English (en)
Inventor
大塚雅弘
后藤礼史
濑田健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114450132A publication Critical patent/CN114450132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40572Camera combined with position sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本技术涉及数据处理装置、数据处理方法和机器人,利用其可以使用适当的算法执行环境感测。根据本技术的方面的数据处理装置包括感测控制单元,该感测控制单元根据环境感测条件适应性地选择和执行环境感测程序,环境感测程序指定基于从安装在机器人上的传感器输出的传感器数据来执行感测环境的环境感测算法。本技术应用于安装在各种设备上的传感器装置。

Description

数据处理装置、数据处理方法和机器人
技术领域
本技术尤其涉及能够使用适当的算法执行环境感测的数据处理装置、数据处理方法和机器人。
背景技术
常规地,从增加功能和确保与其他设备的兼容性的角度来看,已经提出了用于更新设备的软件的各种技术。
例如,专利文献1公开了确定可以通过相机和通信设备的组合实现的服务并且安装提供服务的软件的技术。
此外,专利文献2公开了在检测到成像设备的固件与主机系统不兼容的情况下更新成像设备与主机系统之间的固件的技术。
[引用列表]
[专利文献]
专利文献1:日本专利申请公开第2007-286850号专利文献2:日本未审查专利申请公报第2002-504724号
发明内容
[本发明要解决的问题]
尽管公开了用于改变成像设备如相机的软件的各种技术,但是没有公开根据感测目标等状况适应性地改变执行感测的设备的软件。
本技术是鉴于这种状况实现的,并且其目的是使用适当的算法执行环境感测。
[问题的解决方案]
根据本技术的第一方面的数据处理装置设置有感测控制单元,该感测控制单元被配置成根据环境感测条件适应性地选择并执行环境感测程序,在所述环境感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测环境的环境感测算法。
根据本技术的第二方面的数据处理装置设置有数据处理单元,该数据处理单元被配置成根据环境感测条件适应性地选择环境感测程序并且将其发送至机器人,在所述环境感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测环境的环境感测算法。
根据本技术的第三方面的机器人设置有:传感器,其被配置成输出指示感测结果的传感器数据;感测控制单元,其被配置成根据环境感测条件适应性地选择并执行环境感测程序,在所述环境感测程序中定义了基于从传感器输出的传感器数据来感测环境的环境感测算法;操作计划设置单元,其被配置成基于由感测控制单元得到的环境感测程序的执行结果来设置操作计划;以及操作单元,其被配置成根据由操作计划设置单元设置的操作计划来执行操作。
在本技术的第一方面中,根据环境感测条件适应性地选择并执行环境感测程序,在环境感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测环境的环境感测算法。
在本技术的第二方面中,根据环境感测条件适应性地选择环境感测程序并且将其发送至机器人,在环境感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测环境的环境感测算法。
在本技术的第三方面中:根据环境感测条件适应性地选择并执行环境感测程序,在环境感测程序中定义了基于从输出指示感测结果的传感器数据的传感器输出的传感器数据来感测环境的环境感测算法;基于环境感测程序的执行结果来设置操作计划,以及根据设置的操作计划来执行操作。
附图说明
图1是示出根据本技术的一个实施方式的程序提供系统的配置示例的视图。
图2是示出传感器装置的配置示例的视图。
图3是示出传感器装置的外观的配置示例的视图。
图4是示出感测程序的示例的视图。
图5是示出感测程序的另一示例的视图。
图6是示出感测程序的又一示例的视图。
图7是示出感测程序的更新的示例的视图。
图8是示出感测程序的更新的示例的视图。
图9是示出感测程序的更新的另一示例的视图。
图10是示出感测程序集的示例的视图。
图11是示出感测程序集的示例的视图。
图12是示出感测程序集的示例的视图。
图13是示出感测程序的更新的示例的视图。
图14是示出感测程序的提供源的示例的视图。
图15是示出程序集的生成的示例的视图。
图16是示出由传送机器人进行的传送的状态的视图。
图17是传送机器人的外观的放大图。
图18是示出当其上放置有菜肴时传送机器人的姿势的示例的视图。
图19是示出传送机器人移动的空间的布局的平面图。
图20是示出感测算法的示例的视图。
图21是示出环境感测条件的示例的视图。
图22是示出环境感测条件的另一示例的视图。
图23是示出环境感测条件的又一示例的视图。
图24是示出环境感测条件的又一示例的视图。
图25是示出供应状况与感测算法之间的对应的示例的视图。
图26是示出传送机器人的硬件的配置示例的框图。
图27是示出传送机器人的功能配置示例的框图。
图28是用于说明传送机器人的基本感测处理的流程图。
图29是用于说明传送机器人的供应处理的流程图。
图30是用于说明在图29中的步骤S14执行的室内处理的流程图。
图31是用于说明在图29中的步骤S16执行的室外处理的流程图。
图32是示出感测算法的控制的示例的视图。
图33是示出实现程序管理服务器的计算机的硬件的配置示例的框图。
具体实施方式
<当前技术的概述>
本技术聚焦于由于以下因素而难以在安装在诸如机器人、移动体和智能电话的各种设备上的传感器装置中使用最佳算法来执行感测的点,并且实现了其解决方案。
因素
·存在许多类型的基本技术。
·基本技术的成熟度不同。
·存在许多成本的变型。
·存在许多应用的变型。
·系统设计和实现方式具有挑战性。
·存在许多类型的用户请求。
·存在许多安装限制,例如处理器功率、功耗和电路尺寸。
·存在许多类型的感测目标。
尤其是,本技术使执行环境感测的传感器装置能够使用作为感测算法的最优算法以执行感测,该感测算法是关于感测的算法。
在下文中,描述了用于执行本技术的模式。按以下顺序给出描述。
1.程序提供系统
2.感测程序的使用实例
3.传送机器人的配置
4.传送机器人的操作
5.变型
<程序提供系统>
·系统配置
图1是示出根据本技术的一个实施方式的程序提供系统的配置示例的视图。
图1中的程序提供系统通过将诸如移动终端2-1、臂式机器人2-2、移动体2-3、烹饪机器人2-4和传送机器人2-5的各种设备经由包括因特网等的网络11连接至程序管理服务器1而形成。
移动终端2-1是智能电话。
臂式机器人2-2是双臂机器人。在臂式机器人2-2的壳体中设置有托架。臂式机器人2-2是可移动的机器人。
移动体2-3是汽车。自动驾驶等功能安装在移动体2-3上。
烹饪机器人2-4是厨房型机器人。烹饪机器人2-4具有通过驱动多个烹饪臂进行烹饪的功能。由烹饪臂再现了类似于由人执行的烹饪操作的操作。
传送机器人2-5是其的顶板上作为可以放置传送对象的放置台准备的机器人,机器人在该状态下能够移动至目标位置。传送机器人2-5的底座上设置有轮子。
图1中示出的每个设备都配备有用于环境的感测、对象的感测、人的感测等的传感器装置。
图2是示出传感器装置的配置示例的视图。
如图2中所示,传感器装置21设置有控制器31和传感器组32。
控制器31控制形成传感器组32的每个传感器以执行各种目标的感测,例如环境的感测、对象的感测和人的感测。基于从形成传感器组32的每个传感器输出的传感器数据执行由控制器31进行的感测。
控制器31向主机侧的装置输出感测结果。由主机侧的装置基于由控制器31得到的感测结果执行各种类型的处理。在传感器装置21安装在移动终端2-1上的情况下,智能电话的中央处理单元(CPU)用作主机侧的装置。控制器31还具有与主机侧的装置进行通信的功能。
传感器组32包括执行各种目标的感测的多个传感器。在图2中的示例中,传感器组32包括RGB相机32A、立体相机32B、ToF传感器32C、结构光传感器32D和LiDAR 32E。
RGB相机32A包括用于RGB图像的图像传感器。RGB相机32A通过驱动图像传感器对周边状态进行成像,并且将通过成像获取的RGB图像作为传感器数据输出。
立体相机32B是立体相机系统的距离传感器,并且包括用于距离图像的两个图像传感器。立体相机32B输出指示到目标的距离的距离图像作为传感器数据。
ToF传感器32C是飞行时间(ToF)系统的距离传感器。ToF传感器32C通过ToF系统测量到目标的距离,并且输出距离信息作为传感器数据。
结构光传感器32D是结构光系统的距离传感器。结构光传感器32D通过结构光系统测量到目标的距离,并且输出距离信息作为传感器数据。
激光雷达(LiDAR)32E测量目标的每个点的三维位置,并且输出指示测量结果的信息作为传感器数据。
传感器组32中可以包括与图2中示出的传感器不同的传感器,例如定位传感器、陀螺仪传感器、加速度传感器、温度传感器和照度传感器。
形成传感器组32的传感器的类型根据其上安装有传感器装置21的装置而适当地改变。一个传感器可以形成传感器组32。
传感器装置21可以包括其上布置有控制器31和传感器组32的基板,或者可以形成为以下装置:其中布置有每个传感器的基板容纳在如图3中示出的壳体21A中。
在具有这种配置的传感器装置21中,控制器31执行作为用于感测的程序的感测程序,并且实现诸如环境、对象和人的各种目标的感测功能。基于形成传感器组32的一个传感器的输出或者基于多个传感器的输出的组合来实现控制器31的感测功能。
环境感测(环境的感测)包括例如以下内容。
·使用RGB相机32A对RGB图像进行成像
·使用立体相机32B、ToF传感器32C和结构光传感器32D的输出测量到目标的距离
·使用LiDAR 32E的输出生成三维地图
·使用三维地图估计自身位置
由传感器装置21感测的环境包括各种物理状态,这些物理状态是传感器装置21外部或其上安装有传感器装置21的装置外部的、可以通过执行感测来表示为量化的数据的状态。
对象感测(对象的感测)包括例如以下内容。
·使用由RGB相机32A成像的RGB图像识别(Recognition)和识别(identification)目标
·测量目标的特征,例如形状、尺寸、颜色和温度
由传感器装置21感测的对象包括传感器装置21周围或其上安装有传感器装置21的装置周围的各种静止对象和移动对象。
人感测(人的感测)包括例如以下内容。
·使用由RGB相机32A成像的RGB图像识别人、识别人的脸、识别人
·识别人的特定部位,例如头、手臂、手、眼睛和鼻子
·估计特定部位的位置,包括骨骼估计
·估计人的身体特征,例如身高和体重
·估计人的属性,例如年龄和性别
由传感器装置21感测的人包括传感器装置21周围或其上安装有传感器装置21的装置周围的人。
控制器31包括作为用于实现相应的感测功能的感测程序的具有不同的算法的多个程序。
图4是示出传感器装置21中准备的感测程序的示例的视图。
在图4中的示例中,测距程序A、测距程序B和测距程序C被准备为在操作系统(OS)上运行的固件。测距程序A、测距程序B和测距程序C是实现作为环境感测功能的测距功能的感测程序。
测距程序A、测距程序B和测距程序C是通过不同的感测算法实现相同的测距功能的感测程序。测距程序A、测距程序B和测距程序C定义了不同的感测算法。
测距程序A是通过测距算法A执行测距的感测程序。测距程序B是通过测距算法B执行测距的感测程序。测距程序C是通过测距算法C执行测距的感测程序。
例如,测距算法A至C是使用以下不同的参数执行测距的感测算法:在同一传感器中设置不同的参数,并且基于传感器的输出通过执行相同的计算来计算距离。
此外,测距算法A至C是使用以下不同的计算方法执行测距的感测算法:在同一传感器中设置相同的参数,并且基于传感器的输出通过执行不同的计算来计算距离。
在准备了诸如立体相机32B、ToF传感器32C和结构光传感器32D的多个距离传感器的情况下,测距算法A至C可以是使用不同的距离传感器执行测距的感测算法。
在这种情况下,例如,测距算法A基于立体相机32B的输出执行测距,并且测距算法B基于ToF传感器32C的输出执行测距。此外,测距算法C基于结构光传感器32D的输出执行测距。
以这种方式,在传感器装置21中,准备了具有不同的感测算法的多个程序作为用于实现相同的测距功能的感测程序。用于测距的传感器与每个感测算法或定义每个感测算法的感测程序中的至少任意一个相关联。在执行了感测程序的情况下,相关联的传感器的操作与此结合被控制。
例如,在安装在传送机器人2-5上的传感器装置21中,选择对应于感测条件的感测算法并且执行测距。感测条件是根据传送机器人2-5的状况确定的感测算法的选择的条件。
例如,在状况适合于测距算法A的情况下,执行测距程序A,以及使用测距算法A执行测距。此外,在状况适合于测距算法B的情况下,执行测距程序B,以及使用测距算法B执行测距。在状况适合于测距算法C的情况下,执行测距程序C,以及使用测距算法C执行测距。
由于通过适应性地选择对应于感测条件的感测算法(感测程序)来执行测距,因此可以通过最佳感测算法进行测距。这同样应用于感测目标不是距离的情况。
一个感测程序定义一种感测算法。对应于选择感测算法来选择感测程序。
注意,适应性地选择感测算法意味着当检测到该条件时选择与感测条件相关联的感测算法。被认为合适的感测算法与对应于每个假设状况的感测条件相关联。感测条件与感测算法之间的关联可以动态地改变。
图5是示出感测程序的另一示例的视图。
在图5中的示例中,食材识别程序A、食材识别程序B和食材识别程序C被准备为在OS上运行的固件。食材识别程序A至C是实现作为对象感测功能的食材识别功能的感测程序。
例如,在安装在烹饪机器人2-4上的传感器装置21中,选择与通过烹饪过程等确定的感测条件对应的感测算法并且识别食材。
图6是示出感测程序的又一示例的视图。
在图6中的示例中,人脸识别程序A、人脸识别程序B和人脸识别程序C被准备为在OS上运行的固件。人脸识别程序A至C是实现作为人感测功能的人脸识别功能的感测程序。
例如,在安装在烹饪机器人2-4上的传感器装置21中,选择与通过烹饪过程等确定的感测条件对应的感测算法并且识别人脸。
·感测程序的更新
在图1中的程序提供系统中,可以更新在每个设备的传感器装置21中作为固件准备的感测程序。
图7是示出感测程序的更新的示例的视图。
如图7中通过箭头指示的,程序管理服务器1向每个设备提供感测程序。程序管理服务器1包括要提供给每个设备的感测程序的数据库(DB)。
在图7中的示例中,向移动终端2-1提供通过测距算法D执行测距的测距程序D,并且向臂式机器人2-2提供通过人脸识别算法H执行人脸识别的人脸识别程序H。
此外,向移动体2-3提供通过自身位置估计算法J执行自身位置估计的自身位置估计程序J,并且向烹饪机器人2-4提供通过对象识别算法K执行对象识别的对象识别程序K。向传送机器人2-5提供通过人识别算法M执行人识别的人识别程序M。
图8是示出感测程序的更新的示例的视图。
在每个设备的传感器装置21中,可以如图8的A中所示添加感测程序。在图8的A中的示例中,通过测距算法D执行测距的测距程序D被添加到分别通过测距算法A至C执行测距的测距程序A至C。
在默认状态下,在每个设备的传感器装置21中准备了定义对应于一般状况的感测算法的感测程序。即使在以下状况——每个设备的传感器装置21不能用预先准备的感测程序响应于该状况——的情况下,这也可以通过添加定义对应于这种特殊状况的感测算法的感测程序来响应于特殊状况。
此外,如图8的B中所示,还可以删除(卸载)不需要的程序。在图8的B中的示例中,如由虚线框指示的,离开测距程序A至C的测距程序C被删除。
图9是示出感测程序的更新的另一示例的视图。
如图9中所示,可以以包括多个感测程序的感测程序集为单位执行更新。在图9中的示例中,包括通过测距算法D执行测距的测距程序D、通过测距算法E执行测距的测距程序E和通过测距算法F执行测距的测距程序F的感测程序集由要添加的程序管理服务器1提供。
在程序管理服务器1的DB中,如图10中所示,准备了多个感测程序集,其中针对每个使用条件如地方、状况和目的收集了多个感测程序。
在图10中的示例中,准备了用于室内测距的感测程序集和用于室外测距的感测程序集。这些感测程序集是对应于地方的感测程序集。
对应于地方的感测程序集是例如在安装在具有移动功能的设备上的传感器装置21中使用的集。在同一室内中,可以以更精细的地方为单位准备感测程序集,例如针对厨房的感测程序集和针对餐厅的感测程序集。
还可以为各种地方准备感测程序集,例如针对海的感测程序集、针对山的感测程序集和针对火车内部的感测程序集。
此外,在图10中的示例中,准备了用于晴朗天气中测距的感测程序集和用于下雨天气中测距的感测程序集。这些感测程序集是对应于天气的感测程序集。
对应于天气的感测程序集是例如在安装在具有移动功能的设备上的传感器装置21中使用的集,并且可以在户外移动。还可以为各种变化状况准备感测程序集,例如针对一天中的每个时间如早晨、中午和晚上的感测程序集,针对每个亮度的感测程序集,和针对每个温度的感测程序集。
还可以为各种目的准备感测程序集,例如当运行时的感测程序集、当打棒球时的感测程序集、当烹饪咖喱时的感测程序集以及当烹饪沙拉时的感测程序集。
每个设备的传感器装置21可以通过指定对应于使用条件的感测程序集的ID来共同添加感测程序。作为识别数据的ID被设置在每个感测程序集中。作为识别数据的ID也被设置在形成感测程序集的每个感测程序中。
代替通过不同的感测算法实现相同的测距功能的感测程序的集,可以添加实现不同的功能的感测程序的集,如图11中所示。
在图11中的示例中,感测程序集包括测距程序D、人脸识别程序H和对象识别程序K。测距程序D是通过测距算法D执行测距的感测程序,并且人脸识别程序H是通过人脸识别算法H执行人脸识别的感测程序。对象识别程序K是通过对象识别算法K执行对象识别的感测程序。
图12是示出感测程序集的示例的视图。
图12中示出的感测程序集包括算法管理器,该算法管理器是控制算法的适应性选择的程序。
传感器装置21执行算法管理器并且选择对应于感测条件的感测算法。在算法管理器中,设置指示控制执行的感测程序的类型的信息和指示感测程序的执行顺序的信息的组合。
图13是示出感测程序的更新的示例的视图。
感测程序可以在传感器装置21和作为主机侧的装置的控制器51中的每个中执行,并且可以实现预定功能。在这种情况下,控制器51的感测程序可以类似于传感器装置21的感测程序被更新。控制器51是例如主机侧的数据处理装置,诸如移动终端2-1的CPU和安装在臂式机器人2-2上的PC的CPU。
更新传感器装置21的固件的感测程序和更新控制器51的固件的感测程序可以被包括在要提供的一个感测程序集中。
可以收费或免费提供感测程序和感测程序集。一个感测程序集可以包括付费的感测程序和免费的感测程序二者。
当如上所述更新感测程序时,传感器装置21可以由程序管理服务器1基于用于认证的密钥信息进行认证,并且在确认传感器装置是合法装置的情况下执行更新。用于认证的密钥信息被准备为每个传感器装置21中的唯一信息。
使用用于认证的密钥信息的传感器装置21的认证可以不在感测程序被更新时而是在感测程序被执行时执行。
·感测程序的提供源
图14是示出感测程序的提供源的示例的视图。
如图14中所示,从程序管理服务器1向每个设备提供的感测程序由例如在程序提供系统中执行服务的用户注册的开发者开发。通过使用程序提供系统操作服务的服务提供者,每个开发者设置有关于传感器装置21和开发工具如软件开发工具包(SDK)的规格的信息。
每个开发者通过使用SDK等开发感测程序或感测程序集,并且将其从自己的计算机上传至程序管理服务器1。上传的感测程序和感测程序集被存储在要管理的感测程序DB中。
程序管理服务器1管理每个感测程序和感测程序集的使用状况,例如在每个设备中的安装的次数和执行的次数。可以从服务提供者向开发者提供预定的激励,例如积分的发行和与使用状况对应的金额的支付。
图15是示出感测程序集的生成的示例的视图。
感测程序集可以由任何用户通过将由每个开发者开发和上传的感测程序放在一起生成。
在图15中的示例中,通过将以下三个感测程序放在一起来生成室内测距程序集:测距程序A至G中的测距程序D、测距程序E和测距程序F。
以这种方式生成的室内测距程序集作为可安装的感测程序集由程序管理服务器1释放,并且被适当地安装在与由开发者开发的感测程序集类似的预定设备上。
可以向通过将多个感测程序放在一起而生成程序集的用户提供激励。
<感测程序的使用实例>
·传送机器人的使用实例
在此,描述了环境感测的使用实例。
在传送机器人2-5传送传送对象的情况下,安装在传送机器人2-5上的传感器装置21通过执行感测程序执行环境感测。为了安全地移动至目的地,作为环境感测执行障碍物的检测、到障碍物的距离的测量、障碍物的方向的估计、自身位置的估计等。
图16是示出由传送机器人2-5进行的传送的状态的视图。
图16示出了在建筑物的厨房内移动的传送机器人2-5的状态。将烹饪好的菜肴放置在作为用于传送对象的放置台而准备的顶板上。在该示例中,传送机器人2-5用于供应菜肴。
传送机器人2-5基于由传感器装置21得到的环境感测的结果计划移动路线、避开障碍物等,移动至目的地,并且供应菜肴。
图17是传送机器人2-5的外观的放大图。
如图17中所示,传送机器人2-5通过将环状底座101和圆形薄板状的顶板102与细杆状的支承臂103连接而形成。底座101的底面侧上提供了多个轮胎。底座101用作实现传送机器人2-5的移动的移动单元。
底座101的径向长度与顶板102的径向长度基本上相同。在底座101的基本上正上方存在顶板102的情况下,支承臂103处于如图17中所示的倾斜状态。
支承臂103包括臂构件103-1和臂构件103-2。顶板102侧的臂构件103-1的直径略小于底座101侧的臂构件103-2的直径。当臂构件103-1在延伸/收缩单元103A处容纳在臂构件103-2内部时,支承臂103的长度如由双向箭头所指示的被调整。
支承臂103的角度可以在底座101与支承臂103之间的连接以及顶板102与支承臂103之间的连接中的每个连接处进行调整。
图18是示出当其上放置有菜肴时传送机器人2-5的姿势的示例的视图。
在图18中的示例中,通过将支承臂103基本上垂直地设置并且将其长度设置成最大长度,顶板102的高度被调整成与烹饪机器人2-4的顶板的高度基本上相同。
当传送机器人2-5处于这种状态时,烹饪机器人2-4的烹饪臂将菜肴放置在顶板102上。在图18中的示例中,通过烹饪机器人2-4的烹饪操作完成的菜肴由烹饪臂放置。
如图18中所示,烹饪机器人2-4设置有多个烹饪臂,烹饪臂执行各种烹饪操作,例如食材的切割和食材的烘烤。根据定义烹饪操作的内容和顺序的烹饪数据执行由烹饪臂进行的烹饪操作。烹饪数据包括关于直到菜肴完成的每个烹饪过程的信息。
以这种方式,由传送机器人2-5供应的菜肴是由烹饪机器人2-4烹饪的菜肴。由人制作的菜肴可以由人放置在顶板102上并且供应。
图19是示出传送机器人2-5移动的空间的布局的平面图。
如图19中所示,在传送机器人2-5移动的建筑物中准备了包括厨房#1、餐厅#2和宴会厅#3的每个房间。在厨房#1与餐厅#2之间存在通道#11,并且在厨房#1与宴会厅#3之间存在通道#12。
在图19中的建筑物——其范围由虚线指示——的外部,提供了花园#21以便面向餐厅#2和宴会厅#3。如通过影线所指示的,在宴会厅#3的墙壁上设置有大窗户,宴会厅#3的墙壁包括在花园#21侧的墙壁。通道#12的两侧也设置有窗户。
描述了传送机器人2-5在这样的空间中移动并且供应菜肴的情况下使用的感测算法。
·感测算法的具体示例
图20是示出由传送机器人2-5的传感器装置21中准备的感测程序定义的感测算法的示例的视图。
如图20中所示,传送机器人2-5的传感器装置21设置有定义算法A1至A9中的每个算法的程序。算法A1至A9是当供应菜肴时使用的用于环境感测的感测算法。
注意,在下文中,为了便于描述,主要描述了使用设置在传感器装置21上的立体相机32B来执行环境感测的情况。取决于算法,使用ToF传感器32C的输出。
如图20中所示,算法A1分为算法A1-1和算法A1-2。算法A1用作例如默认感测算法。
算法A1-1是具有高准确性的感测算法,虽然这可能仅在狭窄的地方使用。算法A1-1的响应性低于参考速度。响应性是环境感测所需的时间。
由算法A1-1进行的环境感测是在立体相机32B的成像分辨率设置成高于参考分辨率的情况下执行的。由于环境感测是基于具有高分辨率和大数据量的图像执行的,因此处理速度降低并且响应性降低,但是准确性提高。
此外,ToF传感器32C的输出还用于由算法A1-1进行的环境感测。在由算法A1-1进行环境感测时,ToF传感器32C的检测范围被设置为比参考尺寸狭窄的范围。此外,用于驱动ToF传感器32C的电力被设置为比参考电力强的电力。
算法A1-2是具有比算法A1-1的准确性更低的准确性的感测算法,尽管这可以在比利用算法A1-1的地方更广阔的地方使用。
由算法A1-2进行的环境感测是在立体相机32B的成像分辨率设置成低于算法A1-1的成像分辨率的情况下执行的。由于环境感测是基于具有稍低分辨率和小数据量的图像执行的,因此与算法A1-1相比处理速度提高并且响应性提高,但是准确性降低。
此外,由算法A1-2进行的环境感测是在立体相机32B的基线长度设置成比利用算法A1-1的基线长度长的情况下执行的。使用立体相机32B使用两个相机之间的视差来测量距离。通过增加表示为两个像机之间的距离的基线长度,可以测量到远处目标的距离。
算法A2是可以在广阔的地方使用并且具有足够的响应性以捕获移动对象的感测算法。
由算法A2进行的环境感测是在立体相机32B的基线长度设置成比利用算法A1-2的基线长度长的情况下执行的。
算法A3是抗噪声如雨的感测算法。
执行由算法A3进行的环境感测,使得对由立体相机32B成像的距离图像执行图像处理以去除噪声,然后基于去除噪声之后获取的距离图像计算距离。具体地,由于添加了去除作为噪声的雨滴的图像处理,因此虽然处理速度降低并且响应性降低,但是可以应对雨。
已知技术用于噪声去除。用于噪声去除的技术在例如“https://digibibo.com/blog-entry-3422.html和http://www.robot.t.u-tokyo.ac.jp/~yamashita/paper/A/A025Final.pdf”中公开。
算法A4是抗阳光直射的感测算法。
在调整成像参数的同时执行由算法A4进行的环境感测以便提高快门速度并且降低立体相机32B的灵敏度。
算法A5是适合于阴暗的地方的感测算法。
在调整成像参数的同时执行由算法A5进行的环境感测以便降低快门速度并且提高灵敏度。尽管移动对象的测距变得困难,但是通过降低传送机器人2-5的移动速度确保了准确性。
此外,可以使用另一传感器执行由算法A5进行的环境感测。例如,使用不依赖于可见光的另一传感器如ToF传感器32C。通过使用ToF传感器32C,难以执行远距离测距,但是即使在黑暗的地方也变得可以执行测距。由于无法执行远距离测距的事实,可以通过降低传送机器人2-5的移动速度来避免碰撞风险。
算法A6是抗阴影的感测算法。
在调整成像参数的同时执行由算法A6进行的环境感测以便扩展立体相机32B的亮度的动态范围。通过扩展亮度的动态范围,可以同时进行明亮的地方和黑暗的地方的测距。
算法A7是抗反射器如镜子的测距的感测算法。
使用不依赖于可见光的传感器执行由算法A7进行的环境感测。例如,使用利用声波执行测距的传感器。
算法A8是能够检测透明对象的感测算法。
由算法A8进行的环境感测是在立体相机32B的成像分辨率设置成高于参考分辨率的情况下执行的。
算法A9是能够应对完全黑暗的地方的感测算法。
在由算法A9进行的环境感测中,使用诸如ToF传感器32C或LiDAR32E的有源传感器来执行测距。
参照图21至图25,描述了作为选择如上所述感测算法的条件的环境感测条件。
如图21中的气球所示,厨房#1是具有以下特征的空间:存在许多对象并且空间狭窄,存在许多静止的对象,并且存在许多危险的对象例如刀和玻璃制品。虽然很少有移动对象,但是由于空间狭窄,极有可能与障碍物碰撞。为了使传送机器人2-5安全地移动,即使响应性差也需要保证准确性。
适合于在具有这样的特征的厨房#1中执行环境感测的感测算法是算法A1-1。在传送机器人2-5在厨房#1中的情况下,算法A1-1用于环境感测,如由空心箭头的目的地所指示的。
在传送机器人2-5检测到传送机器人2-5自身在厨房#1中的状况下,这时根据在厨房#1中执行环境感测的环境感测条件选择执行定义算法A1-1的感测程序。
环境感测条件是选择感测算法即选择感测程序的条件。
如图22中的气球所示,通道#11是具有以下特征的空间:由于节电,有时完全黑暗,并且放置了反射器例如镜子。虽然没有移动对象,但是由于这是完全黑暗的地方传送机器人2-5与墙壁碰撞的可能性高,或者错误地将由镜子反射的自身识别为障碍物。为了使传送机器人2-5安全地移动,这时需要抗通过反射器如镜子进行的反射,并且需要应对完全黑暗的地方。
适合于在具有这样的特征的通道#11中执行环境感测的感测算法是算法A7和A9。在传送机器人2-5在通道#11中的情况下,算法A7和A9用于环境感测,如由空心箭头的目的地所指示的。
在传送机器人2-5检测到传送机器人2-5自身在通道#11中的情况下,这时根据在通道#11中执行环境感测的环境感测条件选择执行定义算法A7和A9的感测程序。
例如,使用算法A7的环境感测和使用算法A9的环境感测是并行或交替执行的。以这种方式,在设置了多种感测算法作为适合于环境感测条件的感测算法的情况下,通过切换多种感测算法执行环境感测。
如图23中的气球所示,宴会厅#3是具有以下特征的空间:其为远距离可视的、空间是广阔的、很少有对象、存在许多人、并且存在大窗户。虽然这是广阔的,但是因为有许多人和许多移动的对象,因此极有可能与障碍物碰撞,或者因为无法识别大窗户而极有可能碰撞。此外,阳光直射进入大窗户可能导致错误的识别。为了使传送机器人2-5安全地移动,需要在广阔的地方使用,抗阳光直射,并且可以检测透明的障碍物。
适合于在具有这样的特征的宴会厅#3中执行环境感测的感测算法是算法A2、A4和A8。在传送机器人2-5在宴会厅#3中的情况下,算法A2、A4和A8用于环境感测,如由空心箭头的目的地所指示的。
在传送机器人2-5检测到传送机器人2-5自身在宴会厅#3中的情况下,这时根据在宴会厅#3中执行环境感测的环境感测条件选择执行定义算法A2、A4和A8的感测程序。
如图24中的气球所示,花园#21是具有以下特征的空间:其暴露于阳光直射,可能是阴暗的,可能下雨,并且可能会跳入野生动物例如鸟。由于阳光直射、下雨或阴暗,极有可能引起错误的识别。此外,极有可能与突然跳入的野生动物碰撞。为了使传送机器人2-5安全地移动,这需要抗雨、阳光直射和阴影,并且需要应对阴暗的地方。
适合于在具有这样的特征的花园#21中执行环境感测的感测算法是算法A3、A4、A5和A6。在传送机器人2-5在花园#21中的情况下,算法A3、A4、A5和A6用于环境感测,如空心箭头的目的地所指示的。
在传送机器人2-5检测到传送机器人2-5自身在花园#21中的情况下,这时根据在花园#21中执行环境感测的环境感测条件选择执行定义算法A3、A4、A5和A6的感测程序。
图25是示出供应状况与感测算法之间的对应的示例的视图。
例如,在将传送对象从厨房#1运送至另一空间的情况下可以使用的感测算法是算法A1-1、A1-2、A2、A4、A7、A8和A9。从算法A1-1、A1-2、A2、A4、A7、A8和A9中,选择用于在每个使用实例中执行环境感测的对应于环境感测条件的感测算法。
在从厨房#1移动至宴会厅#3的情况下,感测算法的过渡是从算法A1-1到算法A2的过渡。
在从厨房#1移动至花园#21的情况下,感测算法的过渡是从算法A1-1到算法A4的过渡。
在从厨房#1通过玻璃墙通道#12移动至宴会厅#3的情况下,感测算法的过渡是从算法A1-1到算法A8和进一步从算法A8到算法A2的过渡。
在从厨房#1通过带有镜子的通道移动至宴会厅#3的情况下,感测算法的过渡是从算法A1-1到算法A7和进一步从算法A7到算法A2的过渡。
在从厨房#1通过没有照明的黑暗的通道#11移动至餐厅#2的情况下,感测算法的过渡是从算法A1-1到算法A9和进一步从算法A9到算法A2的过渡。
在花园#21中供应的情况下可以使用的感测算法是算法A3、A4、A5和A6。类似地在花园#21中供应的状况下,选择在每个使用实例中执行环境感测的对应于环境感测条件的感测算法。
以这种方式,在传感器装置21中,检测传送机器人2-5的各种状况例如地方和动作,并且根据在这种状况下执行环境感测的环境感测条件来选择感测算法。
<传送机器人的配置>
图26是示出传送机器人2-5的硬件的配置示例的框图。
通过将顶板升降驱动单元122、轮胎驱动单元123、传感器组124和通信单元125连接至控制器121形成传送机器人2-5。传感器装置21还连接至控制器121。
控制器121包括CPU、ROM、RAM、闪存等。控制器121执行预定程序并且控制包括传感器装置21的传送机器人2-5的整体操作。控制器121对应于主机侧的控制器51(图13)。
顶板升降驱动单元122包括设置在底座101与支承臂103之间的连接上、顶板102与支承臂103之间的连接上的马达等。顶板升降驱动单元122驱动相应的连接。
此外,顶板升降驱动单元122包括设置在支承臂103内部的轨道或马达。顶板升降驱动单元122使支承臂103延伸和收缩。
轮胎驱动单元123包括马达,马达驱动设置在底座101的底面上的轮胎。
传感器组124包括各种传感器,例如定位传感器、陀螺仪传感器、加速度传感器、温度传感器和照度传感器。指示由传感器组124得到的检测结果的传感器数据被输出至控制器121。
通信单元125是无线通信模块,例如无线LAN模块和与长期演进技术(LTE)兼容的移动通信模块。通信单元125与外部装置如程序管理服务器1通信。
图27是示出传送机器人2-5的功能配置示例的框图。
图27中所示的功能单元的至少一部分是由形成控制器121的CPU和形成传感器装置21的控制器31的CPU通过执行预定程序来实现的。
在控制器121中,实现了路线信息获取单元151、定位控制单元152、移动控制单元153、姿势控制单元155、环境数据获取单元156和周边状态识别单元157。
相比之下,在传感器装置21的控制器31中,实现了状况检测单元201和感测控制单元202。传感器装置21是控制感测算法的数据处理装置。
控制器121的路线信息获取单元151控制通信单元125并且接收从未示出的控制装置发送的目的地和移动路线的信息。由路线信息获取单元151接收到的信息被输出至移动控制单元153。
路线信息获取单元151可以在准备好传送对象的定时等时候基于传送机器人2-5的目的地和当前位置来计划移动路线。
在这种情况下,路线信息获取单元151用作计划传送机器人2-5的操作并且设置操作计划的操作计划设置单元。
定位控制单元152检测传送机器人2-5的当前位置。例如,定位控制单元152基于由形成传感器装置21的距离传感器得到的检测结果来生成安装有传送机器人2-5的空间的地图。作为传感器装置21的输出的传感器数据,由环境数据获取单元156获取并且提供给定位控制单元152。
定位控制单元152通过指定其自身在所生成的地图上的位置来检测当前位置。由定位控制单元152检测到的关于当前位置的信息被输出至移动控制单元153。由定位控制单元152进行的当前位置的检测可以基于形成传感器组124的定位传感器的输出来执行。
移动控制单元153基于从路线信息获取单元151提供的信息和由定位控制单元152检测到的当前位置,控制轮胎驱动单元123以控制传送机器人2-5的移动。
此外,在由周边状态识别单元157提供关于其周围的障碍物的信息的情况下,移动控制单元153控制移动以便避开障碍物。障碍物包括各种移动对象和静止对象,例如人、家具和家用电器。以这种方式,移动控制单元153基于由传感器装置21得到的环境感测的结果来控制伴随传送对象的传送的传送机器人2-5的移动。
姿势控制单元155控制顶板升降驱动单元122以控制传送机器人2-5的姿势。此外,结合由移动控制单元153进行的控制,姿势控制单元155在移动期间控制传送机器人2-5的姿势以便保持顶板102水平。
姿势控制单元155根据由周边状态识别单元157识别的周边状态来控制传送机器人2-5的姿势。例如,姿势控制单元155控制传送机器人2-5的姿势,使得顶板102的高度接近烹饪机器人2-4的顶板的高度或由周边状态识别单元157识别的餐桌的顶板的高度。
环境数据获取单元156控制传感器装置21以执行环境感测并且获取指示环境感测的结果的传感器数据。由环境数据获取单元156获取的传感器数据被提供给定位控制单元152和周边状态识别单元157。
周边状态识别单元157基于从环境数据获取单元156提供的指示环境感测的结果的传感器数据来识别周边状态。将由周边状态识别单元157得到的指示识别结果的信息提供给移动控制单元153和姿势控制单元155。
在作为由传感器装置21进行的环境感测执行障碍物的检测、到障碍物的距离的测量、障碍物的方向的估计、自身位置的估计等的情况下,周边状态识别单元157输出关于障碍物的信息作为指示周边状态的识别结果的信息。
障碍物的检测、到障碍物的距离的测量、障碍物的方向的估计、自身位置的估计等可以由周边状态识别单元157基于由传感器装置21得到的环境感测的结果来执行。在这种情况下,用于由周边状态识别单元157执行的每个处理的传感器数据是通过由传感器装置21进行的环境感测来检测的。
以这种方式,作为环境感测的由传感器装置21执行的处理的内容是任意的。也就是说,可以将由设置在传感器装置21上的传感器检测到的原始数据作为传感器数据直接提供给控制器121,或者可以在传感器装置21侧执行原始数据的处理和分析,并且处理和分析的结果可以作为传感器数据提供给控制器121。
在传感器装置21侧的状况检测单元201检测传送机器人2-5的状况。基于例如从形成传感器组124的传感器输出的传感器数据或从设置在传感器装置21上的传感器输出的传感器数据来检测传送机器人2-5的状况。
传送机器人2-5的状况包括例如传送机器人2-5的操作,比如由传送机器人2-5执行的操作,传送机器人2-5所位于的地方,传送机器人2-5所位于的地方的天气、温度、湿度和亮度。此外,传送机器人2-5的状况还包括外部状况,例如与传送机器人2-5通信的人的状况以及传送机器人2-5周围的障碍物的状况。
状况检测单元201向感测控制单元202输出指示传送机器人2-5的这种状况的信息。
感测控制单元202根据执行在由状况检测单元201检测到的状况下的环境感测的环境感测条件来选择感测算法,并且执行定义所选择的感测算法的感测程序。
例如,感测算法或感测程序与每个环境感测条件相关联。感测控制单元202使用作为识别数据的ID选择对应于环境感测条件的感测算法或感测程序。可以根据环境感测条件选择感测程序集。
感测控制单元202通过执行感测程序来驱动设置在传感器装置21上的每个传感器,并且基于每个传感器的输出来向控制器121输出传感器数据。
<传送机器人的操作>
在此,描述了具有上述配置的传送机器人2-5的操作。
·基本处理
首先,参照图28中的流程图描述了传送机器人2-5的基本感测处理。
在步骤S1,传感器装置21的状况检测单元201使用默认感测算法执行环境感测。
在步骤S2,状况检测单元201基于来自传感器组124的传感器数据或来自传感器装置21的传感器数据检测传送机器人2-5的状况。
在步骤S3,感测控制单元202确定是否切换感测算法。例如,在状况检测单元201检测到传送机器人2-5的状况改变的情况下,确定感测算法要被切换。
在步骤S3确定感测算法要被切换的情况下,在步骤S4,感测控制单元202根据在改变的状况下执行环境感测的环境感测条件来选择感测算法,并且执行定义所选择的感测算法的感测程序。
此后,过程返回至步骤S2并且执行检测传送机器人2-5的状况的处理,以及重复上述处理。在步骤S3确定不切换感测算法的情况下,类似地,过程返回至步骤S2并且重复上述处理。
·具体处理
接下来,参照图29中的流程图描述了传送机器人2-5的供应处理。
在步骤S11,状况检测单元201基于来自传感器组124的传感器数据或来自传感器装置21的传感器数据检测传送机器人2-5的地方。
在步骤S12,感测控制单元202基于由状况检测单元201得到的检测结果确定传送机器人2-5是否位于室内。
在步骤S12确定传送机器人2-5位于室内的情况下,在步骤S13,感测控制单元202使用室内基本算法执行环境感测。
室内基本算法是根据环境光的强度调整立体相机32B的成像参数如快门速度和灵敏度并且执行环境感测的感测算法。快门速度被设置成更低速度的水平,并且灵敏度被设置成更高灵敏度的水平。
在步骤S14,感测控制单元202执行室内处理。在室内处理中,根据室内状况选择感测算法,并且执行环境感测。用于环境感测的感测算法从室内基本算法适当地切换至另一感测算法。稍后参照图30中的流程图详细地描述室内处理。
相比之下,在步骤S12确定传送机器人2-5不位于室内,即位于室外的情况下,在步骤S15感测控制单元202使用室外基本算法执行环境感测。
室外基本算法是根据环境光的强度调整立体相机32B的成像参数如快门速度和灵敏度并且执行环境感测的感测算法。快门速度被设置成更高速度的水平,并且灵敏度被设置成更低灵敏度的水平。
在步骤S16,感测控制单元202执行室外处理。在室外处理中,根据室外状况选择感测算法,并且执行环境感测。用于环境感测的感测算法从室外基本算法适当地切换至另一感测算法。稍后参照图31中的流程图详细地描述室外处理。
在步骤S14执行室内处理之后或在步骤S16执行室外处理之后,过程返回至步骤S11,并且重复随后的处理。
在此,参照图30中的流程图描述在图29中的步骤S14执行的室内处理。
在步骤S21,感测控制单元202确定传送机器人2-5是否位于厨房#1。
在步骤S21确定传送机器人2-5位于厨房#1的情况下,在步骤S22,感测控制单元202根据在厨房#1中执行环境感测的环境感测条件选择算法A1-1,并且执行环境感测。
在步骤S21确定传送机器人2-5不位于厨房#1的情况下,在步骤S23,感测控制单元202确定传送机器人2-5是否位于餐厅#2。
在步骤S23确定传送机器人2-5位于餐厅#2的情况下,在步骤S24,感测控制单元202根据在餐厅#2中执行环境感测的环境感测条件选择算法A1-2,并且执行环境感测。
在步骤S23确定传送机器人2-5不位于餐厅#2的情况下,在步骤S25,感测控制单元202确定传送机器人2-5是否位于宴会厅#3。
在步骤S25确定传送机器人2-5位于宴会厅#3的情况下,在步骤S26,感测控制单元202根据在宴会厅#3中执行环境感测的环境感测条件选择算法A2,并且执行环境感测。
在步骤S25确定传送机器人2-5不位于宴会厅#3的情况下,在步骤S27,感测控制单元202确定传送机器人2-5是否位于通道#11。
在步骤S27确定传送机器人2-5位于通道#11的情况下,在步骤S28,感测控制单元202根据在通道#11中执行环境感测的环境感测条件选择算法A5,并且执行环境感测。
在根据传送机器人2-5的地方使用算法A1-1、A1-2和A2中的任意一个或算法A5执行环境感测之后,或者在步骤S27确定传送机器人2-5不位于通道#11的情况下,过程转移至步骤S29。
在步骤S29,感测控制单元202确定在传送机器人2-5附近是否存在透明对象。基于由状况检测单元201得到的状况的检测结果确定是否存在透明对象。
在步骤S29确定在传送机器人2-5附近存在透明对象的情况下,在步骤S30,感测控制单元202根据在有透明障碍物的地方执行环境感测的环境感测条件选择算法A8,并且执行环境感测。
在步骤S30执行环境感测之后,或者在步骤S29确定在传送机器人2-5附近不存在透明对象的情况下,过程转移至步骤S31。
在步骤S31,感测控制单元202确定在传送机器人2-5附近是否存在反射对象。基于由状况检测单元201得到的状况的检测结果确定是否存在反射对象。
在步骤S31确定在传送机器人2-5附近存在反射对象的情况下,在步骤S32,感测控制单元202根据在有反射器的地方执行环境感测的环境感测条件选择算法A7,并且执行环境感测。
在步骤S32执行环境感测之后,或者在步骤S31确定在传送机器人2-5附近不存在反射对象的情况下,过程转移至步骤S33。
在步骤S33,感测控制单元202确定在传送机器人2-5的地方的亮度是否足够。基于由状况检测单元201得到的状况的检测结果确定亮度是否足够。
在步骤S33确定在传送机器人2-5的地方的亮度不够的情况下,在步骤S34,感测控制单元202根据在完全黑暗的地方执行环境感测的环境感测条件选择算法A9,并且执行环境感测。
在步骤S34执行环境感测之后,或者在步骤S33确定在传送机器人2-5的地方的亮度足够的情况下,过程转移至步骤S35。
在步骤S35,感测控制单元202确定传送机器人2-5的地方是否改变。基于由状况检测单元201得到的状况的检测结果确定传送机器人2-5的地方是否改变。
在步骤S35确定传送机器人2-5的地方没有改变的情况下,过程返回至步骤S29,并且重复上述处理。
相比之下,在步骤S35确定传送机器人2-5的地方改变的情况下,过程返回至图29中的步骤S14,并且执行随后的处理。
接下来,参照图31中的流程图描述在图29中的步骤S16执行的室外处理。
在步骤S51,感测控制单元202确定在传送机器人2-5的地方的天气是否晴朗。基于由状况检测单元201得到的状况的检测结果确定天气是否晴朗。
在步骤S51确定在传送机器人2-5的地方的天气晴朗的情况下,在步骤S52,感测控制单元202确定这是否是可能出现阴影的地方。
在步骤S52确定该地方是可能出现阴影的地方的情况下,在步骤S53,感测控制单元202根据在可能出现阴影的地方执行环境感测的环境感测条件选择算法A6,并且执行环境感测。
在步骤S52确定该地方不是可能出现阴影的地方的情况下,在步骤S54,感测控制单元202根据在阳光直射下执行环境感测的环境感测条件选择算法A4,并且执行环境感测。
相比之下,在步骤S51确定天气不晴朗的情况下,过程转移至步骤S55。
在步骤S55,感测控制单元202确定是否正在下雨。基于由状况检测单元201得到的状况的检测结果确定是否正在下雨。
在步骤S55确定正在下雨的情况下,在步骤S56,感测控制单元202根据在正在下雨的地方执行环境感测的环境感测条件选择算法A3,并且执行环境感测。
在步骤S55确定没有下雨的情况下,在步骤S57,感测控制单元202根据在阴暗的地方执行环境感测的环境感测条件选择算法A5,并且执行环境感测。
在使用算法A3至A6中的任意一个执行环境感测之后,在步骤S58,感测控制单元202确定传送机器人2-5的地方是否改变。
在步骤S58确定传送机器人2-5的地方没有改变的情况下,在步骤S59,感测控制单元202确定天气是否改变。
在步骤S59确定天气改变的情况下,过程返回至步骤S51,并且重复上述处理。
在步骤S59确定天气没有改变的情况下,在步骤S60,感测控制单元202保持所选择的感测算法并且执行环境感测。此后,过程返回至步骤S58,并且重复上述处理。
在步骤S58确定地方改变的情况下,过程返回至图29中的步骤S16,并且重复随后的处理。通过上述处理,传送机器人2-5可以根据状况适应性地选择感测算法并且执行高准确性的环境感测。
在使用特定的感测算法执行环境感测的定时的情况下,当定义感测算法的感测程序没有准备好时,可以访问程序管理服务器1以从程序管理服务器1获取感测程序。
尽管描述了在安装在传送机器人2-5上的传感器装置21中执行的处理,但是在安装有传感器装置21的每个设备(例如移动终端2-1)中执行上述在切换感测算法的同时执行环境感测的处理。
<变型>
·感测算法是从外部选择的实例的示例
在传感器装置21中执行对应于环境感测条件的感测算法的选择,但是这可以由其上安装有传感器装置21的装置外部的装置来执行。
图32是示出感测算法的控制的示例的视图。
在图32中的示例中,由作为外部装置的程序管理服务器1执行对应于环境感测条件的感测算法的选择。在这种情况下,图27中的控制器31的配置在程序管理服务器1中实现。程序管理服务器1是控制由安装在传送机器人2-5上的传感器装置21执行的感测程序的数据处理装置。
如由箭头#1所指示的,从传送机器人2-5到程序管理服务器1,发送用于检测状况的传感器数据并且请求感测程序。
程序管理服务器1的状况检测单元201基于从传送机器人2-5发送的传感器数据来检测传送机器人2-5的状况。此外,由感测控制单元202确定对应于传送机器人2-5的状况的环境感测条件,并且选择感测算法。
程序管理服务器1的感测控制单元202将定义对应于环境感测条件的感测算法的感测程序发送至安装在传送机器人2-5上的传感器装置21,并且使其执行如由箭头#2所指示的感测程序。在这种情况下,程序管理服务器1的感测控制单元202用作将定义对应于环境感测条件的感测算法的感测程序发送至传送机器人2-5的数据处理单元。
以这种方式,可以由传感器装置21外部的装置控制感测算法。例如,其上安装有传感器装置21的传送机器人2-5的控制器121可以制成外部装置,并且可以由控制器121控制感测算法。
定义对应于环境感测条件的感测算法的感测程序可以由作为外部装置的程序管理服务器1或控制器121执行,并且指示执行结果的信息可以被发送至传感器装置21。
图33是示出实现程序管理服务器1的计算机的硬件的配置示例的框图。
中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004彼此连接。
输入/输出接口1005还连接至总线1004。包括键盘、鼠标等的输入单元1006以及包括显示器、扬声器等的输出单元1007连接至输入/输出接口1005。此外,包括硬盘、非易失性存储器等的存储单元1008,包括网络接口等的通信单元1009以及驱动可移除介质1011的驱动器1010连接至输入/输出接口1005。
如上所述的感测算法的控制是通过由CPU 1001执行预定程序来实现的。
·程序的示例
上述的一系列处理可以由硬件来执行或者可以由软件来执行。在由软件执行一系列处理的情况下,将形成软件的程序安装在并入专用硬件的计算机、通用个人计算机等上。
要安装的程序记录在图33中所示的可移除介质1011中,该可移除介质1011包括要提供的光盘(只读光盘存储器(CD-ROM)、数字多功能光盘(DVD)等)、半导体存储器等。此外,这可以经由有线或无线传输介质例如局域网、因特网或数字广播来提供。程序可以预先安装在ROM 1002和存储单元1008上。
注意,由计算机执行的程序可以是按照该说明书中描述的顺序按时间顺序执行处理的程序,或者可以是并行或在需要的时间(例如当发出呼叫时)执行处理的程序。
注意,在该说明书中,系统旨在意指表示多个部件(装置、模块(部件)等)的集合,并且所有部件是否在同一壳体中无关紧要。因此,容纳在不同的壳体中并且经由网络连接的多个装置和其中多个模块被容纳在一个壳体中的一个装置都是系统。
该说明书中描述的效果仅是说明性的;效果不限于此并且还可以存在其他效果。
本技术的实施方式不限于上述实施方式,并且可以在不脱离本技术的主旨的情况下进行各种修改。
例如,本技术可以被配置为由多个装置经由网络共享一个功能以一起处理的云计算。
此外,上述的流程图中描述的每个步骤可以由一个装置执行,或者由多个装置以共享的方式执行。
此外,在一个步骤中包括多个处理的情况下,被包括在一个步骤中的多个处理可以由一个装置或者以共享的方式由多个装置来执行。
[附图标记列表]
1 程序管理服务器
2-1 移动终端
2-2 臂式机器人
2-3 移动体
2-4 烹饪机器人
2-5 传送机器人
21 传感器装置
31 控制器
32 传感器组
121 控制器
124 传感器组
201 状况检测单元
202 感测控制单元

Claims (19)

1.一种数据处理装置,包括:
感测控制单元,其被配置成根据环境感测条件适应性地选择并执行环境感测程序,在所述环境感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测环境的环境感测算法。
2.根据权利要求1所述的数据处理装置,其中,
所述感测控制单元选择经由网络获取的所述环境感测程序。
3.根据权利要求1所述的数据处理装置,其中,
所述感测控制单元从包括多个环境感测程序的组合的环境感测程序集中选择要执行的所述环境感测程序。
4.根据权利要求3所述的数据处理装置,其中,
所述环境感测程序集包括指示在所述环境感测程序中定义的所述环境感测算法的类型的信息和指示所述环境感测程序的执行顺序的信息的组合。
5.根据权利要求3所述的数据处理装置,其中,
所述感测控制单元选择经由网络获取的所述环境感测程序集中包括的所述环境感测程序。
6.根据权利要求5所述的数据处理装置,其中,
所述感测控制单元使用识别所述环境感测程序集的识别数据选择所述环境感测程序集。
7.根据权利要求3所述的数据处理装置,其中,
在所述多个环境感测程序中定义的环境感测算法是应用于在对相同传感器设置不同的参数时输出的传感器数据的算法。
8.根据权利要求3所述的数据处理装置,其中,
在所述多个环境感测程序中定义的环境感测算法是应用于在对相同传感器设置相同的参数时输出的传感器数据的算法。
9.根据权利要求3所述的数据处理装置,其中,
在所述多个环境感测程序中定义的环境感测算法是应用于从不同传感器输出的传感器数据的算法。
10.根据权利要求9所述的数据处理装置,其中,
所述环境感测程序和在所述环境感测程序中定义的所述环境感测算法中的至少任意一个与传感器相关联,以及
所述感测控制单元结合所述环境感测程序的选择和执行来控制多个传感器的操作。
11.根据权利要求1所述的数据处理装置,还包括:
移动控制单元,其被配置成基于由所述感测控制单元得到的所述环境感测程序的执行结果来控制伴随传送对象的传送的由移动单元进行的移动的状态。
12.根据权利要求11所述的数据处理装置,还包括:
其上放置所述传送对象的顶板;
支承所述顶板的可伸缩的支承单元;以及
连接至所述支承单元的所述移动单元,其中,
所述移动控制单元基于由所述感测控制单元得到的所述环境感测程序的执行结果,来控制包括所述顶板的状态和所述支承单元的状态的姿势状态以及由所述移动单元进行的移动的状态。
13.根据权利要求12所述的数据处理装置,其中,
在所述顶板上放置由根据烹饪过程驱动的烹饪系统的烹饪臂或人放置的所述传送对象。
14.一种数据处理方法,包括:
由数据处理装置进行以下操作:
根据环境感测条件适应性地选择并执行环境感测程序,在所述环境感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测环境的环境感测算法。
15.一种数据处理装置,包括:
数据处理单元,其被配置成根据环境感测条件适应性地选择环境感测程序并且将其发送至机器人,在所述环境感测程序中定义了基于从安装在所述机器人上的传感器输出的传感器数据来感测环境的环境感测算法。
16.根据权利要求15所述的数据处理装置,其中,
所述数据处理单元响应于来自所述机器人的请求发送所述环境感测程序。
17.根据权利要求15所述的数据处理装置,其中,
所述数据处理单元响应于来自所述机器人的请求执行所述环境感测程序。
18.一种数据处理方法,包括:
由数据处理装置进行以下操作:
根据环境感测条件适应性地选择环境感测程序,在所述环境感测程序中定义了基于从安装在机器人上的传感器输出的传感器数据来感测环境的环境感测算法;以及
将所选择的环境感测程序发送至所述机器人。
19.一种机器人,包括:
传感器,其被配置成输出指示感测结果的传感器数据;
感测控制单元,其被配置成根据环境感测条件适应性地选择并执行环境感测程序,在所述环境感测程序中定义了基于从所述传感器输出的所述传感器数据来感测环境的环境感测算法;
操作计划设置单元,其被配置成基于由所述感测控制单元得到的所述环境感测程序的执行结果来设置操作计划;以及
操作单元,其被配置成根据由所述操作计划设置单元设置的所述操作计划来执行操作。
CN202080067421.XA 2019-10-03 2020-09-23 数据处理装置、数据处理方法和机器人 Pending CN114450132A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019183083 2019-10-03
JP2019-183083 2019-10-03
PCT/JP2020/035752 WO2021065608A1 (ja) 2019-10-03 2020-09-23 データ処理装置、データ処理方法、ロボット

Publications (1)

Publication Number Publication Date
CN114450132A true CN114450132A (zh) 2022-05-06

Family

ID=75336435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080067421.XA Pending CN114450132A (zh) 2019-10-03 2020-09-23 数据处理装置、数据处理方法和机器人

Country Status (5)

Country Link
US (1) US20220269246A1 (zh)
EP (1) EP4039421A4 (zh)
JP (1) JPWO2021065608A1 (zh)
CN (1) CN114450132A (zh)
WO (1) WO2021065608A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220152824A1 (en) * 2020-11-13 2022-05-19 Armstrong Robotics, Inc. System for automated manipulation of objects using a vision-based collision-free motion plan

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301796A (ja) * 2003-04-01 2004-10-28 Sony Corp ロボット、並びにランドマークの位置推定システム及び位置推定方法、並びにランドマーク
KR20070045467A (ko) * 2005-10-27 2007-05-02 엘지전자 주식회사 이동로봇의 구동 방법 및 그를 이용한 이동로봇
CN101927494A (zh) * 2009-06-19 2010-12-29 株式会社安川电机 形状检测系统
CN102804211A (zh) * 2010-03-19 2012-11-28 日本电气株式会社 信息处理设备、信息处理系统、信息处理方法和信息处理程序
CN106358154A (zh) * 2016-09-07 2017-01-25 中国人民解放军国防科学技术大学 一种模块化的可扩展室内外无缝定位方法
US20170312916A1 (en) * 2015-01-06 2017-11-02 Discovery Robotics Apparatus and methods for providing a reconfigurable robotic platform
KR101803195B1 (ko) * 2016-06-28 2017-11-30 경희대학교 산학협력단 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법
CN107636548A (zh) * 2015-05-12 2018-01-26 三星电子株式会社 机器人及其控制方法
CN110140094A (zh) * 2016-12-22 2019-08-16 罗博艾特有限责任公司 自主移动机器人和用于控制自主移动机器人的方法
KR20190106910A (ko) * 2019-06-17 2019-09-18 엘지전자 주식회사 이동 로봇과 그의 제어 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360362B1 (en) 1998-02-20 2002-03-19 Intel Corporation Automatic update of camera firmware
JP4210270B2 (ja) * 2005-06-07 2009-01-14 ファナック株式会社 ロボット制御装置及びロボット制御方法
JP4898269B2 (ja) 2006-04-14 2012-03-14 キヤノン株式会社 通信装置及びそのインストール方法
JP4297142B2 (ja) * 2006-09-13 2009-07-15 株式会社日立製作所 運搬システム
WO2011065325A1 (ja) * 2009-11-27 2011-06-03 ローツェ株式会社 搬送アーム、及びこれを備える搬送ロボット
US9737990B2 (en) * 2014-05-16 2017-08-22 Microsoft Technology Licensing, Llc Program synthesis for robotic tasks
EP3348860A4 (en) * 2015-09-11 2019-06-19 Life Robotics Inc. EXTENSION-LINEAR RETRACTION MECHANISM
US10065316B2 (en) * 2016-02-05 2018-09-04 Rethink Robotics, Inc. Systems and methods for safe robot operation
EP3451084B1 (en) * 2017-08-29 2021-10-20 Honda Research Institute Europe GmbH Method for setting parameters in an autonomous working device
US20200200393A1 (en) * 2017-09-11 2020-06-25 Zume Inc. Configurable oven rack system
WO2021065609A1 (ja) * 2019-10-03 2021-04-08 ソニー株式会社 データ処理装置、データ処理方法、調理ロボット

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004301796A (ja) * 2003-04-01 2004-10-28 Sony Corp ロボット、並びにランドマークの位置推定システム及び位置推定方法、並びにランドマーク
KR20070045467A (ko) * 2005-10-27 2007-05-02 엘지전자 주식회사 이동로봇의 구동 방법 및 그를 이용한 이동로봇
CN101927494A (zh) * 2009-06-19 2010-12-29 株式会社安川电机 形状检测系统
CN102804211A (zh) * 2010-03-19 2012-11-28 日本电气株式会社 信息处理设备、信息处理系统、信息处理方法和信息处理程序
US20170312916A1 (en) * 2015-01-06 2017-11-02 Discovery Robotics Apparatus and methods for providing a reconfigurable robotic platform
CN107636548A (zh) * 2015-05-12 2018-01-26 三星电子株式会社 机器人及其控制方法
KR101803195B1 (ko) * 2016-06-28 2017-11-30 경희대학교 산학협력단 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법
CN106358154A (zh) * 2016-09-07 2017-01-25 中国人民解放军国防科学技术大学 一种模块化的可扩展室内外无缝定位方法
CN110140094A (zh) * 2016-12-22 2019-08-16 罗博艾特有限责任公司 自主移动机器人和用于控制自主移动机器人的方法
KR20190106910A (ko) * 2019-06-17 2019-09-18 엘지전자 주식회사 이동 로봇과 그의 제어 방법

Also Published As

Publication number Publication date
EP4039421A4 (en) 2022-12-28
WO2021065608A1 (ja) 2021-04-08
JPWO2021065608A1 (zh) 2021-04-08
EP4039421A1 (en) 2022-08-10
US20220269246A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
US10992185B2 (en) Systems and methods of using electromagnetic waves to wirelessly deliver power to game controllers
US10371504B2 (en) Light fixture commissioning using depth sensing device
US20190057588A1 (en) Robust Motion Filtering for Real-time Video Surveillance
CA2928262C (en) Mobile robot system
US20160375592A1 (en) Apparatus and methods for safe navigation of robotic devices
US20150036875A1 (en) Method and system for application execution based on object recognition for mobile devices
GB2527207A (en) Mobile human interface robot
CN105074691A (zh) 上下文感知定位、映射和跟踪
JP2014197411A (ja) 可動式ロボットシステム
WO2020041734A1 (en) Shelf-viewing camera with multiple focus depths
US10177848B1 (en) Visual light communication using starburst or haze of the light source
US10054665B2 (en) Tracking system and method for tracking a carrier of a mobile communication unit
US11751008B2 (en) Angle of arrival capability in electronic devices
US11418980B2 (en) Arrangement for, and method of, analyzing wireless local area network (WLAN) field coverage in a venue
BR112020022099A2 (pt) medição de distância por tempo de voo com campos de emissão variáveis
CN114450132A (zh) 数据处理装置、数据处理方法和机器人
CN111483741B (zh) 搬运系统和搬运方法
US20180054876A1 (en) Out of plane sensor or emitter for commissioning lighting devices
KR20190109325A (ko) 로봇 및 로봇의 위치를 인식하기 위한 방법
US11300963B1 (en) Robot movement constraint system
US20220288790A1 (en) Data processing device, data processing method, and robot
CN105383369A (zh) 用于调适车辆探照灯亮度的方法和设备
RU2758036C1 (ru) Способ и система для оптико-инерциального трекинга подвижного объекта
CN117472097A (zh) 太阳能电源的远程控制方法、装置、存储介质及电子设备
KR102543742B1 (ko) 이동 단말기 및 이동 단말기의 동작 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination