CN112187845A - 信息处理装置及方法、远程监控机器人、据点控制系统 - Google Patents

信息处理装置及方法、远程监控机器人、据点控制系统 Download PDF

Info

Publication number
CN112187845A
CN112187845A CN202010611424.7A CN202010611424A CN112187845A CN 112187845 A CN112187845 A CN 112187845A CN 202010611424 A CN202010611424 A CN 202010611424A CN 112187845 A CN112187845 A CN 112187845A
Authority
CN
China
Prior art keywords
robot
communication
information
remote monitoring
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010611424.7A
Other languages
English (en)
Inventor
大塚爱子
川口敦生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020107059A external-priority patent/JP2021013159A/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN112187845A publication Critical patent/CN112187845A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Abstract

本发明涉及信息处理装置、远程监控机器人、据点控制系统、远程控制系统、信息处理方法、计算机装置以及存储介质,其目的在于提高利用远程监控机器人的远程通信的便利性。信息处理装置从设于据点内用来受理操作者操作的通知按钮(20)接收包含该通知按钮的位置信息的通知信息,向基于该通知信息所包含的位置信息和机器人(10A‑1)的位置信息所定的机器人(10A‑1),输出前往移动目的地的动作开始请求,并将对机器人(10A‑1)的通信请求,发送到与该机器人远程通信的管理者终端(50A)。然后,信息处理装置使得机器人(10A‑1)启动向移动目的地的移动,同时开启管理者终端(50A)和机器人(10A‑1)的远程通信。

Description

信息处理装置及方法、远程监控机器人、据点控制系统
技术领域
本发明涉及信息处理装置、远程监控机器人、据点控制系统、远程控制系统、信息处理方法、计算机装置以及存储介质。
背景技术
现有的远程控制系统可以利用位于其他据点的管理者终端,经由通信网络来遥控操作处于远处的据点的远程监控机器人。该远程控制系统通过在管理者终端上显示由远程监控机器人所配备的摄像装置拍摄的图像,可以从远处确认远程监控机器人所在据点的信息。
例如,专利文献1(JP特开2018-121322号公报)公开了一种连接通信源用户使用的通信终端和远程监控机器人进行通信的通信方法,该远程监控机器人是多个被设置在远离通信源用户的远处据点的远程监控机器人之中较适合于通信目的地用户使用的机器人。
但是,以往的方法是,各个据点之间需要响应操作远程监控机器人的管理者的请求开始远程通信,处于设有远程监控机器人的据点的操作者无法呼叫管理者。因此,利用远程监控机器人的远程通信,在提高便利性方面尚有待改善。
发明内容
为解决上述课题,本发明提供一种信息处理装置,用来控制被设置在预定据点内的远程监控机器人的动作,其中具备,通知信息接收部,用于接收来自被设置在所述据点内用来受理操作者操作的操作部发送的、包含该操作部的位置信息的通知信息;输出部,用于向基于收到的所述通知信息中包含的位置信息以及所述远程监控机器人的位置信息所决定的特定的远程监控机器人,输出前往特定的移动目的地的动作开始请求;以及,通信请求发送部,用于将针对所述特定的远程监控机器人的通信请求送往与所述远程监控机器人进行远程通信的管理者终端,在开始所述特定的远程监控机器人向所述特定的移动目的地移动的同时,启动所述管理者终端与所述特定的远程监控机器人之间的远程通信。
本发明具有提高远程通信使用便利性的效果。
附图说明
图1是实施方式涉及的远程控制系统的一例系统构成的示意图。
图2是用来说明实施方式涉及的远程控制系统的一例概要的示意图。
图3是实施方式涉及的机器人的一例构成概要的示意图。
图4是实施方式涉及的机器人的一例硬件结构模块图。
图5是实施方式涉及的管理者终端的一例硬件结构模块图。
图6是实施方式涉及的信息处理服务器的一例硬件结构模块图。
图7是实施方式涉及的远程控制系统的一例功能结构模块图。
图8(A)是实施方式涉及的一例利用者信息管理表的示意图,图8(B)是实施方式涉及的一例通知模式管理表的示意图。
图9是实施方式涉及的远程控制系统的一例功能结构模块图。
图10(A)是实施方式涉及的一例据点信息管理表的示意图、图10(B)是实施方式涉及的一例位置信息管理表的示意图、图10(C)是实施方式涉及的一例条件信息管理表的示意图。
图11(A)是实施方式涉及的一例状态信息管理表的示意图、图11(B)是实施方式涉及的一例管理者信息管理表的示意图、图11(C)是实施方式涉及的一例通知履历管理表的示意图。
图12(A)是实施方式涉及的一例认证管理表的示意图,图12(B)是实施方式涉及的一例终端管理表的示意图。
图13(A)是实施方式涉及的收信名单管理表的一例示意图,图13(B)是实施方式涉及的时域管理表的一例示意图。
图14是与实施方式涉及的远程控制系统中来自据点系统的一例呼叫处理时序图。
图15是实施方式涉及的信息处理服务器中的的一例机器人检索处理流程图。
图16是实施方式涉及的机器人的一例动作开始处理流程图。
图17是实施方式涉及的机器人和管理者终端之间开始数据接收的准备阶段的一例处理序列图。
图18是实施方式涉及的管理者终端上显示的一例发送目的地名单画面的示意图。
图19是实施方式涉及的从目标候补选择到开始数据收发为止的一例处理时序图。
图20是实施方式涉及的机器人的另一例动作开始处理流程图。
图21是实施方式涉及的机器人通信状态的一例通知处理的流程图。
图22(A)、图22(B)是用来说明实施方式涉及的机器人通信状态的通知概要的示意图。
图23是用来说明实施方式涉及的机器人通信状态的通知概要的示意图。
图24是实施方式涉及的信息处理服务器中的一例通信请求取消处理流程图。
图25是实施方式涉及的远程控制系统中的通信请求取消处理的一例时序图。
图26是实施方式涉及的机器人和管理者终端之间远程通信结束时的一例处理时序图。
图27是实施方式涉及的一例通知履历信息的示意图。
图28是实施方式涉及的机器人在远程通信结束时的一例处理流程图。
图29是实施方式的变形例涉及的远程控制系统的一例功能结构模块图。
图30是实施方式变形例涉及的远程控制系统中来自据点系统的一例呼叫处理的时序图。
具体实施方式
以下,在参考附图,对实施发明的方式进行说明。在附图的说明中,对相同要素赋予相同符号,省略重复说明。
·概述·
·系统构成
图1是实施方式涉及的远程控制系统的一例系统构成的示意图。图1所示的远程控制系统通过在设于各据点的机器人10和远程管理者所使用的管理者终端之间进行远程通信,来进行据点内的装置管理或维护作业等,或者据点内的人的位置或者动线的确认等。
远程控制系统1a包括分别设于多个据点(据点A、据点B、据点C)的远程监控机器人10(10A、10B、10C、以下简称为机器人10A、10B、10C。不需要区分的时候,也称为机器人10。)、管理者终端50、信息处理服务器70以及通信管理服务器90。机器人10、管理者终端50、信息处理服务器70以及通信管理服务器90通过通信网络9连接,可以通信。通信网络9由例如局域网(LAN)、专用线和互联网等构成。另外,通信网络9只要在用有线或通过Wi-Fi(注册商标)等无线进行通信的场所即可。
机器人10是设置在各据点(据点A、据点B、据点C)、并在各据点内自主行驶的移动体。机器人10一边用摄影装置12拍摄机器人10周围的被摄物,一边在据点内移动,通过将摄影装置12获得的拍摄图像发送到管理者终端50,向使用管理者终端50的管理者提供据点内的信息(图像)。而且,如后述的图2所示,各个据点内设置通知按钮20,用于多个机器人10和处于据点内的操作者呼叫位于远处的管理者。设置在各据点的机器人10及通知按钮20构成据点系统2(2A、2B、2C,以下不需要区分时称为据点系统2)。机器人10只要是具有远程监控功能,且可以在据点内自律行驶或者利用线路追踪等技术移动的移动体便可。
管理者终端50是使用设于各据点(据点A、据点B、据点C)的机器人10进行各据点的远程管理的PC(Personal Computer)等终端装置。管理者终端50显示机器人10发送的摄影图像。管理者可以一边观察管理者终端50上显示的图像,一边与设有机器人10的据点内的操作者进行远程交流。另外,管理者还可以一边观察管理者终端50上显示的图像,一边进行机器人10的远程操作。
管理者终端50只要具备显示由机器人10传送的图像的显示装置便可,例如也可以是平板终端、手机、智能手机、头部安装显示器(HMD)等可穿戴终端、具备广角屏幕(圆筒、全天球、半天球屏幕等)的通信终端、PDA(PersonalDigital Assistant)等。
信息处理服务器70是用于控制位于各个据点的机器人10的动作的服务器计算机。通信管理服务器90是用于管理位于各个据点的机器人10和管理者终端50之间通信的服务器计算机。信息处理服务器70以及通信管理服务器90通过通信网络9与机器人10和管理者终端50连接。信息处理服务器70既可以由单一计算机构建,也可以通过分割各部(功能、手段或存储部)任意分配给多台计算机来构筑。通信管理服务器90也是同样的。在此,信息处理服务器70是信息处理装置的一个例子。
在此,信息处理服务器70和通信管理服务器90构成服务器系统7。该服务器系统7也可以由具有信息处理服务器70和通信管理服务器90的各部(功能或手段)的单一计算机构成。另外,据点系统2和服务器系统7构成了据点控制系统3。
机器人10的设置据点例如为办公室、学校、仓库、工厂、建筑现场等。在管理者终端50上进行各据点远程管理的管理者通过确认从机器人10发送的据点内的图像,可以进行据点内人的位置和动线的确认、设置在据点内的装置的管理和维护等。另外,机器人10和管理者终端50还可以通过收发双方拍摄的图像,进行双向交流(远程会议)。
另外,管理者终端50可以是与配置在多个据点的机器人10分别通信的构成,也可以是仅与配置在一个据点的机器人10通信的构成。
在此,使用图2,概述本实施方式涉及的远程控制系统1a的利用场景。图2是用于说明实施方式涉及的远程控制系统的一例概要的示意图。图2显示一个在据点A内设置的远程监控机器人(机器人10A)和在位于远处的管理者所使用的管理者终端50之间进行远程通信时的例子。
图2所示的据点A是,例如多个操作者(操作者A、B、C、D)进行规定作业的工厂或者仓库等。如图2所示,每个操作者A、B、C和D对工作台行操作。另外,据点A中设有在据点A内自主行驶的多个机器人10A(机器人10A-1,10A-2)。位于远处的管理者通过使用管理者终端50与设置在据点A的机器人10A远程通信,进行据点A的维护管理等。
据点A内还安装了多个通知按钮20A(20A-1~20A-5)。其中,通知按钮20A-1~20A-3安装在工作台上,通知按钮20A-4、20A-5分别安装在机器人10A-1、10A-2上。通知按钮20A是用于据点A的操作者呼叫远处的管理者的操作手段。例如,在操作过程中发生某异常,操作者想要与管理者取得交流时,可以通过按动附近的通知按钮20A来呼叫位于远处的管理者。
远程管理者还以通知按钮20A受到选择作为契机,接受来自操作者呼叫的通知。而且,管理者通过启动管理者终端50和设置在据点A内的机器人10A之间的远程通信,与操作者进行交流。
进而,与管理者终端50远程通信的机器人10A-1、10A-2按照操作者按动的通知按钮20A的设置位置,移动到设定的移动目的地,同时还与管理者终端50远程通信。因此,按动通知按钮20A的操作者可以利用机器人10A,在想要与管理者交流的场所进行远程通信。
当考虑在如图2所示的据点A的现场灵活地使用远程监控机器人时,以往只能由位于远处的管理者单方面开始远程通信,而在现场的操作者想要与管理者进行通信时却没有办法呼叫,因而,现场出现不满和抱怨的反应。对此,远程控制系统1a中设置了用于在设有机器人10的据点的一方呼叫管理者的操作装置,可以以现场呼叫为触机,启动在据点之间的远程通信。据此,远程控制系统1a可以提高利用远程监控机器人的远程通信的便利性。
·机器人的构成
接着,用图3说明机器人10的具体构成。图3是实施方式涉及的机器人构成的一例概要示意图。图3是机器人10位于供机器人10蓄电池充电的充电站150的状态。充电站150设置在各据点内,用来对机器人10的蓄电池充电或测量机器人10的运行状态。机器人10通过预先存储充电站150的设置位置,并自我判断据点内操作者的指示、管理者的远程操作、或蓄电池剩余量状态等,定期移动到充电站150。然后,机器人10在未与管理者终端50进行远程通信的期间,在充电站150进行蓄电池充电等。
图3所示的机器人10具备用于控制机器人10的处理或动作的控制装置30的机箱11、用于使得摄影装置12、支撑部件13、显示器14、机器人10移动的移动机构15(15a、15b)、用于使机器人10进行规定作业(动作)的可动臂16、用于通知机器人10的通信状态的灯17及通知面板18、以及通知按钮20。
其中,通知按钮20是在据点内的操作者为了呼叫远处的管理者的操作装置。据点内设置的通知按钮20通过据点内的操作者的按动,向信息处理服务器70发送用来呼叫管理者的通知信息。在此,机器人10所配备的通知按钮20的安装位置不限于此,优选安装在方便操作者按动通知按钮20的位置上。通知按钮20也可以可装卸地安装在机器人10上。在这种情况下,操作者可以通过携带通知按钮20,在任意场所设置通知按钮20。此外,如图2所示的未搭载于机器人10的通知按钮20(例如,通知按钮20A-1,20A-2,20A-3)具有同样的构成。
机箱11位于机器人10的躯干部位,内置有机器人10的整体所需的电源供给单元和控制机器人10的处理或动作的控制装置30等。
摄影装置12拍摄位于设有机器人10的据点的人物、物体、风景等被摄体来获取拍摄图像。摄影装置12是能够获取平面图像(详细图像)的如数码单反相机、袖珍数码相机等数码相机(普通摄影装置)。与摄影装置12所取得的摄影图像有关的摄影图像数据,经由后述的通信管理服务器90确立的通信时域发送到管理者终端50。摄影装置12获得的摄影图像既可以是动画也可以是静画,还可以兼具动画和静画双方。此外,摄影装置12获得的摄影图像还可以连同图像数据一起包含音频数据。
显示器14是用于显示各种画面的显示装置。显示器14上显示随着通知按钮20收到按动而被呼叫的远处的管理者的据点的画像。
支撑部件13是用于在机器人10(机箱11)上设置(固定)摄影装置12的部件。支撑部件13既可以是固定在机箱11上的杆等,也可以是固定在机箱11上的台座。另外,支撑部件13也可以是可调整摄影装置12的摄影方向(朝向)和位置(高度)的移动式部件。
移动机构15是使机器人10移动的装置,由车轮、行驶电机、行走编码器、转向电机、转向编码器等构成。机器人10的移动控制是现有技术,因而省略详述,但是,机器人10接收例如来自信息处理服务器70的动作开始请求或来自操作者即管理者(管理者终端50)的行驶指示。移动机构15根据收到的动作开始请求或者行驶指示,使得机器人10移动。移动机构15还可以是二足行走的脚型和单轮的机构。机器人10的形状不限于图3所示的车辆类型,也可以是例如二足行走的人型、模仿生物的形状、模仿特定角色的形态等。
可动臂16具有除机器人10移动以外的能够进行附加性动作的动作装置。如图3所示,可动臂16中,例如可动臂16的前端具备作为抓取元件等物体的手作为动作装置。机器人10通过使得可动臂16旋转或变形来进行规定操作(动作)。
灯17和通知面板18按照与管理者远程通信的状态来改变灯的点灯模式或面板显示,由此把机器人10的通信状态通知给据点内的操作者。灯17及通知面板18是一例通信状态通知装置。
另外,摄影装置12还可以是能够获取全天球(360°)全景图像的广角摄影装置。广角摄影装置,例如是拍摄被摄物体以获得成为全天球(全景)图像源的两个半球图像的全天球摄影装置。此外,广角摄像装置还可以是例如可以取得具有规定值以上的视角的广角图像的广角相机或立体相机等。也就是说,广角摄影装置是能够获取用焦距小于规定值的短镜头拍摄的图像(全天球图像、广角图像)的摄影装置。
机器人10也可以具备多个摄影装置12。在这种情况下,机器人10可以同时具备广角摄影装置和普通摄影装置的双方,用以作为摄影装置12。在此,普通摄影装置用来拍摄广角摄影装置所拍摄的被摄体的一部分,以获取详细图像(平面图像)。
除上述构成以外,机器人10还可以具有能够检测机器人10周围信息的各种传感器。各种传感器为,例如气压计、温度计、光度计、人感传感器或照度计等传感器元件。
·硬件构成·
接着,用图4~图6说明构成远程控制系统1a的各装置或终端的硬件构成。图4~图6所示的硬件构成可根据需要增加或删除构成要素。
·机器人的硬件构成
图4是实施方式涉及的机器人硬件构成的一例示意图。机器人10具有控制机器人10的处理或动作的控制装置30。控制装置30如上所述,安装在机器人10的机箱11的内部。另外,控制装置30还可以设置在机器人10的机箱11的外部也可以,或者也可以设置在与机器人10不同的装置上。
控制装置30包括CPU(Central Processing Unit)301、ROM(Read OnlyMemory)302、RAM(Random Access Memory)303、硬盘(Hard Disk Drive)304、介质接口(I/F)305、输入输出I/F306、声音输入输出I/F307、网络I/F308、近距离通信电路309、近距离通信电路309的天线309a、以及外设连接I/F311和总线310。
CPU301在整体上控制机器人10。CPU301是将存储在ROM302或HD(HardDisk)304a等中的程序或数据读到RAM303上并执行处理,从而实现机器人10各种功能的运算装置。
ROM302是非易失性内存,即使断电也可以保存程序或数据。RAM303是作为CPU301的工作区等使用的挥发性存储器。硬盘304可以根据CPU301的控制,控制HD304a中各种数据的读取或写入。HD304a存储程序等各种数据。介质I/F305控制通用串行总线(UniversalSerial Bus)存储器、存储卡、光盘或闪存等存储介质305a的读取或写入(存储)。
输入输出I/F306是用于在各种外设等之间输入输出文字、数值、各种指示等的接口。输入输出I/F306控制在LCD(Liquid Crystal Display)等显示器14上的光标、菜单、窗口、文字或图像等各种信息的显示。显示器14也可以是具备输入装置的触屏显示器。另外,除显示器14以外,输入输出I/F306还可以连接鼠标、键盘等的输入装置。声音输入输出I/F307是按照CPU301的控制,在麦克风307a和扬声器307b之间处理音频信号的输入输出的电路。麦克风307a是按照CPU301的控制输入音频信号的内置型集音装置。扬声器307b是按照CPU301的控制输出音频信号的重放装置。
网络I/F308是通过通信网络9与其他设备或装置通信的通信接口。网络I/F308例如是有有线或无线LAN等通信接口。此外,网络I/F308还可以具备3G(3rd Generation)、LTE(Long Term Evolution)、4G(4th Generation)、5G(5thGeneration)、Wi-Fi、WiMAX(Worldwide Interoperability for MicrowaveAccess)、Zigbee(注册商标)或毫米波无线通信等通信接口。近距离通信电路309是NFC(Near Field Communication)或蓝牙(注册商标)等通信电路。外设连接I/F311是用于将其他设备连接到控制装置30的接口。
总线310是用于电连接上述各构成要素的地址总线或数据总线等,传输地址信号、数据信号以及各种控制信号等。CPU301、ROM302、RAM303、HDD304、介质I/F305、输出输入I/F306、声音输入输出I/F307、网络I/F308、近距离通信电路309以及外设连接I/F311通过总线310相互连接。
控制装置30通过外设连接I/F311,连接驱动电机101、致动器102、加速度方位传感器103、GPS(Global Positioning System)接收部104、摄影装置12、电源供给单元105、通知按钮20、灯17以及通知面板18。
驱动电机101根据CPU301发出的指令,驱动移动机构15旋转,使机器人10沿地面移动。致动器102基于CPU301发出的指令,使可动臂16变形。加速度方位传感器103是用于检测地磁的电子磁罗盘、陀螺罗盘和加速度传感器等传感器。GPS接收部104从GPS卫星接收GPS信号。电源供应单元105是提供机器人10整体所需电源的单元。
·管理者终端的硬件构成
图5是实施方式涉及的管理者终端的一例硬件构成的示意图。管理者终端50具有CPU501、ROM502、RAM503、EEPROM(Electrically ErasableProgrammable Read-OnlyMemory)504、摄像元件I/F505、CMOS(ComplementaryMetal Oxide Semiconductor)传感器505a以及介质I/F506。
CPU501控制整个管理者终端50的运行。CPU501是通过将存储在ROM502等中的程序或数据读到RAM503上并执行处理,实现管理者终端50的各功能的运算装置。
ROM502存储用于IPL(Initial Program Loader)等CPU501的驱动的程序。RAM503可用作CPU501的工作区。EEPROM504按照CPU501的控制,进行管理者终端用程序等各种数据的读取或写入。
CMOS传感器505a按照CPU501的控制拍摄被摄体(主要是自图像),获取图像数据。摄像元件I/F505是控制CMOS传感器505a驱动的电路。介质I/F506控制闪存等存储介质506a中数据的读取或写入(存储)。
另外,管理者终端50具备有网络I/F507、声音输入输出I/F508、麦克风508a、扬声器508b、显示器511、键盘512、鼠标513、外设连接I/F514、近距离通信电路515和近距离通信电路515的天线515a。
网络I/F507是通过通信网络9与其他设备或装置通信的通信接口。网络I/F507例如有有线或无线LAN等通信接口。网络I/F507可以配备3G、LTE、4G、5G、Wi-Fi、WiMAX、Zigbee或毫米波无线通信接口等通信接口。声音输入输出I/F508是按照CPU501的控制,在麦克风508a和扬声器508b之间处理音频信号的输入输出的电路。麦克风508a是内置型集音装置,可按照CPU501的控制输入音频信号。扬声器508b是按照CPU501的控制输出音频信号的重放装置。
显示器511是显示被摄体的图像和各种图标等的液晶和有机EL等的一种显示装置。显示器511也可以是配备有输入装置的触屏显示器。键盘512是为输入文字、数字、各种指示等输入的具备多个键的一种输入装置。鼠标513是进行各种指示的选择或执行、处理对象的选择、光标的移动等的一种输入装置。外设连接I/F514是连接各种外设的接口。近距离通信电路515是NFC或蓝牙等通信电路。
管理者终端还配备有总线509。总线509是用于电连接图5所示的CPU501等各个构成要素的地址总线和数据总线等。
·服务器的硬件构成
图6是实施方式涉及的信息处理服务器的一例硬件构成的示意图。信息处理服务器70是通过一般的计算机构建的。信息处理服务器70包括CPU701、ROM702、RAM703、HD704、HDD705、介质I/F707、网络I/F708、显示器711、键盘712、鼠标713、DVD-RW(DigitalVersatile Disk Rewritable)驱动器715、计时器716以及总线710。
CPU701控制整个信息处理服务器70的运行。ROM702存储用于驱动CPU701的程序。RAM703可用作CPU701的工作区。硬盘705控制按照CPU701的控制对HD704进行各种数据的读取或写入。HD704存储程序等各种数据。介质I/F707控制对闪存等存储介质706进行数据读取或写入(存储)。
网络I/F708是用来利用通信网络9进行数据通信的接口。显示器711显示光标、菜单、窗口、文字或图像等各种信息。键盘712是为用来输入文字、数字、各种指示等的具有多个键的一种输入装置。鼠标713是进行各种指示的选择或执行、处理对象的选择、光标的移动等的一种输入手段。DVD-RW驱动器715控制作为一例可装卸存储介质的DVD-RW714进行各种数据读取等。DVD-RW714也可以是DVD-R等。而且,DVD-RW驱动器715可以是控制对BD-RE(Blu-ray(注册商标)Disc Rewritable)进行各种数据的读取或写入(存储)的蓝光驱动器、或控制对CD-RW(Compact Disc-ReWritable)进行各种数据的读取或写入的CD-RW驱动器。计时器716是具有时间测量功能的计量装置。计时器716也可以是计算机的软件计时器。
信息处理服务器70具备总线710。总线710是用于电连接图6所示的CPU701等各个构成要素的地址总线和数据总线等。
通信管理服务器90由普通计算机构建,如图6所示,包括CPU901、ROM902、RAM903、HD904、HDD905、介质I/F907、网络I/F908、显示器911、键盘912、鼠标913、DVD-RW驱动器915和总线910。这些要素分别与信息处理服务器70中的CPU701、ROM702、RAM703、HDD705、介质I/F707、网络I/F708、网络I/F7、显示711、键盘712、鼠标713、DVD-RW驱动器715和总线710构成相同,因此省略说明。
上述各程序是可安装格式或可执行格式的文件,可以存放在计算机可读的存储介质中流通。作为存储介质的例子,可列举CD-R(Compact DiscRecordable)、DVD、蓝光光盘、SD卡等。存储介质可作为程序产品(ProgramProduct)提供给国内或国外。例如,信息处理服务器70通过执行本发明涉及的程序来实现与本发明涉及的信息处理方法。
·功能构成·
接下来,用图7~图13说明本实施方式涉及的远程控制系统1a的功能构成。图7和图9是实施方式涉及的远程控制系统的一例功能构成的示意图。图7和图9显示的是图1所示的各终端、装置以及服务器中与后述的处理或动作相关的内容。
·控制装置的功能构成
首先,用图7说明控制机器人10的处理或动作的控制装置30的功能构成。控制装置30具有收发部31、受理部32、显示控制部33、判断部34、通信控制部35、状态信息取得部36、位置信息取得部37、摄影指示部38、摄影图像取得部41、操作者特定部42、移动目的地设定部43、移动控制部44、臂操作控制部45、通信状态通知控制部49以及存储读取部39。这些部是通过图4中所示的各个构成要素中的任意一个要素,根据按照RAM303上展开的程序执行的CPU301发出的指令运行来实现的功能或者是发挥功能的装置。控制装置30还具有由图4所示的ROM302、HD304a或305a存储介质所构建的存储部3000。存储部3000是一例存储装置。
收发部31是通过来自图4所示的CPU301的指令以及网络I/F308实现的,其功能是通过通信网络9进行与其他设备之间的各种信息或信息的发送和接收。收发部31例如通过通信网络9从信息服务器70接收动作开始请求信息,请求对机器人10的动作开始。此外,收发部31将通过摄影图像取得部41获取的摄影图像数据发送到管理者终端50。收发部31是一例取得部。
受理部32是通过图4所示的CPU301发出的指令和输入输出I/F306实现的,其功能为接受对显示器14等的输入装置的操作输入。显示控制部33是通过图4所示的CPU301发出的指令和输入输出I/F306实现的,其功能是显示在显示器14上显示各种画面。判断部34是通过图4所示的CPU301发出的指令来实现的,其功能是进行各种判断。
通信控制部35是通过图4所示的CPU301发出的指令来实现的,其功能是控制与管理者终端50之间的远程通信。通信控制部35是一例通信控制装置。状态信息取得部36是通过图4所示的CPU301发出的指令以及外设连接I/F311实现的,其功能是取得表示机器人10状态的状态信息。状态信息取得部36例如将向机器人10与外设的连接状态、从电源供给单元105获取的机器人10的蓄电池剩余量、从移动控制部44获得的移动机构15的驱动状态等作为机器人10的状态信息而生成并取得。位置信息取得部37是通过图4所示的CPU301发出的指令以及外设连接I/F311所实现的,其功能是取得由加速度、方位传感器103或GPS接收部104检测的各方位(方位角、磁北)的方向等检测结果。各方位的方向等的检测结果是表示机器人10的规定时刻所处的位置和指向的位置信息。
摄影指示部38是由图4所示的CPU301发出的指令和外设连接I/F311实现的,其功能是对摄影装置12发出拍摄处理的指示。摄影指示部38例如将指示摄影装置12拍摄的指示信息发送到摄影装置12。
摄影图像取得部41是通过图4所示的CPU301中的指令以及外设连接I/F311实现的,其功能是获取通过摄影装置12获得的拍摄图像。摄影图像取得部41例如从摄影装置12取得摄影图像数据,即由摄影装置12拍摄被摄体所得到的图像数据。
操作者特定部42是通过图4所示的CPU301发出的指令来实现的,其功能是用于找出按动了设置在据点内的通知按钮20的操作者。操作者特定部42通过识别由摄影图像取得部41获得的摄影图像所表示的面部图像,来找出按动通知按钮20的操作者。
移动目的地设定部43是通过图4所示的CPU301发出的指令来实现的,其功能是设定机器人10的移动目的地。移动目的地设定部43例如基于从信息处理服务器70发送的动作开始请求信息,设定机器人10的移动目的地。移动目的地设定部43是一例设定部。
移动控制部44是通过图4所示的CPU301发出的指令和外设连接I/F311实现的,其功能是通过驱动移动机构15来控制机器人10的移动。移动控制部44例如根据从信息处理服务器70发送的动作开始请求信息,控制移动机构15的驱动,使得机器人10移动。移动控制部44是一例移动控制部。
臂操作控制部45是通过图4所示的CPU301发出的指令和外设连接I/F311实现的,其功能是控制可动臂16的操作。臂操作控制部45例如根据从管理者终端50发送的动作请求,使可动臂16变形,来改变移动臂16的朝向或位置。
通信状态通知控制部49是通过图4所示的CPU301发出的指令以及外设连接I/F311来实现的,其功能是控制用灯17及通知面板18进行的通信状态的通知。
存储读取部39是根据图4所示的CPU301发出的指令来执行的,其功能是在存储部3000中存储各种数据,或者从存储部3000中读取各种数据。存储部3000中,每当收到与管理者终端50通信时接收的图像数据和音频数据时进行改写存储。其中,基于改写之前的图像数据在显示器14上显示图像,基于改写之前的声音数据从扬声器307b中输出声音。另外,存储部3000保存摄影图像取得部41获得的摄影图像数据。存储部3000中存储的摄影图像数据在从摄影图像取得部41获取后经过规定时间的情况下可以删除,也可以删除被送往管理者终端50的数据。
ο操作者信息管理表
图8(A)是实施方式涉及的一例操作者信息管理表的概念图。存储部3000中构建了图8(A)所示的操作者信息管理表构成的操作者信息管理DB3001。该操作者信息管理表中将用于识别位于设有机器人10的据点内的操作者的操作者ID和操作者名以及特征量相关联地管理。其中,特征量是用于识别摄影图像取得部41得到的摄影图像数据中所包含人物的脸部的特征量。作为操作者特定部42中的图像处理,在执行成为处理对象的摄影图像数据中包含的人物脸部的对照处理(脸部对照处理)时,使用操作者信息管理表。
ο通知模式管理表
图8(B)是实施方式涉及的一例通知模式管理表的概念图。存储部3000中构建了如图8(B)所示的通知模式管理表构成的通知模式管理DB3009。该通知模式管理表中将表示与管理终端50之间通信状态的信息和对应通信状态的通知模式相关联地管理。其中,通信状态包括如下状态,表示正在与其他操作者或管理者通信的"正在通信"、表示与其他操作者或管理者的通信处于预约状态的"等待通信"、以及尚未启动用于与其他操作者或管理者通信的处理的空闲状态的"待机"等。另外,通知模式表示操作者能够视觉性识别机器人10的通信状态的通知方法。通知模式例如按照通信状况显示不同的灯17的点灯方法。例如,灯17根据点灯的颜色或闪烁的规则性等,以可以区别每种通知模式的方式点灯。
·管理者终端的功能构成
接着,用图7说明管理者终端50的功能构成。管理者终端50具有收发部51、受理部52、显示控制部53、判断部54以及存储读取部59。这些部是通过图5中所示的各个构成要素中的任意一个要素,根据按照RAM503上展开的程序的CPU501发出的指令来实现的功能或者发挥功能的装置。另外,管理者终端50具有由图5所示的ROM502或存储介质506a构建的存储部5000。存储部5000是一例存储装置。此外,管理者终端50安装了用于远程操作机器人10的专用应用程序。管理者终端50例如通过CPU501执行安装了的应用程序程序来实现每项功能。
收发部51是通过图5所示的CPU501的指令以及网络I/F507实现的,其功能是通过通信网络9和其他设备之间的各种信息或信息的发送和接收。收发部51例如通过通信网络9接收从机器人10(控制装置30)发送的摄影图像数据。此外,收发部51例如通过通信网络9从机器人10(控制装置30)接收表示机器人10的状态的状态信息。收发部51是一例通信请求接收部。收发部51也是一例通信装置。
受理部52是通过来自图5所示的CPU501的指令以及键盘512或鼠标513等输入部来实现的,其功能是接受对管理者终端50的各种选择或操作输入。显示控制部53是通过图5所示的CPU501发出的指令实现的,其功能是在管理者终端50的显示器511上显示各种画面。判断部54是通过图5所示的CPU501发出的指令来实现的,其功能是进行各种判断。
存储读取部59是通过图5所示的CPU501发出的指令来执行的,其功能是在存储部5000中存储各种数据,或者从存储部5000中读取各种数据。在存储部5000中,每当收到的时候在进行与机器人10(控制装置30)的通信时接收的图像数据以及音频数据均被改写存储。其中,根据被改写之前的图像数据在显示器511上显示图像,根据被改写之前的音频数据,从扬声器508b中输出声音。
·信息处理服务器的功能构成
接着用图9说明信息处理服务器70的功能构成。信息处理服务器70具有收发部71、判断部72、检索部73、生成部74、计测部75以及存储读取部79。这些部是通过图6中所示的各个构成要素中的任意一个要素,根据来自按照RAM703上展开的程序的CPU701的指令来实现的功能或者是发挥功能的装置。信息处理服务器70具有由图6所示的ROM702、HD704或存储介质706构建的存储部7000。存储部7000是一例存储装置。
收发部71是由图6所示的CPU701发出的指令和网络I/F708实现的,通过通信网络9与其他设备之间的各种数据或信息的收发功能。收发部71从通知按钮20接收通过通信网络9接收通知按钮20的选择时发送通知信息的通知信息。此外,收发部71,例如将通过通信网络9,将使得机器人10移动到特定目的地的动作开始请求信息发送到机器人10。此外,收发部71将用于与机器人10进行远程通信的通信请求发送到管理者终端50。收发部71是通知信息接收部的一个例子。此外,收发部71还是输出部的一个例子。再者,收发部71是通信请求发送部的一个例子。
判断部72是通过图6所示的CPU701发出的指令来实现的,其功能是进行各种判断。检索部73是通过图6所示的CPU701发出的指令来实现的,其功能是根据通知按钮20发送的通知信息,检索提出动作请求的机器人10。检索部73是一例决定部。生成部74是通过图6所示的CPU701发出的指令来实现的,其功能是生成各种数据或信息。生成部74生成通信履历信息,该通信履历信息表示例如机器人10与管理者终端50之间的通信履历。计测部75是通过图6所示的CPU701中的指令和计时器716实现的,其功能是计测在机器人10和管理者终端50之间通信时域建立之前的处理时间。
存储读取部79是通过图6所示的CPU701发出的指令执行的,其功能是在存储部7000中存储各种数据,或者从存储部7000中读取各种数据。
ο据点信息管理表
图10(A)是实施方式涉及的据点信息管理表的一例概念图。存储部7000构建如图10(A)所示的据点信息管理表构成的据点信息管理DB7001。该据点信息管理表中将用于识别设有作为信息处理服务器70的控制对象的机器人10的据点的据点ID和据点名称以及用来识别设置在该据点的通知按钮20的按钮ID相关连地管理。信息处理服务器70在据点内的操作者按动通知按钮20的情况下,根据发送通知信息的通知按钮20的按钮ID,来确定设置有为控制对象的机器人10的据点。
ο位置信息管理表
图10(B)是实施方式涉及的位置信息管理表的一例概念图。存储部7000中构建如图10(B)所示的位置信息管理表构成的位置信息管理DB7002。该位置信息管理表中将每个据点ID的用来识别机器人10的终端ID和终端名、以及表示机器人10的位置的位置信息相关连地管理。其中,位置信息包含纬度和经度的信息,随时从机器人10发送到信息处理服务器70。位置信息的形式不限于纬度和经度的信息,只要是可以判别基地内的机器人10的位置的信息便可。
ο条件信息管理表
图10(C)是实施方式涉及的条件信息管理表的一例概念图。存储部7000中构建如图10(C)所示的条件信息管理表构成的条件信息管理DB7003。条件信息管理表中,将每个据点ID的用来识别通知按钮20的按钮ID和表示想机器人10发送控制请求的条件的条件信息相关联地管理。其中,条件信息包含关于机器人10的性能或运转状态等项目的条件。条件信息中包含的项目有例如机器人10的蓄电池剩余量、摄像装置12(摄像头)的性能、或可动臂16的性能等。此外,条件信息中包含的项目不限于此,还可以有例如从信息处理服务器70向机器人10提出动作开始请求的次数、频率等的使用履历的项目等。此外,条件信息中包含的项目与后述的状态信息管理DB7004中存储的状态信息所包含的项目相同。
条件信息之中,蓄电池剩余量项目中显示请求对象的机器人10的蓄电池剩余量的阈值。例如,在用按钮ID"btA01"识别的以通知按钮20A的选择为触机的控制请求时,蓄电池剩余量的条件为90%以上(≥90%)。
条件信息之中,相机项目中显示机器人10具备的摄影装置12的性能的阈值。在图11(A)所示的例子中,将摄影装置12类型作为摄影装置12的性能的阈值,用基于摄影装置12类型的可拍摄范围为条件。在这种情况下,按照摄影装置12的性能高低,依次为广角相机、移动相机和普通相机。可动相机是指具有旋转机构、能够一边改变摄影方向(朝向)一边摄影的相机,而普通相机则值是能够取得平面图像(详细图像)的普通数码相机。例如,在以选择用按钮ID"btA02"识别的通知按钮20A为触机的控制请求时,相机的条件是机器人10具备常规相机以上的性能。而在以选择用按钮ID"btA03"所识别的通知按钮20A为触机的控制请求时,相机的条件是机器人10具备可动摄像机以上的性能。在此,摄影装置12的性能阈值也可以是用数值表示分辨率和摄影范围的条件。
进而,条件信息之中,臂的项目显示机器人10配备的可动臂16的性能的阈值。例如,在以选择用按钮ID"btA01"识别的通知按钮20A为触机的控制请求时,臂的条件是机器人10具备机器手。
这样,条件信息管理表可以根据每个据点和通知按钮20设定不同条件信息,根据据点的类别或者通知按钮20的安装位置,设定对机器人10执行控制请求的条件。信息处理服务器70也可以是对条件信息管理表中显示的条件信息的内容进行适当增加、修正的构成。
ο状态信息管理表
图11(A)是是实施方式涉及的状态信息管理表的一例概念图。存储部7000中构建如图11(A)所示的状态信息管理表所构成的状态信息管理DB7004。该状态信息管理表中将每个据点ID的用来识别机器人10的终端ID、终端名、以及表示机器人10状态的状态信息相关连地管理。其中,状态信息包含关于机器人10的性能、当前运转状态等项目的数据。状态信息中包含的项目与图10(C)的条件信息管理表中所示的条件信息所包含的项目相同。机器人10的状态信息可分别从各个据点设置的机器人10的随时或定期发送到信息处理服务器70。信息处理服务器70根据状态信息管理表中所示的状态信息和条件信息管理表所示的条件信息,判断是否进行对该机器人10的控制请求。
ο管理者信息管理表
图11(B)是实施方式涉及的一例管理者信息管理表的概念图。存储部7000构建如图11(B)所示的管理者信息管理表所构成的管理者信息管理DB7005。该管理者信息管理表中将用来识别管理位于远方的据点的管理者的管理者ID、管理者名、表示管理者的发送目的地的管理者发送目的地信息、以及用于识别管理按钮20的按钮ID相关联地管理。其中,管理者发送目的地信息例如是管理者的电子邮件地址或分配给每个管理者的应用程序的ID等。而例如在管理者使用专用管理者终端50的情况下,管理者发送目的地信息也可以是表示管理者终端50的发送目的地的IP地址等。此外,管理者信息管理表中每个管理者被分配了作为管理对象的通知按钮20,信息处理服务器70根据操作者所选择的通知按钮20,向被分配的管理者发送与据点内的机器人10的通信请求的通知。
ο通知履历记录管理表
图11(C)是实施方式涉及的通知履历管理表的一例概念图。存储部7000构建了如图11(C)所示的通知履历管理表所构成的通知履历管理DB7006。该通知履历管理表中将据点ID、用来识别操作者所选择的通知按钮20的按钮ID、用来识别使用管理者终端50与机器人10进行远程通信的管理者的管理者ID、用来识别选择了通知按钮20的操作者的操作者ID、表示响应通知按钮20的选择进行管理者终端50和机器人10之间的远程通信的时间的通信时间、以及表示关于管理者终端50和机器人10之间的远程通信的通知履历信息的保存目的地的链接相关连地管理。信息处理服务器70在管理者终端50和机器人10的远程通信结束时,生成通知履历信息,并保存到通知履历管理表所示的保存目的地。此外,据点ID、按钮ID、管理者ID、操作者ID以及通信时间是通知履历数据的一个示例,也可以不包含作为通知履历数据的一部分项目。
·通信管理服务器的功能构成
以下用图9说明通信管理服务器90的功能构成。通信管理服务器90具有收发部91、认证部92、判断部93、创建部94和存储读取部99。这些部是通过图6所示的各个构成要素中的任意一个要素根据按照RAM903上展开的程序的CPU901所发出的指令来实现的功能或者发挥功能的装置。通信管理服务器90还具有由图6所示的ROM902、HD904或存储介质906构建的存储部9000。
收发部91是通过图6所示的CPU901发出的指令和网络I/F908实现的,其功能是通过通信网络9与其他设备之间进行各种数据或信息的收发。
认证部92是通过图6所示的CPU901发出的指令来实现的,其功能是根据发送部件91收到的登录请求信息,进行登录请求认证。认证部92例如以收发部91收到的登录请求所包含的终端ID以及密码作为检索键,搜索存储部9000的认证管理DB9001。然后,认证部92通过确定在认证管理DB9001中是否管理了同一组终端ID以及密码来进行终端认证。
判断部93是由图6所示的CPU901发出的指令来实现的,其功能是判断在后述的时域管理表中是否管理了管理终端50的终端ID。创建部94是由图6所示的CPU901发出的指令来实现的,其功能是创建通信所使用的时域ID。
存储读取部99是根据图6所示的CPU901发出的指令执行的,其功能是在存储部9000中存储各种数据,或者从存储部9000中读取各种数据。此外,存储部9000中存储后述的发送目的地名单画面900(参见图18)中的发送目的地名单框数据(不包含图18所示的图标、"rA01"、"机器人10A-1"等发送目的地名单内容信息)。
ο认证管理表
图12(A)是实施方式涉及的一例认证管理表的概念图。存储部9000中构建了如图12(A)所示的认证管理表构成的认证管理DB9001。该认证管理表将受通信管理服务器90管理的所有管理者终端50的每个终端ID与各个密码相关联地管理。例如,在图12(A)所示的认证管理表中,管理者终端50A的终端ID是"o01",密码为"aaaa"。
ο终端管理表
图12(B)是实施方式涉及的终端管理表的一例概念图。存储部9000中构建了如图12(B)所示的终端管理表所构成的终端管理DB9002。该终端管理表中将每个终端(机器人10及管理者终端50)的终端ID与各终端的终端名、终端的IP地址、表示各终端当前的运作状态的运作状态信息、以及终端为机器人10时的机器人10所在据点的据点名相关联地管理。例如,在图12(B)所示的终端管理表中,终端ID为"o01"的管理者终端50被表示为,其终端名为"管理者终端50A",该管理者终端50的IP地址是"1.2.1.3",运行状态是"在线(正在通信)"。另外,终端ID为"rA01"的机器人10被表示为,其终端名为"机器人10A-1",该机器人10的IP地址为"1.3.2.3",工作状态为"在线(可以通信)",据点名为"据点A"。
ο发送目的地名单管理表
图13(A)是实施方式涉及的一例发送目的地名单管理表的概念图。存储部9000中构建了由图13(A)所示的发送目的地名单管理表所构成的发送目的地名单管理DB9003。该发送目的地名单表中,将作为请求启动与机器人10通信的开始终端的每个管理者终端50的终端ID、与作为发送目的地的机器人10的候补而登录的发送目的地候补的机器人10的终端ID相关联地管理。例如,在图13(A)所示的发送目的地名单管理表中显示,可以提出从终端ID为"o01a"的开始终端(管理者终端50A)开启通信的请求的发送目的地候补为终端ID为"rA01"的机器人10A-1、终端ID为"rA02"的机器人10A-2、终端ID为"rC01"的机器人10C-1等。发送目的地候补的机器人10的终端ID可以通过从任意开始终端(管理者终端50)的增加到通信管理服务器90或者从通信管理服务器90删除的请求而被增加或者删除,从而获得更新。
ο时域管理表
图13(B)是实施方式涉及的时域管理表的一例概念图。存储部9000构建了如图13(B)所示的时域管理表构成的时域管理DB9004。该时域管理表中,对于每个用来识别机器人10和管理者终端50之间通信时所利用的时域的时域ID,将用该时域ID确定的时域与使用中的机器人10以及管理者终端50的终端ID相关联地管理。例如在图13(B)所示的时域管理表中,正在使用以时域ID"se1"执行的时域的终端被表示为,终端ID为"o01"的管理者终端50A、终端ID为"rA02"的机器人10A-2、以及终端ID为"rC01"的机器人10C-1。
·实施方式的处理或动作·
以下用图14~图28说明实施方式涉及的远程控制系统1a的处理或动作。在接下来的说明中,将机器人10所具备的控制装置30所执行的处理,作为机器人10执行的处理。
ο来自据点系统的呼叫处理
首先,用图14~图25说明从位于据点内的操作者(使用者)呼叫位于远方的管理者的处理。图14是实施方式涉及的从远程控制系统中的据点系统呼叫的一例呼叫处理的时序图。图14说明了设于据点A内的通知按钮20A中的某个通知按钮受到操作者按动时的处理,其他的据点(例如,据点B和据点C)的操作者呼叫管理者的呼叫处理也是同样的构成。另外,图14说明在图2所示的机器人10A-1和管理者终端50A之间进行远程通信时的示例,在其他机器人10和管理者终端50之间进行远程通信时也进行同样的处理。
设于据点A的机器人10A-1在收到来自信息处理服务器70的控制请求之前,处于待机状态(步骤S11)。具体而言,机器人10A-1在收到来自信息服务器70的控制请求之前的期间内,移动到图3所示的充电站150,由电源供给单元105进行蓄电池充电。机器人10A-1在收到来自信息处理服务器70的控制请求之前的期间内,在据点A内自律行驶,或者在事先存储的指定位置停止。也就是说,机器人10A-1在收到控制请求时,以能够开始被请求的动作的状态待机。
其次,据点A内的操作者(使用者),例如在操作过程中由于某异常发生等而想呼叫位于远处的管理者时,按动设在据点A内的通知按钮20A。在这种情况下,操作者按动通知按钮20A后,通知按钮20A的受理部22接受按钮的选择(步骤S12)。在步骤S12接受了按钮的选择后,位置信息取得部23取得通知按钮20A当前的位置信息(步骤S13)。在此,位置信息取得部23进行位置信息取得的时间点并不限于受理部22接受按钮选择,也可以事先在规定时间定期进行。然后,收发部21向信息处理服务器70发送用于呼叫位于远处的管理者的通知信息(步骤S14)。在此,通知信息中包含通知按钮20A的按钮ID以及步骤S13所取得的位置信息。由此,信息处理服务器70的收发部71收到从通知按钮20A发送的通知信息。
而后,信息处理服务器70根据步骤S14收到的通知信息,以据点A的机器人10为控制对象,执行检索处理(步骤S15)。在此,用图15详述机器人10的检索处理。图15是实施方式涉及的信息处理服务器的一例机器人检索处理的流程图。
首先,存储读取部79以收发部71收到的通知信息所包含的位置信息为检索键,检索据点信息管理DB7001(参照图10(参照A)),从而读取对应的据点ID(步骤S151)。在此,存储读取部79读取的据点ID是据点A的据点ID"locatinA"。另外,存储读取部79以步骤S151读取的据点ID作为检索键,检索条件信息管理DB7003(参照图10(参照C)),读取对应的条件信息(步骤S152)。
然后,检索部73将受理部71收到的通知信息中包含的位置信息作为检索键,检索位置信息管理DB7002(参照图10(B)),找出与所选的通知按钮20A所处位置相距最近的机器人10(步骤S153)。具体来说,检索部73从步骤S151读取的据点ID(此时据点ID为"locatinA")所对应的位置信息管理表中管理的机器人10之中,提取表示与通知信息中包含的位置信息相距最近的位置信息相关联的终端ID。然后,检索部73将用提取的终端ID识别的机器人10定为与所选择的通知按钮20A相距最近的机器人10。在以下的说明中,检索部73将用终端ID"rA01"识别的机器人10A-1定为与所选的通知按钮20A相距最近的机器人10。在上述说明中,设定检索部73确定与通知按钮20A相距最近的机器人10,但是,用机器人10发送的摄影图像或事先存储的据点的信息等来找出机器人时,除了离通知按钮20A的距离,还考虑据点内的障碍物和移动路径(例如更加优选直行路线方向)等移动便利性时,也可以指定机器人10。
其次,存储读取部79以步骤S153确定的机器人10A-1的终端ID作为检索键,检索状态信息管理DB7004(参照图11(参照A)),从而读取机器人10A-1的状态信息(步骤S154)。然后,判断部72判断步骤S154读取的机器人10A-1的状态信息是否满足步骤S152读取的条件信息所表示的条件(步骤S155)。在此,如图11(A)所示,状态信息中包含了表示机器人10的性能和当前运行状态等的信息。例如,机器人10A-1的蓄电池剩余量为80%,搭载的摄影装置12的种类为可动相机,安装的臂的种类为机器手。在此,由于状态信息通过从各机器人10向信息处理服务器70定期发送,因此状态信息管理DB7004管理机器人10各自的状态信息。除此之外,状态信息也可以是按照来自信息处理服务器70的取得请求,从机器人10发送到信息处理服务器70的构成。
在此,当机器人10A-1的状态信息满足步骤S152读取的条件信息所表示的条件时(步骤S155的是),判断部72使处理前往步骤S156。相反,当当机器人10A-1的状态信息不满足步骤S152读取的条件信息中所表示的条件时(步骤S155的否),则判断部72反复进行从步骤S153开始的处理。在这种情况下,在步骤S153中,检索部73通过检索位置信息管理DB7002(参照图10(B)),从机器人10A-1以外的机器人10A中来找出与通知按钮20A位置最接近的机器人10。
其次,判断部72判断步骤S153找到的机器人10A-1是否在发送收发部71A收到的通知信息的通知按钮20A周围的规定范围内(步骤S156)。换言之,判断部72判断收发部71收到的通知信息中包含的位置信息,与步骤S153找到的机器人10A-1的位置信息是否在规定范围内。在此,规定范围是指,可以把通知信息包含的位置信息和机器人10A-1的位置信息视为大致相同的范围。也就是说,在此成为判断基准的规定范围是,用来判断通知按钮20A是否安装在机器人10A-1上,可以根据表示位置信息的数据的类别或精度来决定。
当判断部72判断机器人10A-1在通知按钮20A周围的规定范围内时(步骤S156的是),使处理前往步骤S157。然后,生成部74生成按钮搭载旗,该按钮搭载旗表示在步骤S153所找出的机器人10A-1上搭载了发送通知信息的通知按钮20A(步骤S157)。相反,当判断部72判断机器人10A-1不在通知按钮20A周围的规定范围内时(步骤S156的否),则结束处理。在此,生成部74也可以生成表示是否搭载通知按钮20A的信息用以作为按钮搭载旗。在这种情况下,如果判断部72判断机器人10A-1不在通知按钮20A周围的规定范围内,则生成部74生成表示通知按钮20A未被搭载的按钮搭载旗。
由此,信息处理服务器70便能够根据据点A的操作者为了呼叫管理者而选择的通知按钮20A的位置,来从设于据点A的多个机器人10A中确定用来与管理者使用的管理者终端50A进行远程通信的机器人10A-1。
返回图14,继续说明从据点A的操作者呼叫管理者的呼叫处理。信息处理服务器70的收发部71将表示请求控制对象的机器人10动作开始的控制请求的动作开始请求信息,发送到通过检索部73确定的机器人10A-1(步骤S16)。在此,动作开始请求信息中包含由生成部74生成的按钮搭载旗以及步骤S14收到的通知按钮20A的位置信息。另外,动作开始请求信息在信息处理服务器70没有进行步骤S157的处理的情况下,既可以不包含按钮搭载旗,也可以包含表示机器人10A-1未搭载通知按钮20A的信息。由此,机器人10A-1的收发部31收到从信息处理服务器70发送的动作开始请求信息。
其次,机器人10A-1的通信控制部35在步骤S16收到动作开始请求信息的情况下,设机器人10A-1为通信待机状态(步骤S17)。在此,通信等待状态指的是,例如不受理来自其他操作者或管理者的控制请求,成为与步骤S16收到的动作开始请求信息所对应的管理者进行远程通信的预约状态。然后,机器人10A-1根据步骤S16收到的动作开始请求信息,执行机器人10A-1的动作开始处理(步骤S18)。
在此,用图16说明机器人10A-1的动作开始处理的内容。图16是实施方式涉及的一例机器人动作开始处理的流程图。首先,判断部34判断收发部31是否收到按钮搭载旗(步骤S181)。判断部34判断收到按钮搭载旗,也就是在动作开始请求信息中包含按钮搭载旗的情况下(步骤S181的是),将处理转移到步骤S182。在这种情况下,步骤S12中操作者所选择的通知按钮20A是搭载于机器人10A-1的通知按钮20A(如图2所示的通知按钮20-4)。
其次,摄影图像取得部41取得摄有机器人10A-1周围被摄体的摄影图像(步骤S182)。具体来说,摄影指示部38向摄影装置12发送针对摄影装置12的摄影指示。然后,摄影图像取得部41根据来自摄影指示部38的摄影指示,取得用摄影装置12拍摄了被摄体的拍摄图像。
而后,操作者特定部42找出由摄影图像取得部41得到的摄影图像中所包含的操作者(步骤S183)。具体来说,操作者特定部42对摄影图像中包含的人物脸部图像,进行脸部核对处理(脸部认证处理),该脸部和对处理使用操作者信息管理DB3001(参见图8)中保存的各操作者的特征量。然后,操作者特定部42将具有用面部核对处理核对的特征量的操作者定为摄影图像中包含的操作者。操作者特定部42的脸部核对处理使用通用技术,所以省略详述。
而后,移动目的地设定部43将操作者特定部42找到的操作者的位置设定为机器人10A-1的移动目的地(步骤S184)。然后,移动控制部44使用移动机构15,开始移动到由移动目的地设定部43设定的特定移动目的地(步骤S185)。在这种情况下,机器人10A-1追随操作者特定部42指定的操作者进行移动。另外,操作者特定部42指定的操作者是按动机器人10A-1上搭载的通知按钮20A(图2所示通知按钮20A-4)的操作者。
机器人10A-1在用摄影装置12拍摄操作者的同时开始移动,通过与上述面部核对处理相同地识别被拍摄的操作者,一边移动一边找出成为移动目的地的操作者的位置。因此,即使机器人10A-1移动到操作者想要和管理者进行远程通信的场所,依然可以将按动通知按钮20A的操作者的位置作为移动目的地,追随操作者移动。另外,按动通知按钮20A的操作者可以将机器人10A-1引导到想和管理者进行远程通信的场所。在此的所谓诱导是指机器人追随管理者移动。具体而言,例如,机器人通过图16所示的脸部认证处理将所识别的管理者作为移动目的地后,管理者移动到其他场所,机器人便追随该识别的脸部而移动。
另一方面,在步骤S181中,如果判断部34判断没有收到按钮搭载旗,即动作开始请求信息中不包含按钮搭载旗(步骤S181的否),则处理转移到步骤S186。在这种情况下,步骤S12中操作者选择的通知按钮20A是未搭载于机器人10A-1,并被设置在远离机器人10A-的位置上的通知按钮20A(如图2所示的通知按钮20A-1、20A-2、20A-3)。
摄影指示部38将摄影装置12的拍摄方向(朝向)设为收发部31收到的动作开始请求信息中包含的通知按钮20A的位置信息所表示的方向(步骤S186)。例如,当摄影装置12是可动摄像头的情况下,摄影指示部38转动可动摄像头,使得通知按钮20A的位置信息所表示的方向成为可动摄像头的摄影方向。另外,如果如图3所示支撑部件13是可动方式,摄影指示部38A也可以使支撑部件13旋转(转动),使得通知按钮20A的位置信息所显示的方向成为摄影装置12的摄影方向。以下的处理与步骤S182之后相同。
在这种情况下,机器人10A-1也追随由操作者特定部42确定的操作者移动。操作者特定部42确定的操作者是指按动了被设置在远离机器人10A-1的位置的通知按钮20A(图2所示通知按钮20A-4)的操作者。机器人10A-1通过拍摄受到选择的通知按钮20A的位置(方向),由操作者特定部42A找出按动了通知按钮20A的操作者。因此,机器人10A-1就可以移动到被设置在远离机器人10A-1位置的通知按钮20A附近的操作者的位置。另外,处于远离机器人10A-1的位置的操作者可以将机器人10A-1引导到自己所在位置。
因此,机器人10A-1可以以按动通知按钮20A的操作者的位置作为移动目的地,开始移动。此外,机器人10A-1还可找出被当作机器人10A-1A的移动目的地设定的按动通知按钮20A的操作者的位置,而不依赖受到选择的通知按钮20A的设置位置。
另外,移动目的地设定部43设定的操作者的位置并不是操作者的位置本身,而是在机器人10A-1移动之际为了不碰撞到据点A的人物或物体等障碍物,与包含操作者在内的人物和物体等障碍物相离规定距离的位置。如果在步骤S182获得的拍摄图像中含有障碍物等,机器人10A-1可以向信息处理服务器70发送无法开始动作(移动)的通知。在这种情况下,信息处理服务器70在除机器人10A-1以外的机器人10中,再次执行如图15所示的机器人检索处理。
返回图14,继续说明从据点A操作者呼叫管理者的呼叫处理。信息处理服务器70的存储读取部79以步骤S14收到的通知信息中包含的按钮ID作为检索键,检索管理管理者信息管理DB7005(参照图11(B)),来读取对应的管理者信息(步骤S19)。在此,管理者信息包括管理者ID、管理者名以及管理者目的地信息。其次,信息处理服务器70的收发部71向步骤S19读取的管理者目的地信息,发送表示步骤S15决定的机器人10A-1的通信请求的通信请求信息(步骤S20)。在此,通信请求信息中包含由步骤S15决定的机器人10A-1的终端ID以及步骤S14收到的通知按钮20A的按钮ID。由此,步骤S19所读取的管理者目的地信息所表示的发送目的地的管理者所使用的管理者终端50A的收发部51便收到信息处理服务器70发送的通信请求信息。此外,信息处理服务器70的收发部71还向机器人10A-1发送在步骤S19读取的管理者信息(步骤S21)。该管理者信息至少包含管理者名的信息。这样,机器人10A-1的收发部31便收到从信息处理服务器70发送的管理者信息。
关于步骤S16乃至步骤S18的处理与步骤S19乃至步骤S21的处理,两者的顺序既可以先后执行也可以并行。
而后,机器人10A和管理者终端50A之间,以取得步骤S20发送的通信请求信息的管理者为触机,执行通信时域的创建处理(步骤S22)。
在此,用图17~图19说明机器人10A-1和管理者终端50A之间的通信时域的创建处理。图17表示的是在与实施方式相关的机器人和管理人员终端之间开始数据收发的准备阶段处理的一个例子的序列图。在此,在作为起点终端的管理者终端50A和作为目标终端的机器人10A-1之间,对在开始接收数据之前的准备阶段中的各管理信息的收发处理进行说明。
首先,管理者终端50A的收发部51通过通信网络9向通信管理服务器90发送登录请求信息(步骤S101)。具体来说,管理者终端50A的用户将管理者终端50A的电源开关ON后,电源接通。然后,管理者终端50A的收发部51以上述电源ON为契机,从收发部51通过通信网络9向通信管理服务器90发送登录请求信息。由此,通信管理服务器90的收发部91受到从管理者终端50A发送的登录请求信息。
该登录请求信息中包含用于识别作为管理者终端50A的开始终端的终端ID以及密码。这些终端ID以及密码是由存储读取部59从存储部5000读取、并由收发部51发送的数据。此外,这些终端ID及密码不限于此,用户可以通过键盘511等输入装置来发送输入的终端ID和密码。另外,还可以发送从连接管理者终端50A的SIM(Subscriber Identity ModuleCard)卡或SD卡等存储介质中读取的终端ID和密码。
此外,在从管理者终端50A向通信管理服务器90发送登录请求信息时,作为接收方的通信管理服务器90可以获得发送方的管理者终端50A的IP地址。另外,登录请求的开始不一定需要将电源开关设为ON,也可以随着用户在显示器511等输入装置上的输入而发送。
其次,通信管理服务器90的认证部92以收发部91收到的登录请求信息中包含的终端ID和密码作为检索键,检索存储部9000的认证管理表(参见图12(A)),通过判断认证管理DB9001中是否保管了相同终端ID及相同密码,来进行认证(步骤S102)。以下,针对管理者终端50A是被认证部92判断为具有正当的使用权限的终端的情况进行说明。
而后,在认证部92根据保管了相同的终端ID以及相同的密码而判断为是来自于具有正当使用权限的开始终端的登录请求的情况下,存储读取部99从存储部9000中读取发送目的地名单框数据(步骤S103)。
收发部91通过通信网络9将通过认证部92得到的认证结果所表示的认证结果信息发送到提出上述登录请求的管理者终端50A(步骤S104)。该认证结果信息包含在步骤S103读取的发送给目的地名单框数据。由此,管理者终端50A的收发部51收到认证结果信息。然后,管理者终端50A的存储读取部59将通过步骤S104收到的发送目的地名单框数据保存到存储部5000中(步骤S105)。
而后,收发部51在收到表示了被判断为具有正当使用权限的终端的认证结果的认证结果信息的情况下,通过通信网络9向通信管理服务器90发送请求发送目的地名单的内容的发送目的地名单内容请求信息(步骤S106)。该发送目的地名单内容请求信息中包含管理者终端50A的终端ID。据此,通信管理服务器90的收发部9便收到发送目的地名单内容请求信息。
接着,通信管理服务器90的存储读取部99以在步骤S106收到的管理者终端50的终端ID"o01"作为检索键,检索发送目的地名单管理DB9003(图13(A)),来读取对应的所有发送目的地候补的终端ID(步骤S107)。进而,存储读取部99以在步骤S107读取的各终端ID作为检索键,检索终端管理DB9002(参见图12(B)),从而读取对应的发送目的地候补的终端名、运行状态信息以及据点名(步骤S108)。
然后,收发部91通过通信网络9向管理者终端50A发送目的地名单内容信息(步骤S109)。该发送目的地名单内容信息中包含步骤S107和S108所读取的发送目的地候补的终端ID、发送目的地候补的终端名、运行状态信息和据点名。由此,管理者终端50A的收发部51便收到发送目的地名单内容信息。
而后,管理者终端50A的显示控制部53在显示器511上显示,在步骤S105保存到存储部5000的发送目的地名单框数据、以及在步骤S109收到的发送目的地名单内容信息所制成的发送目的地名单画面900(步骤S110)。图18是实施方式涉及的管理者终端上显示的一例发送目的地名单画面的示意图。图18所示的发送目的地名单画面900显示每个发送目的地候补的发送目的地候补的终端(机器人10)的运作状态的图标、发送目的地候补的终端的终端ID、发送目的地候补的发送目的地名、以及发送目的地候补的终端所在的据点名。另外,在步骤S109收到的"终端名"在图18所示的发送目的地名单画面900中,显示为"发送目的地名"。
接着,用图19说明从管理者终端50的候选候补的选择到图像数据的收发开始为止的处理。图19是一例从与实施方式相关的发送目的地候补的选择到开始图像数据收发为止的处理的时序图。
首先,管理者终端50A的受理部52接受用户在图18所示的送信目的地名单画面900上的送信目的地候补(在此是机器人10A-1)的选择(步骤S111)。然后,收发部51向通信管理服务器90发送表示希望开始图像数据等的收发的开始请求信息(步骤S112)。该开始请求信息中包含管理者终端50A的终端ID以及发送目的地候补的终端的终端ID。由此,通信管理服务器90的收发部件91收到开始请求信息。
其次,通信管理服务器90的判断部93判断在步骤S112收到的管理者终端50A的终端ID是否受到时域管理表(参见图13(B))管理(步骤S113)。在此,针对发送目的地候补的终端(机器人10A-1)的终端ID未受到管理的情况,继续以下的说明。
在发送目的地候补的终端的终端ID未受到管理的情况下,创建部94新创建时域ID(步骤S114)。而后,存储读取部99在时域管理表(参见图13(B))中增加保存把步骤S114创建的时域ID和步骤S112收到的管理者终端50A的终端ID以及发送目的地候补的终端的终端ID相关联了的新记录(步骤S115)。在此,如图13(B)所示,加入了新的记录,因而时域ID"se3"与终端ID"o01"、"rA01"被相关联地受到管理。
然后,收发部91向管理者终端50A发送请求时域开始的时域开始请求信息(步骤S116)。该时域开始请求信息包含步骤S114创建的时域ID。由此,管理者终端50A的收发部51接收到时域开始请求信息。
接着,通信管理服务器90的存储读取部99以步骤S12收到的发送目的地候补的终端(机器人10A-1)的终端ID为检索键,检索终端管理DB9002(参见图12(B))的终端ID,读取对应的IP地址(步骤S117)。然后,收发部91向步骤S117读取的IP地址所表示的收信目的地候补的终端(机器人10A-1),发送请求时域开始的时域开始请求信息(步骤S118)。该时域开始请求信息包含在步骤S114创建的时域ID。由此,发送目的地终端(机器人10A-1)的收发部31收到时域开始指示。
按照以上所述,开始终端(管理者终端50A)和发送目的地终端(机器人10A-1)分别与通信管理服务器90建立通信时域(步骤S119-1,S119-2)。
而后,如图14所示,通信管理服务器90的收发部91向信息处理服务器70A发送表示已建立了机器人10A-1和管理者终端50A之间通信时域的时域建立通知(步骤S23)。由此,信息处理服务器70的收发部71便收到从通信管理服务器90发送的时域建立通知。机器人10A-1和管理者终端50A使用图17至图19所示的处理而建立的通信时域,经由通信管理服务器90进行远程通信(步骤S24-1,S24-2)。据此,远程控制系统1a可以开始设于据点A的机器人10A-1和位于远处的管理者终端50之间的远程通信。然后,按动据点A的通知按钮20A的操作者可以利用机器人10A-1,与以按动通知按钮20A为触机来呼叫的位于远处的管理者进行交流。
在此,机器人10A-1可以将步骤S17和步骤S18的处理与步骤S22和步骤S24-1的并行处理。机器人10A-1在步骤S17转移到通信待机状态后,处于可以随时响应管理者终端50的时域开始请求(图19的步骤S118)开始远程通信的状态。也就是说,机器人10A-1例如可以在向移动目的地设定部43设定的移动目的地移动时,开始与管理者终端50A的远程通信。在这种情况下,按动通知按钮20A的操作者可以一边向远程管理者展示的场所移动,一边与管理者的交流。ο机器人动作开始处理的另一个例子
在此说明另一例图16所示的机器人10A-1的动作开始处理。图20是实施方式涉及的机器人的另一例动作开始处理的流程图。图20所示的处理与图16所示处理的不同之处在于,判断部34判断未收到按钮搭载旗(步骤S181的否)之后的处理。也就是说,图20示出了操作者按动的通知按钮20A未搭载于机器人10A-1,而是被设置在远离机器人10A-1的位置上,这种情况下的处理与图16所示的处理方法有所不同。以下仅说明与图16所示处理的不同之处。在步骤S181中,判断部34判断收发部31没有收到按钮搭载旗,即动作开始请求信息中不包含按钮搭载旗的情况下(步骤S181的否),将处理转移到步骤S186a。
机器人10A-1的移动目的地设置部43将收发部31所收到的动作开始请求信息包含的位置信息所表示的位置,设定为机器人10A-1的移动目的地(步骤S186a)。然后,机器人10A-1的移动控制部44用移动机构15,开始向由移动目的地设定部43设定的特定的移动目的地的移动(步骤S185)。在这种情况下,机器人10A-1将移动到选择了的通知按钮20A的位置。因此,如果选定的通知按钮20A位于远离机器人10A-1的位置,则机器人10A-1A可以移动到该受到选择的通知按钮20A的位置。另外,在离开机器人10A-1的位置上的操作者还可以将机器人10A-1引导到自己按动的通知按钮20A的位置。
另外,移动目的地设定部43设定的位置并不是通知按钮20A的位置本身,而是在机器人10A-1移动时,为了不碰撞到据点A的人物和物体等障碍物,离开人物或物体等障碍物的规定距离的位置。
这样,机器人10A-1可以根据收到的所选的通知按钮20A的设置位置,不仅将机器人10A-1的移动目的地的设定为按动通知按钮20A的用户的位置,还可以设定为所选的通知按钮20A的位置。另外,在图16或图20所示的通知按钮20A未搭载于机器人10A-1的情况下移动目的地的设定方法,可以是事先设定执行某种处理的构成,例如,当用图16所示的处理无法找到操作者时,可以执行如图20所示处理的构成。
ο通信状态通知
接下来用图21~图23说明把机器人10的通信状态通知给据点内的操作者的处理。图21是是实施方式涉及的一例机器人通信状态的通知处理的流程图。图21的处理从图22(A)所示的机器人10处于待机之中的状态开始。待机状态之中的机器人10如图22(A)所示,灯17未点灯,通知面板18上显示"待机"的显示。这样,灯17和通知面板18通知对应于通知模式管理DB3009(参见图8(B))中存储的"通知模式C"。
机器人10A-1在经过步骤S17转移到通信待机状态的情况下(步骤S201的是),将处理转移到步骤S202。而在步骤S17转移到通信待机状态之前机器人10A-1反复进行步骤S201的处理(步骤S201的否)。
其次,存储读取部39通过检索通知模式管理DB3009(参见图8(B)),读取通信状态为对应"等待通信"的通知模式(在这种情况下为通知模式B)(在此情况下为步骤S202)。然后,通信状态通知控制部49根据步骤S202中读取的通知模式,切换通信状态的通知(步骤S203)。具体来说,如图22(B)所示,通信状态通知控制部49根据与待机中的通知模式(通知模式C)不同的通知模式(通知模式B),使灯17点亮。通信状态通知控制部49还在通知面板18上显示"等待通信"的信息。通信状态通知控制部49按照通知模式使灯17点灯的颜色或闪烁的规则性、以及通知面板18上显示的信息等,控制操作者能够视觉性地掌握通信状态。
然后,当在步骤S21收到管理者信息时(步骤S204的是),机器人10A-1将处理转移到步骤S205。另一方面,机器人10A-1在步骤S21收到管理者信息之前反复进行步骤S204的处理(步骤S204的否)。而后,通信状态通知控制部49给出管理者信息的通知,例如,如图22(B)所示的“理光太郎”,在通知面板18上显示在步骤S21收到的管理者信息中所包含的管理者名(步骤S205)。
接着,在步骤S23建立了与管理者终端50A的通信时域的情况下(步骤S206的是),机器人10A-1使处理转移到步骤S207。而在步骤S23建立与管理者终端50A的通信时域之前,机器人10A-1则反复进行步骤S206的处理。通信状态通知控制部49根据检索通知模式管理DB3009(参见图8(B))所读取的通信状态"正在通信"所对应的通知模式(此时为通知模式A),切换通信状态的通知(步骤S207)。具体而言,如图23所示,通信状态通知控制部49根据通信状态"正在通信"所对应的通知模式,切换灯17的点灯。通信状态通知控制部49还将通知面板18的显示从"等待通信"切换到"正在通信"。
这样,机器人10A-1通过按照通信状态改变灯17的颜色或闪烁规则性(闪烁时间点),或者改变通知面板18上显示的信息,可以让据点内的操作者掌握机器人10A-1的通信状态或通信对象的信息。这样,据点内的操作者可以根据例如通知的信息,掌握机器人10A-1是处于待机之中还是等待通信,由此避免操作者自身无意识地造成的因远程通信突然开始而带来的不愉快或减少不方便。
作为通信信息控制装置的灯17及通知面板18的通知,只要是至少以某种方式通知的构成即可。另外,通知面板18上显示的信息可以分割到多个通知面板上显示,或者在显示器14上显示一部分或全部。进而,通信状态通知装置不局限于灯17及通知面板18,也可以通过扬声器发出的声音等来通知机器人10的通信状态。
ο通信请求的取消
接下来说明取消用于开始机器人10和管理者终端50之间的远程通信的通信请求的处理。首先用图24说明在通信等待的状态下即使经过规定时间远程通信也未开始时取消通信请求的处理。图24是实施方式涉及的信息处理服务器中的一例通信请求取消处理的流程图。
信息处理服务器70的计测部75在步骤S20中向管理者终端50A发送通信请求信息后,用计时器716开始处理时间的计测(步骤S401)。在这种情况下,处理时间计测开始的时间点既可以是在步骤S16中发送动作开始请求信息时,也可以在步骤S22的时域建立处理开始时。
其次,计测部75在步骤S401中计测开始后经过预先规定时间时(步骤S402的是),使处理转移到步骤S403。然后,收发部71向机器人10A-1和管理者终端50A发送表示取消通信请求的取消信息(步骤S403)。
另一方面,计测部75在步骤S401中的计测开始之前未经过预先规定的经过时间的情况下(步骤S402的NO),将处理转移到步骤S404。在步骤S23收到时域建立通知的情况下(步骤S404的是),由于在规定时间内建立通信时域,因此信息处理服务器70结束处理,开始机器人10A-1和管理者终端50A的远程通信。相反,在步骤S23未收到时域建立通知的情况下(步骤S404的否),信息处理服务器70反复进行从步骤S402开始的处理。
接着用图25说明按照据点内的操作者提出的请求来取消通信请求的处理。图25是实施方式涉及的远程控制系统的一例通信请求取消处理的时序图。在图25的处理中,设机器人10A-1处于步骤S17被转移为通信待机状态。
首先,当据点A内的操作者按动设置在据点A内的通知按钮20A后,通知按钮20A的受理部22受理按钮的选择(步骤S451)。在这种情况下,通知按钮20A既可以是与步骤S12中选择的同一个按钮,也可以是用于取消通信请求的专用按钮。位置信息取得部23在步骤S451中受理了按钮的选择后,取得通知按钮20A的当前位置信息(步骤S452)。位置信息取得部23的位置信息的取得,并不限定在受理部22受理按钮选择的时间点进行,也可以在事先规定的时间点定期进行。然后,收发部21向信息处理服务器70发送表示请求取消远程通信的取消请求信息(步骤S453)。在此,取消请求信息包含通知按钮20A的按钮ID和在步骤S452取得的位置信息。这样,信息处理服务器70的收发部71收到通知按钮20A发送的取消请求信息。
其次,信息处理服务器70的存储读取部79以步骤S453收到的取消请求信息中所包含的按钮ID为检索键,检索管理者信息管理DB7005(参键图11(B)),读取对应的管理者信息(步骤S454)。在此,管理者信息包括管理者ID、管理者名和管理者发送目的地信息。接着,信息处理服务器70的收发部71向步骤S454中读取的管理者发送目的地信息所表示的发送目的地,发送取消在步骤S15决定的对于机器人10A-1的通信请求的取消信息(步骤S455)。该取消信息包括步骤S15中决定的机器人10A-1的终端ID以及在步骤S454中收到的通知按钮20A的按钮ID。由此,步骤S454所读取的管理者发送目的地信息中所表示的发送目的地的管理者使用的管理者终端50A的收发部51A便收到信息处理服务器70发送的取消信息,中止开始与机器人10A-1的远程通信的处理。
这样,远程控制系统1a可以在经过了规定时间之后机器人10A-1和管理者终端50A之间的远程通信未开始的情况下,或者根据据点内的操作者请求,取消一度启动了的远程通信的开始处理。这样,在尽管进行了管理者呼叫但管理者却没有回应,或者管理者呼叫后不需要该呼叫了的情况下,据点内的操作者可以用简便的方法取消处理,提高了便利性。
·远程通信的结束处理
接下来用图26和图27说明终止管理者终端50和机器人10之间的远程通信时的处理。图26是实施方式涉及的机器人和管理者终端之间的远程通信结束时的一例处理的序列图。图26所示的处理是管理者终端50A和机器人10A-1使用图17至图19所示的处理建立的通信时域进行远程通信时的处理。
首先,机器人10A-1的收发部31向信息处理服务器70发送表示与管理者终端50A的远程通信结束的通信结束信息(步骤S31)。在此,从机器人10A-1发送的通信结束信息中,包括摄影图像取得部41取得的拍摄图像的摄影图像数据、以及用于识别在步骤S12选择通知按钮20的操作者的操作者ID。
而且,管理者终端50A的收发部51向信息处理服务器70发送表示与机器人10A-1之间的远程通信结束的通信结束信息(步骤S32)。在此,从管理者终端50A发送的通信结束信息中,包含了用于识别使用管理者终端50A进行远程通信的管理者的管理者ID。由此,信息处理服务器70的收发部71收到从管理者终端50A发送的通信结束信息。在此,步骤S31和步骤S32的处理顺序既可以先后进行,也可以同时并行。
然后,信息处理服务器70的生成部74使用步骤S31以及步骤S32所收到的通信结束信息,生成从据点A的操作者向远处的管理者的发出的通知履历的通知履历信息(步骤S33)。然后,存储读取部79将步骤S33生成的通知履历信息存储在通知履历管理DB7006(参见图11(C))中(步骤S34)。具体来说,存储读取部79将生成部74生成的通知履历信息存储在通知履历管理表所示的保存目的地的链接中。
在此说明通知履历管理DB7006中存储管理的一例通知履历信息。图27是实施方式涉及的一例通知履历信息。图27显示通知履历管理DB7006中存储的通知履历信息显示在机器人10的显示器14或管理者终端50的显示器511上的一例通知履历显示画面600。图27所示的通知履历显示画面600上包含供通知履历数据显示的通知履历数据显示区域611、机器人10A-1的摄影装置12在据点A内拍摄的据点图像613、表示有关于机器人10A-1和管理者终端50A之间远程通信的信息的文本显示区域615。
其中,通知履历数据显示区域611中显示用通知履历管理DB7006存储的通知履历数据所确定的操作者姓名(操作者姓名)、据点名、按钮名(所选择的通知按钮20A名)、管理者姓名以及通信时间的信息。另外,在文本显示区域615中用文本形式显示远程通信中的对话内容、以及使用管理者终端50或机器人10A-1所具备的输入装置输入的备忘记录等。另外,在通知履历显示画面600上还可以包含由管理者用管理者终端50的CMOS传感器505a拍摄的拍摄图像。
据此,远程控制系统1a通过在信息处理服务器70中管理通知履历信息,可以记录所执行的远程通信是从哪一方呼叫哪一方、什么内容。因此,据点的操作者或管理者可以将通知履历信息中所表示的内容,作为其后在据点内所发生的事件或可能发生了的事件的改善材料。以上说明了通知履历信息被存储在信息处理服务器70中管理的例子,但是通知履历信息也可以是存储在机器人10或管理者终端50中的构成。
ο远程通信结束时的处理
接着,用图28说明远程通信结束时机器人10的移动处理。图28是实施方式涉及的一例机器人远程通信结束时的处理的流程图。
首先,当与上述管理者终端50A的远程通信结束时(步骤S301的是),机器人10A-1处理步骤转移到步骤S302。而机器人10A-1在与管理者终端50A远程通信进行中的情况下(步骤S301的否),反复进行步骤S301的处理,继续与管理者终端50A的远程通信。
其次,发送目的地设定部43将预先设定的基准位置设定为机器人10A-1的移动目的地(步骤S302)。在此,基准位置是如图3所示的充电站的设置位置,或者在步骤S185的移动开始前的机器人10A-1的位置等。然后,移动控制部44使用移动机构15,开始向移动目的地设定部43设定的移动目的地移动(步骤S303)。
这样,机器人10在远程通信结束时,开始向预先设定的基准位置移动,通过自动离开操作者,可以减低远程通信结束后机器人10在停留在附近而给操作者带来不愉快感。
如上所述,实施方式涉及的远程控制系统1a通过以据点内的操作者按动通知按钮20为触机,可以让据点内的操作者呼叫远处的管理者,进行远程通信。远程控制系统1a通过使得设置在据点内的机器人10A-1移动到根据选择了的通知按钮20A的位置信息所设定的目的地,据点内的操作者可以在想要进行远程通信的位置与管理者交流。
·实施方式的变形例·
接下去说明实施方式的变形例涉及的远程控制系统。对与上述实施方式相同构成和相同功能的,赋予相同符号,并省略说明。实施方式的变形例涉及的远程控制系统1b是,据点内设置的多个机器人之中具备如上述实施方式所示的信息处理服务器70的功能的机器人10(以下称为具有服务器功能的机器人)的系统。在下面的说明中,将具有服务器功能的机器人10作为机器人10a(控制装置30a),并将其他机器人10作为机器人10b(控制装置30b)进行说明。机器人10b(控制装置30b)是与上述实施方式中说明的机器人10(控制装置30)相同的构成。控制装置30a是信息处理装置的一个例子。
·机能构成
图29是与实施方式的变形例涉及的远程控制系统的一例功能构成的示意图。除具有服务器功能的机器人10a(控制装置30a)以外,其他装置或终端的功能与图7所示的功能相同,因此省略说明。
控制机器人10a的处理或动作的控制装置30a具有收发部31a、受理部32a、显示控制部33a、判断部34a、通信控制部35a、状态信息取得部36a、位置信息取得部37a、摄影指示部38a、摄影图像取得部41a、操作者特定部42a、移动目的地设定部43a、移动控制部44a、臂操作控制部45a、通信状态通知通知部49a以及存储读取部39。这些分别与机器人10(即机器人10b)中的收发部31、受理部32、显示控制部33、判断部34、通信控制部35、状态信息取得部36、位置信息取得部37、摄影指示部38、摄影图像取得部41、操作者特定部42、移动目的地设定部43、移动控制部44、臂操作控制部45、通信状态通知部49以及存储读取部39等构成相同。进而,控制装置30a除上述构成之外,还具有检索部46a、生成部47a以及计测部48a。检索部46a、生成部47a以及计测部48a分别与信息处理服务器70中的检索部73、生成部74和测量部75的构成相同。在此,收发部31a是通知信息接收部的一个例子。另外,收发部31a是输出部的一个例子。进而,收发部31a还是通信请求发送部的一个例子。检索部46a是决定部的一个例子。
存储部3000a中,除了机器人10(机器人10b)的存储部3000的构成之外,还构筑了据点信息管理DB3002、位置信息管理DB3003、条件信息管理DB3004、状态信息管理DB3005、管理者信息管理DB3006以及通知履历管理DB3007。这些DB分别与信息处理服务器70中的据点信息管理DB7001、位置信息管理DB3003、条件信息管理DB7003、状态信息管理DB7004、管理者信息管理DB7005以及通知履历管理DB7006相同。存储部3000a是存储部的一个例子。
·实施方式的变形例的处理或动作
接着,用图30说明实施方式的变形例涉及的远程控制系统1b的动作或处理。图30是实施方式变形例涉及的远程控制系统中一例从据点系统发出的呼叫处理的时序图。在图30的说明中,将机器人10aA-5所具备的控制装置30aA-5执行的处理,作为机器人10aA-5执行的处理。而将由机器人10bA-1所具备的控制装置30bA-1所执行的处理,作为由机器人10bA-1所具备的控制装置30bA-1执行的处理。
设于据点A的机器人10bA-1及机器人10aA-5在收到来自信息处理服务器70的控制请求之前处于待机状态(步骤S51-1,S51-2)。该处理与图14所示的步骤S11的处理相同。
其次,位于据点A内的操作者(使用者)例如在操作过程中由于某些异常的发生等,想呼叫位于远处的管理者时,按动设置在据点A内的通知按钮20A。在这种情况下,操作者按动通知按钮20A后,通知按钮20A的受理部22接受按钮的选择(步骤S52)。位置信息取得部23在步骤S52手里了按钮的选择后,取得通知按钮20A的当前位置信息(步骤S53)。然后,收发部21向具有服务器功能的机器人10aA-5,发送通知信息(步骤S54),用以呼叫在远处的管理者。在此,通知信息中包含通知按钮20A的按钮ID和步骤S53取得的位置信息。由此,机器人10aA-5的收发部31a便收到从通知按钮20A发送的通知信息。
其次,机器人10aA-5根据步骤S54收到的通知信息,执行位于被作为控制对象的据点A的机器人10的检索处理(步骤S55)。机器人10aA-5中机器人10的检索处理与图15所示的信息处理服务器70中的处理相同,因此省略说明。在这种情况下说明的是,机器人10aA-5找出机器人10bA-1作为控制对象。
其次,机器人10aA-5的收发部31a,将表示请求控制对象的机器人10开始动作的控制请求的动作开始请求信息,发送到通过检索部46bA-1找到的机器人10bA-1(步骤S56)。在此,动作开始请求信息中包含由生成部47生成的按钮搭载旗、以及步骤S54收到的通知按钮20A的位置信息。在此,如果机器人10aA-5没有进行步骤S157的处理,则动作开始请求信息中不包含按钮搭载旗。由此,机器人10bA-1的收发部31收到机器人10aA-5发送的动作开始请求信息。
其次,在步骤S56收到动作开始请求信息的情况下,机器人10bA-1通信控制部35将机器人10bA-1设为通信待机状态(步骤S57)。在此,通信待机状态指的是,例如bu2接受来自其他操作者或管理者的控制请求,成为与步骤S56收到的动作开始请求信息所对应的管理者进行远程通信的预约状态。然后,机器人10bA-1根据步骤S56收到的动作开始请求信息,执行机器人10bA-1的动作开始处理(步骤S58)。机器人10bA-1的动作开始处理与图16或图20所示的处理一样,在此省略说明。机器人10bA-1通过执行如图16或图20所示的处理,开始向移动目的地设定部43a确定的移动目的地移动。
进而,机器人10aA-5的存储读取部39a以步骤S54收到的通知信息中包含的按钮ID作为检索键,检索管理者信息管理DB3006,读取对应的管理者信息(步骤S59)。在此,管理者信息包括管理者ID、管理者名和管理者发送目的地信息。而后,机器人10aA-5的收发部31a向步骤S59读取的管理者发送目的地信息表示的发送目的地,发送表示对于在步骤S55决定的机器人10bA-1的通信请求的通信请求信息(步骤S60)。在此,通信请求信息中包含步骤S55决定的机器人10bA-1的终端ID以及步骤S54收到的通知按钮20A的按钮ID。由此,步骤S59读取的管理者目的地信息所表示的发送目的地的管理者使用的管理者终端50A的收发部51便收到从机器人10aA-5发送的通信请求信息。而后,机器人10aA-5的收发部31a向机器人10bA-1发送在步骤S59读取的管理者信息(步骤S61)。该管理者信息至少包含管理者名的信息。由此,机器人10bA-1的收发部31收到从机器人10aA-5发送的管理信息。在此,步骤S56~步骤S58的处理和步骤S59~步骤S61的处理顺序既可以先后进行,也可以并行。
而后,取得在步骤S60发送的通信请求信息的管理者成为触机,机器人10bA-1和管理者终端50A执行如图17~图19所示的通信时域的建立处理(步骤S62)。通信管理服务器90的收发部91向机器人10aA-5发送时域建立通知,表示机器人10bA-1b和管理者终端50A之间建立了通信时域(步骤S63)。由此,机器人10aA-5的收发部31a收到从通信管理服务器90发送的时域建立通知。而后,机器人10bA-1和管理者终端50A用步骤S62的处理建立的通信时域,通过通信管理服务器90进行远程通信(步骤S641,S64-2)。据此,远程控制系统1b与上述实施方式描述的远程控制系统1a相同,可以开始设于据点A的机器人10bA-1和位于远处的管理者终端50A之间的远程通信。
这样,实施方式的变形例涉及的远程控制系统1b即使是在据点系统2配备具备服务器功能的机器人10a的构成情况下,也可以以据点内的操作者按动通知按钮20为触机,让据点内的操作者呼叫处于远处的管理者,进行远程通信。此外,在上述实施方式中说明的信息处理服务器70的其他处理,可以通过机器人10a进行同样的处理来执行。也就是说,实施方式的变形例涉及的远程控制系统1b也可以进行图21~图28所示的处理。
·总结·
如上所述,本发明的一种实施方式涉及的信息处理装置是控制设于规定据点内(例如在据点A内)的远程监控机器人(例如机器人10A)动作的信息处理装置(例如信息处理服务器70或控制装置30a)。信息处理装置从设置在据点内用于受理操作者操作的通知按钮20(一例操作装置)接收包含通知按钮20的位置信息的通知信息,向基于收到的通知信息中包含的位置信息和远程监控机器人的位置信息所决定的特定的远程监控机器人(例如机器人10A-1),输出前往移动目的地的动作开始请求,并将对特定的远程监控机器人的通信请求,发送到与远程监控机器人进行远程通信的管理者终端50A(例如管理者终端50A)。然后,信息处理装置使得特定的远程监控机器人开始向特定的移动目的地的移动,同时启动管理者终端50和特定的远程监控机器人之间的远程通信。据此,信息处理装置可以开始按照通知按钮20A的位置决定的特定远程监控机器人和管理者终端50之间的远程通信。此外,信息处理装置可以通过启动特定的远程监控机器人向特定的目的地的移动,使得远程监控机器人移动到操作者想要进行远程通信的场所。因此,信息处理装置可以提高远程通信的使用便利性。
另外,本发明的一种实施方式涉及的信息处理装置(例如信息处理服务器70或控制装置30a)根据收到的通知信息中包含的位置信息和多个远程监控机器人(例如机器人10A)的位置信息,确定与通知按钮20A(一例操作装置)相距最近的特定远程监控机器人(例如机器人10A-1),在被确定的特定的远程监控机器人的蓄电池剩余量为规定值以上的情况下,向该特定的远程监控机器人输出向特定的移动目的地的动作开始请求。因此,信息处理装置可以根据受到选择的通知按钮20A的位置和远程监控机器人的状态,向设于据点内的远程监控机器人之中合适的远程监控机器人,提出动作开始的请求。
进而,本发明的一种实施方式涉及的远程监控机器人是响应信息处理装置(例如信息处理服务器70或控制装置30a)的请求开始动作的远程监控机器人(例如机器人10、10b)。远程监控机器人从信息处理装置取得前往特定的移动目的地的动作开始请求,开始向取得的动作开始请求所表示的特定的移动目的地移动,在开始移动的情况下,按照管理者终端50的请求,开始与该管理者终端50的远程通信。因此,远程监控机器人可以以位于据点的操作者发出的呼叫为契机,响应被发送的动作开始请求开始移动,同时,启动与管理者终端50的远程通信。因此,远程监控机器人可以改善远程通信的便利性。
另外,本发明的一种实施方式涉及的远程监控机器人(例如机器人10、10b),在取得前往特定的移动目的地的动作开始请求的情况下,拍摄对通知按钮20(一例操作装置)进行操作的操作者,在远程监控机器人搭载通知按钮20的情况下,将拍摄的操作者的位置设定为特定的移动目的地。然后,远程监控机器人开始移动到被设定的特定的移动目的地。由此,即使操作者移动到想要与管理者进行远程通信的场所,远程监控机器人也可以以按动通知按钮20的操作者的位置作为移动目的地,追随操作者移动。另外,按动通知按钮20的操作者可将远程监控机器人引导到想要与管理者进行远程通信的场所。
再者,本发明的一种实施方式涉及的远程遥控机器人(例如机器人10、10b)在取得前往特定的移动目的地的动作开始请求,并且远程监控机器人未搭载通知按钮20(一例操作装置)的情况下,将通知按钮20的位置设定为特定的移动目的地。然后,远程监控机器人开始向被设定了的特定的移动目的地移动。这样,当通知按钮20被设置在远处时,远程监控机器人可以移动到通知按钮20的位置。另外,处在与远程监控机器人分开位置的操作者可以将远程监控机器人引导到自己按动的通知按钮20的位置。
再者,在本发明的一种实施方式涉及的远程监控机器人(例如机器人10、10b)中,取得的动作开始请求包括表示通知按钮20(操作手段的一个)是否搭载于远程监控机器人的按钮搭载旗(一例搭载可否信息)。然后,在取得的按钮搭载旗表示通知按钮20搭载于远程监控机器人的情况下,远程监控机器人将拍摄的操作者位置的设置设定为特定的移动目的地,而在通知按钮20未搭载于远程监控机器人的情况下,则将通知按钮20的位置设定未特定的移动目的地。由此,远程监控机器人可以根据信息处理装置(例如信息处理服务器70或控制装置30a)输出的按钮搭载旗来设定移动目的地,因此可以根据选择的通知按钮20的设置位置,开始向不同移动目的地的移动。
进而,本发明的一种实施方式涉及的远程控制系统,是具备信息处理装置(例如,信息处理服务器70或控制装置30a)和根据来自信息处理装置的请求开始动作的远程监控机器人(例如,机器人10、10b)的据点控制系统3、以及具备管理者终端50a的远程控制系统1a、1b。管理者终端50从信息处理装置接收通信请求,根据收到的通信请求,开始与特定的远程监控机器人(例如机器人10A-1)之间的远程通信。因此,远程控制系统1a、1b可以以设于据点内的通知按钮20A的选择为触机,开始远程监控机器热和位于远处的管理者终端50之间的远程通信。
最后,本发明的一种实施方式涉及的远程控制系统1a、1b具备存储通信履历信息的存储装置(例如,存储部7000),该通信履历信息表示包含对通知按钮20(一例操作装置)进行操作的操作者和使用管理者终端50的管理者的信息,并表示特定的远程监控机器人(例如机器人10A-1)和管理者终端50(例如管理者终端50A)之间的通信履历。据此,远程控制系统1a、1b可以保存所执行的远程通信是由谁呼叫,什么内容。因此,据点的操作者或管理者可以将通知履历信息中所表示的内容,作为其后据点内发生的问题或可能发生的问题的改善材料。
·补充·
以上说明了本发明的实施方式涉及的信息处理装置、远程监控机器人、据点控制系统、远程控制系统、信息处理方法以及程序,但本发明并不受到上述实施方式的限制,允许在本发明领域的技术人员可预见的范围内对本发明进行其他实施方式的增删或更改等改变,但无论何种方式,只要起到本发明的作用及效果,均属于本发明范畴。
上述实施方式的各项功能可通过一个或多个处理电路实现。在此,本说明书中的"处理电路"是指,通过电子线路安装的处理器那样的通过软件来执行各功能的经过编程的处理器,以及设计为可以执行上述的各项功能的ASIC(Application Specific IntegratedCircuit),DSP(digital signal processor),FPGA(field programmable gatearray),SOC(System on a chip),GPU(Graphics Processing Unit)和传统的电路模块等的设备。
上述实施方式的各种表格既可以通过机器学习的学习效果生成,也可以通过机器学习对相关的各个项目的数据进行分类而不使用表格。在此,机器学习指的是用于让计算机上获得像人那样的学习能力的技术,从事先导入的学习数据中自律生成数据识别等的判断所需要的算法,并应用到新数据中进行预测的技术。机器学习的学习方法是有教师学习、无教师学习、半教师学习、强化学习、深层学习中的任何一种方法,而且也可以是这些学习方法结合起来的学习方法,对用于机器学习学习的学习方法没有任何限制。
·标记的说明·
1a,1b 远程控制系统
3 控制系统
10,10a,10b 机器人(一例远程监控机器人)
12 摄影装置
17 灯(一例通信状态通知装置)
18 通知面板(一例通信状态通知部)
20 通知按钮(一例操作装置)
30,30b 控制装置
30a 控制装置(一例信息处理装置)
31,31b 收发部(一例取得部)
31a 收发部(一例通知信息接收部、一例输出部、一例通信请求发送部)
35,35b 通信控制部(一例通信控制装置)
43,43b 目标设定部(一例设定部)
44,44b 移动控制部(一例移动控制部)
46a 一例检索部(决定部)
50 管理者终端
51 收发部(一例通信请求接收部、一例通信部)
70 信息处理服务器(一例信息处理装置)
71 收发部(一例通知信息接收部、一例输出部、一例通信请求发送部)
73 检索部(一例决定部)
3000,3000a,3000b 存储部(一例存储部)
5000 存储部(一例存储部)
7000 存储部(一例存储部)
90 通信管理服务器

Claims (23)

1.一种信息处理装置,用来控制被设置在预定据点内的远程监控机器人的动作,其中具备,
通知信息接收部,用于接收来自被设置在所述据点内用来受理操作者操作的操作部发送的、包含该操作部的位置信息的通知信息;
输出部,用于向基于收到的所述通知信息中包含的位置信息以及所述远程监控机器人的位置信息所决定的特定的远程监控机器人,输出前往特定的移动目的地的动作开始请求;以及,
通信请求发送部,用于将针对所述特定的远程监控机器人的通信请求送往与所述远程监控机器人进行远程通信的管理者终端,
在开始所述特定的远程监控机器人向所述特定的移动目的地移动的同时,启动所述管理者终端与所述特定的远程监控机器人之间的远程通信。
2.根据权利要求1所述的信息处理装置,其中进一步,
具备决定部,该决定部用于根据收到的所述通知信息中包含的位置信息以及多个所述远程监控机器人的位置信息,决定离开所述操作部最近的所述特定的远程监控机器人,
在决定了的所述特定的远程监控机器人满足关于该远程监控机器人状态的规定条件的情况下,所述输出部向所述特定的远程监控机器人输出所述动作开始请求。
3.根据权利要求2所述的信息处理装置,其中,
所述规定条件是关于所述远程监控机器人的蓄电池剩余量的条件,
在所述特定的远程监控机器人的蓄电池剩余量在规定值以上的情况下,所述输出部向该特定的远程监控机器人输出所述动作开始请求。
4.根据权利要求1至3中任意一项所述的信息处理装置,其中,
所述特定的移动目的地是对所述操作部进行了操作的操作者的位置,
使得所述特定的远程监控机器人开始向所述操作者的位置移动。
5.根据权利要求1至3中任意一项所述的信息处理装置,其中,
所述特定的移动目的地是收到的所述操作部的位置信息所表示的位置,
使得所述特定的远程监控机器人开始向所述操作部的位置移动。
6.根据权利要求1至5中任意一项所述的信息处理装置,其中,如果所述远程通信经过规定时间后没有开始,则所述通信请求发送部向所述管理者终端发送取消所述通信请求的取消信息。
7.根据权利要求1至5中任意一项所述的信息处理装置,其中,
所述通知信息接收部接收所述操作部发送的所述远程通信的取消请求,
所述通信请求发送部向所述管理者终端发送取消所述通信请求的取消信息。
8.一种远程监控机器人,该远程监控机器人响应权利要求1至7中任意一项所述的信息处理装置发送的请求而开始动作,其中具备,
取得部,用于从所述信息处理装置取得所述动作开始请求;
移动控制部,用于启动向所取得的所述动作开始请求所表示的特定的移动目的地移动;以及,
在所述移动开始了的情况下,响应来自所述管理者终端的请求,开始与该管理者终端之间的远程通信。
9.根据权利要求8所述的远程监控机器人,其中具备,
摄影部,其在取得了所述动作开始请求的情况下,拍摄对所述操作部进行了操作的操作者;以及,
设定部,用于将被拍摄了的所述操作者的位置设定为所述特定的移动目的地,
所述移动控制部启动前往所设定的所述特定的移动目的地的移动。
10.根据权利要求9所述的远程监控机器人,其中,在所述远程监控机器人搭载了所述操作部的情况下,所述设定部将拍摄了的所述操作者的位置设定为所述特定的移动目的地。
11.根据权利要求8所述的远程监控机器人,其中进一步,
具备设定部,该设定部用于在取得了所述动作开始请求的情况下,将所述操作部的位置设定为所述特定的移动目的地,
所述移动控制部启动前往所设定的所述特定的移动目的地的移动。
12.根据权利要求11所述的远程监控机器人,其中,在所述远程监控机器未搭载所述操作部的情况下,所述设定部将所述操作部的位置设定为所述特定的移动目的地。
13.根据权利要求10或12所述的远程监控机器人,其中,
所述动作开始请求包含所述远程监控机器人是否搭载所述操作部的搭载可否信息,进而,
在取得了的所述搭载可否信息表示所述远程监控机器人搭载了所述操作部的情况下,所述设定部将被拍摄的操作者的位置设定为特定的移动目的地,而在取得了的所述搭载可否信息表示所述远程监控机器人未搭载所述操作部的情况下,所述设定部将所述操作部的位置信息设定为所述特定的移动目的地。
14.根据权利要求8至13中任意一项所述的远程监控机器人,其中,在所述远程通信结束了的情况下,所述移动控制部启动前往预设的基准位置的移动。
15.根据权利要求8至14中任意一项所述的远程监控机器人,其中,进一步具备用于通知所述远程通信的通信状态的通信状态通知部。
16.根据权利要求15所述的远程监控机器人,其中,所述通信状态通知部使得灯以可以区别所述通信状态的方式点灯。
17.根据权利要求15或16所述的远程监控机器人,其中,所述通信状态通知部显示使用所述管理者终端的管理者的信息。
18.一种据点控制系统,其中具备权利要求1至7中任意一项所述信息处理装置、以及响应所述信息处理装置的请求开始动作的所述远程监控机器人。
19.一种远程控制系统,其中具备权利要求18所述的据点控制系统和所述管理者终端,其中,
所述管理者终端具备,
通信请求接收部,用于接收来自所述信息处理装置的所述通信请求;以及,
通信部,用于响应收到的通信请求,开启与所述特定的远程监控机器人之间的远程通信。
20.根据权利要求19所述的远程控制系统,其中具备存储部,该存储部中保存通信履历信息,该通信履历信息包含所述操作者和使用所述管理者终端的管理者的信息,且表示所述特定的远程监控机器人和所述管理者终端之间的通信履历。
21.一种供信息处理装置执行的信息处理方法,该信息处理装置用来控制被设置在预定据点内的远程监控机器人的动作,所述信息处理方法执行,
通知信息接收步骤,接收来自被设置在所述据点内用来受理操作者操作的操作部发送的、包含该操作部的位置信息的通知信息;
输出步骤,向基于收到的所述通知信息中包含的位置信息以及所述远程监控机器人的位置信息决定的特定的远程监控机器人,输出前往特定的移动目的地的动作开始请求;以及,
通信请求发送步骤,将针对所述特定的远程监控机器人的通信请求送往与所述远程监控机器人进行远程通信的管理者终端,
在启动所述特定的远程监控机器人向所述特定的移动目的地移动的同时,开启所述管理者终端与所述特定的远程监控机器人之间的远程通信。
22.一种计算机可读的记录介质,其中存储程序,该程序通过处理器执行,执行权利要求21所述的信息处理方法。
23.一种计算机装置,其中具备内存和处理器,所述内存中存储程序,该程序通过处理器执行,执行权利要求21所述的信息处理方法。
CN202010611424.7A 2019-07-03 2020-06-30 信息处理装置及方法、远程监控机器人、据点控制系统 Pending CN112187845A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019124664 2019-07-03
JP2019-124664 2019-07-03
JP2020107059A JP2021013159A (ja) 2019-07-03 2020-06-22 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
JP2020-107059 2020-06-22

Publications (1)

Publication Number Publication Date
CN112187845A true CN112187845A (zh) 2021-01-05

Family

ID=71409179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010611424.7A Pending CN112187845A (zh) 2019-07-03 2020-06-30 信息处理装置及方法、远程监控机器人、据点控制系统

Country Status (3)

Country Link
US (1) US20210001487A1 (zh)
EP (1) EP3760391A1 (zh)
CN (1) CN112187845A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225682A (zh) * 2021-04-15 2022-10-21 本田技研工业株式会社 管理服务器、远程操作系统、远程操作方法以及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949940B2 (en) * 2017-04-19 2021-03-16 Global Tel*Link Corporation Mobile correctional facility robots
JP7234724B2 (ja) * 2019-03-20 2023-03-08 株式会社リコー ロボットおよび制御システム
CN112936300B (zh) * 2021-01-27 2023-09-12 深圳市华成工业控制股份有限公司 冲压机器人通信方法及系统
JP7468423B2 (ja) * 2021-03-24 2024-04-16 トヨタ自動車株式会社 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム
CN114102602B (zh) * 2021-12-08 2022-06-03 山东省地质矿产勘查开发局第一地质大队(山东省第一地质矿产勘查院) 一种远程控制地质测绘自走机器人的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571715A (zh) * 2008-04-30 2009-11-04 悠进机器人股份公司 机器人远程控制系统
CN103379306A (zh) * 2012-04-25 2013-10-30 株式会社理光 传送管理系统、传送系统以及传送管理方法
CN106254632A (zh) * 2016-07-26 2016-12-21 青岛欧开智能系统有限公司 远程操控装置
US20180213362A1 (en) * 2017-01-20 2018-07-26 Panasonic Intellectual Property Management Co., Ltd. Method, controller, telepresence robot, and storage medium for controlling communications between first communication device and second communication devices

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11154981B2 (en) * 2010-02-04 2021-10-26 Teladoc Health, Inc. Robot user interface for telepresence robot system
US10343283B2 (en) * 2010-05-24 2019-07-09 Intouch Technologies, Inc. Telepresence robot system that can be accessed by a cellular phone
EP2668008A4 (en) * 2011-01-28 2018-01-24 Intouch Technologies, Inc. Interfacing with a mobile telepresence robot
US9321173B2 (en) * 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
JP2015216598A (ja) * 2014-05-13 2015-12-03 トヨタ自動車株式会社 情報表示装置、及び車載機並びにデータ更新方法
US9796093B2 (en) * 2014-10-24 2017-10-24 Fellow, Inc. Customer service robot and related systems and methods
EP3229550A4 (en) * 2014-12-01 2018-01-03 Fujitsu Limited Pairing management method, pairing management program, and terminal device
JP2017147555A (ja) * 2016-02-16 2017-08-24 株式会社リコー 情報端末、プログラム、通信制御方法、通信システム
JP6934623B2 (ja) 2017-01-20 2021-09-15 パナソニックIpマネジメント株式会社 通信制御方法、テレプレゼンスロボット、及び通信制御プログラム
JP6761990B2 (ja) * 2017-05-22 2020-09-30 パナソニックIpマネジメント株式会社 通信制御方法、通信制御装置、テレプレゼンスロボット、及び通信制御プログラム
JP7013689B2 (ja) * 2017-06-21 2022-02-01 富士フイルムビジネスイノベーション株式会社 遠隔操作型移動ロボットおよびロボット制御システム
JP6788845B2 (ja) * 2017-06-23 2020-11-25 パナソニックIpマネジメント株式会社 遠隔通信方法、遠隔通信システム及び自律移動装置
US20190187691A1 (en) * 2017-12-18 2019-06-20 Steeringz, Inc. Safety of autonomous vehicles by remote support request

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571715A (zh) * 2008-04-30 2009-11-04 悠进机器人股份公司 机器人远程控制系统
CN103379306A (zh) * 2012-04-25 2013-10-30 株式会社理光 传送管理系统、传送系统以及传送管理方法
CN106254632A (zh) * 2016-07-26 2016-12-21 青岛欧开智能系统有限公司 远程操控装置
US20180213362A1 (en) * 2017-01-20 2018-07-26 Panasonic Intellectual Property Management Co., Ltd. Method, controller, telepresence robot, and storage medium for controlling communications between first communication device and second communication devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225682A (zh) * 2021-04-15 2022-10-21 本田技研工业株式会社 管理服务器、远程操作系统、远程操作方法以及存储介质
CN115225682B (zh) * 2021-04-15 2024-01-19 本田技研工业株式会社 管理服务器、远程操作系统、远程操作方法以及存储介质

Also Published As

Publication number Publication date
EP3760391A1 (en) 2021-01-06
US20210001487A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
CN112187845A (zh) 信息处理装置及方法、远程监控机器人、据点控制系统
RU2644057C2 (ru) Способ и устройство для дистанционного управления
US9080877B2 (en) Customizing destination images while reaching towards a desired task
KR20160076264A (ko) 이동 단말기 및 그것의 제어방법
CN105550204A (zh) 控制位置定位模块的方法及装置
US10523859B2 (en) Portable camera and controlling method thereof
JP2013162323A (ja) 無線通信装置およびその制御方法、プログラム
US20230136003A1 (en) Information processing device and method for controlling image data thereof
CN105075355A (zh) 位置估计设备、位置估计方法、目标终端、通信方法、通信终端、记录介质以及位置估计系统
JP5435067B2 (ja) 通信システム、情報端末、通信方法及びプログラム
KR100682727B1 (ko) 이동 통신 단말기의 영상 파일 관리 방법 및 그 이동 통신단말기
JP2021013159A (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
JP2009206774A (ja) 画像伝送システム、画像伝送装置及び制御方法
JP2013162301A (ja) 無線通信装置およびその制御方法、プログラム
CN106777044A (zh) 图片推送方法及装置
US10862997B2 (en) Information processing device, information processing method, and information processing system
KR20200086570A (ko) 이미지의 촬영 장소를 추천하는 전자 장치 및 방법
US11398746B2 (en) Information processing method, mobile device and storage medium
CN109194920B (zh) 一种基于高清摄像机的智能寻物方法
KR20220017344A (ko) Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치
JP7400248B2 (ja) 移動体
JP2021060630A (ja) 中間サーバ装置、情報処理装置、通信方法
CN107734679B (zh) 通信方法及终端
JP7346983B2 (ja) 表示端末、遠隔制御システム、表示制御方法およびプログラム
JP2019086825A (ja) サーバ、情報取得装置、情報提供方法、情報送信方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination