CN104050241A - 远程操作接受系统、远程操作系统及程序 - Google Patents

Abstract

一种远程操作接受系统，抑制不符合操作目的的处理的执行结果的产生。本地服务器的主单元根据从远程操作装置接收的远程操作指令，使对象设备执行对应的处理(S400)。但在执行前，基于与远程操作指令一同从远程操作装置接收的管理ID，参照表示与该管理ID相关联的对象设备的观测结果的履历数据。基于该履历数据，检测操作基准时刻与当前时刻之间产生的对象设备的状况变化(S320～S345)。操作基准时刻是指当对于隔操作装置进行操作时，远隔装置画面所显示的状态被从观测装置观测到的时间点。状况变化较大的情况下，放弃远程操作指令(S430)，状况变化较小的情况下，使对象设备执行远程操作指令所对应的处理(S400)。

Description

远程操作接受系统、远程操作系统及程序

技术领域

本发明涉及一种接受远程操作指令以使对象设备执行对应处理的远程操作接受系统、具备该系统的远程操作系统、以及用于使计算机实现该系统具备的至少一部分功能的程序。

背景技术

以往，已知一种按照用户的指示来控制设备的系统。例如，已知一种机器人的远程操作系统，其能够容易地使设置在远程位置的机器人安全、准确地动作(例如，参照专利文献1)。

根据该系统，按照用户的指示，用户侧的装置对机器人控制装置发送动作指令(操作指令)。另一方面，用户侧的装置显示从机器人控制装置送达的实际的机器人状态。进一步，用户侧的装置推定无通信延时的机器人状态并显示推定的状态，使得用户能够使设置在远程位置的机器人如预期那样有效地动作。

在先技术文献

专利文献

专利文献1：日本特开平8—108387号公报

发明内容

发明所要解决的技术问题

可是，基于通信对车辆、机器人等对象设备进行远程操作(控制)的系统中，由于通信延迟，从与对象设备邻接的控制装置根据来自远程的用户侧装置的操作指令进行对对象设备的控制开始，到用户侧装置显示控制结果为止，会产生时间滞后。进而，从上述用户侧装置开始向控制装置发送遵照用户指示的操作指令，到控制装置对对象设备进行控制并且使对象设备执行上述操作指令所对应的处理为止，会产生时间滞后。

根据上述以往的技术，虽然可以通过推定对象设备的状态并显示该推定结果来抑制时间滞后的影响，但是，由于推定结果包含误差，该误差可能会导致用户在错误的现状认识下对对象设备进行远程操作。

另外，时间滞后较大的情况下，有时用户识别的远程操作时的对象设备状况与对象设备在执行远程操作指令所对应的处理时的对象设备状况存在着很大的差异。这种情况下，即使对象设备执行远程操作指令所对应的处理，可能也无法获得符合用户操作目的执行结果。

本发明是鉴于上述问题而做出的，目的在于提供一种技术，其可抑制由对象设备执行远程操作指令所对应的处理之前的时间滞后等引起的、不符合操作目的的执行结果的产生。

用于解决技术问题的方案

本发明的远程操作接受系统具备接收单元、发送单元、检测单元和控制单元。接收单元接收来自外部装置的对于对象设备的远程操作指令。发送单元根据来自观测装置的观测数据，生成用于提供给外部装置的表示对象设备状况的提供数据，并将该提供数据依次发送给外部装置。在此所说的观测装置是观测对象设备和对象设备周边的至少一方、并输出表示该观测结果的观测数据的装置。外部装置向所述远程操作接受系统发送所述远程操作指令，并且，根据从所述远程操作接受系统接收的所述提供数据显示所述对象设备的状况。在此说到的“状况”应为广义的解释，其范畴包括放置有对象设备的环境、即对象设备的周边环境(气氛)以及对象设备本身的状态。另外，对象设备是对夹持并搬运对象物的机器人臂等对象物赋予某些作用的设备时，对象设备的“状况”可包含对象设备赋予了作用的上述对象物的状态以及对象设备和对象物之间的相对状态。

检测单元根据来自观测装置的观测数据，检测执行前时刻与操作基准时刻之间产生的对象设备的状况变化，该执行前时刻是对象设备执行与接收单元接收的远程操作指令对应的处理之前的时刻。在此所说的操作基准时刻是指当对于隔操作装置进行操作时，远隔装置画面所显示的状态被从观测装置观测到的时间点。。

基于由该检测单元检测出的状况变化，当状况变化超过基准范围的情况下，控制单元使对象设备不执行与远程操作指令对应的处理，在状况变化成为所述基准以下的条件下，控制单元使对象设备执行与远程操作指令对应的处理。

根据该远程操作接受系统，用户识别的远程操作时的对象设备状况与执行对应于远程操作指令的处理之前的对象设备状况不同的情况下，例如，可以暂缓、禁止或中止对象设备执行与远程操作指令对应的处理。

因此，根据该远程操作接受系统，可以抑制对象设备实际根据远程操作执行该远程操作所对应的处理之前的时间滞后或者根据观测动作在外部装置显示对象设备状况之前的时间滞后引起的、不符合用户操作目的的执行结果的产生。

再有，在不能忽视上述时间滞后的程度，本发明可以适用于从外部装置分离的远程操作接受系统。因此，在此说到的“远程”应为广义的解释，外部装置与远程操作接受系统之间的距离没有具体限定。例如，外部装置和远程操作接受系统之间可以用至多数米左右的通信电缆连接，也可以借助因特网等广域网进行连接。

另外，上述的发送单元可以构成为，将来自观测装置的一部分或全部观测数据作为上述提供数据发送给外部装置。此外，发送单元可以构成为，对来自观测装置的观测数据进行加工或不进行加工，并将其作为上述提供数据发送给外部装置。

另外，远程操作接受系统可以构成为具备积存单元，该积存单元将来自观测装置的观测数据作为每个时刻的履历数据存储在存储装置中。这种情况下，检测单元可以构成为，参照存储装置存储的每个观测时刻的履历数据来检测对象设备的状况变化。

另外，发送单元可以构成为，将对于外部装置的提供数据与对应观测时刻的识别代码一同发送到外部装置。作为此处说到的识别代码，可以列举观测时刻本身或者能够确定观测时刻的数据管理代码等作为一例。另外，积存单元可以构成为，通过在每个观测时刻附加个别的识别代码的方式将上述履历数据存储在存储装置中。

与该远程操作接受系统的结构相对应，外部装置可以构成为，在执行指示发送远程操作指令的操作的条件下，将对应于操作的远程操作指令与操作时显示的状况的信息源、即提供数据的识别代码一同发送到远程操作接受系统。

这种情况下，远程操作接受系统具备的接收单元可以构成为，接收远程操作指令和识别代码。另外，检测单元可以构成为，参照存储装置存储的每个观测时刻的履历数据来检测对象设备的状况变化，此时，根据接收单元接收的识别代码，确定表示操作基准时刻的对象设备状况的履历数据。

此外，观测装置中可以包含摄像机，用于拍摄对象设备和对象设备周边的至少一方，并且将该拍摄图像数据作为上述观测数据输出。

然后，发送单元可以构成为，将来自摄像机的拍摄图像数据作为上述提供数据发送给外部装置。这种情况下，外部装置可以构成为，根据从远程操作接受系统送达的拍摄图像数据来显示图像。此外，检测单元可以构成为，根据该拍摄图像数据来检测对象设备的状况变化。

用户根据从显示在外部装置的拍摄图像中掌握的对象设备状况，进行远程操作。根据上述远程操作接受系统的结构，用户在远程操作时根据拍摄图像掌握的对象设备状况与上述执行时刻的状况不同的情况下，使对象设备不执行远程操作指令所对应的处理即可，从而可以抑制在对象设备执行不符合用户操作目的的处理。

并且，作为执行前时刻和操作基准时刻之间产生的对象设备的状况变化，不仅可着眼于执行前时刻与操作基准时刻这两点，检测单元可以是检测两点的状况差的单元，而考虑到执行前时刻与操作基准时刻之间的各个时刻的状况，检测单元也可以是检测操作前时刻与操作基准时刻之间的各个时刻发生的状况变化的单元。

例如，由检测单元检测的上述状况变化可以是将至少一个关注参数在执行前时刻的值与在操作基准时刻的值的差数值化而形成的标量或向量。此外，上述状况变化也可以将在执行前时刻与操作基准时刻之间的关注参数的变动量(例如，各时刻的变化量绝对值的积存值等)数值化，还可以将在执行前时刻与操作基准时刻之间的关注参数的变化幅度或变化率数值化。

顺带说一下，上述状况变化可以通过在执行前时刻和操作基准时刻之间有无发生引起对象设备状况变化的一种或多种指定事件来表示，也可以用发生次数来表示。用数值表示上述状况变化的情况下，控制单元使用的上述基准可以用阈值表示。另一方面，控制单元可以构成为，以没有发生指定事件为基准，在发生指定事件的情况下，判定上述状况变化大于基准，在没有发生指定事件的情况下，判定上述状况变化在基准以下。

另外，控制单元可以构成为，作为上述状况变化、即执行前时刻的对象设备状况与操作基准时刻的对象设备状况的差超过基准范围的情况下，在上述差变为基准范围以内之前，使对象设备不执行远程操作指令所对应的处理，以上述差成为基准以下为条件，使对象设备执行远程操作指令所对应的处理。顺带说一下，控制单元可以构成为，当上述差超过基准范围的状态持续了规定时间以上时，撤销远程操作指令。

控制单元构成为上述差超过基准范围时立刻撤销远程操作指令的情况下，当外部装置与远程操作接受系统的通信环境恶化或者对象设备的状况变化过激时，可能会产生如下不便。即，用户为了使对象设备执行远程操作指令所对应的处理，可能必须对外部装置进行几次操作。

针对这种情况，如果控制单元构成为，在上述差变为基准以内之前处于待机，在上述差成为基准以下的条件下，使对象设备执行远程操作指令所对应的处理，则能够抑制上述不便的产生。

此外，远程操作接受系统具备的各单元的至少一个单元的功能可以通过程序，由从外部装置接收对于对象设备的远程操作指令的信息处理系统的计算机来实现。用于使计算机实现这些功能的程序可以存储在CD-ROM和DVD等的光盘、磁盘以及半导体存储器等可计算机读取的存储介质中。

另外，本发明可以采取具备远程操作装置以及上述远程操作接受系统的远程操作系统的方式，该远程操作装置具有上述外部装置的特征。

附图说明

图1是表示远程操作系统的结构的框图。

图2是表示本地服务器的主单元执行的积存发送处理的流程图。

图3是表示远程操作装置的主单元执行的接收显示处理的流程图。

图4是表示本地服务器的主单元执行的指令接受处理的流程图。

图5是表示对象设备为车载装置时、经远程操作的GUI画面的变化图。

图6是表示履历数据组的第一例的图。

图7是表示履历数据组的第二例的图。

图8是表示履历数据组的第三例的图。

图9是用于说明基于振动变化来判断是否使对象设备执行远程操作指令所对应的处理的方法的图，也是根据图表示出振动(加速度)的时间变化的图。

图10是表示履历数据组的第四例的图。

符号说明

1、远程操作系统     10、对象设备      20、观测装置组

21、第一摄像机      23、第二摄像机    25、传感器

30、本地服务器      31、主单元        33、存储单元

35、通信单元        37、连接接口      50、远程操作装置

51、主单元          53、存储单元      55、通信单元

57、显示单元        59、输入单元      311、CPU

511、CPU            NT、广域网

具体实施方式

下面，参照附图对本发明的实施例进行说明。但是，本发明不限定于以下说明的实施例，可采取各种方式。

图1示出的本实施例的远程操作系统1具备远程操作对象的设备(以下表示为“对象设备”)10、观测装置组20、本地服务器30和远程操作装置50。作为对象设备10的一例，可以列举以产业用机器人和宇宙用机器人为代表的各种机器人、车辆、飞机、火箭和人造卫星等移动体以及搭载在这些移动体上的设备。

观测装置组20由用于观测对象设备10和对象设备10周边的多个观测装置21、23、25构成。图1示出了具备第一摄像机21、第二摄像机23及多个传感器25的观测装置组20的例子。作为第一摄像机21的一例，可以列举用于拍摄对象设备10的摄像机，作为第二摄像机23的一例，可以列举用于拍摄对象设备10的周边的摄像机。

具体为，第一摄像机21可以拍摄作为对象设备10的机器人臂，第二摄像机23可以拍摄该机器人臂搬运/操作的物体。此外，第一摄像机21可以拍摄作为对象设备10的车载装置，第二摄像机23可以拍摄搭载有该车载装置的车辆的周边(车辆前方等)。作为对象设备10是车载装置的例子，可以列举将发挥HMI(Human Machine Interface，人机界面)作用的、按照用户指示对车辆内进行控制的车载装置搭载在车辆上，从远程位置对车辆进行远程操作(运行)的例子。

作为多个传感器25的一例，可以列举用于观测对象设备10的周边环境的传感器或者用于观测对象设备10的状态的传感器。例如，可以列举用于检测对象设备10周边的温度/湿度/照度等的传感器，或者用于检测对象设备10或对象设备10具备的可动部的位置/速度/加速度/姿势/行进方向/振动/摇晃等的传感器，或者用于检测对象设备10的内部温度等的传感器等作为一例。

本地服务器30与对象设备10以及观测装置组20有线连接或无线连接。例如，本地服务器30与对象设备10以及观测装置组20搭载在同一移动体(车辆等)上。

该本地服务器30构成为既可控制对象设备10，又可取得来自于构成观测装置组20的各个观测装置21、23、25的观测数据。作为观测数据的一例，可以列举表示由第一摄像机21拍摄的对象设备10的拍摄图像的拍摄图像数据，表示由第二摄像机23拍摄的对象设备10周边的拍摄图像的拍摄图像数据，以及由传感器25检测出的物理量的检测值。

图1示出的本地服务器30具备主单元31、存储单元33、通信单元35以及连接接口37。主单元31主要具备CPU311、存储各种程序的ROM313以及未图示的RAM。CPU311通过执行基于ROM313所存储的程序的处理，实现本地服务器30具备的各种功能。

存储单元33是由闪存盘或硬盘装置等构成的辅助存储装置(换言之，可以电子重写数据的非易失性存储装置)，用于存储CPU311在执行处理时生成的数据或设定信息等。

通信单元35由主单元31控制，借助广域网NT实现与远程操作装置50的通信，例如，由蜂窝通信单元或WiFi通信单元等无线通信单元构成。连接接口37连接到对象设备10和观测装置组20，用于转接在对象设备10及观测装置组20与主单元31之间接受和发送的信号。

另一方面，远程操作装置50设置在远离对象设备10的远程位置，接受来自用户的操作。例如，远程操作装置50是通过在众所周知的个人计算机中安装用于实现作为远程操作装置50的功能的程序而构成。

图1示出的远程操作装置50具备主单元51、存储单元53、通信单元55、显示单元57和输入单元59。主单元51主要具备CPU511以及未图示的ROM和RAM，通过在CPU511中执行基于各种程序的处理，实现远程操作装置50具备的各种功能。各种程序存储在作为由闪存盘或硬盘装置等构成的辅助存储装置的存储单元53中。

通信单元55由主单元51控制，借助广域网NT实现与本地服务器30的通信。显示单元57由液晶显示器等构成、且由主单元51控制，显示面向用户的信息画面。另外，输入单元59由鼠标、触摸屏等指示器或者键盘等用户可操作的设备构成，向主单元51输入来自用户的操作信息(指令)。

接下来，利用图2说明本地服务器30的主单元31执行的积存发送处理。下面，为便于说明，以主单元31作为动作主体说明CPU31执行的处理。同样地，以主单元51作为动作主体说明CPU511执行的处理。

主单元31在预定的每个采样周期执行图2示出的积存发送处理。一旦开始积存发送处理，主单元31取得连接到连接接口37上的各个观测装置21、23、25输出的观测数据(步骤S110)。在步骤S110取得的一组观测数据表示在该时刻观测到的对象设备10的状况。在此所说的对象设备10的状况的范畴，除了包含对象设备10的周边环境(气氛)以外，还包含对象设备10自身的状态。

之后，主单元31将在步骤S110取得的每个观测装置的观测数据汇总后形成的履历数据，同管理ID关联起来登记到存储单元33的履历数据库(S120)。履历数据库是将每个观测时刻的履历数据同个别的管理ID关联起来进行登记的数据库。

结束步骤S120的处理后，主单元31根据在步骤S110取得的每个观测装置的观测数据生成提供给远程操作装置50的外部提供数据，向该外部提供数据附加对应的管理ID而形成通信数据，并且经由通信单元35将该通信数据发送到远程操作装置50(步骤S130)。

在步骤S130，生成存储了在步骤S110取得的每个观测装置的一部分或全部观测数据的外部提供数据，并且可以将其发送到远程操作装置50。外部提供数据可以是存储了由观测装置21、23、25输出的观测数据本身的数据，也可以是存储了观测数据的加工物或从观测数据中提取的信息的数据。例如，主单元31可以生成下述外部提供数据，该外部提供数据中存储了表示解析观测数据而得到的对象设备10状况的参数值。以下，将表示对象设备10状况的参数称作状况参数。

具体为，在步骤S130，可以发送只存储了在步骤S110作为观测数据取得的第一摄像机21及第二摄像机23的拍摄图像数据和传感器25的检测值中的、第一摄像机21和第二摄像机23的拍摄图像数据的外部提供数据。作为其他例子，在步骤S130，可以发送存储了所有在S110作为观测数据取得的第一摄像机21及第二摄像机23的拍摄图像数据和传感器25的检测值的外部提供数据。

另外，主单元31可以发送将解析上述拍摄图像数据而得到的拍摄对象的位置等作为上述状况参数存储的外部提供数据。例如，对象设备10是机器人臂的情况下，可以发送将机器人臂搬运的对象物体相对于机器人臂的相对位置作为上述状况参数存储的外部提供数据。

主单元31通过在每个采样周期执行上述步骤S110～S130的处理，对每个观测时刻的履历数据附加单独的管理ID并保存到存储单元33，由此将每个观测时刻的履历数据积存到存储单元33。管理ID可以是用日、时、分及秒等表示观测时刻的数据，也可以是在每次登记履历数据时用于计数的番号。管理ID只要是能够确定履历数据间的观测时刻关系的识别代码即可。

接下来，利用图3说明接收包含该外部提供数据和管理ID的通信数据的远程操作装置50的处理动作。一旦经输入单元59输入接收显示处理的执行指令，主单元51(具体为CPU511)开始图3示出的接收显示处理。

一旦开始接收显示处理，主单元51执行信息画面的更新处理(步骤S210)。具体为，在步骤S210判断通信单元55是否从本地服务器30接收了新的外部提供数据，在接收了新的外部提供数据的情况下，更新显示单元57所显示的信息画面，使其显示根据该外部提供数据确定的最新的对象设备10的状况。之后，进入步骤S220。另一方面，在没有接收新的外部提供数据的情况下，不更新信息画面，进入步骤S220。

在第一次的步骤S210，根据通信单元55从本地服务器30接收的外部提供数据，使显示单元57显示表示对象设备10状况的信息画面。该信息画面中显示的对象设备10的状况比实际观测时刻晚，且至少晚了从本地服务器30向远程操作装置50发送外部提供数据所需要的时间。

外部提供数据中包含第一摄像机21和第二摄像机23的拍摄图像数据的情况下，例如，第一摄像机21和第二摄像机23的拍摄图像显示在上述信息画面中。另外，外部提供数据中包含传感器25的检测值的情况下，例如，在上述信息画面中，传感器25的检测值显示为单纯的字符信息(数值)或者表示检测值的时间变化的图表。

一旦进入步骤S220，主单元51判断是否对对象设备10进行了远程操作。远程操作通过用户操作输入单元59进行。

然后，如果判断为没有对对象设备10进行远程操作(步骤S220的“否”)，则判断是否经输入单元59输入了接收显示处理的结束指令(步骤S240)。然后，在没有输入结束指令的情况下(步骤S240的“否”)，则进入步骤S210，在输入了结束指令的情况下(步骤S240的“是”)，则结束该接收显示处理。

另一方面，如果判断为对对象设备10进行了远程操作(步骤S220的“是”)，主单元51则经由通信单元55向本地服务器30发送使对象设备10执行与该远程操作对应的处理的远程操作指令(步骤S230)。

但是，向本地服务器30发送远程操作指令时，生成对远程操作指令附加了最新的外部提供数据的管理ID的通信数据，所述最新的外部提供数据是在该远程操作时刻显示在信息画面上的对象设备10的状况的信息源。然后，将该通信数据发送到本地服务器30。发送的管理ID是与作为上述信息源的最新外部提供数据一同从本地服务器30接收的管理ID。

之后，主单元51再次执行S210以后的处理。主单元51更新显示单元57所显示的信息画面，以使其显示最新的对象设备10的状况，同时接受对于对象设备10的远程操作，并且将对应的远程操作指令与管理ID一同发送。被发送的管理ID用于在本地服务器30确定当上述远程操作装置50进行上述远程操作的时刻显示在信息画面中的用户识别的对象设备10状况。

接下来，利用图4说明本地服务器30的主单元31为了接受该远程操作指令而执行的指令接受处理的详细内容。主单元31反复执行图4示出的指令接受处理。

一旦开始指令接受处理，主单元51在从远程操作装置50接收远程操作指令之前处于待机(步骤S310)。然后，一旦接收远程操作指令(步骤S310的“是”)，则执行步骤S320以后的处理。

在步骤S320，根据附加在从远程操作装置50接收的远程操作指令中的管理ID，参照存储单元33所存储的、与该管理ID相关联的履历数据。然后，根据该履历数据，计算上述管理ID所对应的观测时刻(以下也称作“操作基准时刻”)的状况参数值。该操作基准时刻与从远程操作装置50发送远程操作指令的上述远程操作时刻显示在信息画面中的对象设备10状况的观测时刻相对应。换言之，操作基准时刻与用户在进行远程操作时被推定为已识别的识别对象设备10的状况的观测时刻相对应。

在此计算出值的一组状况参数是指表示在使对象设备10执行远程操作指令所对应的处理时、对处理的执行结果产生影响的对象设备10的各种状况的一组参数。在此计算出值的一组状况参数中，不仅包含表示用户从信息画面可识别的对象设备10状况的参数，还包含表示根据未用于信息画面显示的观测装置的观测数据来确定的对象设备10状况的参数。另外，状况参数中，除了根据履历数据计算出值的参数以外，还包含通过抽出履历数据所表示的传感器25的检测值而形式地计算出的参数。

进而顺带说一下，在此计算出的状况参数中，还包含表示与操作基准时刻对应的瞬间的对象设备10的状态和对象设备10的周边状态的参数，以及表示从比操作基准时刻早规定时间的时刻到该操作基准时刻为止的状态变化的参数。此外，状况参数的一组中，还包含相当于用“0”、“1”表示是否发生了特定状况的一种标志的参数。

另外，根据状况参数的种类，计算该值的时候，不仅可以参照与操作基准时刻一致的观测时刻的履历数据，还可以参照其之前的观测时刻的履历数据。例如，作为状况参数，计算随时间变化的事态的变化量等情况下，还可以参照前一个观测时刻的履历数据。

具体地，作为根据履历数据中包含的拍摄图像数据而计算出的状况参数的一例，可以列举根据拍摄图像数据确定的对象设备10的位置/速度/加速度/姿势等参数，或者用表示其轨迹形状的值或时间序列数据等表示这些位置/速度/加速度/姿势等的时间变化(例如轨迹)的参数。另外，拍摄图像数据是拍摄了对象设备10的GUI画面的拍摄图像数据时，可以列举表示GUI画面上显示的对象的种类或显示位置的参数作为状况参数的一例。

此外，对象设备10是机器人臂的情况下，作为状况参数，可以列举表示机器人臂的状态(可动部的位置、姿势、振动量等)的参数，或者表示机器人臂搬运/操作的对象物体的状态(位置、姿势、振动量等)的参数作为一例。

在步骤S320中，如上所述地，在对象设备10执行基于远程操作指令的处理时，作为一组状况参数，计算该执行结果发生变化的一组参数在操作基准时刻的值。远程操作系统1的设计者可以对远程操作指令的各个种类预先设定应计算的值的一组状况参数。

一旦结束步骤S320的处理，主单元51计算在步骤S320计算出值的各个状况参数所对应的当前时刻的各状况参数的值(步骤S330)。即，在步骤S320计算操作基准时刻的状况参数值，在步骤S330计算与这些状况参数相关的当前值。

在步骤S330，可以参照存储单元33存储的最新履历数据，计算上述各个状况参数的当前值。或者，可以从观测装置组20取得最新观测数据，计算上述各个状况参数的当前值。对于仅参照最新履历数据则无法计算出状况参数的值的这类参数，也可以参照比当前早一点的观测数据，来计算对应的状况参数的当前值。

一旦结束步骤S330的处理，主单元51进入步骤S340，从在步骤S320、S330计算出值的一组状况参数中选择一个判断对象的状况参数，并且计算选择的状况参数的当前值与操作基准时刻的状况参数的值之间的差(步骤S345)。然后，判断该差是否在容许范围内(步骤S350)。当该差在容许范围内时(步骤S350的“是”)，判定为合格(步骤S360)，当该差不在容许范围内时(步骤S350的“否”)，判定为不合格(步骤S370)。之后，进入步骤S380。

例如，可以按照远程操作指令的各种类以及状况参数的各种类，预先设定在步骤S350的判断基准中使用的上述容许范围。状况参数是相当于用“0”、“1”二值表示是否发生上述的特定状况的标志的参数时，主单元51在状况参数的当前值与操作基准时刻的值一致的情况下，可以判断为该差在容许范围内，不一致的情况下，可以判断为该差不在容许范围内。

进入步骤S380，主单元31判断是否选择了所有的状况参数并执行了步骤S350的处理。然后，存在没有选择的状况参数的情况下(步骤S380的“否”)，进入步骤S340，重新选择一个未选择的状况参数。之后，执行步骤S345以后的处理。

如果判断为对所有的状况参数执行了步骤S350的处理(步骤S380的“是”)，则根据各状况参数的合格与否的判定结果，判断是否使对象设备10执行从远程操作装置50接收的远程操作指令所对应的处理(步骤S390)。

例如，判定所有状况参数合格的情况下，可以判断为使对象设备10执行远程操作指令所对应的处理；即使有一个状况参数判定为不合格的情况下，可以判断为使对象设备10不执行远程操作指令所对应的处理。

此外，也可以采取下述判断方法：所有状况参数内判定为合格的状况参数超过了规定比例的情况下，判断为使对象设备10执行远程操作指令所对应的处理，其以外的情况下，判断为使对象设备10不执行远程操作指令所对应的处理。或者也可以采取下述判断方法：对在步骤S360、S370判断时的合格与否程度进行打分，总分超过基准的情况下，判断为使对象设备10执行远程操作指令所对应的处理，其以外的情况下，判断为使对象设备10不执行远程操作指令所对应的处理。

在步骤S390，如果判断为使对象设备10执行远程操作指令所对应的处理(S390的“是”)，主单元31进入步骤S400，经由连接接口37将远程操作指令所对应的控制指令输入到对象设备10，使对象设备10执行远程操作指令所对应的处理。进一步，经由通信单元35将记载有执行了远程操作指令所对应的处理的消息的通信数据，发送到远程操作装置50(步骤S410)。之后，暂时结束该指令接受处理。

另外，在步骤S390，如果判断为使对象设备10不执行远程操作指令所对应的处理(步骤S390的“否”)，主单元31进入步骤S420，判断是否进行合格与否的再判定。在步骤S420，例如，在接收了远程操作指令后的规定时间内，可以判断为进行再判定，在接收了远程操作指令后的规定时间之后，可以判断为不进行再判定。

然后，如果判断为进行再判定(步骤S420的“是”)，主单元31进入步骤S330，再次计算当前时刻所对应的各状况参数的值，执行步骤S340之后的处理。另一方面，如果判断为不进行再判定(步骤S420的“是”)，主单元31进入步骤S430，经由通信单元35将记载有放弃远程操作指令意思的消息的通信数据发送到远程操作装置50(步骤S430)。之后，暂时结束该指令接受处理。在步骤S410、S430发送的通信数据中记载的消息，显示在远程操作装置50的信息画面上。

以上，虽然对本实施例的远程操作系统1的结构进行了说明，但是，可以在步骤S320、S330执行接下来的处理，以取代计算操作基准时刻的状况参数的值及当前时刻的状况参数的值。即，主单元31可以跳过步骤S320，在步骤S330参照从操作基准时刻到当前时刻的履历数据，执行检测在从操作基准时刻到当前时刻的期间内、所关注的状况有无变化的处理，或者检测关注状况的变化量的处理，并计算出表示有无变化或变化量的值作为状况参数。

在步骤S340选择了这种状况参数的情况下，可以跳过步骤S345，在步骤S350判断该状况参数所表示的变化量是否在容许范围内。或者，判断该状况参数是否表示没有状况变化，在表示没有变化的情况下可以判定为合格(步骤S360)，有变化的情况下可以判定为不合格(步骤S370)。

接下来，利用图5～图10对远程操作系统1的具体例进行说明。

〈具体例1〉

具体例1是对象设备10为车载装置的远程操作系统1。作为车载装置，其发挥HMI(人机界面)的功能，可以列举根据来自用户的指示控制车辆内(包含自身装置)的车载装置作为一例。具体地，可以列举显示GUI画面并按照对该GUI画面的来自用户的操作信息执行对应处理的装置作为一例。在本例的远程操作系统1中，用户经由远程操作装置50远程操作作为对象设备10的上述车载装置，由此，对车辆进行远程操作。

例如，本地服务器30上连接有用于拍摄车载装置的GUI画面的第一摄像机21、用于拍摄搭载有该车载装置的车辆前方的第二摄像机23以及GPS接收器、车速传感器和加速度传感器等多个传感器25，在存储单元33存储包含对应的观测数据的履历数据。在远程操作装置50中，根据外部提供数据中所包含的第一摄像机21的拍摄图像数据，显示车载装置的GUI画面。

当用户进行按下在远程操作装置50中显示的车载装置的GUI画面上显示的菜单窗口Wn(参照图5)的一个项目的远程操作时，自远程操作装置50向本地服务器30发送用于指示进行按下GUI画面的选择项目所对应坐标的操作的远程操作指令、即包含该坐标信息的远程操作指令。

在此，自远程操作装置50向本地服务器30发送该远程操作指令的期间，假定图5下侧显示的菜单窗口Wn在车载装置的GUI画面中消失。

这种情况下，相对于在操作基准时刻显示有菜单窗口Wn的状况，在接收远程操作指令之后的当前则是没有显示菜单窗口Wn的状况，由此，本地服务器30的主单元31在步骤S390判断使对象设备10执行远程操作指令所对应的处理。

另一方面，在接收远程操作指令之后的当前菜单窗口Wn显示在GUI画面的状况下，在步骤S390判断为使对象设备10执行远程操作指令所对应的处理。

根据该例，虽然用户进行对于GUI画面的远程操作以操作菜单窗口Wn，但是，在对象设备10执行远程操作指令所对应的处理时，可以通过使菜单窗口Wn消失，来抑制在对象设备10产生与操作目的不同的处理的执行结果。

〈具体例2〉

具体例2是对象设备10为机器人臂的远程操作系统1。例如，本地服务器30上连接有用于拍摄机器人臂的第一摄像机21、和通过拍摄该机器人臂的周边来拍摄机器人臂所搬运物体的第二摄像机23。另外，本地服务器30上连接有用于检测机器人臂具有的可动臂部的位置的多个传感器25，包含对应的观测数据的履历数据存储在存储单元33。例如，存储于存储单元33的每个观测时刻的履历数据如图6所示般构成。

图6示出的作为传感器25的第一～第四传感器是位置传感器，当在对应的位置存在可动臂部时，输出开(ON)信号，当不存在可动臂部时，输出关(OFF)信号。

在此，根据管理ID为“2”的外部提供数据将可动臂部处于第一位置的信息显示在远程操作装置50的信息画面时，假定用户对远程操作装置50执行了将可动臂部移动到下一个位置(第二位置)的远程操作。图6中，用粗框将管理ID为“2”的履历数据和管理ID围起来进行表示。

另一方面，存储有对应的远程操作指令及管理ID“2”的通信数据从远程操作装置50被发送到本地服务器30，本地服务器30接收该通信数据，假定主单元31执行步骤S330时的最新履历数据是管理ID为“5”的履历数据。图6中，也用粗框将管理ID为“5”的履历数据和管理ID围起来进行表示。

由图6可知，在主单元31执行步骤S330的时刻，最新履历数据显示可动臂部位于与操作基准时刻相同的第一位置。这种情况下，本地服务器30的主单元31将操作基准时刻的第一传感器为开、第二传感器为关、第三传感器为关、第四传感器为关的状况和当前时刻的第一传感器为开、第二传感器为关、第三传感器为关、第四传感器为关的状况进行比较，判断差在容许范围内。然后，在步骤S390判断为使对象设备10执行远程操作指令所对应的处理。

在步骤S320、S330，作为状况参数的值，主单元31计算第一至第四传感器的输出值，还可以根据第一摄像机21的拍摄图像计算可动臂部的状态值，进而还可以根据第二摄像机23的拍摄图像计算搬运对象物体的状态值。然后，以根据这些拍摄图像确定的状态值的差也在容许范围内为条件，可以判断为使对象设备10执行远程操作指令所对应的处理。

另一方面，如图7所示，可以考虑管理ID“5”的履历数据所表示的当前状况与管理ID“2”的履历数据所表示的操作基准时刻的状况不同的情况。由图7示出的例子可知，即使因某种理由使得操作基准时刻的第三传感器的输出为关，但当前时刻的第三传感器的输出也会变开。

这种情况下，本地服务器30的主单元31将操作基准时刻的第一传感器为开、第二传感器为关、第三传感器为关、第四传感器为关的状况与当前时刻的第一传感器为开、第二传感器为关、第三传感器为开、第四传感器为关的状况进行比较，判断为差在容许范围外。然后，在步骤S390判断为使对象设备10不执行远程操作指令所对应的处理。

另外，还可以考虑以下动作：根据远程操作指令的种类，虽然在远程操作时可动臂部处于等速变位的状况，但是，在接收对应的远程操作指令时可动臂部处于不等速变位的状况下，判断为在步骤S350该差在容许范围外。

由图8示出的例子可知，按照时间序列参照从操作基准时刻的履历数据(管理ID“2”的履历数据)到表示最新状况的履历数据(管理ID“7”的履历数据)为止的履历数据，可以确定可动臂部没有等速变位的状况。这样，本地服务器30的主单元31参照一定时期的履历数据组，可以确定当前的状况。

〈具体例3〉

具体例3是对象设备10为用于搬运液晶面板等易划伤物体的机器人臂的远程操作系统1。例如，本地服务器30上连接有用于拍摄机器人臂的第一摄像机21、以及通过拍摄该机器人臂的周边来拍摄机器人臂所搬运物体的第二摄像机23。另外，本地服务器30上连接有多个传感器25，其包含用于检测机器人臂具有的可动臂部的振动的传感器，在存储单元33存储包含对应的观测数据的履历数据。

这种情况下，本地服务器30的主单元31计算表示在过去的规定时间内是否发生了振动的参数值(步骤S320、S330)，作为状况参数。

由图9示出的例子可知，用户对远程操作装置50进行机器人臂的远程操作时显示在信息画面上的状况是，在过去5帧中没有发生加速度超过基准值(图9中用单点划线表示)的较大振动的状况。图9示出的例子中，操作基准时刻是管理ID“6”所对应的时刻。相反，在本地服务器30接收远程操作指令后的步骤S330的执行时刻、即管理ID“10”所对应的时刻，显示在信息画面上的状况是在过去5帧中发生了上述较大振动的状况。

这种情况下，在步骤S390，本地服务器30的主单元31判断为使对象设备10不执行远程操作指令所对应的处理。然后，在步骤S420进行肯定判断，重复步骤S330～S390、S420的处理，当过去5帧中没有发生上述较大振动的状况到来的时候，使对象设备10执行远程操作指令所对应的处理(步骤S400)。

如果使用如此动作的本地服务器30，在从用户远程操作机器人臂之后到远程操作指令执行之前发生了较大振动的情况下，可以暂缓执行远程操作指令所对应的处理。因此，在易发生振动期间，可以避免由于机器人臂执行远程操作指令所对应的处理而使搬运对象物体的受损伤，并且可以抑制由通信延迟导致的用户未预料到的处理的执行结果产生。

〈具体例4〉

具体例4是对象设备10为在宇宙空间进行作业的宇宙用机器人或人造卫星的远程操作系统1。例如，本地服务器30上连接有用于拍摄该对象设备10的第一摄像机21、以及通过拍摄该对象设备10所具有的可动臂部的前部来拍摄对象设备10搬运/操作的物体的第二摄像机23。另外，本地服务器30上连接有多个传感器25，其包含用于检测对象设备10的周边照度的传感器和用于检测对象设备10的太阳能发电板摆动量的传感器，在存储单元33存储包含对应的观测数据的履历数据。

在此，当基于管理ID为“1”的外部提供数据的对象设备10的状况被显示在远程操作装置50的信息画面时，假定用户通过远程操作装置50的输入单元59进行可动臂部的远程操作。图10中，用粗框将管理ID为“1”的履历数据和管理ID围起来进行表示。

另一方面，存储有对应的远程操作指令及管理ID“1”的通信数据从远程操作装置50被发送到本地服务器30，本地服务器30接收该通信数据，假定主单元31执行步骤S330时的最新履历数据是管理ID为“6”的履历数据。图10中，也用粗框将管理ID为“6”的履历数据和管理ID围起来进行表示。

这种情况下，本地服务器30的主单元31计算出对应于操作基准时刻的管理ID“1”的履历数据所表示的照度X1、和对应于当前时刻的管理ID“6”的履历数据所表示的照度X6之差，判断照度差△X是否在容许范围内。然后，以照度差△X在容许范围内为条件，在步骤S390判断为使对象设备10执行远程操作指令所对应的处理。

照度，对于通过对第一摄像机21和第二摄像机23的拍摄图像进行图像解析而检测出的对象设备10的位置、姿势或可动臂部搬运/操作的对象物体的位置、姿势等的检测误差产生影响。而且，对于来自太阳能发电板的供给电力产生影响。因此，照度△X在容许范围内的条件下，在步骤S390，如果判断为使对象设备10执行远程操作指令所对应的处理，则可以抑制由照度差引起的用户未预料到的处理的执行结果产生。

另外，根据从操作基准时刻所对应的管理ID“1”的履历数据到当前时刻所对应的管理ID“6”的履历数据为止的各履历数据所表示的太阳能发电板摆动量Y1～Y6，主单元31计算太阳能发电板的姿势变动率，变动率超过基准值的情况下，认为对象设备10的振动幅度较大，可以判断为使对象设备10不执行远程操作指令所对应的处理。

〈作用效果〉

以上，对本实施例的远程操作系统1的结构及处理动作进行了说明，根据该远程操作系统1，在由于通信延迟等而导致的、远程操作时用户识别的对象设备10状况与对象设备执行远程操作指令所对应的处理时的对象设备10状况不同于预定状况的情况下，使对象设备10不执行该远程操作指令所对应的处理，从而可以抑制不符合用户操作目的的处理的执行结果产生。

〈其他实施例〉

上述的实施例中，本地服务器30将履历数据积存在存储单元33中，根据积存的履历数据判断是否使对象设备10执行远程操作指令所对应的处理，但是，本地服务器30也可以构成为不积存履历数据。

例如，本地服务器30将上述判断所需的来自观测装置组20的观测数据作为外部提供数据发送到远程操作装置50，远程操作装置50可以构成为在发送远程操作指令时，向本地服务器30发送操作基准时刻所对应的观测数据。根据该例，本地服务器30即便不存储履历数据，也可以根据远程操作装置50送回的观测数据以及从观测装置组20得到的最新观测数据，进行上述判断。

另外，在上述实施例中，对每个履历数据赋予管理ID以构成履历数据库，但是，履历数据库也可以不对每个履历数据赋予管理ID。例如，本地服务器30可以使用履历数据的排列顺序信息以取代管理ID。即，本地服务器可以将存储了外部提供数据以及对应的履历数据的排列顺序信息的通信数据发送到远程操作装置50，远程操作装置50可以将操作基准时刻所对应的履历数据的排列顺序信息发送到本地服务器30。然后，本地服务器30可以根据该排列顺序信息确定操作基准时刻的履历数据并进行参照。

此外，可以使用能够确定操作基准时刻所对应的履历数据的各种信息以取代管理ID。例如，履历数据的尺寸信息等。另外，图1示出了观测装置组20和对象设备10是不同装置的远程操作系统1的结构，也可以将构成观测装置组20的一部分或全部观测装置内置于对象设备10中。也可以考虑对象设备10与本地服务器30是一体的例子。

〈对应关系〉

最后，说明用语间的对应关系。本地服务器30和远程操作接受系统(装置)的一例对应。另外，通过主单元31执行步骤S320～S345实现的功能和由检测单元实现的功能的一例对应，通过步骤S350～S430实现的功能和由控制单元实现的功能的一例对应。此外，通过主单元31执行步骤S120实现的功能和由储存单元实现的功能的一例对应。

Claims (8)

1.一种远程操作接受系统，其特征在于，具备：

接收单元，接收来自外部装置的、对于对象设备的远程操作指令；

发送单元，观测所述对象设备和所述对象设备周边的至少一方，根据从输出表示其观测结果的观测数据的观测装置发来的所述观测数据，生成用于提供给所述外部装置的表示所述对象设备状况的提供数据，并且将该提供数据依次发送给基于该提供数据的显示所述对象设备状况的所述外部装置；

检测单元，根据来自所述观测装置的所述观测数据，检测操作执行前时刻与操作基准时刻之间产生的所述对象设备的状况变化，所述操作执行前时刻是所述对象设备执行与所述接收单元接收的所述远程操作指令对应的处理之前的时刻，所述操作基准时刻是当对所述外部装置进行指示发送所述远程操作指令的操作时，在所述观测装置中观测到由所述外部装置显示的状况的时刻；以及

控制单元，基于由所述检测单元检测出的所述状况变化，当所述状况变化大于基准的情况下，使所述对象设备不执行与所述远程操作指令对应的处理，以所述状况变化在所述基准以下为条件，使所述对象设备执行与所述远程操作指令对应的处理。

2.根据权利要求1所述的远程操作接受系统，其特征在于，

所述远程操作接受系统具备积存单元，其将来自所述观测装置的所述观测数据作为每个观测时刻的履历数据存储在存储装置；

所述检测单元参照所述存储装置存储的所述每个观测时刻的所述履历数据，检测所述状况变化。

3.根据权利要求2所述的远程操作接受系统，其特征在于，

所述发送单元构成为，将基于所述观测数据生成的所述提供数据和对应观测时刻的识别代码一同发送给所述外部装置；

所述外部装置构成为，以执行了指示发送所述远程操作指令的操作为条件，将对应所述操作的所述远程操作指令和所述操作时显示的状况信息源、即所述提供数据的所述识别代码一同发送给所述远程操作接受系统；

所述接收单元接收所述远程操作指令和所述识别代码；

所述检测单元参照所述存储装置存储的所述每个观测时刻的所述履历数据来检测所述状况变化，此时，根据所述接收单元接收的所述识别代码，用以确定表示所述操作基准时刻的所述对象设备状况的所述履历数据。

4.根据权利要求1至3中任一项所述的远程操作接受系统，其特征在于，

所述观测装置具有摄像机，其拍摄所述对象设备和所述对象设备周边的至少一方，并且将其拍摄图像数据作为所述观测数据输出；

所述发送单元将所述拍摄图像数据作为所述提供数据发送给所述外部装置。

5.根据权利要求1至4中任一项所述的远程操作接受系统，其特征在于，

作为上述状况变化、即所述执行前时刻的所述对象设备的状况与所述操作基准时刻的所述对象设备的状况之差超过所述基准范围的情况下，在所述差变化成为所述基准范围以内之前，所述控制单元使所述对象设备不执行与所述远程操作指令对应的处理，以所述差变化为基准以下为条件，使所述对象设备执行与所述远程操作指令对应的处理。

6.根据权利要求5所述的远程操作接受系统，其特征在于，

当所述差大于所述基准范围的状态持续了规定时间以上的时刻，所述控制单元放弃所述远程操作指令。

7.一种远程操作系统，其特征在于，具备：

权利要求1至6中任一项所述的远程操作接受系统；以及

作为所述外部装置的远程操作装置，其向所述远程操作接受系统发送所述远程操作指令，并且根据从所述远程操作接受系统接收的所述提供数据显示所述对象设备的状况。

8.一种程序，其特征在于，

使信息处理系统的计算机执行以下步骤，其中，该信息处理系统接收来自外部装置的对于对象设备的远程操作指令：

发送步骤，观测所述对象设备和所述对象设备周边的至少一方，根据从输出表示其观测结果的观测数据的观测装置发来的所述观测数据，生成用于提供给所述外部装置的表示所述对象设备状况的提供数据，并且将该提供数据依次发送给基于该提供数据显示所述对象设备状况的所述外部装置；

检测步骤，根据来自所述观测装置的所述观测数据，检测执行前时刻与操作基准时刻之间产生的所述对象设备的状况变化，所述执行前时刻是所述对象设备执行与所述远程操作指令对应的处理之前的时刻，所述操作基准时刻是当对所述外部装置进行指示发送所述远程操作指令的操作时，在所述观测装置中观测到由所述外部装置显示的状况的时刻；

控制步骤，基于由所述检测单元检测出的所述状况变化，当所述状况变化超出基准范围的情况下，使所述对象设备不执行与所述远程操作指令对应的处理，以所述状况变化在所述基准以内为条件，使所述对象设备执行与所述远程操作指令对应的处理。