CN110549353B - 力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质 - Google Patents

Abstract

本发明涉及力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机可读介质。一种力觉视觉化装置，其包括：数据获取单元，所述数据获取单元被配置成获取图像数据和力觉数据，所述图像数据是通过拍摄机器人的周围环境的图像而获得的，所述力觉数据与所述机器人已从外部接收到的力觉有关；转换单元，所述转换单元被配置成基于所述力觉数据将所述力觉转换成由拟声词构成的文本信息；以及图像输出单元，所述图像输出单元被配置成将所述文本信息叠加在所述图像数据的所述图像上，并且输出所得到的图像数据。

Description

力觉视觉化装置、机器人以及存储力觉视觉化程序的计算机 可读介质

技术领域

本公开涉及力觉(force-sense)视觉化装置、机器人和力觉视觉化程序。

背景技术

已知一种通过在远程地点中操作移动机器人来执行工作的技术。另外，已知一种通过使用从自主地移动的移动机器人发送的图像来观察远程地点的技术。一种用于使得远程地点中的用户能够具有已由移动机器人通过触感设备实际地接收到的力觉的伪体验的技术也已知(参见例如针对专利申请No.2005-510289的PCT国际公开的公开的日文翻译)。

发明内容

本发明人已发现了以下问题。触感设备例如被用于诸如将由机器人手指接收到的力觉输送到用户的指尖的目的。可再现力觉的地点仅限于本地并且可再现的力觉还受到限制。取决于机器人的用途，用户未必必须完全一致地体验到由机器人接收到的力觉。在一些情况下，远离机器人的用户可能想要直观地且立即识别机器人已接收到哪种外力。

本公开提供一种用于使得用户能够直观地且立即识别正在远程地点中操作的机器人已接收到哪种外力的技术。

第一示例性方面是一种力觉视觉化装置，所述力觉视觉化装置包括：数据获取单元，所述数据获取单元被配置成获取图像数据和力觉数据，所述图像数据是通过拍摄机器人的周围环境的图像而获得的，所述力觉数据与所述机器人从外部接收到的力觉有关；转换单元，所述转换单元被配置成基于所述力觉数据将所述力觉转换成由拟声词构成的文本信息；以及图像输出单元，所述图像输出单元被配置成将所述文本信息叠加在所述图像数据的所述图像上并且输出所得到的图像数据。

通过上述的配置，用户可以以已被叠加在机器人的周围图像上的视觉信息的形式立即识别在远程地点中操作的机器人已接收到外力的事实。另外，通过使用由作为拟声单词或拟态单词的拟声词组成的文本信息作为所显示的信息，用户可直观地识别由机器人接收到的力觉的性质。

在上述的力觉视觉化装置中，力觉数据优选地包括关于机器人已接收到力觉的位置信息，并且图像输出单元优选地基于位置信息确定在图像上叠加有文本信息的位置。因为用户可基于文本信息的地点识别已发生接触的位置，所以他/她可容易地推理接触的原因等。另外，转换单元优选地从力觉数据中提取转换信息，并且基于转换信息改变拟声词，所述转换信息包括所接收到的力的大小、所述力的每单位时间的变化量和接触对象物的硬度中的至少一个。用户可通过按拟声词处理的细微差别(即，拟声词给用户提供的细微差别)直观地识别接触状态。

在上述的力觉视觉化装置中，数据获取单元可以通过网络来获取从在远程地点中操作的机器人输出的图像数据和力觉数据。通过经由网络获取数据，可显著地扩展机器人操作的地点。另外，图像输出单元优选地将其上叠加有文本信息的图像输出到由用户穿戴的头戴式显示设备。特别地，远程地操作机器人的用户可具有沉浸式感觉并且改进操作的准确性。

另一示例性方面是一种机器人，所述机器人包括：图像拾取单元，所述图像拾取单元被配置成拍摄周围环境的图像；检测单元，所述检测单元被配置成检测从外部接收到的力觉；转换单元，所述转换单元被配置成将所述力觉转换成由拟声词构成的文本信息；以及图像输出单元，所述图像输出单元被配置成将所述文本信息叠加在由所述图像拾取单元拍摄的所述图像上并且输出合成的图像。通过配置机器人使得该机器人其自身可输出其上叠加有由拟声词构成的文本信息的周围环境的图像，可以消除对于由位于下游侧的终端所执行的过程的需要并且实现与通过根据第一方面的力觉视觉化装置所实现的那些有益效果类似的有益效果。

另一示例性方面是一种力觉视觉化程序，所述力觉视觉化程序用于使计算机执行：获取通过拍摄机器人的周围环境的图像而获得的图像数据的图像数据获取步骤；获取与所述机器人从外部接收到的力觉有关的力觉数据的力觉数据获取步骤；基于所述力觉数据将所述力觉转换成由拟声词构成的文本信息的转换步骤；以及将所述文本信息叠加在所述图像数据的所述图像上并且输出所得到的图像数据的图像输出步骤。还可以甚至通过执行上述的程序的计算机来实现与通过根据第一方面的力觉视觉化装置所实现的那些有益效果类似的有益效果。

根据本公开，可以使得用户能够直观地且立即识别在远程地点中操作的机器人已接收到哪种外力。

从以下文中给出的具体实施方式和仅通过图示给出的附图中，本公开的以上及其他目的、特征和优点将变得被更充分地理解，并且因此不应被认为限制本公开。

附图说明

图1是用于说明假定的使用环境和整体配置的概念图；

图2是在由用户穿戴的头戴式显示设备中显示的图像的示例；

图3是示出移动机器人的配置的框图；

图4是示出系统服务器的配置的方框图；

图5是拟声词转换表的示例；

图6是在由用户穿戴的头戴式显示设备中显示的图像的示例；

图7是在由用户穿戴的头戴式显示设备中显示的图像的示例；

图8是由系统服务器执行的过程的流程图；以及

图9是示出根据另一实施例的移动机器人的配置的框图。

具体实施方式

图1是用于说明虚拟环境及其整体配置的概念图，在该虚拟环境中，假定将使用根据此实施例的包括内置力觉视觉化装置的机器人远程控制系统。在第一环境中负责各种操作的移动机器人100由用户通过连接到因特网600的系统服务器500远程地操作，该用户位于远离第一环境的第二环境中。尽管在此实施例中因特网被用作系统服务器500连接到的网络，然而网络可以是其他类型的网络，诸如内联网。

在图1中所示的示例中，示出了移动机器人100正在执行抓握并输送待输送物体910的任务的情形，该待输送物体910在此示例中是放置在桌子900上的瓶子。移动机器人100主要包括移动基部110和主体部分120。

在移动基部110中，(一个或多个)驱动轮和(一个或多个)脚轮(未示出)被支撑在其圆柱形外壳内。随着驱动轮由电机旋转地驱动，移动机器人100可在任意方向上执行平移移动(即，直线移动)并转动任意角度。移动基部110包括设置在其顶表面上的周边部分中的激光扫描器132。激光扫描器132以某个步进角度的间隔扫描水平面上的某个范围，并且输出关于在每个方向上是否存在障碍物的信息。另外，移动基部110包括设置在圆柱形外壳的侧表面上的多个接触传感器142。当诸如障碍物的接触对象物与该接触传感器接触时，接触传感器142中的每一个输出关于按压力的数据。接触传感器142中的每一个例如是电容变化型压力传感器。

主体部分120主要包括安装在移动基部110的顶表面上的主体部分121、放置在主体部分121的顶表面上的头部122、支撑在主体部分121的侧表面上的手臂123、以及设置在手臂123的尖端处的手124。手臂123和手124由电机(未示出)驱动并且以受控姿势抓握各种物体。力传感器141被嵌入在手124中。力传感器141输出手124通过其来抓握被抓握物体的抓握力和施加于手124上的外力。力传感器141例如是应变计型力传感器。可以取决于手124的形状、可能的待抓握物体等而在手124中嵌入多个力传感器141。可替换地或附加地，可以将力传感器141嵌入在手124的基体(即，手腕)或手臂123的基体(即，肩部)中。力传感器141可以是其他类型的传感器，诸如电容型传感器。另外，代替使用力传感器141，可以从设置在手臂123的每个关节中的电流传感器、角度传感器、转矩传感器等获取或者估计力觉信息。

头部122主要包括作为图像拾取单元的立体相机131。立体相机131具有下述配置：具有相同视角的两个相机单元被布置为彼此分开，并且以图像信号的形式输出由每个相机单元拍摄的图像。头部122可通过(一个或多个)电机(未示出)的(一个或多个)驱动力相对于主体部分121围绕垂直轴线(平移轴线)且围绕水平轴线(倾斜轴线)旋转。另外，头部122可以被配置成能够围绕立体相机131的前面方向上的轴线(即，围绕滚动轴线)旋转。因此，立体相机131可摄影存在于任意方向上的对象物。

移动机器人100在第一环境中通过无线路由器700连接到因特网600。移动机器人100从用户接收操作信号并且执行移动操作和抓握操作。另外，移动机器人100从由立体相机131输出的图像信号生成符合预定图像格式的图像数据，并且将所生成的图像数据发送到系统服务器500。另外，移动机器人100从自接触传感器142和力传感器141输出的输出信号生成与力觉有关的力觉数据，并且将所生成的力觉数据发送到系统服务器500。

系统服务器500从用户操作的操作终端320接收操作信号，并且将所接收到的操作信号发送到移动机器人100。另外，系统服务器500将从移动机器人100获取的图像数据发送到由用户穿戴的头戴式显示设备310(在下文中称为HMD 310)。当系统服务器500已获取力觉数据时，它将移动机器人100已从外部接收到的力觉转换成由拟声词构成的文本信息，将所获得的文本信息叠加在图像数据的图像上，并且将合成的图像数据发送到由用户穿戴的HMD 310。

操作终端320和HMD 310在远离第一环境的第二环境中通过无线路由器700连接到因特网600。用户通过操作操作终端320远程地操作移动机器人100，同时通过HMD 310来观察所发送的图像数据的图像。在操作终端320中生成的操作信号通过因特网600被发送到系统服务器500。当移动机器人100从周围环境接收到外力，用户可通过叠加在周围环境的图像上的由拟声词构成的文本信息来识别其状态。

在下文中通过使用用户可识别由移动机器人100接收的外力的何种显示状态来描述。图2示出在由用户穿戴的HMD 310的显示器上显示的显示画面的示例。示出了图2中所示的示例，即手124的尖端在过程期间与桌子900的顶板的一端接触的场景，在该过程中，在图1中所示的状态下，用户正在通过远程控制来操作机器人100而将手臂123移动得更靠近待输送物体910(在下文中还称为被输送物体910)。

如图2中所示，由作为拟声词的“clink(叮当)”构成的字母串410被显示(即，示出)在手124的尖端与桌子900的顶板之间的接触点附近，同时被叠加在周围环境的图像(在下文中还称为周围图像)上。用户可基于此字母串410识别手124的尖端已经与桌子900的顶板接触。另外，用户可基于通过拟声词“clink”所具有的细微差别(即，拟声词“clink”向用户提供的细微差别)直观地识别接触是轻微碰撞。

接下来，描述移动机器人100的配置。图3是示出移动机器人100的配置的框图。在下文中描述仅与力觉的视觉化有关的机器人远程控制系统的主要组件。然而，移动机器人100包括其他组件并且可以包括有助于力觉的视觉化的附加组件。

控制单元150例如是CPU(中央处理单元)并且被例如存储在设置在主体部分121中的控制箱中。移动基体驱动单元160包括用于驱动(一个或多个)驱动轮的驱动电路和(一个或多个)电机。控制单元150根据来自用户的操作信号来向移动基体驱动单元160发送驱动信号，从而控制(一个或多个)驱动轮的旋转。上体驱动单元170包括用于驱动包括手臂123和手124的抓握部分、主体部分121和头部122的(一个或多个)驱动电路以及(一个或多个)电机。控制单元150根据来自用户的操作信号来向上体驱动单元170发送驱动信号，从而执行抓握控制并且控制主体部分121和头部122的旋转。另外，控制单元15通过从上体驱动单元170接收编码器等的反馈信号来识别手臂123和手124的当前位置以及主体部分121和头部122的定向。

存储器180是非易失性存储介质。例如，固态驱动器被用于存储器180。存储器180除了存储用于控制移动机器人100的控制程序之外还存储用于控制的各种参数值、函数、查找表等。

通信单元190例如是无线LAN单元并且执行与无线路由器700的无线电通信。在操作终端320中生成的操作信号由通信单元190接收并递送到控制单元150。

立体相机131根据来自控制单元150的请求来拍摄周围环境的图像并且将其图像信号递送到控制单元150。当正在执行远程控制时，立体相机131连续地拍摄周围环境的成像。激光扫描器132根据来自控制单元150的请求来检测是否存在障碍物，并且将作为检测的结果的检测信号递送到控制单元150。

(一个或多个)力传感器141和(一个或多个)接触传感器142是构成力觉检测单元140的传感器。控制单元150连续地监测来自构成力觉检测单元140的传感器中的每一个的输出信号。在此实施例中，嵌入在手124中的力传感器141和设置在移动基部110的圆柱形外壳的表面上的接触传感器142作为构成力觉检测单元140的传感器的示例被示出。然而，可以给移动机器人100提供用于检测移动机器人100能接收外力的各个位置处的外力的传感器。特别地，各种类型的力传感器优选地设置在手臂123和手124上，手臂123和手124两者都可被定位在立体相机131的视角内。

控制单元150还用作执行与控制和处理有关的各种操作(或计算)的功能计算单元。数据生成单元151是功能计算单元中的一个。数据生成单元151对从立体相机131进行的来自各个相机单元的图像信号执行图像调整和压缩处理，从而根据预定立体图像格式来生成图像数据。所生成的图像数据通过通信单元190被发送到系统服务器500。如上所述，因为立体相机131连续地拍摄周围环境的图像，所以对应的图像数据被连续地生成并发送到系统服务器500。

另外，数据生成单元151处理从力觉检测单元140接收的输出信号，从而生成符合预定数据格式的力觉数据。力觉数据包括关于已输出输出信号的传感器的位置信息。例如，从自嵌入在手124中的力传感器141输出的输出信号生成的力觉数据包括在输出信号时的位置的空间坐标作为位置信息，所述空间坐标是根据力传感器141被嵌入的位置以及手臂123和手124的姿态来计算出的。所生成的力觉数据通过通信单元190被发送到系统服务器500。

接下来，描述系统服务器500的配置，该系统服务器500充当机器人远程操纵系统的力觉视觉化系统。图4是示出系统服务器500的配置的框图。在下文中描述仅与力觉的视觉化有关的系统服务器500的主要组件。然而，系统服务器500包括其他组件并且可以包括有助于力觉的视觉化的附加组件。

算术单元550例如是CPU并且执行与力觉的视觉化相有关的各种处理。通信单元560例如是有线LAN单元，并且向因特网600发送数据/从因特网600接收数据。通信单元560接收从操作终端320发送的操作信号，并且根据来自算术单元550的指令来将此操作信号发送到作为待操作对象的移动机器人100。另外，通信单元560接收从移动机器人100发送的图像数据和力觉数据并且将它们递送到算术单元550。也就是说，通信单元560具有作为获取图像数据和力觉数据的数据获取单元的功能。

当算术单元550除了图像数据之外已获取力觉数据时，它执行稍后描述的过程。相比之下，在算术单元550正在单独接收图像数据的时段中，它将图像数据连续地转移到HMD310。注意的是，当HMD 310不支持3D显示时，算术单元550将所接收到的图像数据转换成用于2D显示的图像格式，然后将经转换的图像数据转移到HMD 310。

存储器570是非易失性存储介质。例如，固态驱动器被用于存储器570。除了用于控制机器人远程控制系统的控制程序和用于使移动机器人100已从外部接收到的力觉视觉化的力觉视觉化程序之外，存储器570还存储用于控制和计算的各种参数值、函数、查找表等。

拟声词DB 580是存储拟声词转换表的数据库，通过该拟声词转换表从被用作输入值的力觉数据中提取的参数值被转换成由拟声词构成的具体字母串。拟声词(onomatopoeia)是用于拟声单词和拟态单词的通用术语。拟声单词是用于通过使用字母模仿由生物发出或者由非生物体产生的声音的单词。拟声词的示例包括“bam(嘭)”、“clunk(哐啷)”和“bang(砰)”。拟态单词是用于通过使用字母来模仿(即，表达)状态或情绪的单词。模拟单词的示例包括“tightly(紧紧地)”和“strongly(强烈地)”。如将稍后详细地描述的，拟声词转换表包括多个此类拟声单词和模拟单词的列表，并且这些拟声单词和模拟单词中的每一个与每个参数的相应值或从力觉数据中提取的每个参数的相应范围相关联。

算术单元550还用作执行与控制和处理有关的各种操作(或计算)的功能计算单元。转换单元551和叠加单元552中的每一个是功能计算单元中的一个。转换单元551基于获取的力觉数据将移动机器人100已从外部接收到的力觉转换成由拟声词构成的文本信息。如将稍后详细地描述的，转换单元551根据所获取的力觉数据来计算用于拟声词转换的参数值，并且将所计算的参数值输入到从拟声词DB 580读取的拟声词转换表中。通过这样做，转换单元551将力觉数据转换为成由拟声词构成的文本信息。

叠加单元552将由通过转换单元551获得的拟声词构成的文本信息叠加在所获取的图像数据的图像上。叠加单元552从已叠加有文本信息的图像生成符合预定格式的图像数据并且将所生成的图像数据从通信单元560输出到HMD 310。叠加单元552与通信单元560协作，从而充当输出图像数据的图像输出单元。

接下来，描述用于将移动机器人100已从外部接收到的力觉转换成由拟声词构成的文本信息的过程，该过程由转换单元551执行。图5是拟声词转换表的示例。为了易于理解，描述了拟声词的四个示例，即“thrust”、“fluffy”、“clink”和“thump(扑通)”。

一般地，当人们看到拟声词“thrust”时，他们想象被按压状态或感到物体的重量的状态。当人们看到拟声词“fluffy”时，他们想象软物体上的触摸。另外，当人们看到拟声词“clink”或“thump”时，他们想象与硬物体接触。另外，他们想象“clink”的轻微接触并且想象“thump”的强烈碰撞。也就是说，每个拟声词均有给予人们特定印象的特定细微差别。

这里，假定了所获取的力觉数据是从力传感器141的输出生成的数据并且包括沿着三条轴线的平移力的值。假定第i次采样中的三轴向平移力矢量的范数(接收到的力的大小)通过|fi|来表示并且采样周期通过ΔT来表示，通过Δf来表示的每单位时间的力变化被表达如下。

[表达式1]

另外，当通过|vi|来表示通过对力传感器141的位置进行微分而获得的力传感器141的速度的范数时，通过使用力和速度的变化来表示用于评估接触中的物体的硬度(即，接触对象物的硬度)的评估值K如下。

[表达式2]

在此实施例中，通过将从力觉数据获得的这三个参数值K、Δf和|fi|应用到拟声词转换表中来将移动机器人100已从外部接收到的力觉转换成由拟声词构成的文本信息。参考图5中所示的拟声转换表，例如，当K＝0.7、Δf＝0.05[N/ms]并且|fi|＝2.3[N]时，选择“clink”。因此，力觉被转换成由以文本数据的形式的“clink”构成的文本信息。另外，当K＝0.3、Δf＝0.08[N/ms]并且|fi|＝2.1[N]时，选择“fluffy”并且力觉被转换成由“fluffy”构成的文本信息。可以用实验方法确定用于每个参数的阈值，使得拟声词的细微差别对应于相应的力觉。

注意的是，已经在上面描述了基于三个参数选择四个拟声词中的一个的示例。然而，可以选择性地或附加地使用用作其他类型的准则的参数。不用说，可以为大量其他拟声词定义转换表，使得可以选择它们。

另外，当转换单元551将通过拟声词转换表所选择的字母串转换成文本信息时，可以通过使用从力觉数据获得的(一个或多个)附加参数值来修改文本信息或者指定表达式的形式。例如，当叠加文本信息时，可以通过参考其他参数来指定字母串的大小、字体、颜色等。

接下来，通过使用显示图像的其他示例以及在图2中所示的HMD310中显示的示例来描述用于将由拟声词构成的文本信息叠加在图像数据的图像上的叠加过程。类似于图2，图6和图7是在由用户穿戴的HMD 310中显示的图像的示例。

在图2中所示的示例中，如上所述，在由立体相机131拍摄的周围图像上的手124与桌子900之间的接触点附近叠加字符串“clink”。也就是说，叠加单元552根据包括在力觉数据中的传感器的位置信息来计算图像数据的图像上的对应位置，并且将由转换单元551获得的文本信息叠加在对应位置中。

具体地，叠加单元552将作为传感器的位置信息的空间坐标转换成图像数据的相机坐标系统中的坐标值，并且确定与所获得的坐标值相对应的图像上的对应位置。另外，叠加单元552对通过拟声转换表所获得的文本数据应用预定装饰，从而生成字符串图像。当字母串信息包括装饰信息(诸如指定的大小、指定的字体和指定的颜色)时，在参照此装饰信息的同时生成字母串图像。然后，叠加单元552将所生成的字符串图像叠加在所计算出的对应位置中，从而生成待输出的图像数据。

当根据传感器的在信息计算出的对应位置位于图像区域内时，叠加单元552可像在图2中所示的字母串410的情况下一样将文本信息叠加在接触点附近。另一方面，当所计算出的对应位置位于所获取的图像数据的图像区域外部时，叠加单元552将例如形式为箭头的方向标记420叠加在靠近对应位置的图像区域的周边部分中并且将字母串图像叠加在方向标记420附近，如图6中所示。注意的是，在图6中所示的示例中，示出了接触传感器142中的一个与桌子900的腿接触同时移动机器人100在手124抓握被输送物体910之后正在改变其定向(即，在它自己的轴线上旋转)的状态。在这种情况下，此接触传感器142未被定位在立体相机131的视角内。因此，在图像中未示出如何发生接触。即使在这种情况下，通过叠加字母串410以及方向标记420，用户也可直观地识别已发生接触的位置和所接收到的力觉的性质。

在图2和图6中所示的示例中，叠加单元552将字母串410叠加在图像上的对应位置中，同时假定移动机器人100已从外部接收到外力的传感器的位置是与对象物的接触的位置。然而，实际上，传感器的位置不一定是与对象物接触的位置。例如，如图7中所示，当在桌子900的顶板上拖曳所抓握的被输送物体910时，被输送物体910在与桌子900接触的同时在桌子900上滑动。在这种情况下，即使字母串410被叠加在与嵌入在手124中的力传感器141的位置相对应的地点中，这也与用户的直觉不一致。

因此，叠加单元552从连续地获取的图像数据的图像分析结合移动机器人100的移动而移动的组件与结合周围环境的变化而移动的那些组件之间的边界，从而通过参考边界处的距离信息来估计接触点。然后，叠加单元552将根据传感器的位置信息计算出的对应位置校正为所估计的接触点。通过将字母串410叠加在已经如上所述校正的对应位置中，所获得的图像与用户的直觉一致。在图7中所示的示例中，对应位置被校正为被输送物体910与桌子900之间的接触点。注意的是，在图7中所示的示例中，具有指示滑动的细微差别的“slither”被选择为拟声词。

用于像在图2、图6和图7中所示的示例中示出的那样叠加由拟声词组成的字母串410的过程是响应于由系统服务器500获取力觉数据而执行的。然而，可以甚至在系统服务器500已停止获取力觉数据之后继续此叠加过程一会儿。也就是说，甚至在从外部接收到的力已停止之后，优选地继续叠加过程达一定持续时间，使得用户可识别已发生的接触的情形。例如，当发生瞬时碰撞时，甚至在发生碰撞之后也优选地叠加字母串410持续大约0.5至1.0秒。

接下来，描述由系统服务器500执行的一系列过程，该系统服务器500充当力觉视觉化装置。图8是由系统服务器500执行的过程的流程图。此流程在机器人远程控制系统被启动之后开始。

在步骤S101，算术单元550通过通信单元560从移动机器人100获取图像数据。在下一个步骤S102，算术单元550检查它是否还已获取了力觉数据。当算术单元550未获取力觉数据时，过程进行到步骤S105，其中算术单元550将在步骤S101获取的图像数据从通信单元560输出到HMD 310作为待在HMD 310中显示的图像数据。

当算术单元550已获取了力觉数据时，过程进行到步骤S103，其中转换单元551通过使用所获取的力觉数据和从拟声词DB 580读取的拟声词转换表来将移动机器人100已从外部接收到的力觉转换成由拟声词构成的文本信息。接下来，在步骤S104，叠加单元552将由转换单元551获得的文本信息叠加在步骤S101获取的图像数据的图像上，从而生成显示图像数据。在生成显示图像数据之后，叠加单元552进行到步骤S105，其中它将显示图像数据从通信单元560输出到HMD310。

在步骤S106，算术单元550检查它是否已从用户接收到用于完成过程的指令(在下文中称为结束指令)。当算术单元550尚未接收到结束指令时，过程返回到步骤S101。当算术单元550已接收到结束指令时，它完成该系列过程。通过上述的过程，用户可通过HMD 310将移动机器人100的周围状态在视觉上识别为实时实况运动图像，而不管是否叠加文本信息。

在上述的示例中，系统服务器500充当力觉视觉化系统。然而，移动机器人可以被配置成在其中包括力觉视觉化装置。图9是示出根据另一示例的移动机器人100'的配置的框图。移动机器人100'除了包括图3中所示的所有组件之外还包括图4中所示的拟声词DB580以及用作功能计算单元的转换单元551和叠加单元552。

根据如上所述配置的移动机器人100'，转换单元551可在不使用符合预定格式的力觉数据的情况下通过直接地使用力觉检测单元的输出信号来计算每个参数值。另外，叠加单元552可通过直接地使用从相机单元输出的图像信号来叠加文本信息。通过配置移动机器人100'使得该移动机器人其自身可如上所述输出其上叠加有由拟声词构成的文本信息的周围环境的图像，可以消除对于由位于下游侧的终端所执行的过程的需要。

在上述的实施例中，由拟声词构成的字母串410被叠加在推测发生接触的位置附近。通过如上所述调整叠加的地点，用户可基于文本信息的位置识别已发生接触的位置，使得他/她可容易地推理接触的原因等。然而，代替调整叠加的地点，可以将字母串410例如叠加在图像区域的中心处，或者可以将字母串410显示在位于图像区域外部的显示区域中。即使在此类显示形式中，因为用户在视觉上将移动机器人100的周围状态识别为实时实况运动图像，所以他/她也可在一定程度上推理接触的原因等。在这种情况下，力觉数据可以不包括关于传感器的位置的信息。

另外，在此实施例中，描述了力觉视觉化装置被并入在用于从远程地点操作移动机器人100的机器人远程控制系统中的示例。然而，移动机器人100可以是自主地移动的机器人。在这种情况下，用户可通过HMD 310来观察自主移动机器人如何在远程地点中操作。另外，本公开不限于远程操作和自主操作。也就是说，本公开可以被应用于诸如手臂机器人的固定工作机器人。另外，本公开不限于来自远程地点的观察结果。例如，可以将其上叠加有文本信息的图像显示在包括在移动机器人100中的显示面板上。通过如上所述使移动机器人100在移动机器人其自身中显示图像，正在行走并伴随移动机器人100的随员可快速地识别移动机器人100中的异常。

另外，在此实施例中，显示图像数据的图像被显示在附着到用户的头部的HMD 310中。以这种方式，用户可具有沉浸式感觉并且改进位于远程地点中的移动机器人100的操作的准确性。然而，显示显示图像数据的图像的装置不限于HMD 310。例如，通过将图像投影在大屏幕上，多个用户可同时地识别(即，同时地观察)移动机器人100的状态。

另外，在此实施例中，力觉被转换成由拟声词构成的文本信息。这是因为，通过这样做，与使用数值、条形图等的情况相比较，用户可直观地且即时地识别由机器人接收到的力觉的性质。然而，可以附加地或选择性地叠加数值、条形图等，只要以补充方式使用它们即可。另外，除了由拟声词构成的字母串之外，还可以添加动画和声音效果。例如，可以通过动画箭头来表达接收到的力的方向。

另外，可以取决于所接收到的外力是否是作为由移动机器人100执行的任务的结果而预期发生的外力来改变所叠加的文本信息的形式。当外力是所预期的外力时，可以不执行叠加过程。例如，当任务是抓握待输送物体的任务时，可以在移动机器人100已抓握待输送的对象物时不针对从力传感器输出的输出信号执行叠加过程。另外，可以根据情形来改变所叠加的文本信息的其他特性，诸如叠加的位置、透射率和持续时间。

可使用任何类型的非暂时性计算机可读介质来存储程序并将它提供给计算机。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括磁存储介质(诸如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、CD-ROM(紧致盘只读存储器)、CD-R(可记录紧致盘)、CD-R/W(可重写紧致盘)和半导体存储器(诸如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。可以使用任何类型的暂时性计算机可读介质来将程序提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可通过有线通信线路(例如电线和光纤)或无线通信线路来将程序提供给计算机。

从如此描述的公开内容中，将显然的是，可以以多种方式改变本公开的实施例。不应将此类变化认为脱离本公开的精神和范围，并且如对于本领域的技术人员而言将显然的，所有此类修改旨在包括在以下权利要求的范围内。

Claims (7)

1.一种力觉视觉化装置，包括：

数据获取单元，所述数据获取单元被配置成获取图像数据和力觉数据，所述图像数据是通过拍摄机器人的周围环境的图像而获得的，所述力觉数据与所述机器人从外部接收到的力觉有关；

转换单元，所述转换单元被配置成基于所述力觉数据将所述力觉转换成由拟声词构成的文本信息，所述力觉数据至少包括每单位时间的力变化以及用于评估接触中的物体的硬度的评估值；以及

图像输出单元，所述图像输出单元被配置成将所述文本信息叠加在所述图像数据的所述图像上，并且输出所得到的图像数据。

2.根据权利要求1所述的力觉视觉化装置，其中，

所述力觉数据包括与所述机器人接收到所述力觉的位置有关的信息，以及

所述图像输出单元基于与所述位置有关的所述信息，来确定在所述图像上的叠加所述文本信息的位置。

3.根据权利要求1或2所述的力觉视觉化装置，其中，

所述转换单元从所述力觉数据来提取转换信息，并且基于所述转换信息来改变所述拟声词，

其中，所述转换信息包括所接收到的力的大小、每单位时间的所述力的变化量、以及接触对象物的硬度中的至少一项。

4.根据权利要求1或2所述的力觉视觉化装置，其中，

所述数据获取单元通过网络来获取从在远程地点中操作的所述机器人输出的所述图像数据和所述力觉数据。

5.根据权利要求1或2所述的力觉视觉化装置，其中，

所述图像输出单元将在上面叠加有所述文本信息的所述图像输出到由用户穿戴的头戴式显示设备。

6.一种机器人，包括：

图像拾取单元，所述图像拾取单元被配置成拍摄周围环境的图像；

检测单元，所述检测单元被配置成检测从外部接收到的力觉；

转换单元，所述转换单元被配置成基于力觉数据将所述力觉转换成由拟声词构成的文本信息，所述力觉数据至少包括每单位时间的力变化以及用于评估接触中的物体的硬度的评估值；以及

图像输出单元，所述图像输出单元被配置成将所述文本信息叠加在由所述图像拾取单元拍摄的所述图像上。

7.一种计算机可读介质，所述计算机可读介质存储有力觉视觉化程序，所述力觉视觉化程序用于使计算机执行以下步骤：

图像数据获取步骤，获取通过拍摄机器人的周围环境的图像而获得的图像数据；

力觉数据获取步骤，获取与所述机器人从外部接收到的力觉有关的力觉数据；

转换步骤，基于所述力觉数据，将所述力觉转换成由拟声词构成的文本信息，所述力觉数据至少包括每单位时间的力变化以及用于评估接触中的物体的硬度的评估值；以及

图像输出步骤，将所述文本信息叠加在所述图像数据的所述图像上并且输出所得到的图像数据。

Images