CN110888428A - 移动机器人、远程终端、计算机可读介质、控制系统、控制方法 - Google Patents

移动机器人、远程终端、计算机可读介质、控制系统、控制方法 Download PDF

Info

Publication number
CN110888428A
CN110888428A CN201910807432.6A CN201910807432A CN110888428A CN 110888428 A CN110888428 A CN 110888428A CN 201910807432 A CN201910807432 A CN 201910807432A CN 110888428 A CN110888428 A CN 110888428A
Authority
CN
China
Prior art keywords
imaging data
unit
mobile robot
image
remote terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910807432.6A
Other languages
English (en)
Other versions
CN110888428B (zh
Inventor
山本贵史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110888428A publication Critical patent/CN110888428A/zh
Application granted granted Critical
Publication of CN110888428B publication Critical patent/CN110888428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0263—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/9305—Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请涉及移动机器人、远程终端、计算机可读介质、控制系统、控制方法。一种包括图像拾取单元的移动机器人，还包括：累积单元，所述累积单元被配置成累积过去拍的成像数据；接收单元，所述接收单元被配置成从远程终端接收空间区域的指定；以及处理单元，所述处理单元被配置成当由所述图像拾取单元拍摄由所述接收单元接收到的所述空间区域是可能的时，执行拍摄并将获得的成像数据发送到所述远程终端，而当所述拍摄是不可能的时，将包括在所述累积单元中累积的所述空间区域的图像的成像数据发送到所述远程终端并且开始移动处理以由所述图像拾取单元拍摄所述空间区域。

Description

移动机器人、远程终端、计算机可读介质、控制系统、控制方法
技术领域
本公开涉及移动机器人、远程终端、移动机器人的控制程序、远程终端的控制程序、控制系统、移动机器人的控制方法以及远程终端的控制方法。
背景技术
已知一种用于通过操作位于远程地点中的移动机器人来执行工作的技术。另外，已知一种用于通过从自主地移动的移动机器人发送的图像来观察远程地点的技术(参见例如国际专利公开号WO 2009/011380)。
发明内容
本发明人已发现以下问题。存在这样的情况：远程地点中的操作员除了检查在那时可观察的空间区域之外，还想要检查在那时不能由移动机器人(例如，从当前地点)观察的空间区域。然而，移动机器人移动到所指定的不能观察的空间区域需要一些时间，因此，在移动机器人正在移动的时段期间，远程地操作移动机器人的用户仅仅继续等待。
本公开提供一种使得用户能够在没有延迟的情况下检查用户想要检查的空间区域的状况的移动机器人等。
第一示例性方面是一种包括图像拾取单元的移动机器人，还包括：累积单元，所述累积单元被配置成累积过去拍的成像数据；接收单元，所述接收单元被配置成从远程终端接收空间区域的指定；以及处理单元，所述处理单元被配置成当由所述图像拾取单元拍摄由所述接收单元接收到的所述空间区域是可能的时，执行拍摄并将获得的成像数据发送到所述远程终端，而当所述拍摄是不可能的时，将包括在所述累积单元中累积的所述空间区域的图像的成像数据发送到所述远程终端并且开始移动处理以由所述图像拾取单元拍摄所述空间区域。
通过如上所述配置在远程地点中操作的所述移动机器人，远程地操作所述移动机器人的用户可立即在视觉上识别所指定的空间区域的图像，虽然在视觉上识别的图像可能是过去的图像。因此，所述用户可在没有延迟的情况下识别所述空间区域的状态。另外，当所述移动机器人在那时不能拍摄所指定的空间区域时，它立即开始移动处理以拍摄该空间区域。因此，可以减少在拍摄实际状态之前花费的浪费时间。
当通过在所述移动处理开始之后通过由所述图像拾取单元拍摄所述空间区域而获得了成像数据时，上述移动机器人的处理单元优选地将所述成像数据发送到所述远程终端。通过如上所述发送最新的成像数据，所述用户可获得所指定的空间区域的准确信息。在这种情况下，所述处理单元优选地将通过在所述移动处理开始之后的所述移动期间使所述图像拾取单元执行拍摄而获得的成像数据与指示所述成像数据是在所述移动期间获得的附加信息一起发送到所述远程终端。通过使所述远程终端显示这样的图像，所述用户不仅能够识别中间状态，而且还能够识别最新的成像数据仍然尚未被发送的事实。
另外，当上述处理单元发送在所述累积单元中累积的成像数据时，所述处理单元优选地将所述成像数据与指示所述成像数据是在所述累积单元中累积的成像数据的附加信息一起发送到所述远程终端。通过具有这样的附加信息，可以在所述远程终端侧清楚地指示并显示所发送的图像是过去的图像。
另外，所述处理单元可以通过使用所述图像拾取单元来执行拍摄并且在所述接收单元接收所述空间区域的指定之前将获得的成像数据发送到所述远程终端。当所述用户可首先检查这样的图像时，他/她可高效地指定所述空间区域。
第二示例性方面是一种被配置成从包括图像拾取单元的移动机器人接收成像数据并显示所接收到的成像数据的远程终端，包括：发送单元，所述发送单元被配置成向所述移动机器人发送指定信号，所述指定信号是通过指定用户想要观察的空间区域来生成的；接收单元，所述接收单元被配置成从所述移动机器人接收所述成像数据；确定单元，所述确定单元被配置成确定由所述接收单元接收到的所述成像数据是否是通过在所述发送单元发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的成像数据；以及显示控制单元，所述显示控制单元被配置成以能够识别所述确定单元的确定的结果的格式在显示单元中显示所述成像数据的图像。通过如上所述配置所述远程终端，所述用户可首先识别所发送的图像是过去的图像还是最新的图像，然后可立即在视觉上识别所指定的空间区域的图像，虽然在视觉上识别的图像可能是过去的图像。因此，所述用户可在没有延迟的情况下识别所述空间区域的状态。
在上述远程终端中，当所述显示控制单元在所述显示单元中显示由所述确定单元确定为不是通过在所述发送单元发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的所述成像数据的成像数据的图像、并且然后所述确定单元确定由所述接收单元新接收到的成像数据是通过在所述发送单元发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的所述成像数据时，所述显示控制单元优选地在所述显示单元中显示所述新接收到的成像数据的图像。通过如上所述用最新的图像替换所显示的图像，所述用户可获得所指定的空间区域的准确信息。
另外，当在所述显示控制单元正在所述显示单元中显示由所述确定单元确定为不是通过在所述发送单元发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的所述成像数据的成像数据的图像的同时由所述接收单元接收到的成像数据包含指示所接收到的成像数据是在所述移动机器人正在移动的同时获得的成像数据的附加信息时，所述显示控制单元优选地在所述显示单元中与当前显示的图像一起显示包含所述附加信息的所述成像数据的图像。通过使所述远程终端显示这样的图像，所述用户不仅能够识别在获得最新的成像数据之前的中间状态，而且还能够识别最新的成像数据仍然尚未被发送的事实。
另外，在上述远程终端中，所述显示控制单元可以在所述显示单元中显示在所述发送单元发送所述指定信号之前所述接收单元已从所述移动机器人接收到的成像数据的图像作为初始显示的图像，并且所述发送单元可以向所述移动机器人发送为通过使用在所述显示单元中显示的所述图像作为基准而由所述用户指定的所述空间区域生成的所述指定信号。由于所述用户可首先检查这样的图像，所以他/她可在所述移动机器人周围高效地指定所述空间区域。另外，通过使用如上所述生成的所述指定信号，易于绘制所述移动机器人也移动通过的路线的平面图。
第三示例性方面是一种用于包括图像拾取单元的移动机器人的控制程序，以用于使计算机执行：从远程终端接收空间区域的指定的接收步骤；当在所述接收步骤中接收到所述指定时确定是否可以通过使用所述图像拾取单元来拍摄所述空间区域的确定步骤；当在所述确定步骤中确定了所述拍摄是可能的时拍摄所述空间区域并将获得的成像数据发送到所述远程终端的第一发送步骤；当在所述确定步骤中确定了所述拍摄是不可能的时从累积有过去拍的成像数据的累积单元获取包括所述空间区域的图像的成像数据的第二发送步骤；以及当在所述确定步骤中确定了所述拍摄是不可能的时开始移动处理以通过使用所述图像拾取单元来拍摄所述空间区域的处理开始步骤。
在由计算机执行这样的程序的所述移动机器人中，类似于所述第一实施例，所述用户可立即在视觉上识别所指定的空间区域的图像，虽然在视觉上识别的图像可能是过去的图像。因此，所述用户可在没有延迟的情况下识别所述空间区域的状态。另外，当所述移动机器人在那时不能拍摄所指定的空间区域时，它立即开始移动处理以拍摄该空间区域。因此，可以减少在拍摄实际状态之前花费的浪费时间。
第四示例性方面是一种用于被配置成从包括图像拾取单元的移动机器人接收成像数据并显示所接收到的成像数据的远程终端的控制程序，以用于使计算机执行：向所述移动机器人发送指定信号的发送步骤，所述指定信号是通过指定用户想要观察的空间区域来生成的；从所述移动机器人接收所述成像数据的接收步骤；确定在所述接收步骤中接收到的所述成像数据是否是通过在所述发送步骤中发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的成像数据的确定步骤；以及以能够识别所述确定步骤中的所述确定的结果的格式在显示单元中显示所述成像数据的图像的显示控制步骤。在由计算机执行这样的程序的所述远程终端中，类似于所述第二实施例，所述用户可首先识别所发送的图像是过去的图像还是最新的图像，然后可立即在视觉上识别所指定的空间区域的图像，虽然在视觉上识别的图像可能是过去的图像。因此，所述用户可在没有延迟的情况下识别所述空间区域的状态。
根据本公开，用户可检查在远程地点中操作的移动机器人的周围空间中指定的空间区域的状况。
根据在下文中给出的详细描述和仅通过图示给出的附图，本公开的上述及其它目的、特征和优点将变得被更充分地理解，并且因此不应被认为限制本公开。
附图说明
图1是用于说明使用根据实施例的移动机器人的整体环境的概念图；
图2是示出移动机器人的外观的立体图；
图3是移动机器人的控制框图；
图4是远程终端的控制框图；
图5示出如何在远程终端中指定用户想要检查的空间区域；
图6示出当拍摄是可能的时显示的响应画面；
图7示出如何在远程终端中指定用户想要检查的空间区域；
图8示出当拍摄是不可能的时显示的响应画面；
图9是用于说明由移动机器人和远程终端执行的处理的流程图；
图10示出如何通过使用不同的方法来指定用户想要检查的空间区域；
图11示出空间区域的指定如何被固定；
图12示出在用户想要检查的空间区域被固定之后的状态；以及
图13示出用户想要检查的空间区域的当前状态。
具体实施方式
图1是用于说明使用根据实施例的移动机器人100的整体环境的示意图。在第一环境中执行各种操作的移动机器人100由存在于远离第一环境的第二环境中的用户通过连接到因特网600的系统服务器500远程地操作。特别地，移动机器人100随着用户操作远程终端300被远程地操作。
移动机器人100在第一环境中通过无线路由器700连接到因特网600。另外，远程终端300在第二环境中通过无线路由器700连接到因特网600。系统服务器500连接到因特网600。移动机器人100从远程终端300接收各种操作信号并且执行移动操作或拍摄操作(即，摄影操作)。图1中所示的示例示出移动机器人100正在为抓握并输送容器910的任务准备的状态，所述容器910在此示例中是放置在桌子900上的瓶子。
移动机器人100能够通过使用立体相机131来拍摄(例如，摄影)容器910及其周围空间区域，从而生成它们的成像数据。在移动机器人100自主地操作的情况下，它通过处理成像数据来执行空间识别，从而识别作为目标物体的容器910的位置和大小。另外，当用户请求成像数据时，移动机器人100将所生成的成像数据发送到远程终端300。注意的是，当远程终端300不能执行3D显示时，移动机器人100可以将所生成的成像数据转换成格式符合2D显示的成像数据并且将将转换的成像数据发送到远程终端300。
注意的是，在此实施例中，因特网600被用作移动机器人100、远程终端300等连接到的网络。然而，网络可以是其它类型的网络，诸如内联网。可替选地，移动机器人100和远程终端300可以通过诸如Bluetooth(注册商标)这样的近场通信彼此直接地连接，而不使用插置在移动机器人100与远程终端300间的任何网络。
远程终端300例如是平板终端并且包括显示面板341。从移动机器人100接收到的成像数据的图像被显示在显示面板341上，并且用户可以间接方式在视觉上识别所指定的空间区域的状态。另外，用户可生成用于通过操作远程终端300来操作移动机器人100的各种操作信号。所生成的操作信号通过因特网600被发送到移动机器人100。
图2是示出移动机器人100的外观的立体图。移动机器人100主要包括可动基部110和主体部120。可动基部110在其圆柱形外壳内部支撑两个驱动轮111和脚轮112，其中的每一个均与行进面接触。两个驱动轮111被布置为使得其旋转轴线的中心彼此重合。每个驱动轮111彼此独立地由电机(未示出)旋转地驱动。脚轮112是从动轮并且被设置为使得其在垂直方向上从可动基部110延伸的枢转轴线在远离其旋转轴线的地点处轴向地支撑轮。另外，脚轮112跟随可动基部110的移动以便沿着可动基部110的移动方向移动。
可动基部110包括位于其顶面的周边部分中的激光扫描器133。激光扫描器133以某个步进角度的间隔扫描水平平面上的某个范围并且输出关于在每个方向上是否存在障碍物的信息。另外，当存在障碍物时，激光扫描器133输出到障碍物的距离。
主体部120主要包括安装在可动基部110的顶面上的主干部121、放置在主干部121的顶面上的头部122、支撑在主干部121的侧面上的臂123以及设置在臂123的尖端处的手124。臂123和手124由电机(未示出)驱动并且以受控姿势抓握各种物体。主干部121能够通过电机(未示出)的驱动力相对于可动基部110绕垂直轴线旋转。
头部122主要包括立体相机131和显示面板141。立体相机131具有具有相同视角的两个相机单元彼此远离地布置的构成，并且输出由相应的相机单元所拍的图像的成像信号。
显示面板141例如是液晶显示面板，并且显示预定义角色的动画面部并且以文本的形式或者通过使用图标来显示关于移动机器人100的信息。通过在显示面板141上显示角色的面部，可以向移动机器人100周围的人们给予显示面板141是伪面部部分的印象。
头部122能够通过电机(未示出)的驱动力相对于主干部121绕垂直轴线旋转。因此，立体相机131可拍摄位于任意方向上的物体。另外，显示面板141可在任意方向上示出显示的内容。
图3是移动机器人100的控制框图。此后描述与用于向远程终端300发送成像数据的处理有关的主要元件。然而，移动机器人100在其构成中包括其它元件并且可以包括有助于发送成像数据的处理的其它附加元件。
控制单元150例如是CPU(中央处理单元)并且被包括在例如设置在主干部121中的控制箱中。可动基部驱动单元145包括驱动轮111以及用于驱动这些驱动轮111的驱动电路和电机。控制单元150通过向可动基部驱动单元145发送驱动信号来执行驱动轮的旋转控制。另外，控制单元150从可动基部驱动单元145接收诸如编码器信号这样的反馈信号并且识别可动基部110的移动方向和移动速度。
上体驱动单元146包括包括有臂123和手124的抓握部、主干部121、头部122以及用于驱动这些部件的驱动电路和电机。控制单元150通过向上体驱动单元146发送驱动信号来执行抓握运动和手势。另外，控制单元150从上体驱动单元146接收诸如编码器信号的反馈信号，并且识别臂123和手124的位置和移动速度以及主干部121和头部122的定向和旋转速度。
显示面板141接收由控制单元150生成的图像信号并显示其图像。另外，如上所述，控制单元150生成角色等的图像信号并将其图像显示在显示面板141上。在显示面板141包括触摸面板的情况下，显示面板141向控制单元150发送触摸信号。
立体相机131根据来自控制单元150的请求拍摄周围环境并将获得的成像信号递送到控制单元150。控制单元150通过使用成像信号来执行图像处理并将成像信号转换成预定格式的成像数据以便将它发送到远程终端300。激光扫描器133根据来自控制单元150的请求来检测在移动方向上是否存在障碍物并且将作为检测的结果的检测信号递送到控制单元150。
存储器180是非易失性存储介质。例如，固态驱动器被用于存储器180。存储器180除了存储用于控制可动机器人100的控制程序之外还存储用于控制和计算的各种参数值、函数、查找表等。特别地，存储器180包括用于地图DB 181和过去图像DB 182的存储区域，所述地图DB 181是描述机器人被假定自主地移动的空间的地图信息的数据库，所述过去图像DB 182是通过在过去的操作期间拍摄周围空间而收集的成像数据的数据库。地图DB 181负责作为用于累积地图信息的地图累积单元的功能，而过去图像DB 182负责作为用于累积过去的成像数据的成像数据累积单元的功能。
在地图DB 181中，累积了已根据移动机器人100移动的范围从例如系统服务器500获取的目标地图信息。除了在由移动机器人100如上所述在过去的操作期间通过立体相机131收集的成像数据之外，过去图像DB 182还可以包括由其它移动机器人等预先拍的现有成像数据。在过去图像DB 182中累积的成像数据在其报头区域等中包括指示哪一个空间区域被拍以获得成像数据的区域信息以及指示过去取得并累积了成像数据的附加信息。
通信单元190例如是无线LAN单元并且执行与无线路由器700的无线电通信。通信单元190接收从远程终端300发送的指定信号和操作指令并且将它们递送到控制单元150。指定信号是用于请求成像数据的信号，其由用户通过指定他/她想要在远程终端300中观察的空间区域来生成。通过执行这样的接收过程，通信单元190与控制单元150合作并且充当接收指定信号的接收单元。另外，通信单元190在控制单元150的控制下将由立体相机131获取的成像数据和在过去图像DB 182中累积的成像数据发送到远程终端300。另外，在地图DB181中累积的地图信息和移动机器人100的当前位置信息也被发送到远程终端300。
控制单元150通过执行从存储器180读取的控制程序来执行整个移动机器人100的控制和各种计算过程。当通过使用立体相机131来执行拍摄由用户所指定的空间区域是可能的时，控制单元150执行拍摄并将获得的成像数据发送到远程终端300，将稍后对其细节进行描述。另一方面，当执行拍摄是不可能的时，控制单元150从在过去图像DB 182中累积的成像数据中提取包括所指定的空间区域的图像的成像数据，并且将所提取的成像数据发送到远程终端300。另外，控制单元150开始移动处理以通过立体相机131来拍摄空间区域。控制单元150充当执行上述一系列过程的处理单元。
图4是远程终端300的控制框图。此后描述与用于从移动机器人100接收成像数据的处理有关的主要元件。然而，远程终端300在其配置方面包括其它元件并且可以包括有助于接收成像数据的处理的其它附加元件。
计算单元350例如是CPU并且通过执行从存储器380读取的控制程序来执行整个远程终端300的控制和各种计算过程。显示面板341例如是液晶显示面板并且充当显示单元，所述显示单元接收由计算单元350生成的图像信号并显示其图像。由计算单元350生成的图像信号可以是例如通过展开从移动机器人100发送的成像数据而获得的信号或通过展开地图信息而获得的信号。
输入单元342包括被设置以叠加在显示面板141上的触摸面板或设置在显示面板141的外围部分中的按钮。输入单元342响应于由用户所执行的操作而生成操作信号并且将所生成的操作信号递送到计算单元350。存储器380是非易失性存储介质。例如，固态驱动器被用于存储器380。存储器380除了存储用于控制远程终端300的控制程序之外还存储用于控制和计算的各种参数值、函数、查找表等。
通信单元390例如是无线LAN单元并且执行与无线路由器700的无线电通信。通信单元390与计算单元350合作并且负责作为用于向移动机器人100发送指定信号、操作信号等的发送单元的功能以及用于从移动机器人100接收成像信号等的接收单元的功能。
计算单元350还负责作为执行各种过程和计算的功能计算单元的功能。确定单元351确定从移动机器人100发送的成像数据是否是在远程终端300发送了指定信号之后通过由移动机器人100执行的拍摄所获取的成像数据。显示控制单元352生成要在显示面板141上显示的图像的图像信号并控制其显示。特别地，显示控制单元352在显示面板141上以能够识别确定单元351的确定结果的格式显示成像数据的图像。将稍后对细节进行描述。
接下来，描述从当用户指定用户想要通过操作远程终端300来检查状况的空间区域时到当从移动机器人100发送成像数据并且其图像被显示在远程终端300上时的一系列过程。图5示出如何在远程终端300中指定用户想要检查的空间区域。
包括移动机器人100当前所位于的空间的地图411的地图窗口410与指示地图表示哪里的标题一起被显示在远程终端300的显示面板141上。地图411通过使用包括在目标空间中的结构的形状来表达并且与其名称一起被显示。名称可以是例如“架子”、“置物台”、“桌子”、“通道”和“入口/出口”，并且被显示在通过它们所表示的相应结构的形状附近。关于这样的地图信息片，从移动机器人100的地图DB 181获取它们，或者使用预先存储在存储器380中的那些。
在地图411中，表示移动机器人100它自己的图标420(在下文中称为本机图标420)被叠加在与第一环境中的移动机器人100的当前位置相对应的地点处。本机图标420通过其定向来指示移动机器人100正面向哪一个方向。根据这些显示的项，用户可粗略地假定第一环境的状态和移动机器人100的当前状况。
用户用他的/她的指尖触摸地图411上的他/她想要检查状况的空间区域。图5中所示的示例示出桌子的周边部分被触摸并且指针421响应于此触摸而出现的状态。当此触摸的空间区域适当时，用户通过触摸与地图窗口410相邻显示的成像区域指定按钮433来固定其指定。当指定被固定时，计算单元350生成对所指定的空间区域进行描述的指定信号并且通过通信单元190将所生成的指定信号发送到移动机器人100。
注意的是，除非已触摸了成像区域指定按钮433，否则用户可通过再次触摸地图411来校正所指定的空间区域。另外，当用户想要显示除移动机器人100当前所位于的空间区域以外的空间区域的地图时，他/她可通过触摸地图选择按钮431来选择另一个地图。
在图5中所示的示例中，由用户所指定的空间区域是可从移动机器人100的当前位置立即拍摄的空间区域。在这种情况下，在接收到指定信号时，移动机器人100通过立体相机131来拍摄空间区域并且将生成的成像数据发送到远程终端300。注意的是，存在移动机器人100在执行拍摄之前通过摆动上面安装有立体相机131的头部122来调整拍摄方向的情况。
图6示出当拍摄是可能的时显示的响应画面。在从移动机器人100接收到成像数据时，确定单元351确定成像数据是否是通过在远程终端300发送了指定信号之后执行的拍摄所获取的成像数据。特别地，例如，确定单元351通过检查成像数据的报头信息、从而检查例如是否存在指示根据所发送的指定信号拍了成像数据的描述来做出判定。
当确定单元351确定成像数据是通过在远程终端300发送了指定信号之后执行的拍摄所获取的成像数据时，显示控制单元352以能够识别其确定结果的格式在显示面板141上显示该成像数据的图像。特别地，如图6中所示，图像窗口450被新打开并且与已展开的图像一起显示诸如指示所显示的图像示出当前状态的“实时照片”这样的标题。
类似于图5，图7示出如何在远程终端300中指定用户想要检查的空间区域。然而，与图5相反，图7示出远离本机图标420的空间区域被指定的情况。
特别地，在地图411中，(当移动机器人100正面向的方向被定义为向前方向时)倾斜地位于通过本机图标420所指示的移动机器人100后面的架子被触摸并且指针421响应于此触摸而出现。当成像区域指定按钮433被触摸并且因此指定被固定时，计算单元350生成对所指定的空间区域进行描述的指定信号并且通过通信单元190来将所生成的指定信号发送到移动机器人100。
在图7中所示的示例中由用户所指定的空间区域是不能从移动机器人100的当前位置立即拍摄的空间区域。在这种情况下，在接收到指定信号时，移动机器人100首先从在过去图像DB 182中累积的成像数据中提取包括所指定的空间区域的图像的成像数据并且将所提取的成像数据发送到远程终端300。另外，移动机器人100开始移动处理以便通过立体相机131来拍摄空间区域。
图8示出当拍摄是不可能的时发生的响应画面中的变化。在图8中，上部示出当移动机器人100已开始移动处理并且正在连续地发送在移动期间拍的成像数据时的远程终端300的响应画面。
如上所述，在从移动机器人100接收到成像数据时，确定单元351确定成像数据是否是通过在远程终端300发送了指定信号之后执行的拍摄所获取的成像数据。例如，当成像数据包含指示成像数据是在过去图像DB 182中累积的成像数据的附加信息时，确定单元351确定成像数据是在发送指定信号之前已经存在的成像数据。显示控制单元352以能够识别确定单元351的这种确定结果的格式在显示面板141上显示成像数据的图像。具体地，如图7中所示，图像窗口450被新打开并且与已展开的图像一起显示诸如指示所显示的图像示出过去的状态的“过去照片”这样的标题。如上所述，通过显示过去的图像，用户可首先识别所显示的图像是过去的图像，然后可在没有延迟的情况下至少识别所指定的空间区域是什么种类的地点，但是他/她不能立即检查所指定的空间区域的当前状况。
当显示控制单元352显示过去的图像时，它获取由移动机器人100在它正移动到所指定的空间区域的同时拍的成像数据并且还将所获取的图像显示在显示面板141上。具体地，显示控制单元352在图像窗口450附近打开子图像窗口451并且显示诸如指示所显示的图像与已展开的图像一起示出在移动期间获得的状态的“当前”这样的标题。另外，显示控制单元352打开指示移动机器人100正在移动的状态指示窗口452并且在已打开的状态指示窗口452上显示其状况，诸如消息“移动机器人正在移动”等。通过上述显示，用户可在获得最新成像数据之前识别中间状态并且还识别最新成像数据仍然尚未被发送。
在图8中，下部示出当移动机器人100已到达它可从那里拍摄所指定的空间区域的位置并且已发送通过拍摄该空间区域而生成的成像数据时的远程终端300的响应画面。当确定单元351确定所获取的成像数据是通过拍摄所指定的空间区域而获得的当前成像数据时，显示控制单元352擦除子图像窗口451和状态指示窗口452。然后，显示控制单元352展开当前成像数据并且用已展开的成像数据替换图像窗口450中的图像。另外，显示控制单元352还用指示成像数据示出当前状态的标题诸如标题“实时照片”替换标题。用户可在当前图像中识别例如包含有叉子的透明容器和书籍，所述透明容器和书籍在过去图像(图8的上部中的图像窗口450)中不存在于架子中。通过如上所述用最新图像替换所显示的图像，用户可获得关于所指定的空间区域的准确信息。
接下来，描述由移动机器人100和远程终端300所执行的与用户请求成像数据的任务有关的处理。图9是用于说明由移动机器人100和远程终端300所执行的处理的流程图。左侧的流程表示由移动机器人100所执行的处理的流程并且右侧的流程表示由远程终端300所执行的处理的流程。另外，通过系统服务器500执行的信号和成像数据的交换通过从发送源指向发送目的地的虚线箭头来指示。
当远程终端300的计算单元350通过例如是触摸板输入单元342从用户接收到要显示地图的指令时，在步骤S301中，过程进行到步骤S302并且计算单元350从移动机器人100请求关于移动机器人100的当前位置的信息。具体地，计算单元350生成请求关于当前位置的信息的请求信号并且通过通信单元190来将所生成的请求信号发送到移动机器人100。
当移动机器人100的控制单元150从远程终端300接收到请求信号时，它在步骤S101中检查它自己的当前位置并且将关于当前位置的信息发送到远程终端300。注意的是，当前位置是通过例如从来自立体相机131获取的图像信息中提取存在于空间中的结构并且执行与移动机器人它自己的相对位置关系与地图信息中描述的结构之间的匹配来检查的。
在接收到关于移动机器人100的当前位置的信息时，远程终端300的显示控制单元352在步骤S303中以图5所示的格式等在显示面板341上显示包括有移动机器人100的空间的地图。然后，过程进行到步骤S304并且计算单元350如上面参考图5等所描述的那样通过输入单元342从用户接收空间区域的指定。在接收到空间区域的指定时，计算单元350生成指定信号并将所生成的指定信号发送到移动机器人100。
在从远程终端300接收到指定信号时，移动机器人100的控制单元150进行到步骤S102并且它确定是否可以通过立体相机131来立即拍摄通过指定信号所指定的空间区域。注意的是，当仅仅通过摆动上面安装有立体相机131的头部122来拍摄所指定的空间区域是可能的时，控制单元150可以确定可以立即拍摄所指定的空间区域。当控制单元150确定拍摄是可能的时，过程进行到步骤S107，其中控制单元150拍摄所指定的空间区域并将生成的成像数据发送到远程终端300。当控制单元150确定拍摄是不可能的时，过程进行到步骤S103。
在步骤S103中，控制单元150从过去图像DB 182获取包括所指定的空间区域的图像的成像数据并且将所获取的成像数据发送到远程终端300。然后，过程进行到步骤S104并且控制单元150开始移动处理以便通过立体相机131来拍摄所指定的空间区域。具体地，控制单元150将它可从那里拍摄所指定的空间区域的地点定义为目的地并且通过使用地图信息来规划从当前位置到目的地的路线。当规划完成时，移动机器人100开始移动。
在开始移动时，过程进行到步骤S105，其中控制单元150以恒定间隔执行拍摄并将获得的成像数据发送到远程终端300。在成像数据中，指示通过在移动期间执行拍摄而生成的成像数据的附加信息被添加在其报头信息等中。然后，在步骤S106中，控制单元150检查移动机器人100是否已到达拍摄可能位置(在下文中称为拍摄可能位置)，即，已到达目的地。当移动机器人仍然尚未到达拍摄可能位置时，过程返回到步骤S105。当移动机器人已到达拍摄可能位置时，过程进行到步骤S107，其中控制单元150拍摄所指定的空间区域并将生成的成像数据发送到远程终端300。
在步骤S304中发送指定信号之后，远程终端300的计算单元350接收从移动机器人100发送的成像数据。在接收到成像数据时，确定单元351在步骤S305中确定所接收到的成像数据是否是通过在移动终端300发送了指定信号之后使移动机器人100拍摄所指定的空间区域而获得的成像数据。
确定单元351检查例如成像数据的报头信息并且确定成像数据是否对应于上述成像数据。具体地，当所接收到的成像数据的报头信息包括指示成像数据是在过去图像DB182中累积的成像数据的附加信息时，确定单元351确定所接收到的成像数据是过去的成像数据。另外，当报头信息包括指示所接收到的成像数据是由移动机器人100通过在移动期间执行拍摄而生成的成像数据的附加信息时，确定单元351确定所接收到的成像数据是当前成像数据而不是通过拍摄所指定的空间区域而获得的成像数据。当确定单元351确认这样的附加信息时，过程进行到步骤S306。
在步骤S306中，显示控制单元352以图8的上部中所示的格式显示过去图像和在移动期间获得的图像。当在移动期间未接收到图像时，不打开子图像窗口451。在正在显示过去图像的同时，过程返回到紧接在步骤S305之前的状态，使得远程终端300可从移动机器人100接收新的成像数据。
当确定单元351通过在步骤S305中检查例如成像数据的报头信息来确定所接收到的成像数据是根据指定信号而获得的成像数据时，过程进行到步骤S307。在步骤S307中，显示控制单元352以图6或图8的下部中所示的格式在显示面板141上显示所接收到的成像数据的图像。
当用户想要检查某个空间区域时，重复上述过程。注意的是，当用户在步骤S104中开始移动处理之后并且在移动机器人100到达拍摄可能位置之前指定新的且不同的空间区域时，控制单元150可以中止先前指定的空间区域的拍摄并且针对新指定的空间区域执行一系列过程。另外，当移动机器人100在步骤S104中不能规划到达所指定的空间区域的路线时，它可以通知远程终端300不能拍摄所指定的空间区域。在这种情况下，远程终端300显示指示不能在显示面板341上显示所指定的空间区域的当前图像的信息。
在上述实施例中，远程终端300的计算单元350打开地图窗口410。然后，通过使用户触摸在地图窗口410上显示的地图411上的某个地点，计算单元350接收空间区域的指定。然而，空间区域的指定不限于此示例方法。图10示出如何通过使用不同的方法来指定用户想要检查的空间区域。
显示控制单元352打开图像窗口450并且在从用户接收任何指定之前将由移动机器人100的立体相机131当前捕获的图像作为初始显示画面(即，初始显示图像)显示在已打开的图像窗口450中。也就是说，移动机器人100的控制单元150通过立体相机131来执行拍摄并且在接收任何指定信号之前将获得的成像数据发送到远程终端300。然后，当远程终端300的计算单元350接收到成像数据时，显示控制单元352将此成像数据转换成图像信号并且在图像窗口450上显示其图像。通过重复上述一系列过程，图像窗口450被更新为示出实况图像的窗口。在此示例中，图像窗口450具有粗略地等于显示面板341的整个表面区域的大小以便给予用户沉浸感。
显示控制单元352在图像窗口450的下部区域中显示方向指示按钮461。方向指示按钮461例如由分别指示直线移动、右转弯和左转弯的三个箭头按钮组成，如图10中所示。通过将作为初始显示画面显示的图像用作基准，用户可通过以连续方式触摸方向指示按钮461中的相应一个来指定上述三个方向中的任何一个上的空间移动。当移动机器人100可及时在通过触摸所指示的方向上移动时，它执行拍摄并将获得的成像数据发送到远程终端300。
另一方面，例如，当以短间隔重复地触摸方向指示按钮461时，移动机器人100从过去图像DB 182获取与由被触摸的箭头按钮(即，被触摸的方向指示按钮)指示的方向相对应的空间区域的成像数据并且将所获取的成像数据发送到远程终端300。当所发送的图像是当前图像时，远程终端300的显示控制单元352显示例如诸如“当前”的标题，然而当所发送的图像是过去的图像时，显示控制单元352显示例如诸如“过去照片”的标题。通过如上所述在移动机器人不能及时在所指定的方向上移动时立即将所显示的图像改变为过去的图像，可以防止每次显示面板被轻敲时被发送并因此不平滑的当前图像被显示。由此，可以消除由于不平滑的视频图像用户可能患有晕动病的担忧。
一旦显示控制单元352显示了过去图像，每次它在那之后接收到轻敲时，它就获取与通过轻敲所指示的方向相对应的过去图像并且将所获取的过去图像显示在图像窗口450上，使得用户感觉好像他/她正在从正在四处移动的移动机器人100的视点观察空间。当显示控制单元352确定用户在一定时间段内尚未在显示面板上轻敲时，它确定用户已指定在那时显示的空间区域并且固定空间区域的指定。当显示在图像窗口450上的图像是在指定被固定时的过去图像时，显示控制单元352生成指示所指定的空间区域的指定信号并且将所生成的指定信号发送到移动机器人100。
图11示出空间区域的指定如何被固定。显示控制单元352擦除方向指示按钮461，使得用户识别空间区域的指定被固定。图12示出在用户想要检查的空间区域被固定之后的状态。图像窗口450被固定在上面显示有所指定的过去图像的状态下。然后，子图像窗口451被打开并且在那时由移动机器人100的立体相机131所捕获的图像被显示在已打开的子图像窗口451上。另外，指示移动机器人100正在移动的状态指示窗口452被打开。注意的是，可以显示仅状态指示窗口452而不显示子图像窗口451。
图13示出用户想要检查的空间区域的当前状态。当移动机器人100拍摄所指定的空间区域并且发送获得的成像数据时，显示控制单元352擦除如图13中所示的子图像窗口451和状态指示窗口452。然后，所接收到的成像数据被展开并且图像窗口450上的图像被已展开的成像数据的图像替换。另外，标题也被指示图像示出当前状态的“实时照片”等代替。
注意的是，当在过去图像DB 182中不存在与轻敲相对应的空间的过去图像数据时，可以通过对附近空间的过去图像数据执行插值过程来生成人造图像并且可以显示所生成的人造图像。可替选地，可以显示预先准备的替换图像。在任何情况下，通过显示当移动机器人100的视点移动操作已完成并且因此移动机器人已静止时拍的成像数据作为真实图像，用户可以舒适的方式在视觉上识别令人满意的图像。
尽管已在静止图像数据被用作要发送/接收的成像数据的假定下描述了上述实施例，但是要发送/接收的成像数据可以是运动图像数据。另外，当在过去图像DB 182中不存在包括所指定的空间区域的图像的成像数据时，可以在远程终端300的显示面板341上显示指示不存在过去图像的信息。
另外，空间区域的指定可以包括观察方向的指定。例如，可以通过显示指针421并使用户对指针421执行扫掠动作来指定用户想要观察的方向。在这种情况下，指定信号包括关于用户想要观察并由用户指定的方向的信息。另外，移动机器人100根据此方向来定位立体相机131并且通过立体相机131来执行预拍摄。
另外，远程终端300不限于平板型终端。远程终端300可以是智能电话或配备有头戴式显示器的终端。另外，远程终端300不限于以无线方式连接的那些。例如，远程终端300可以是通过有线LAN连接的PC(个人计算机)终端。
另外，移动机器人100的图像拾取单元不限于立体相机131。例如，单透镜相机单元可以被用作图像拾取单元。特别地，当与用于空间的三维测量的相机单元分开地设置图像拾取单元时，可将各种类型的相机单元用作图像拾取单元。
根据依照上述实施例的移动机器人100和远程终端300，远程地操作移动机器人100的用户可立即在视觉上识别指定的空间区域的图像，但是在视觉上识别的图像可能是过去的图像。因此，用户可在没有延迟的情况下识别空间区域的状态。另外，当移动机器人100在那时不能拍摄所指定的空间区域时，它立即开始移动处理以便拍摄该空间区域。因此，可以减少在拍摄实际状态之前花费的浪费时间。另外，根据此实施例的对所指定的空间区域的检查工作在例如在预先检查其目的地的状态之后执行输送容器的任务时也是有用的。例如，可以配置图13中所示的用户界面，使得当用户在检查目标空间之后触摸画面时，使得用户能够指示移动机器人抓握并移动被触摸物体的弹出窗口被显示。
可使用任何类型的非暂时性计算机可读介质来存储程序并将它提供给计算机。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质的示例包括磁存储介质(诸如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如磁光盘)、CD-ROM(紧致盘只读存储器)、CD-R(可记录紧致盘)、CD-R/W(可重写紧致盘)和半导体存储器(诸如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。可以使用任何类型的暂时性计算机可读介质来将程序提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性计算机可读介质可通过有线通信线路(例如电线和光纤)或无线通信线路来将程序提供给计算机。
从如此描述的公开内容中，将明显的是，可以以许多方式改变本公开的实施例。这样的变化不应被视为脱离本公开的精神和范围，并且如对于本领域的技术人员而言将明显的所有这样的修改旨在包括在以下权利要求的范围内。

Claims (14)

1.一种包括图像拾取单元的移动机器人，还包括：
累积单元，所述累积单元被配置成累积过去拍的成像数据；
接收单元，所述接收单元被配置成从远程终端接收空间区域的指定；以及
处理单元，所述处理单元被配置成：当由所述图像拾取单元拍摄由所述接收单元接收到的所述空间区域是可能的时，执行拍摄并将获得的成像数据发送到所述远程终端，而当所述拍摄是不可能的时，将包括在所述累积单元中累积的所述空间区域的图像的成像数据发送到所述远程终端并且开始移动处理以由所述图像拾取单元拍摄所述空间区域。
2.根据权利要求1所述的移动机器人，其中，当通过在所述移动处理开始之后通过由所述图像拾取单元拍摄所述空间区域而获得了成像数据时，所述处理单元将所述成像数据发送到所述远程终端。
3.根据权利要求2所述的移动机器人，其中，所述处理单元将通过在所述移动处理开始之后的所述移动期间使所述图像拾取单元执行拍摄而获得的成像数据与指示所述成像数据是在所述移动期间获得的附加信息一起发送到所述远程终端。
4.根据权利要求1至3中的任何一项所述的移动机器人，其中，当所述处理单元发送在所述累积单元中累积的成像数据时，所述处理单元将所述成像数据与指示所述成像数据是在所述累积单元中累积的成像数据的附加信息一起发送到所述远程终端。
5.根据权利要求1至4中的任何一项所述的移动机器人，其中，所述处理单元通过使用所述图像拾取单元来执行拍摄并且在所述接收单元接收所述空间区域的指定之前将获得的成像数据发送到所述远程终端。
6.一种被配置成从包括图像拾取单元的移动机器人接收成像数据并显示所接收到的成像数据的远程终端，包括：
发送单元，所述发送单元被配置成向所述移动机器人发送指定信号，所述指定信号是通过指定用户想要观察的空间区域来生成的；
接收单元，所述接收单元被配置成从所述移动机器人接收所述成像数据；
确定单元，所述确定单元被配置成确定由所述接收单元接收到的所述成像数据是否是通过在所述发送单元发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的成像数据；以及
显示控制单元，所述显示控制单元被配置成以能够识别所述确定单元的确定的结果的格式在显示单元中显示所述成像数据的图像。
7.根据权利要求6所述的远程终端，其中，当所述显示控制单元在所述显示单元中显示由所述确定单元确定为不是通过在所述发送单元发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的所述成像数据的成像数据的图像、并且然后所述确定单元确定由所述接收单元新接收到的成像数据是通过在所述发送单元发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的所述成像数据时，所述显示控制单元在所述显示单元中显示所述新接收到的成像数据的图像。
8.根据权利要求6或7所述的远程终端，其中，当在所述显示控制单元正在所述显示单元中显示由所述确定单元确定为不是通过在所述发送单元发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的所述成像数据的成像数据的图像的同时由所述接收单元接收到的成像数据包含指示所接收到的成像数据是在所述移动机器人正在移动的同时获得的成像数据的附加信息时，所述显示控制单元在所述显示单元中与当前显示的图像一起显示包含所述附加信息的所述成像数据的图像。
9.根据权利要求6至8中的任何一项所述的远程终端，其中
所述显示控制单元在所述显示单元中显示在所述发送单元发送所述指定信号之前所述接收单元已从所述移动机器人接收到的成像数据的图像作为初始显示的图像，并且
所述发送单元向所述移动机器人发送为通过使用在所述显示单元中显示的所述图像作为基准而由所述用户指定的所述空间区域生成的所述指定信号。
10.一种计算机可读介质，所述计算机可读介质存储有用于包括图像拾取单元的移动机器人的控制程序，所述控制程序用于使计算机执行：
从远程终端接收空间区域的指定的接收步骤；
当在所述接收步骤中接收到所述指定时确定是否可能通过使用所述图像拾取单元来拍摄所述空间区域的确定步骤；
当在所述确定步骤中确定了所述拍摄是可能的时拍摄所述空间区域并将获得的成像数据发送到所述远程终端的第一发送步骤；
当在所述确定步骤中确定了所述拍摄是不可能的时从累积有过去拍的成像数据的累积单元获取包括所述空间区域的图像的成像数据的第二发送步骤；以及
当在所述确定步骤中确定了所述拍摄是不可能的时开始移动处理以通过使用所述图像拾取单元来拍摄所述空间区域的处理开始步骤。
11.一种计算机可读介质，所述计算机可读介质存储用于被配置成从包括图像拾取单元的移动机器人接收成像数据并显示所接收到的成像数据的远程终端的控制程序，以用于使计算机执行：
向所述移动机器人发送指定信号的发送步骤，所述指定信号是通过指定用户想要观察的空间区域来生成的；
从所述移动机器人接收所述成像数据的接收步骤；
确定在所述接收步骤中接收到的所述成像数据是否是通过在所述发送步骤中发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的成像数据的确定步骤；以及
以能够识别所述确定步骤中的确定的结果的格式在显示单元中显示所述成像数据的图像的显示控制步骤。
12.一种包括含有图像拾取单元的移动机器人的控制系统，还包括：
累积单元，所述累积单元被配置成累积过去拍的成像数据；
接收单元，所述接收单元被配置成从远程终端接收空间区域的指定；以及
处理单元，所述处理单元被配置成当由所述图像拾取单元拍摄由所述接收单元接收到的所述空间区域是可能的时，执行拍摄并将获得的成像数据发送到所述远程终端，而当所述拍摄是不可能的时，将包括在所述累积单元中累积的所述空间区域的图像的成像数据发送到所述远程终端并且开始移动处理以由所述图像拾取单元拍摄所述空间区域。
13.一种用于包括图像拾取单元的移动机器人的控制方法，包括：
从远程终端接收空间区域的指定的接收步骤；
当在所述接收步骤中接收到所述指定时确定是否可能通过使用所述图像拾取单元来拍摄所述空间区域的确定步骤；
当在所述确定步骤中确定了所述拍摄是可能的时拍摄所述空间区域并将获得的成像数据发送到所述远程终端的第一发送步骤；
当在所述确定步骤中确定了所述拍摄是不可能的时从累积有过去拍摄的成像数据的累积单元获取包括所述空间区域的图像的成像数据的第二发送步骤；以及
当在所述确定步骤中确定了所述拍摄是不可能的时开始移动处理以通过使用所述图像拾取单元来拍摄所述空间区域的处理开始步骤。
14.一种用于被配置成从包括图像拾取单元的移动机器人接收成像数据并显示所接收到的成像数据的远程终端的控制方法，包括：
向所述移动机器人发送指定信号的发送步骤，所述指定信号是通过指定用户想要观察的空间区域来生成的；
从所述移动机器人接收所述成像数据的接收步骤；
确定在所述接收步骤中接收到的所述成像数据是否是通过在所述发送步骤中发送所述指定信号之后通过使用所述图像拾取单元来执行拍摄而获得的成像数据的确定步骤；以及
以能够识别所述确定步骤中的确定的结果的格式在显示单元中显示所述成像数据的图像的显示控制步骤。
CN201910807432.6A 2018-09-06 2019-08-29 移动机器人、远程终端、计算机可读介质、控制系统、控制方法 Active CN110888428B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018166556A JP7052652B2 (ja) 2018-09-06 2018-09-06 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム
JP2018-166556 2018-09-06

Publications (2)

Publication Number Publication Date
CN110888428A true CN110888428A (zh) 2020-03-17
CN110888428B CN110888428B (zh) 2023-05-09

Family

ID=69719767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910807432.6A Active CN110888428B (zh) 2018-09-06 2019-08-29 移动机器人、远程终端、计算机可读介质、控制系统、控制方法

Country Status (3)

Country Link
US (2) US11284042B2 (zh)
JP (1) JP7052652B2 (zh)
CN (1) CN110888428B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1968149A1 (de) * 2007-03-02 2008-09-10 Siemens Aktiengesellschaft Brennstoffzelleneinheit
US10690466B2 (en) 2017-04-19 2020-06-23 Global Tel*Link Corporation Mobile correctional facility robots
US10949940B2 (en) * 2017-04-19 2021-03-16 Global Tel*Link Corporation Mobile correctional facility robots
US11477870B2 (en) * 2017-09-28 2022-10-18 Daikin Industries, Ltd. Environmental control equipment control apparatus for controlling target space
JP7169130B2 (ja) * 2018-09-03 2022-11-10 川崎重工業株式会社 ロボットシステム
CN111479063B (zh) * 2020-04-15 2021-04-06 上海摩象网络科技有限公司 云台驱动方法、设备及手持相机
JP2021184014A (ja) * 2020-05-21 2021-12-02 株式会社豊田自動織機 地図表示装置及び地図表示プログラム
JP2022098658A (ja) * 2020-12-22 2022-07-04 トヨタ自動車株式会社 撮影システム、その撮影方法及びプログラム

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001315080A (ja) * 2000-05-10 2001-11-13 Nippon Telegr & Teleph Corp <Ntt> 遠隔地観測装置
US20040027453A1 (en) * 2002-05-02 2004-02-12 Hiroyuki Hasegawa Monitoring system, monitoring method, computer program, and storage medium
JP2004255552A (ja) * 2003-02-28 2004-09-16 Fujitsu Ltd 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム
US20050159841A1 (en) * 2002-10-04 2005-07-21 Fujitsu Limited Robot system and autonomous mobile robot
US20060109259A1 (en) * 2004-11-19 2006-05-25 Nintendo Co., Ltd. Storage medium storing image display program, image display processing apparatus and image display method
JP2008028688A (ja) * 2006-07-21 2008-02-07 Uie Japan:Kk 画像配信システム
CN101268383A (zh) * 2005-08-04 2008-09-17 埃森技术Enc株式会社 智能视频监控系统以及与自动跟踪雷达系统通信的方法
US20090040331A1 (en) * 2007-08-06 2009-02-12 Canon Kabushiki Kaisha Communication control apparatus, communication control method, computer program, and storage medium
JP2010134499A (ja) * 2008-12-02 2010-06-17 Mitsubishi Electric Corp 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
JPWO2009011380A1 (ja) * 2007-07-19 2010-09-24 日本電気株式会社 センシング装置、システム、制御方法、及び制御プログラム
US20110013032A1 (en) * 2009-07-16 2011-01-20 Empire Technology Development Llc Imaging system, moving body, and imaging control method
US20120215380A1 (en) * 2011-02-23 2012-08-23 Microsoft Corporation Semi-autonomous robot that supports multiple modes of navigation
US20140198220A1 (en) * 2013-01-17 2014-07-17 Canon Kabushiki Kaisha Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
JP2014143619A (ja) * 2013-01-25 2014-08-07 Canon Inc 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
US20150036013A1 (en) * 2013-07-31 2015-02-05 Canon Kabushiki Kaisha Remote-control apparatus and control method thereof, image capturing apparatus and control method thereof, and system
US20150145952A1 (en) * 2012-06-11 2015-05-28 Sony Computer Entertainment Inc. Image capturing device and image capturing method
WO2015123035A1 (en) * 2014-02-17 2015-08-20 General Electric Company Video system and method for data communication
CN106468917A (zh) * 2015-09-14 2017-03-01 北京理工大学 一种可触摸现场实时视频图像的远程呈现交互方法和系统
US20170274822A1 (en) * 2016-03-24 2017-09-28 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4048292B2 (ja) * 2002-06-14 2008-02-20 松下電器産業株式会社 交通情報表示システム及び撮像画像送信装置並びに車載用の情報表示装置と記憶媒体
KR100560966B1 (ko) 2004-10-12 2006-03-15 삼성광주전자 주식회사 로봇 청소기의 자이로 센서 보정방법
JP2006173999A (ja) * 2004-12-15 2006-06-29 Matsushita Electric Ind Co Ltd カメラ装置および遠隔装置
US20090135264A1 (en) * 2007-11-28 2009-05-28 Motorola, Inc. Motion blur detection using metadata fields
WO2012140655A2 (en) 2011-04-12 2012-10-18 Baryakar Dan Robotic system controlled by multi participants, considering administrator's criteria
US20120277914A1 (en) * 2011-04-29 2012-11-01 Microsoft Corporation Autonomous and Semi-Autonomous Modes for Robotic Capture of Images and Videos
US9776332B2 (en) * 2011-12-08 2017-10-03 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
US20150062334A1 (en) * 2013-08-29 2015-03-05 FanPix, LLC Systems and Methods for Image Capture and Distribution in Venues
JP2016032128A (ja) * 2014-07-25 2016-03-07 株式会社リコー 遠隔会議システム、通信端末及びプログラム
JP6354496B2 (ja) 2014-09-26 2018-07-11 トヨタ自動車株式会社 ロボット制御方法
US10007890B1 (en) 2015-06-26 2018-06-26 Amazon Technologies, Inc. Collaborative unmanned aerial vehicle inventory system
US10000284B1 (en) 2015-06-26 2018-06-19 Amazon Technologies, Inc. Collaborative unmanned aerial vehicle for an inventory system

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001315080A (ja) * 2000-05-10 2001-11-13 Nippon Telegr & Teleph Corp <Ntt> 遠隔地観測装置
US20040027453A1 (en) * 2002-05-02 2004-02-12 Hiroyuki Hasegawa Monitoring system, monitoring method, computer program, and storage medium
US20050159841A1 (en) * 2002-10-04 2005-07-21 Fujitsu Limited Robot system and autonomous mobile robot
JP2004255552A (ja) * 2003-02-28 2004-09-16 Fujitsu Ltd 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム
US20060109259A1 (en) * 2004-11-19 2006-05-25 Nintendo Co., Ltd. Storage medium storing image display program, image display processing apparatus and image display method
CN101268383A (zh) * 2005-08-04 2008-09-17 埃森技术Enc株式会社 智能视频监控系统以及与自动跟踪雷达系统通信的方法
JP2008028688A (ja) * 2006-07-21 2008-02-07 Uie Japan:Kk 画像配信システム
JPWO2009011380A1 (ja) * 2007-07-19 2010-09-24 日本電気株式会社 センシング装置、システム、制御方法、及び制御プログラム
US20090040331A1 (en) * 2007-08-06 2009-02-12 Canon Kabushiki Kaisha Communication control apparatus, communication control method, computer program, and storage medium
JP2010134499A (ja) * 2008-12-02 2010-06-17 Mitsubishi Electric Corp 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
US20110013032A1 (en) * 2009-07-16 2011-01-20 Empire Technology Development Llc Imaging system, moving body, and imaging control method
US20120215380A1 (en) * 2011-02-23 2012-08-23 Microsoft Corporation Semi-autonomous robot that supports multiple modes of navigation
US20150145952A1 (en) * 2012-06-11 2015-05-28 Sony Computer Entertainment Inc. Image capturing device and image capturing method
US20140198220A1 (en) * 2013-01-17 2014-07-17 Canon Kabushiki Kaisha Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
CN107277345A (zh) * 2013-01-17 2017-10-20 佳能株式会社 摄像装置及其控制方法、远程控制装置及其控制方法
JP2014143619A (ja) * 2013-01-25 2014-08-07 Canon Inc 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
US20150036013A1 (en) * 2013-07-31 2015-02-05 Canon Kabushiki Kaisha Remote-control apparatus and control method thereof, image capturing apparatus and control method thereof, and system
WO2015123035A1 (en) * 2014-02-17 2015-08-20 General Electric Company Video system and method for data communication
CN106468917A (zh) * 2015-09-14 2017-03-01 北京理工大学 一种可触摸现场实时视频图像的远程呈现交互方法和系统
US20170274822A1 (en) * 2016-03-24 2017-09-28 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle

Also Published As

Publication number Publication date
US11284042B2 (en) 2022-03-22
JP2020038588A (ja) 2020-03-12
JP7052652B2 (ja) 2022-04-12
US20200351475A1 (en) 2020-11-05
CN110888428B (zh) 2023-05-09
US11375162B2 (en) 2022-06-28
US20200084423A1 (en) 2020-03-12

Similar Documents

Publication Publication Date Title
CN110888428B (zh) 移动机器人、远程终端、计算机可读介质、控制系统、控制方法
US11289192B2 (en) Interfacing with a mobile telepresence robot
CN105659170B (zh) 用于向远程用户传送视频的方法及视频通信装置
CA3016539C (en) Image processing method, display device, and inspection system
KR101870067B1 (ko) 로봇 디바이스 동작의 가상 표현을 디스플레이하는 증강 현실을 위한 방법 및 시스템
US8355816B2 (en) Action teaching system and action teaching method
US20200007751A1 (en) Control apparatus, movable apparatus, and remote-control system
US11991477B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP6439806B2 (ja) ロボット装置及びプログラム
EP3835002B1 (en) Remote control system and remote control method
JP2018153874A (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
KR20190100133A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
CN115134519B (zh) 远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
CN112788443A (zh) 基于光通信装置的交互方法和系统
JP6382772B2 (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム
JP2018097645A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP6689492B2 (ja) 端末装置、データ処理システム及びプログラム
KR102549631B1 (ko) 신체 일부의 자세 및 장치의 기울기를 이용한 실시간 작업 장치 및 카메라 제어 방법 및 장치
JP2021039567A (ja) 作業支援システム及びプログラム
KR102553830B1 (ko) 카메라를 이용한 실시간 로봇 원격 제어 방법 및 장치
KR20240067950A (ko) 작업 지원 시스템
JP2022132166A (ja) ロボット支援システム
CN115278178A (zh) 一种处理方法、处理装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant