CN115134519B - 远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质 - Google Patents

远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质 Download PDF

Info

Publication number
CN115134519B
CN115134519B CN202210290252.7A CN202210290252A CN115134519B CN 115134519 B CN115134519 B CN 115134519B CN 202210290252 A CN202210290252 A CN 202210290252A CN 115134519 B CN115134519 B CN 115134519B
Authority
CN
China
Prior art keywords
remote operation
information
unit
imaging direction
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210290252.7A
Other languages
English (en)
Other versions
CN115134519A (zh
Inventor
高桥正浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN115134519A publication Critical patent/CN115134519A/zh
Application granted granted Critical
Publication of CN115134519B publication Critical patent/CN115134519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明提供远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质。各远程操作机器人具备:摄像方向检测部,检测摄像机的摄像方向;摄像方向信息生成部,生成表示摄像方向检测部检测到的摄像方向的摄像方向信息;摄像方向信息发送部,将摄像方向信息发送到其它远程操作机器人;摄像方向信息接收部,从其它远程操作机器人接收摄像方向信息;以及摄像方向控制部,以使本机的摄像机的摄像方向与摄像方向信息接收部接收到的摄像方向信息的发送源的摄像机的摄像方向同步的方式,根据摄像方向信息接收部接收到的摄像方向信息来控制摄像机的摄像方向。

Description

远程操作系统、远程操作移动体、远程操作方法以及计算机可 读介质
技术领域
本发明涉及远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质。
背景技术
专利文献1(日本专利第5070441号公报)公开有能够使用操作终端进行远程操作的机器人。具体而言,机器人具备对与机器人接近的人的面部进行拍摄的摄像机。在操作终端的显示装置中显示摄像机的摄像图像。由此,操作终端的操作者能够实时地观察与机器人进行对话的人。
发明内容
然而,在处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作机器人分别进行远程操作时,有时想要在多个用户间实现意思沟通。
但是,各用户无法掌握其他用户当前经由远程操作终端以及远程操作机器人看到什么,无法实现顺利的意思沟通。
本发明的目的在于提供用于在处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作时,在多个用户间实现顺利的意思沟通的技术。
根据本申请发明的第1观点,提供一种远程操作系统,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,其中,所述远程操作系统具备:所述多个远程操作移动体;以及所述多个远程操作终端,各远程操作移动体具备:控制指令接收部,从对应的远程操作终端接收控制指令;动作控制部,根据所述控制指令来控制本机的动作;摄像部;摄像图像信息获取部,从所述摄像部获取摄像图像信息;摄像图像信息发送部,将所述摄像图像信息发送到对应的所述远程操作终端;摄像方向检测部,检测所述摄像部的摄像方向;摄像方向信息生成部,生成表示所述摄像方向检测部检测到的摄像方向的摄像方向信息;摄像方向信息发送部,将所述摄像方向信息发送到其它远程操作移动体;摄像方向信息接收部,从其它远程操作移动体接收所述摄像方向信息;以及摄像方向控制部,以使所述摄像部的摄像方向与所述摄像方向信息接收部接收到的所述摄像方向信息的发送源的所述摄像部的所述摄像方向同步的方式,根据所述摄像方向信息接收部接收到的所述摄像方向信息来控制所述摄像部的摄像方向,各远程操作终端具备:控制指令输入部,接受所述控制指令的输入操作;控制指令发送部,将所述控制指令发送到对应的远程操作移动体;摄像图像信息接收部,从对应的远程操作移动体接收所述摄像图像信息;以及摄像图像信息显示部,显示所述摄像图像信息。根据以上的结构,所述多个远程操作移动体的所述摄像部的摄像方向相互同步,所以所述多个远程操作终端的所述摄像图像信息显示部会显示相似的所述摄像图像信息,因而,能够在多个用户间实现顺利的意思沟通。
优选的是,所述摄像方向信息包括表示所述摄像部的摄像方向的方位角以及俯仰角的信息。根据以上的结构,所述摄像方向控制部能够顺利地执行同步处理。
优选的是,各远程操作移动体还具备:本机识别信息存储部,存储本机的机体识别信息;当前地点信息获取部,获取当前地点信息;识别位置信息发送部,将包括所述机体识别信息以及所述当前地点信息的识别位置信息发送到其它远程操作移动体;其它机体识别信息存储部,存储与和本机对应的用户存在关系性的用户的远程操作移动体的机体识别信息;识别位置信息接收部,从其它远程操作移动体接收所述识别位置信息;关联移动体存在信息生成部,根据存储于所述其它机体识别信息存储部的所述机体识别信息和所述识别位置信息接收部接收到的所述识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作移动体处于本机的附近的关联移动体存在信息;以及关联移动体存在信息发送部,将所述关联移动体存在信息发送到对应的远程操作终端,各远程操作终端具备:关联移动体存在信息接收部,从对应的远程操作移动体接收所述关联移动体存在信息;以及关联移动体存在信息显示部,显示所述关联移动体存在信息。根据以上的结构,能够容易地知晓与自身存在关系性的用户的远程操作移动体处于自身的远程操作移动体的附近。
优选的是,各远程操作终端还具备:同步请求发送部,将同步请求发送到其它远程操作终端;同步请求接收部,从其它远程操作终端接收所述同步请求;以及同步请求同意部,接受从其它远程操作终端接收到的所述同步请求的同意操作,当同意所述同步请求时,各远程操作移动体的所述摄像方向控制部开始同步处理。根据以上的结构,能够确保同步处理的安全。
优选的是,当与本机对应的远程操作终端的所述同步请求同意部接受所述同步请求的同意操作时,各远程操作移动体的所述摄像方向控制部开始同步处理。根据以上的结构,发送同步请求的发送源具有决定其它机体的摄像方向的权限。
优选的是,各远程操作终端还具备同步目的地选择部,该同步目的地选择部接受从所述摄像图像信息显示部显示的所述摄像图像信息所映出的至少一个以上的远程操作移动体选择至少一个以上的远程操作移动体的选择操作,所述同步请求发送部将所述同步请求发送到与所选择的至少一个以上的远程操作移动体对应的远程操作终端。根据以上的结构,能够直观地选择发送同步请求的其它机体。
优选的是,所述动作控制部在所述摄像方向控制部执行所述同步处理的期间,以使本机追随于发送所述同步请求的发送源的远程操作移动体而移动的方式控制本机的动作。根据以上的结构,在执行同步处理的期间,使本机追随于同步目的地的远程操作移动体而移动。
优选的是,当所述控制指令接收部接收到变更所述摄像部的摄像方向的控制指令时,所述摄像方向控制部结束同步处理。根据以上的结构,即使在执行同步处理的期间,也总是能够将摄像方向变更为期望的方向。
优选的是,所述摄像方向控制部在结束同步处理时,使所述摄像部的摄像方向恢复为基准摄像方向。根据以上的结构,能够消除同步结束时间点的本机的朝向与摄像部的摄像方向的差距,所以同步结束时间点的本机的移动操作变简单。
根据本申请发明的第2观点,提供一种远程操作移动体,具备:摄像部;摄像方向信息接收部,从其它远程操作移动体接收表示该其它远程操作移动体的摄像部的摄像方向的摄像方向信息;以及摄像方向控制部,以使所述摄像部的摄像方向与所述摄像方向信息的发送源的所述摄像部的摄像方向同步的方式,根据所述摄像方向信息来控制所述摄像部的摄像方向。根据以上的结构,本机的摄像部的摄像方向与其它机体的摄像部的摄像方向同步,所以能够在多个用户间实现顺利的意思沟通。
根据本申请发明的第3观点,提供一种远程操作方法,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,在所述远程操作方法中,各远程操作移动体从对应的远程操作终端接收控制指令,各远程操作移动体根据所述控制指令来控制本机的动作,各远程操作移动体从本机的摄像部获取摄像图像信息,各远程操作移动体将所述摄像图像信息发送到对应的所述远程操作终端,各远程操作移动体检测所述摄像部的摄像方向,各远程操作移动体生成表示检测到的摄像方向的摄像方向信息,各远程操作移动体将所述摄像方向信息发送到其它远程操作移动体,各远程操作移动体从其它远程操作移动体接收所述摄像方向信息,各远程操作移动体以使所述摄像部的摄像方向与接收到的所述摄像方向信息的发送源的所述摄像部的所述摄像方向同步的方式,根据接收到的所述摄像方向信息来控制所述摄像部的摄像方向,各远程操作终端接受所述控制指令的输入操作,各远程操作终端将所述控制指令发送到对应的远程操作移动体,各远程操作终端从对应的远程操作移动体接收所述摄像图像信息,各远程操作终端显示所述摄像图像信息。根据以上的方法,所述多个远程操作移动体的所述摄像部的摄像方向相互同步,所以所述多个远程操作终端会显示相似的所述摄像图像信息,因而,能够在多个用户间实现顺利的意思沟通。
提供一种程序,使计算机执行上述远程操作方法。
根据本申请发明的第4观点,提供一种远程操作系统,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,其中,所述远程操作系统具备:所述多个远程操作移动体;以及所述多个远程操作终端,各远程操作移动体具备:控制指令接收部,从对应的远程操作终端接收控制指令;动作控制部,根据所述控制指令来控制本机的动作;摄像部;摄像图像信息获取部,从所述摄像部获取摄像图像信息;摄像图像信息发送部,将所述摄像图像信息发送到对应的所述远程操作终端;摄像方向检测部,检测所述摄像部的摄像方向;摄像方向信息生成部,生成表示所述摄像方向检测部检测到的摄像方向的摄像方向信息;摄像方向信息发送部,将所述摄像方向信息发送到其它远程操作移动体;摄像方向信息接收部,从其它远程操作移动体接收所述摄像方向信息;差分信息生成部,生成表示所述摄像方向信息生成部所生成的所述摄像方向信息与所述摄像方向信息接收部接收到的所述摄像方向信息的差分的差分信息;以及差分信息发送部,将所述差分信息发送到对应的远程操作终端,各远程操作终端具备:控制指令输入部,接受所述控制指令的输入操作;控制指令发送部,将所述控制指令发送到对应的远程操作移动体;摄像图像信息接收部,从对应的远程操作移动体接收所述摄像图像信息;摄像图像信息显示部,显示所述摄像图像信息;差分信息接收部,从对应的远程操作移动体接收所述差分信息;以及差分信息显示部,显示所述差分信息。根据以上的结构,以消除所述差分信息所表示的差分的方式所述用户输入所述控制指令,从而所述多个远程操作移动体的所述摄像部的摄像方向相互接近,所以所述多个远程操作终端的所述摄像图像信息显示部会显示相似的所述摄像图像信息,因而,能够在多个用户间实现顺利的意思沟通。
根据本发明,能够在处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作时,在多个用户间实现顺利的意思沟通。
本公开的上述内容和其它目的、特征和优点将从以下给出的详细描述和仅以说明方式给出的附图得到更充分的理解,因此不应被认为是对本公开的限制。
附图说明
图1是示出远程观光系统的概略图的图。(第1实施方式)
图2是远程操作机器人的功能框图。(第1实施方式)
图3是例示其它机体识别信息存储部的存储内容的图。(第1实施方式)
图4是例示识别位置信息接收部接收的识别位置信息的图。(第1实施方式)
图5是远程操作终端的功能框图。(第1实施方式)
图6是示出远程操作终端的显示器的显示例的图。(第1实施方式)
图7是远程观光系统的序列图。(第1实施方式)
图8是示出远程操作终端的显示器的显示例的图。(第1实施方式)
图9是示出远程操作终端的显示器的显示例的图。(第1实施方式)
图10是示出远程操作终端的显示器的显示例的图。(第1实施方式)
图11是示出远程操作终端的显示器的显示例的图。(第1实施方式)
图12是远程操作机器人的功能框图。(第2实施方式)
图13是远程操作终端的功能框图。(第2实施方式)
具体实施方式
由于近来的新冠肺炎疫情,正出现各种远程服务。其中,特别是将远程服务与观光相结合的远程观光旅游受到关注。远程观光旅游例如通过如下方式实现:处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作机器人分别进行远程操作。
然而,各用户难以掌握其他用户当前经由远程操作终端以及远程操作机器人看到什么。这是因为搭载于远程操作机器人的摄像机的视场角有限。因此,无法获得多个用户一边同时观赏相同的风景一边谈话或者散步的观光的乐趣,作为远程观光旅游,没有作为观光的魅力这样的意见占大多数。
为了解决上述课题,还考虑将任意的远程操作机器人的摄像机摄像到的摄像图像分发到多个远程操作终端。但是,在该情况下,对于接受影像图像的提供的用户而言,难以获得自身在当地实际地观光的沉浸感。
因而,本申请发明是鉴于上述课题而发明的,提供在处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作时,在多个用户间实现顺利的意思沟通的技术。
(第1实施方式)
以下,参照图1至图11,说明第1实施方式。
在图1中,示出了远程观光系统1。远程观光系统1是远程操作系统的一个具体例。
远程观光系统1包括多个远程操作机器人2和多个远程操作终端3。
在本实施方式中,多个远程操作机器人2包括远程操作机器人2A以及远程操作机器人2B。多个远程操作机器人2也可以包括3个以上的远程操作机器人2。
远程操作机器人2A以及远程操作机器人2B位于相同的场所。即,远程操作机器人2A以及远程操作机器人2B位于相同的景点。典型而言,远程操作机器人2A以及远程操作机器人2B近到能够相互通过目视确认的程度。
在本实施方式中,多个远程操作终端3包括远程操作终端3A以及远程操作终端3B。多个远程操作终端3也可以包括3个以上的远程操作终端3。
远程操作终端3A是用户A携带的终端,典型而言是用户A拥有的智能手机或者膝上型计算机。远程操作终端3B是用户B携带的终端,典型而言是用户B拥有的智能手机或者膝上型计算机。
用户A以及用户B典型而言参加相同的远程观光旅游。用户A以及用户B位于相互离开的场所。典型而言,用户A以及用户B至少远到无法相互通过目视确认的程度。因而,用户A无法看到用户B以及用户B携带的远程操作终端3B,用户B无法看到用户A以及用户A携带的远程操作终端3A。
远程操作终端3A、远程操作终端3B、远程操作机器人2A、远程操作机器人2B例如经由因特网等WAN(Wide Area Network,广域网)能够双向通信地构成。但是,远程操作终端3A、远程操作终端3B、远程操作机器人2A、远程操作机器人2B也可以构成为能够经由与WAN连接的未图示的远程观光服务器进行双向通信。
用户A通过对远程操作终端3A进行操作,从而对远程操作机器人2A进行远程操作。同样地,用户B通过对远程操作终端3B进行操作,从而对远程操作机器人2B进行远程操作。另外,用户A和用户B能够经由远程操作终端3A和远程操作终端3B、远程操作机器人2A、远程操作机器人2B进行谈话。由此,用户A以及用户B能够虚拟地一起观光相同的景点。
(远程操作机器人2)
远程操作机器人2是远程操作移动体的一个具体例。如图1所示,远程操作机器人2具备机器人主体4、多个车轮5以及摄像机6。多个车轮5包括驱动轮和从动轮。但是,也可以将多个车轮5全部设为驱动轮。摄像机6是摄像部的一个具体例。在本实施方式中,摄像机6设为具有测距功能的立体摄像机。但是,摄像机6也可以不具有测距功能。摄像机6构成为能够相对于机器人主体4绕翻滚轴以及偏航轴摆动。因而,无需远程操作机器人2进行移动,就能够变更摄像机6的摄像方向。具体而言,无需远程操作机器人2进行移动,就能够变更摄像机6的摄像方向的方位角以及俯仰角。远程操作机器人2具备用于变更摄像机6的摄像方向的未图示的驱动部。
在图2中,示出了远程操作机器人2的功能框图。如图2所示,远程操作机器人2具备作为中央运算处理器的CPU2a(Central Processing Unit,中央处理单元)、读写自如的RAM2b(Random Access Memory,随机存取存储器)、专用于读出的ROM2c(Read OnlyMemory,只读存储器)。远程操作机器人2还具备前述摄像机6、麦克风7、扬声器8、GPS模块9(Global Positioning System,全球定位系统)以及通信接口10。
然后,CPU2a读出存储于ROM2c的控制程序而执行,从而控制程序使CPU2a等硬件作为各种功能部发挥功能。
各种功能部包括控制指令接收部20、动作控制部21、摄像图像信息获取部22、摄像图像信息发送部23、摄像方向检测部30、摄像方向信息生成部31、摄像方向信息发送部32、摄像方向信息接收部33、摄像方向控制部34、本机识别信息存储部40、当前地点信息获取部41、识别位置信息发送部42、其它机体识别信息存储部43、识别位置信息接收部44、关联机器人存在信息生成部45、关联机器人存在信息发送部46、当前地点信息发送部47、当前地点信息接收部48。
控制指令接收部20从对应的远程操作终端3接收控制指令。
动作控制部21根据控制指令来控制本机的动作。本机的动作包括通过驱动多个车轮5而使本机移动的动作、变更摄像机6的摄像方向的动作。因而,控制指令可以包括使本机移动的移动指令和变更摄像机6的摄像方向的摄像方向变更指令中的任意一方。
摄像图像信息获取部22从摄像机6获取摄像图像信息。
摄像图像信息发送部23将摄像图像信息发送到对应的远程操作终端3。
摄像方向检测部30检测摄像机6的摄像方向。具体而言,摄像方向检测部30检测摄像机6的摄像方向的方位角以及俯仰角。
摄像方向信息生成部31生成表示摄像机6的摄像方向的摄像方向信息。摄像方向信息是表示摄像机6的摄像方向的方位角以及俯仰角的信息。
摄像方向信息发送部32将摄像方向信息发送到其它远程操作机器人2。
摄像方向信息接收部33从其它远程操作机器人2接收摄像方向信息。
摄像方向控制部34以使本机的摄像机6的摄像方向与摄像方向信息接收部33接收到的摄像方向信息的发送源的摄像机6的摄像方向同步的方式,根据摄像方向信息接收部33接收到的摄像方向信息来控制本机的摄像机6的摄像方向。以下,将由摄像方向控制部34进行的上述控制还简称为同步控制或者同步处理。“以使本机的摄像机6的摄像方向与摄像方向信息接收部33接收到的摄像方向信息的发送源的摄像机6的摄像方向同步的方式”意味着“以使本机的摄像机6的摄像方向的方位角以及俯仰角与摄像方向信息接收部33接收到的摄像方向信息的发送源的摄像机6的摄像方向的方位角以及俯仰角同步的方式”。“同步”也可以包括通信延迟、处理延迟所引起的若干的时延。
本机识别信息存储部40存储本机的机体识别信息。本机的机体识别信息是指用于从其它机体识别本机的信息。
当前地点信息获取部41使用GPS模块9来获取表示本机的当前地点的当前地点信息。GPS模块9是GNSS模块(Global Navigation Satellite System,全球导航卫星系统)的一个具体例。作为GNSS模块的其它具体例,可举出Galileo模块、BeiDou模块、QZSS模块(Quasi-Zenith Satellite System,准天顶卫星系统)。
识别位置信息发送部42将包括机体识别信息以及当前地点信息的识别位置信息发送到其它远程操作机器人2。识别位置信息发送部42既可以经由WAN将识别位置信息发送到其它远程操作机器人2,也可以经由远程观光服务器将识别位置信息发送到其它远程操作机器人2,或者例如也可以经由蓝牙(Bluetooth(注册商标))、Wi-Fi(注册商标)等近距离无线通信(NFC:Near field communication)将识别位置信息发送到其它远程操作机器人2。作为一个例子,本实施方式的识别位置信息发送部42经由近距离无线通信将识别位置信息发送到其它远程操作机器人2。
其它机体识别信息存储部43存储与和本机对应的用户存在关系性的用户的远程操作机器人2的机体识别信息。在图3中,例示出远程操作机器人2A的其它机体识别信息存储部43的存储内容。如图3所示,用户A在与用户B、用户D、用户R、用户Z之间具有“熟人”或者“朋友”等关系性。因而,在本实施方式中,其它机体识别信息存储部43将与和本机对应的用户存在关系性的用户的用户名与该用户进行远程操作的远程操作机器人2的机体识别信息关联起来存储。其它机体识别信息存储部43也可以将与和本机对应的用户存在关系性的用户的用户识别信息与该用户进行远程操作的远程操作机器人2的机体识别信息关联起来存储。
识别位置信息接收部44从其它远程操作机器人2的识别位置信息发送部42接收识别位置信息,存储于RAM2b。在图4中,例示出识别位置信息接收部44接收到的识别位置信息。如图4所示,作为一个例子,识别位置信息接收部44从用户B进行远程操作的远程操作机器人2(机体ID:8231)以及远程操作机器人2(机体ID:2341)接收识别位置信息。
关联机器人存在信息生成部45根据存储于其它机体识别信息存储部43的机体识别信息(参照图3)和识别位置信息接收部44接收到的识别位置信息(图4),生成表示与和本机对应的用户存在关系性的用户的远程操作机器人2处于本机的附近的关联机器人存在信息。具体而言,关联机器人存在信息生成部45将识别位置信息接收部44接收到的所有的识别位置信息的当前地点信息与当前地点信息获取部41获取到的本机的当前地点信息进行对比,计算其它机体与本机之间的距离。关联机器人存在信息生成部45典型而言在计算出的距离为预定的距离以内时,判定为对应的远程操作机器人2处于本机的附近。在本实施方式中,远程操作机器人2(机体ID:8231)以及远程操作机器人2(机体ID:2341)都处于本机的附近。关联机器人存在信息生成部45通过参照图3所示的存储于其它机体识别信息存储部43的机体识别信息,从而判定为与和本机对应的用户存在关系性的用户(用户B)的远程操作机器人2处于本机的附近。因而,关联机器人存在信息生成部45生成表示与和本机对应的用户存在关系性的用户(用户B)的远程操作机器人2处于本机的附近的关联机器人存在信息。关联机器人存在信息典型而言包括对应的用户的用户名、对应的用户的远程操作机器人2的机体识别信息、对应的用户的远程操作机器人2的当前地点信息。
关联机器人存在信息发送部46将关联机器人存在信息生成部45生成的关联机器人存在信息发送到对应的远程操作终端3。
(远程操作终端3)
接着,参照图5,说明远程操作终端3。如图5所示,远程操作终端3具备作为中央运算处理器的CPU3a(Central Processing Unit,中央处理单元)、读写自如的RAM3b(RandomAccess Memory,随机存取存储器)、专用于读出的ROM3c(Read Only Memory,只读存储器)。远程操作终端3还具备麦克风50、扬声器51、显示器52、触摸面板53、通信接口54。显示器52以及触摸面板53以相互重叠的方式设置。然后,CPU3a读出存储于ROM3c的控制程序而执行,从而控制程序使CPU3a等硬件作为各种功能部发挥功能。
各种功能部包括控制指令输入部60、控制指令发送部61、摄像图像信息接收部62、摄像图像信息显示部63、关联机器人存在信息接收部64、关联机器人存在信息显示部65、同步目的地选择部70、同步请求发送部71、同步请求接收部72、同步请求同意部73。
控制指令输入部60接受由用户进行的控制指令的输入操作。在此,图6示出了远程操作终端3的显示器52的显示例。如图6所示,显示器52的显示画面包括信息显示区域52a和输入区域52b。控制指令输入部60在输入区域52b显示用于用户输入控制指令的各种按钮。各种按钮包括用于用户输入移动指令的移动用4方向按钮60a和用于用户输入摄像方向变更指令的摄像用4方向按钮60b。控制指令输入部60通过检测到移动用4方向按钮60a以及摄像用4方向按钮60b被点击这一情况,从而接受由用户进行的控制指令的输入操作。
远程操作终端3在输入区域52b还显示同步请求按钮81、同步同意按钮82、同步解除按钮83。
控制指令发送部61将由用户输入的控制指令发送到对应的远程操作机器人2。
摄像图像信息接收部62从对应的远程操作机器人2接收摄像图像信息。
摄像图像信息显示部63如图6所示将摄像图像信息接收部62接收到的摄像图像信息显示于显示器52的信息显示区域52a。
关联机器人存在信息接收部64从对应的远程操作机器人2接收关联机器人存在信息。
关联机器人存在信息显示部65将关联机器人存在信息接收部64接收到的关联机器人存在信息显示于显示器52。
同步目的地选择部70接受用户从摄像图像信息显示部63显示于显示器52的信息显示区域52a的摄像图像信息所映出的至少一个以上的远程操作机器人2选择至少一个以上的远程操作机器人2的选择操作。具体而言,同步目的地选择部70根据基于用户的触摸面板53的点击位置坐标,检测用户选择哪个远程操作机器人2。
同步请求发送部71将同步请求发送到其它远程操作终端3。具体而言,同步请求发送部71将同步请求发送到与用户所选择的远程操作机器人2对应的远程操作终端3。
同步请求接收部72从其它远程操作终端3接收同步请求。
同步请求同意部73接受由用户进行的从其它远程操作终端3接收到的同步请求的同意操作。具体而言,如图6所示,同步请求同意部73判定同步同意按钮82是否被点击,在判定为同步同意按钮82被点击的情况下,判定为用户同意从其它远程操作终端3接收到的同步请求。
此外,如图2所示,各远程操作机器人2具备麦克风7以及扬声器8。另外,如图5所示,各远程操作终端3具备麦克风50以及扬声器51。因而,当各用户向身边的远程操作终端3的麦克风50说话时,麦克风50生成的声音信号被发送到对应的远程操作机器人2,从扬声器8输出。从扬声器8输出的声音信号在空气中传递而由其它机体的麦克风7拾取,变换为声音信号。声音信号被发送到与其它机体对应的远程操作终端3,从对应的远程操作终端3的扬声器51输出。这样,用户A与用户B能够经由远程操作终端3A和远程操作终端3B、远程操作机器人2A、远程操作机器人2B进行谈话。
接下来,参照图7,说明远程观光系统1的动作流程。在图7中,示出了远程观光系统1的序列图。以下,为了便于说明,远程操作机器人2A以及远程操作机器人2B在相同的景点位于相互接近的距离。另外,用户A以及用户B是熟人。然后,设想用户A对用户B请求与用户B共享用户A自身看到的风景的场面。
S100:
首先,远程操作机器人2B的当前地点信息获取部41获取本机的当前地点信息。
S110:
接下来,远程操作机器人2B的识别位置信息发送部42生成包括本机的机体识别信息以及当前地点信息的识别位置信息,将所生成的识别位置信息发送到其它远程操作机器人2。
接下来,远程操作机器人2A的识别位置信息接收部44从远程操作机器人2B接收识别位置信息,将接收到的识别位置信息存储于RAM2b。
远程操作机器人2A的识别位置信息接收部44从远程操作机器人2B以外的远程操作机器人2也同样地接收识别位置信息,将接收到的识别位置信息存储于RAM2b。
其结果,如图4所示,在远程操作机器人2A的RAM2b中,存储有从两个远程操作机器人2分别接收到的两个识别位置信息。
S120:
接下来,远程操作机器人2A的当前地点信息获取部41获取本机的当前地点信息。
S130:
接下来,远程操作机器人2A的关联机器人存在信息生成部45根据存储于其它机体识别信息存储部43的机体识别信息(参照图3)和识别位置信息接收部44接收到的识别位置信息(图4),生成表示与和本机对应的用户存在关系性的用户的远程操作机器人2处于本机的附近的关联机器人存在信息。具体而言,关联机器人存在信息生成部45使存储于其它机体识别信息存储部43的机体识别信息(参照图3)与识别位置信息接收部44接收到的识别位置信息(图4)进行对比,从识别位置信息接收部44接收到的识别位置信息(图4)抽取机体识别信息重复的识别位置信息。即,关联机器人存在信息生成部45抽取图4所示的两个识别位置信息中的与用户B对应的识别位置信息。然后,关联机器人存在信息生成部45使关联机器人存在信息生成部45抽取出的与用户B对应的识别位置信息所包含的当前地点信息与本机的当前地点信息进行对比,判定远程操作机器人2B是否存在于从本机起预定距离以内。在判定为远程操作机器人2B存在于从本机起预定距离以内的情况下,关联机器人存在信息生成部45生成包括与用户B对应的识别位置信息的关联机器人存在信息。
S140:
接下来,远程操作机器人2A的关联机器人存在信息发送部46将关联机器人存在信息发送到远程操作终端3A。
远程操作终端3A的关联机器人存在信息接收部64从远程操作机器人2A接收关联机器人存在信息。
S150:
接下来,远程操作终端3A的关联机器人存在信息显示部65将关联机器人存在信息接收部64接收到的关联机器人存在信息显示于显示器52。在图8中,示出了关联机器人存在信息显示部65将关联机器人存在信息显示于显示器52的信息显示区域52a的情形。如图8所示,关联机器人存在信息显示部65参照其它机体识别信息存储部43,获取与关联机器人存在信息所包含的机体识别信息对应的用户名,例如生成“朋友用户B在附近。”这样的文本消息,将该文本消息显示于显示器52的信息显示区域52a。另外,在与用户B对应的远程操作机器人2B显示于显示器52的情况下,也可以使如能够在显示器52中确定远程操作机器人2B那样的图标52c与显示于显示器52的摄像图像信息重叠。
此外,显示于显示器52的远程操作机器人2对应于远程操作机器人2B的情况例如能够以如下方式判定。首先,例如通过Faster R-CNN、YOLO、SSD等公知的物体检测技术来检测显示于显示器52的远程操作机器人2。根据通过物体检测生成的边界框的位置以及大小、本机的当前地点信息、包括本机的摄像机6的摄像方向的摄像条件,生成检测到的远程操作机器人2的当前地点信息。使该当前地点信息与从远程操作机器人2B接收到的当前地点信息进行对比,在两者的差分为预定值以下的情况下,能够判定为显示于显示器52的远程操作机器人2对应于远程操作机器人2B。除此以外,也可以在各远程操作机器人2的机器人主体4中例如设置QR码(注册商标)等,通过读取QR码,从而判定显示于显示器52的远程操作机器人2是否对应于远程操作机器人2B。
S160:
接下来,如图9所示,用户A点击显示于显示器52的远程操作机器人2B。于是,远程操作终端3A的同步目的地选择部70根据用户A的点击操作的点击坐标,判定为选择了显示于显示器52的多个远程操作机器人2中的远程操作机器人2B。
S170:
用户A接着点击同步请求按钮81。于是,远程操作终端3A的同步请求发送部71将同步请求发送到远程操作终端3B。另外,远程操作终端3B的同步请求接收部72从远程操作终端3A接收同步请求。
S180:
接下来,远程操作终端3B的同步请求同意部73如图10所示将从远程操作终端3A接收到同步请求这一情况显示于显示器52的信息显示区域52a。接下来,用户B点击同步同意按钮82。于是,同步请求同意部73判定为用户B同意同步请求。然后,同步请求同意部73将表示同意从用户A向用户B的同步请求的同意信息发送到远程操作机器人2B以及远程操作机器人2A、远程操作终端3A(S185)。
S190:
接下来,远程操作机器人2A的摄像方向检测部30检测本机的摄像机6的摄像方向。
S200:
接下来,远程操作机器人2A的摄像方向信息生成部31生成本机的表示摄像机6的摄像方向的摄像方向信息。
S210:
接下来,远程操作机器人2A的摄像方向信息发送部32将摄像方向信息发送到远程操作机器人2B。远程操作机器人2B的摄像方向信息接收部33从远程操作机器人2A接收摄像方向信息。
S220:
接下来,远程操作机器人2B的摄像方向控制部34以使本机的摄像机6的摄像方向与摄像方向信息接收部33接收到的摄像方向信息的发送源即远程操作机器人2A的摄像机6的摄像方向同步的方式,根据摄像方向信息接收部33接收到的摄像方向信息来控制本机的摄像机6的摄像方向。于是,远程操作机器人2B的摄像机6的摄像方向与远程操作机器人2A的摄像机6的摄像方向一致,从而如图11所示在远程操作终端3B的显示器52的信息显示区域52a,显示与用户A经由远程操作终端3A看到的风景相同的风景。
以后,在由远程操作机器人2B的摄像方向控制部34进行的同步处理结束之前,重复步骤S190至步骤S220的处理。
S230:
另外,远程操作机器人2A的当前地点信息获取部41获取本机的当前地点信息。
S240:
接下来,远程操作机器人2A的当前地点信息发送部47将当前地点信息发送到远程操作机器人2B。远程操作机器人2B的当前地点信息接收部48从远程操作机器人2A接收当前地点信息。
S250:
然后,远程操作机器人2B的动作控制部21在摄像方向控制部34执行同步处理的期间,以使本机追随于发送同步请求的发送源的远程操作机器人2A而移动的方式控制本机的动作。
S260-S270:
当用户B对远程操作终端3B的摄像用4方向按钮60b进行操作时(S260),远程操作终端3B将摄像方向变更指令发送到远程操作机器人2B(S270)。远程操作机器人2B的控制指令接收部20从远程操作终端3B接收摄像方向变更指令(S270)。
S280:
远程操作机器人2B的摄像方向控制部34以及动作控制部21当接收到上述摄像方向变更指令时,结束同步控制(S220)以及追随控制(S250)。此外,在用户B点击远程操作终端3B的同步解除按钮83,从而远程操作终端3B将同步解除指令发送到远程操作机器人2B的情况下,摄像方向控制部34以及动作控制部21也结束同步控制(S220)以及追随控制(S250)。
S290:
然后,远程操作机器人2B的摄像方向控制部34在结束同步处理时,使摄像机6的摄像方向恢复为基准摄像方向。在此,基准摄像方向典型而言是指根据图1所示的多个车轮5的配置而决定的方向。例如,也可以将在俯视的情况下与多个车轮5的车轴正交的方向设为基准摄像方向。
以上,说明了第1实施方式,但上述实施方式具有以下的特征。
远程观光系统1是如下系统:处于相互离开的场所的多个用户对各人的远程操作终端3进行操作,从而对处于相同的场所的多个远程操作机器人2(远程操作移动体)分别进行远程操作。远程观光系统1具备多个远程操作机器人2和多个远程操作终端3。各远程操作机器人2具备:控制指令接收部20,从对应的远程操作终端3接收控制指令;动作控制部21,根据控制指令来控制本机的动作;摄像机6(摄像部);摄像图像信息获取部22,从摄像机6获取摄像图像信息;摄像图像信息发送部23,将摄像图像信息发送到对应的远程操作终端3;摄像方向检测部30,检测摄像机6的摄像方向;摄像方向信息生成部31,生成表示摄像方向检测部30检测到的摄像方向的摄像方向信息;摄像方向信息发送部32,将摄像方向信息发送到其它远程操作机器人2;摄像方向信息接收部33,从其它远程操作机器人2接收摄像方向信息;以及摄像方向控制部34,以使本机的摄像机6的摄像方向与摄像方向信息接收部33接收到的摄像方向信息的发送源的摄像机6的摄像方向同步的方式,根据摄像方向信息接收部33接收到的摄像方向信息来控制摄像机6的摄像方向。各远程操作终端3具备:控制指令输入部60,接受控制指令的输入操作;控制指令发送部61,将控制指令发送到对应的远程操作机器人2;摄像图像信息接收部62,从对应的远程操作机器人2接收摄像图像信息;以及摄像图像信息显示部63,显示摄像图像信息。根据以上的结构,多个远程操作机器人2的摄像机6的摄像方向相互同步,所以多个远程操作终端3的摄像图像信息显示部63会将相似的摄像图像信息显示于显示器52,因而,能够在多个用户间实现顺利的意思沟通。
摄像方向信息包括表示摄像机6的摄像方向的方位角以及俯仰角的信息。根据以上的结构,摄像方向控制部34能够顺利地执行同步处理。
各远程操作机器人2还具备:本机识别信息存储部40,存储本机的机体识别信息;当前地点信息获取部41,获取当前地点信息;识别位置信息发送部42,将包括机体识别信息以及当前地点信息的识别位置信息发送到其它远程操作机器人2;其它机体识别信息存储部43,存储与和本机对应的用户存在关系性的用户的远程操作机器人2的机体识别信息;识别位置信息接收部44,从其它远程操作机器人2接收识别位置信息;关联机器人存在信息生成部45(关联移动体存在信息生成部),根据存储于其它机体识别信息存储部43的机体识别信息和识别位置信息接收部44接收到的识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作机器人2处于本机的附近的关联机器人存在信息(关联移动体存在信息);以及关联机器人存在信息发送部46(关联移动体存在信息发送部),将关联机器人存在信息发送到对应的远程操作终端3。各远程操作终端3具备:关联机器人存在信息接收部64(关联移动体存在信息接收部),从对应的远程操作机器人2接收关联机器人存在信息;以及关联机器人存在信息显示部65(关联移动体存在信息显示部),显示关联机器人存在信息。根据以上的结构,能够容易地知晓与自身存在关系性的用户的远程操作机器人2处于自身的远程操作机器人2的附近。
各远程操作终端3还具备:同步请求发送部71,将同步请求发送到其它远程操作终端3;同步请求接收部72,从其它远程操作终端3接收同步请求;以及同步请求同意部73,接受从其它远程操作终端3接收到的同步请求的同意操作。当同意同步请求时,各远程操作机器人2的摄像方向控制部34开始同步处理。根据以上的结构,能够确保同步处理的安全。
当与本机对应的远程操作终端3的同步请求同意部73接受同步请求的同意操作时,各远程操作机器人2的摄像方向控制部34开始同步处理。根据以上的结构,发送同步请求的发送源具有决定其它机体的摄像方向的权限。
但是,既可以代替其,使接收到同步请求的接收侧具有决定其它机体的摄像方向的权限,也可以使收发这双方具有决定其它机体的摄像方向的权限。
各远程操作终端3还具备同步目的地选择部70,该同步目的地选择部70接受从摄像图像信息显示部63显示的摄像图像信息所映出的至少一个以上的远程操作机器人2选择至少一个以上的远程操作机器人2的选择操作。同步请求发送部71将同步请求发送到与所选择的至少一个以上的远程操作机器人2对应的远程操作终端3。根据以上的结构,能够直观地选择发送同步请求的其它机体。
当控制指令接收部20接收到变更摄像机6的摄像方向的控制指令(摄像方向变更指令)时,摄像方向控制部34结束同步处理。根据以上的结构,即使在执行同步处理的期间,也总是能够将摄像方向变更为期望的方向。进一步而言,能够直观地使眼睛避开不想看到的风景。
动作控制部21在摄像方向控制部34执行同步处理的期间,以使本机追随于发送同步请求的发送源的远程操作机器人2而移动的方式控制本机的动作。根据以上的结构,在执行同步处理的期间,本机会追随于同步目的地的远程操作机器人2而移动,所以能够在多个用户间感受到一体感。
但是,也可以代替其,使其它远程操作机器人2追随于与同步处理关联的多个远程操作机器人2中的任意的远程操作机器人2。
摄像方向控制部34在结束同步处理时,使摄像机6的摄像方向恢复为基准摄像方向。根据以上的结构,能够消除同步结束时间点的本机的朝向与摄像机6的摄像方向的差距,所以同步结束时间点的本机的移动操作变简单。
但是,代替其,摄像方向控制部34也可以在从结束同步处理起经过一定时间之后,使摄像机6的摄像方向恢复为基准摄像方向。另外,摄像方向控制部34也可以在结束同步处理,用户间的谈话结束的时间点,使摄像机6的摄像方向恢复为基准摄像方向。
另外,也可以在摄像方向控制部34进行同步处理的期间,使摄像用4方向按钮60b成为非显示,还考虑如忽略摄像用4方向按钮60b的操作那样的控制。
另外,远程操作机器人2具备:摄像机6;摄像方向信息接收部33,从其它远程操作机器人2接收表示该其它远程操作机器人2的摄像机6的摄像方向的摄像方向信息;以及摄像方向控制部34,以使本机的摄像机6的摄像方向与摄像方向信息的发送源的远程操作机器人2的摄像机6的摄像方向同步的方式,根据摄像方向信息来控制本机的摄像机6的摄像方向。根据以上的结构,本机的摄像机6的摄像方向与其它机体的摄像机6的摄像方向同步,所以能够在多个用户间实现顺利的意思沟通。
(第2实施方式)
以下,参照图12以及图13,说明第2实施方式。以下,以本实施方式与上述第1实施方式的不同点为中心而进行说明,省略重复的说明。
如图12所示,远程操作机器人2还具备差分信息生成部90和差分信息发送部91。
差分信息生成部90生成表示摄像方向信息生成部31生成的摄像方向信息与摄像方向信息接收部33接收到的摄像方向信息的差分的差分信息。差分信息典型而言是表示摄像机6的摄像方向的方位角的差分以及俯仰角的差分的信息。
差分信息发送部91将差分信息生成部90生成的差分信息发送到对应的远程操作终端3。
如图13所示,远程操作终端3还具备差分信息接收部92和差分信息显示部93。
差分信息接收部92从对应的远程操作机器人2接收差分信息。
差分信息显示部93将差分信息接收部92接收到的差分信息显示于显示器52。差分信息显示部93既可以以文本消息形式将差分信息显示于显示器52,也可以为了消除差分而以图标形式将应变更摄像方向的方向显示于显示器52。
根据以上的结构,用户输入控制指令,以消除差分信息所表示的差分,从而多个远程操作机器人2的摄像机6的摄像方向相互接近,所以多个远程操作终端3的摄像图像信息显示部63会显示相似的摄像图像信息,因而,能够在多个用户间实现顺利的意思沟通。
以上,说明了本申请发明的优选的实施方式。
本申请发明能够应用于如通过远程操纵完成任务的机器人在相同的环境下存在多台,进行谈话那样的所有状况。因而,本申请发明还能够应用于家庭机器人、医疗机器人、物流机器人。
家庭机器人例如是指在两家的爷爷奶奶参加小孩家庭的孙子的生日时使用的远程呈现机器人。
医疗机器人是指用远程操纵机器人在有护理的家人的独居的老年人的家中进行访问问诊的医疗关系者使用的远程操纵机器人。
物流机器人是指远程操纵的机器人,进行商品的交接。
在上述例子中,关于程序,使用各种类型的非临时计算机可读介质(non-transitory computer readable medium)来保存,能够提供给计算机。非临时计算机可读介质包括存在各种类型的实体的记录介质(tangible storage medium)。非临时计算机可读介质的例子包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如光磁盘)。非临时计算机可读介质的例子还包括CD-ROM(Read Only Memory,只读存储器),CD-R、CD-R/W、半导体存储器(例如,掩模ROM)。非临时计算机可读介质的例子还包括PROM(Programmable ROM,可编程只读存储器)、EPROM(Erasable PROM,可擦可编程只读存储器)、闪存ROM、RAM(random accessmemory,随机存取存储器))。另外,程序也可以由各种类型的临时计算机可读介质(transitory computer readable medium)提供给计算机。临时计算机可读介质的例子包括电信号、光信号以及电磁波。临时计算机可读介质能够经由电线以及光纤等有线通信线路或者无线通信线路将程序提供给计算机。
(附注1)
一种远程操作系统,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,其中,所述远程操作系统具备:
所述多个远程操作移动体;以及
所述多个远程操作终端,
各远程操作移动体具备:
控制指令接收部,从对应的远程操作终端接收控制指令;
动作控制部,根据所述控制指令来控制本机的动作;
摄像部;
摄像图像信息获取部,从所述摄像部获取摄像图像信息;
摄像图像信息发送部,将所述摄像图像信息发送到对应的所述远程操作终端;
摄像方向检测部,检测所述摄像部的摄像方向;
摄像方向信息生成部,生成表示所述摄像方向检测部检测到的摄像方向的摄像方向信息;
摄像方向信息发送部,将所述摄像方向信息发送到其它远程操作移动体;
摄像方向信息接收部,从其它远程操作移动体接收所述摄像方向信息;以及
摄像方向控制部,以使所述摄像部的摄像方向与所述摄像方向信息接收部接收到的所述摄像方向信息的发送源的所述摄像部的所述摄像方向同步的方式,根据所述摄像方向信息接收部接收到的所述摄像方向信息来控制所述摄像部的摄像方向,
各远程操作终端具备:
控制指令输入部,接受所述控制指令的输入操作;
控制指令发送部,将所述控制指令发送到对应的远程操作移动体;
摄像图像信息接收部,从对应的远程操作移动体接收所述摄像图像信息;以及
摄像图像信息显示部,显示所述摄像图像信息。
(附注2)
根据附注1所记载的远程操作系统,其中,
所述摄像方向信息包括表示所述摄像部的摄像方向的方位角以及俯仰角的信息。
(附注3)
根据附注1或者2所记载的远程操作系统,其中,
各远程操作移动体还具备:
本机识别信息存储部,存储本机的机体识别信息;
当前地点信息获取部,获取当前地点信息;
识别位置信息发送部,将包括所述机体识别信息以及所述当前地点信息的识别位置信息发送到其它远程操作移动体;
其它机体识别信息存储部,存储与和本机对应的用户存在关系性的用户的远程操作移动体的机体识别信息;
识别位置信息接收部,从其它远程操作移动体接收所述识别位置信息;
关联移动体存在信息生成部,根据存储于所述其它机体识别信息存储部的所述机体识别信息和所述识别位置信息接收部接收到的所述识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作移动体处于本机的附近的关联移动体存在信息;以及
关联移动体存在信息发送部,将所述关联移动体存在信息发送到对应的远程操作终端,
各远程操作终端具备:
关联移动体存在信息接收部,从对应的远程操作移动体接收所述关联移动体存在信息;以及
关联移动体存在信息显示部,显示所述关联移动体存在信息。
(附注4)
根据附注1至3中的任意一项所记载的远程操作系统,其中,
各远程操作终端还具备:
同步请求发送部,将同步请求发送到其它远程操作终端;
同步请求接收部,从其它远程操作终端接收所述同步请求;以及
同步请求同意部,接受从其它远程操作终端接收到的所述同步请求的同意操作,
当同意所述同步请求时,各远程操作移动体的所述摄像方向控制部开始同步处理。
(附注5)
根据附注4所记载的远程操作系统,其中,
当与本机对应的远程操作终端的所述同步请求同意部接受所述同步请求的同意操作时,各远程操作移动体的所述摄像方向控制部开始同步处理。
(附注6)
根据附注4或者5所记载的远程操作系统,其中,
各远程操作终端还具备同步目的地选择部,该同步目的地选择部接受从所述摄像图像信息显示部显示的所述摄像图像信息所映出的至少一个以上的远程操作移动体选择至少一个以上的远程操作移动体的选择操作,
所述同步请求发送部将所述同步请求发送到与所选择的至少一个以上的远程操作移动体对应的远程操作终端。
(附注7)
根据附注4至6中的任意一项所记载的远程操作系统,其中,
所述动作控制部在所述摄像方向控制部执行所述同步处理的期间,以使本机追随于发送所述同步请求的发送源的远程操作移动体而移动的方式控制本机的动作。
(附注8)
根据附注1至7中的任意一项所记载的远程操作系统,其中,
当所述控制指令接收部接收到变更所述摄像部的摄像方向的控制指令时,所述摄像方向控制部结束同步处理。
(附注9)
根据附注1至8中的任意一项所记载的远程操作系统,其中,
所述摄像方向控制部在结束同步处理时,使所述摄像部的摄像方向恢复为基准摄像方向。
(附注10)
一种远程操作移动体,具备:
摄像部;
摄像方向信息接收部,从其它远程操作移动体接收表示该其它远程操作移动体的摄像部的摄像方向的摄像方向信息;以及
摄像方向控制部,以使所述摄像部的摄像方向与所述摄像方向信息的发送源的所述摄像部的摄像方向同步的方式,根据所述摄像方向信息来控制所述摄像部的摄像方向。
(附注11)
一种远程操作方法,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,在所述远程操作方法中,
各远程操作移动体从对应的远程操作终端接收控制指令,
各远程操作移动体根据所述控制指令来控制本机的动作,
各远程操作移动体从本机的摄像部获取摄像图像信息,
各远程操作移动体将所述摄像图像信息发送到对应的所述远程操作终端,
各远程操作移动体检测所述摄像部的摄像方向,
各远程操作移动体生成表示检测到的摄像方向的摄像方向信息,
各远程操作移动体将所述摄像方向信息发送到其它远程操作移动体,
各远程操作移动体从其它远程操作移动体接收所述摄像方向信息,
各远程操作移动体以使所述摄像部的摄像方向与接收到的所述摄像方向信息的发送源的所述摄像部的所述摄像方向同步的方式,根据接收到的所述摄像方向信息来控制所述摄像部的摄像方向,
各远程操作终端接受所述控制指令的输入操作,
各远程操作终端将所述控制指令发送到对应的远程操作移动体,
各远程操作终端从对应的远程操作移动体接收所述摄像图像信息,
各远程操作终端显示所述摄像图像信息。
(附注12)
根据附注11所记载的远程操作方法,其中,
所述摄像方向信息包括表示所述摄像部的摄像方向的方位角以及俯仰角的信息。
(附注13)
根据附注11或者12所记载的远程操作方法,其中,
各远程操作移动体存储本机的机体识别信息,
各远程操作移动体获取当前地点信息,
各远程操作移动体将包括所述机体识别信息以及所述当前地点信息的识别位置信息发送到其它远程操作移动体,
各远程操作移动体存储与和本机对应的用户存在关系性的用户的远程操作移动体的机体识别信息,
各远程操作移动体从其它远程操作移动体接收所述识别位置信息,
各远程操作移动体根据所存储的所述机体识别信息和接收到的所述识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作移动体处于本机的附近的关联移动体存在信息,
各远程操作移动体将所述关联移动体存在信息发送到对应的远程操作终端,
各远程操作终端从对应的远程操作移动体接收所述关联移动体存在信息,
各远程操作终端显示所述关联移动体存在信息。
(附注14)
根据附注11至13中的任意一项所记载的远程操作方法,其中,
各远程操作终端将同步请求发送到其它远程操作终端,
各远程操作终端从其它远程操作终端接收所述同步请求,
各远程操作终端接受从其它远程操作终端接收到的所述同步请求的同意操作,
当同意所述同步请求时,各远程操作移动体开始同步处理。
(附注15)
根据附注14所记载的远程操作方法,其中,
当与本机对应的远程操作终端接受所述同步请求的同意操作时,各远程操作移动体开始同步处理。
(附注16)
根据附注14或者15所记载的远程操作方法,其中,
各远程操作终端接受从显示的所述摄像图像信息所映出的至少一个以上的远程操作移动体选择至少一个以上的远程操作移动体的选择操作,
各远程操作终端将所述同步请求发送到与所选择的至少一个以上的远程操作移动体对应的远程操作终端。
(附注17)
根据附注11至16中的任意一项所记载的远程操作方法,其中,
各远程操作移动体当接收到变更所述摄像部的摄像方向的控制指令时结束同步处理。
(附注18)
根据附注11至17中的任意一项所记载的远程操作方法,其中,
各远程操作移动体在执行所述同步处理的期间,以使本机追随于发送所述同步请求的发送源的远程操作移动体而移动的方式控制本机的动作。
(附注19)
根据附注11至18中的任意一项所记载的远程操作方法,其中,
各远程操作移动体在结束所述同步处理时,使所述摄像部的摄像方向恢复为基准摄像方向。
(附注20)
一种程序,使计算机执行附注11所记载的远程操作方法。
(附注21)
一种远程操作系统,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,其中,所述远程操作系统具备:
所述多个远程操作移动体;以及
所述多个远程操作终端,
各远程操作移动体具备:
控制指令接收部,从对应的远程操作终端接收控制指令;
动作控制部,根据所述控制指令来控制本机的动作;
摄像部;
摄像图像信息获取部,从所述摄像部获取摄像图像信息;
摄像图像信息发送部,将所述摄像图像信息发送到对应的所述远程操作终端;
摄像方向检测部,检测所述摄像部的摄像方向;
摄像方向信息生成部,生成表示所述摄像方向检测部检测到的摄像方向的摄像方向信息;
摄像方向信息发送部,将所述摄像方向信息发送到其它远程操作移动体;
摄像方向信息接收部,从其它远程操作移动体接收所述摄像方向信息;
差分信息生成部,生成表示所述摄像方向信息生成部所生成的所述摄像方向信息与所述摄像方向信息接收部接收到的所述摄像方向信息的差分的差分信息;以及
差分信息发送部,将所述差分信息发送到对应的远程操作终端,
各远程操作终端具备:
控制指令输入部,接受所述控制指令的输入操作;
控制指令发送部,将所述控制指令发送到对应的远程操作移动体;
摄像图像信息接收部,从对应的远程操作移动体接收所述摄像图像信息;
摄像图像信息显示部,显示所述摄像图像信息;
差分信息接收部,从对应的远程操作移动体接收所述差分信息;以及
差分信息显示部,显示所述差分信息。
(附注22)
一种远程操作方法,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,在所述远程操作方法中,
各远程操作移动体从对应的远程操作终端接收控制指令,
各远程操作移动体根据所述控制指令来控制本机的动作,
各远程操作移动体从本机的摄像部获取摄像图像信息,
各远程操作移动体将所述摄像图像信息发送到对应的所述远程操作终端,
各远程操作移动体检测所述摄像部的摄像方向,
各远程操作移动体生成表示检测到的摄像方向的摄像方向信息,
各远程操作移动体将所述摄像方向信息发送到其它远程操作移动体,
各远程操作移动体从其它远程操作移动体接收所述摄像方向信息,
各远程操作移动体生成表示所生成的所述摄像方向信息与接收到的所述摄像方向信息的差分的差分信息,
各远程操作移动体将所述差分信息发送到对应的远程操作终端,
各远程操作终端接受所述控制指令的输入操作,
各远程操作终端将所述控制指令发送到对应的远程操作移动体,
各远程操作终端从对应的远程操作移动体接收所述摄像图像信息,
各远程操作终端显示所述摄像图像信息,
各远程操作终端从对应的远程操作移动体接收所述差分信息,
各远程操作终端显示所述差分信息。
从这样描述的公开内容中明显可见,本公开内容的实施例能够以多种方式进行变形。这样的变形不应被视为脱离本公开的精神和范围,并且对本领域技术人员显而易见的所有的这样的修改旨在包含在所附权利要求的范围内。

Claims (23)

1.一种远程操作系统,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,其中,所述远程操作系统具备:
所述多个远程操作移动体;以及
所述多个远程操作终端,
各远程操作移动体具备:
控制指令接收部,从对应的远程操作终端接收控制指令;
动作控制部,根据所述控制指令来控制本机的动作;
摄像部;
摄像图像信息获取部,从所述摄像部获取摄像图像信息;
摄像图像信息发送部,将所述摄像图像信息发送到对应的所述远程操作终端;
摄像方向检测部,检测所述摄像部的摄像方向;
摄像方向信息生成部,生成表示所述摄像方向检测部检测到的摄像方向的摄像方向信息;
摄像方向信息发送部,将所述摄像方向信息发送到其它远程操作移动体;
摄像方向信息接收部,从其它远程操作移动体接收所述摄像方向信息;以及
摄像方向控制部,以使所述摄像部的摄像方向与所述摄像方向信息接收部接收到的所述摄像方向信息的发送源的所述摄像部的所述摄像方向同步的方式,根据所述摄像方向信息接收部接收到的所述摄像方向信息来控制所述摄像部的摄像方向,
各远程操作终端具备:
控制指令输入部,接受所述控制指令的输入操作;
控制指令发送部,将所述控制指令发送到对应的远程操作移动体;
摄像图像信息接收部,从对应的远程操作移动体接收所述摄像图像信息;以及
摄像图像信息显示部,显示所述摄像图像信息,
各远程操作移动体还具备:
本机识别信息存储部,存储本机的机体识别信息;
当前地点信息获取部,获取当前地点信息;
识别位置信息发送部,将包括所述机体识别信息以及所述当前地点信息的识别位置信息发送到其它远程操作移动体;
其它机体识别信息存储部,存储与和本机对应的用户存在关系性的用户的远程操作移动体的机体识别信息;
识别位置信息接收部,从其它远程操作移动体接收所述识别位置信息;
关联移动体存在信息生成部,根据存储于所述其它机体识别信息存储部的所述机体识别信息和所述识别位置信息接收部接收到的所述识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作移动体处于本机的附近的关联移动体存在信息;以及
关联移动体存在信息发送部,将所述关联移动体存在信息发送到对应的远程操作终端,
各远程操作终端具备:
关联移动体存在信息接收部,从对应的远程操作移动体接收所述关联移动体存在信息;以及
关联移动体存在信息显示部,显示所述关联移动体存在信息。
2.根据权利要求1所述的远程操作系统,其中,
所述摄像方向信息包括表示所述摄像部的摄像方向的方位角以及俯仰角的信息。
3.根据权利要求1或2所述的远程操作系统,其中,
各远程操作终端还具备:
同步请求发送部,将同步请求发送到其它远程操作终端;
同步请求接收部,从其它远程操作终端接收所述同步请求;以及
同步请求同意部,接受从其它远程操作终端接收到的所述同步请求的同意操作,
当同意所述同步请求时,各远程操作移动体的所述摄像方向控制部开始同步处理。
4.根据权利要求3所述的远程操作系统,其中,
当与本机对应的远程操作终端的所述同步请求同意部接受所述同步请求的同意操作时,各远程操作移动体的所述摄像方向控制部开始同步处理。
5.根据权利要求3所述的远程操作系统,其中,
各远程操作终端还具备同步目的地选择部,该同步目的地选择部接受从所述摄像图像信息显示部显示的所述摄像图像信息所映出的至少一个以上的远程操作移动体选择至少一个以上的远程操作移动体的选择操作,
所述同步请求发送部将所述同步请求发送到与所选择的至少一个以上的远程操作移动体对应的远程操作终端。
6.根据权利要求4所述的远程操作系统,其中,
各远程操作终端还具备同步目的地选择部,该同步目的地选择部接受从所述摄像图像信息显示部显示的所述摄像图像信息所映出的至少一个以上的远程操作移动体选择至少一个以上的远程操作移动体的选择操作,
所述同步请求发送部将所述同步请求发送到与所选择的至少一个以上的远程操作移动体对应的远程操作终端。
7.根据权利要求4至6中的任意一项所述的远程操作系统,其中,
所述动作控制部在所述摄像方向控制部执行同步处理的期间,以使本机追随于发送所述同步请求的发送源的远程操作移动体而移动的方式控制本机的动作。
8.根据权利要求1或2所述的远程操作系统,其中,
当所述控制指令接收部接收到变更所述摄像部的摄像方向的控制指令时,所述摄像方向控制部结束同步处理。
9.根据权利要求1或2所述的远程操作系统,其中,
所述摄像方向控制部在结束同步处理时,使所述摄像部的摄像方向恢复为基准摄像方向。
10.一种远程操作移动体,具备:
控制指令接收部,从对应的远程操作终端接收控制指令;
动作控制部,根据所述控制指令来控制本机的动作;
摄像部;
摄像图像信息获取部,从所述摄像部获取摄像图像信息;
摄像图像信息发送部,将所述摄像图像信息发送到对应的所述远程操作终端;
摄像方向检测部,检测所述摄像部的摄像方向;
摄像方向信息生成部,生成表示所述摄像方向检测部检测到的摄像方向的摄像方向信息;
摄像方向信息发送部,将所述摄像方向信息发送到其它远程操作移动体;
摄像方向信息接收部,从其它远程操作移动体接收所述摄像方向信息;以及
摄像方向控制部,以使所述摄像部的摄像方向与所述摄像方向信息接收部接收到的所述摄像方向信息的发送源的所述摄像部的所述摄像方向同步的方式,根据所述摄像方向信息接收部接收到的所述摄像方向信息来控制所述摄像部的摄像方向,
其中,所述远程操作终端具备:
控制指令输入部,接受所述控制指令的输入操作;
控制指令发送部,将所述控制指令发送到对应的远程操作移动体;
摄像图像信息接收部,从对应的远程操作移动体接收所述摄像图像信息;以及
摄像图像信息显示部,显示所述摄像图像信息,
其中,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,
各远程操作移动体还具备:
本机识别信息存储部,存储本机的机体识别信息;
当前地点信息获取部,获取当前地点信息;
识别位置信息发送部,将包括所述机体识别信息以及所述当前地点信息的识别位置信息发送到其它远程操作移动体;
其它机体识别信息存储部,存储与和本机对应的用户存在关系性的用户的远程操作移动体的机体识别信息;
识别位置信息接收部,从其它远程操作移动体接收所述识别位置信息;
关联移动体存在信息生成部,根据存储于所述其它机体识别信息存储部的所述机体识别信息和所述识别位置信息接收部接收到的所述识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作移动体处于本机的附近的关联移动体存在信息;以及
关联移动体存在信息发送部,将所述关联移动体存在信息发送到对应的远程操作终端,
各远程操作终端具备:
关联移动体存在信息接收部,从对应的远程操作移动体接收所述关联移动体存在信息;以及
关联移动体存在信息显示部,显示所述关联移动体存在信息。
11.一种远程操作方法,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,在所述远程操作方法中,
各远程操作移动体从对应的远程操作终端接收控制指令,
各远程操作移动体根据所述控制指令来控制本机的动作,
各远程操作移动体从本机的摄像部获取摄像图像信息,
各远程操作移动体将所述摄像图像信息发送到对应的所述远程操作终端,
各远程操作移动体检测所述摄像部的摄像方向,
各远程操作移动体生成表示检测到的摄像方向的摄像方向信息,
各远程操作移动体将所述摄像方向信息发送到其它远程操作移动体,
各远程操作移动体从其它远程操作移动体接收所述摄像方向信息,
各远程操作移动体以使所述摄像部的摄像方向与接收到的所述摄像方向信息的发送源的所述摄像部的所述摄像方向同步的方式,根据接收到的所述摄像方向信息来控制所述摄像部的摄像方向,
各远程操作终端接受所述控制指令的输入操作,
各远程操作终端将所述控制指令发送到对应的远程操作移动体,
各远程操作终端从对应的远程操作移动体接收所述摄像图像信息,
各远程操作终端显示所述摄像图像信息,
各远程操作移动体存储本机的机体识别信息,
各远程操作移动体获取当前地点信息,
各远程操作移动体将包括所述机体识别信息以及所述当前地点信息的识别位置信息发送到其它远程操作移动体,
各远程操作移动体存储与和本机对应的用户存在关系性的用户的远程操作移动体的机体识别信息,
各远程操作移动体从其它远程操作移动体接收所述识别位置信息,
各远程操作移动体根据所存储的所述机体识别信息和接收到的所述识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作移动体处于本机的附近的关联移动体存在信息,
各远程操作移动体将所述关联移动体存在信息发送到对应的远程操作终端,
各远程操作终端从对应的远程操作移动体接收所述关联移动体存在信息,
各远程操作终端显示所述关联移动体存在信息。
12.根据权利要求11所述的远程操作方法,其中,
所述摄像方向信息包括表示所述摄像部的摄像方向的方位角以及俯仰角的信息。
13.根据权利要求11或12所述的远程操作方法,其中,
各远程操作终端将同步请求发送到其它远程操作终端,
各远程操作终端从其它远程操作终端接收所述同步请求,
各远程操作终端接受从其它远程操作终端接收到的所述同步请求的同意操作,
当同意所述同步请求时,各远程操作移动体开始同步处理。
14.根据权利要求13所述的远程操作方法,其中,
当与本机对应的远程操作终端接受所述同步请求的同意操作时,各远程操作移动体开始同步处理。
15.根据权利要求13所述的远程操作方法,其中,
各远程操作终端接受从显示的所述摄像图像信息所映出的至少一个以上的远程操作移动体选择至少一个以上的远程操作移动体的选择操作,
各远程操作终端将所述同步请求发送到与所选择的至少一个以上的远程操作移动体对应的远程操作终端。
16.根据权利要求14所述的远程操作方法,其中,
各远程操作终端接受从显示的所述摄像图像信息所映出的至少一个以上的远程操作移动体选择至少一个以上的远程操作移动体的选择操作,
各远程操作终端将所述同步请求发送到与所选择的至少一个以上的远程操作移动体对应的远程操作终端。
17.根据权利要求14至16中的任意一项所述的远程操作方法,其中,
各远程操作移动体在执行所述同步处理的期间,以使本机追随于发送所述同步请求的发送源的远程操作移动体而移动的方式控制本机的动作。
18.根据权利要求11或12所述的远程操作方法,其中,
各远程操作移动体当接收到变更所述摄像部的摄像方向的控制指令时结束同步处理。
19.根据权利要求11或12所述的远程操作方法,其中,
各远程操作移动体在结束所述同步处理时,使所述摄像部的摄像方向恢复为基准摄像方向。
20.一种计算机可读介质,保存有程序,该程序使计算机执行权利要求11至19中的任意一项所述的远程操作方法。
21.一种远程操作系统,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,其中,所述远程操作系统具备:
所述多个远程操作移动体;以及
所述多个远程操作终端,
各远程操作移动体具备:
控制指令接收部,从对应的远程操作终端接收控制指令;
动作控制部,根据所述控制指令来控制本机的动作;
摄像部;
摄像图像信息获取部,从所述摄像部获取摄像图像信息;
摄像图像信息发送部,将所述摄像图像信息发送到对应的所述远程操作终端;
摄像方向检测部,检测所述摄像部的摄像方向;
摄像方向信息生成部,生成表示所述摄像方向检测部检测到的摄像方向的摄像方向信息;
摄像方向信息发送部,将所述摄像方向信息发送到其它远程操作移动体;
摄像方向信息接收部,从其它远程操作移动体接收所述摄像方向信息;
差分信息生成部,生成表示所述摄像方向信息生成部所生成的所述摄像方向信息与所述摄像方向信息接收部接收到的所述摄像方向信息的差分的差分信息;以及
差分信息发送部,将所述差分信息发送到对应的远程操作终端,
各远程操作终端具备:
控制指令输入部,接受所述控制指令的输入操作;
控制指令发送部,将所述控制指令发送到对应的远程操作移动体;
摄像图像信息接收部,从对应的远程操作移动体接收所述摄像图像信息;
摄像图像信息显示部,显示所述摄像图像信息;
差分信息接收部,从对应的远程操作移动体接收所述差分信息;以及
差分信息显示部,显示所述差分信息,
各远程操作移动体还具备:
本机识别信息存储部,存储本机的机体识别信息;
当前地点信息获取部,获取当前地点信息;
识别位置信息发送部,将包括所述机体识别信息以及所述当前地点信息的识别位置信息发送到其它远程操作移动体;
其它机体识别信息存储部,存储与和本机对应的用户存在关系性的用户的远程操作移动体的机体识别信息;
识别位置信息接收部,从其它远程操作移动体接收所述识别位置信息;
关联移动体存在信息生成部,根据存储于所述其它机体识别信息存储部的所述机体识别信息和所述识别位置信息接收部接收到的所述识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作移动体处于本机的附近的关联移动体存在信息;以及
关联移动体存在信息发送部,将所述关联移动体存在信息发送到对应的远程操作终端,
各远程操作终端具备:
关联移动体存在信息接收部,从对应的远程操作移动体接收所述关联移动体存在信息;以及
关联移动体存在信息显示部,显示所述关联移动体存在信息。
22.一种远程操作方法,处于相互离开的场所的多个用户对各人的远程操作终端进行操作,从而对处于相同的场所的多个远程操作移动体分别进行远程操作,在所述远程操作方法中,
各远程操作移动体从对应的远程操作终端接收控制指令,
各远程操作移动体根据所述控制指令来控制本机的动作,
各远程操作移动体从本机的摄像部获取摄像图像信息,
各远程操作移动体将所述摄像图像信息发送到对应的所述远程操作终端,
各远程操作移动体检测所述摄像部的摄像方向,
各远程操作移动体生成表示检测到的摄像方向的摄像方向信息,
各远程操作移动体将所述摄像方向信息发送到其它远程操作移动体,
各远程操作移动体从其它远程操作移动体接收所述摄像方向信息,
各远程操作移动体生成表示所生成的所述摄像方向信息与接收到的所述摄像方向信息的差分的差分信息,
各远程操作移动体将所述差分信息发送到对应的远程操作终端,
各远程操作终端接受所述控制指令的输入操作,
各远程操作终端将所述控制指令发送到对应的远程操作移动体,
各远程操作终端从对应的远程操作移动体接收所述摄像图像信息,
各远程操作终端显示所述摄像图像信息,
各远程操作终端从对应的远程操作移动体接收所述差分信息,
各远程操作终端显示所述差分信息,
各远程操作移动体存储本机的机体识别信息,
各远程操作移动体获取当前地点信息,
各远程操作移动体将包括所述机体识别信息以及所述当前地点信息的识别位置信息发送到其它远程操作移动体,
各远程操作移动体存储与和本机对应的用户存在关系性的用户的远程操作移动体的机体识别信息,
各远程操作移动体从其它远程操作移动体接收所述识别位置信息,
各远程操作移动体根据所存储的所述机体识别信息和接收到的所述识别位置信息,生成表示与和本机对应的用户存在关系性的用户的远程操作移动体处于本机的附近的关联移动体存在信息,
各远程操作移动体将所述关联移动体存在信息发送到对应的远程操作终端,
各远程操作终端从对应的远程操作移动体接收所述关联移动体存在信息,
各远程操作终端显示所述关联移动体存在信息。
23.一种计算机可读介质,保存有程序,该程序使计算机执行权利要求22所述的远程操作方法。
CN202210290252.7A 2021-03-24 2022-03-23 远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质 Active CN115134519B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021049877A JP7468423B2 (ja) 2021-03-24 2021-03-24 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム
JP2021-049877 2021-03-24

Publications (2)

Publication Number Publication Date
CN115134519A CN115134519A (zh) 2022-09-30
CN115134519B true CN115134519B (zh) 2024-02-20

Family

ID=83363839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210290252.7A Active CN115134519B (zh) 2021-03-24 2022-03-23 远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质

Country Status (3)

Country Link
US (1) US11856332B2 (zh)
JP (1) JP7468423B2 (zh)
CN (1) CN115134519B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10949940B2 (en) * 2017-04-19 2021-03-16 Global Tel*Link Corporation Mobile correctional facility robots
US10690466B2 (en) 2017-04-19 2020-06-23 Global Tel*Link Corporation Mobile correctional facility robots

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1034570A (ja) * 1996-07-19 1998-02-10 Fujitsu Ltd ロボット遠隔制御システム
JP2003158664A (ja) * 2001-11-21 2003-05-30 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2013162345A (ja) * 2012-02-06 2013-08-19 Sony Corp 撮像制御装置、撮像制御方法、プログラム、遠隔操作装置、遠隔操作方法、撮像システム
KR101407451B1 (ko) * 2013-01-15 2014-06-13 주식회사 스카이라이프티브이 3차원 영상 카메라의 무빙 장치와 그 제어방법
JP2015099581A (ja) * 2013-10-18 2015-05-28 株式会社ニコン 複数のカメラとサーバとを含む情報提示システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135641A (ja) 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
JP4587166B2 (ja) * 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US8279283B2 (en) * 2005-11-18 2012-10-02 Utc Fire & Security Americas Corporation, Inc. Methods and systems for operating a video surveillance system
JP5070441B2 (ja) 2007-10-10 2012-11-14 株式会社国際電気通信基礎技術研究所 ロボット遠隔操作システム
US8692666B2 (en) * 2010-08-09 2014-04-08 Olympus Imaging Corp. Communication system and communication terminal
US11601583B2 (en) * 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
JP7013689B2 (ja) * 2017-06-21 2022-02-01 富士フイルムビジネスイノベーション株式会社 遠隔操作型移動ロボットおよびロボット制御システム
JP7067414B2 (ja) * 2018-10-24 2022-05-16 トヨタ自動車株式会社 コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム
EP3760391A1 (en) * 2019-07-03 2021-01-06 Ricoh Company, Ltd. Information processing apparatus, telepresence robot, information processing method, and carrier means
US11228737B2 (en) * 2019-07-31 2022-01-18 Ricoh Company, Ltd. Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
US11589010B2 (en) * 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11619935B2 (en) * 2020-07-17 2023-04-04 Blue Ocean Robotics Aps Methods of controlling a mobile robot device from one or more remote user devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1034570A (ja) * 1996-07-19 1998-02-10 Fujitsu Ltd ロボット遠隔制御システム
JP2003158664A (ja) * 2001-11-21 2003-05-30 Matsushita Electric Ind Co Ltd カメラ制御装置
JP2013162345A (ja) * 2012-02-06 2013-08-19 Sony Corp 撮像制御装置、撮像制御方法、プログラム、遠隔操作装置、遠隔操作方法、撮像システム
KR101407451B1 (ko) * 2013-01-15 2014-06-13 주식회사 스카이라이프티브이 3차원 영상 카메라의 무빙 장치와 그 제어방법
JP2015099581A (ja) * 2013-10-18 2015-05-28 株式会社ニコン 複数のカメラとサーバとを含む情報提示システム

Also Published As

Publication number Publication date
JP2022148262A (ja) 2022-10-06
JP7468423B2 (ja) 2024-04-16
US11856332B2 (en) 2023-12-26
US20220311975A1 (en) 2022-09-29
CN115134519A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
US10569874B2 (en) Flight control method and apparatus
CN115134519B (zh) 远程操作系统、远程操作移动体、远程操作方法以及计算机可读介质
US10896543B2 (en) Methods and systems for augmented reality to display virtual representations of robotic device actions
CN105659170B (zh) 用于向远程用户传送视频的方法及视频通信装置
CN104105064B (zh) 定位设备的方法及装置
US11375162B2 (en) Remote terminal and method for displaying image of designated area received from mobile robot
JP4787813B2 (ja) 検知対象検知システム
US20210001487A1 (en) Information processing apparatus, information processing method, and storage medium
CN110431378B (zh) 相对于自主车辆和乘客的位置信令
CN115115014A (zh) 远程操作系统、远程操作方法以及程序
JP7400882B2 (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
JP6527182B2 (ja) 端末装置、端末装置の制御方法、コンピュータプログラム
US20210157300A1 (en) Conveyance control system, conveyance control program, and conveyance control method
US11048345B2 (en) Image processing device and image processing method
JP6382772B2 (ja) 視線誘導装置、視線誘導方法、および視線誘導プログラム
JP7267499B2 (ja) 合流支援システムおよび合流支援方法
KR102467017B1 (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법
US20230276334A1 (en) Method and system for connection handover from telepresence robot to mobile office
KR20160023368A (ko) 사물인터넷 단말과 사용자 단말간의 양방향 통신방법, 이를 위한 사물인터넷 단말 및 사용자 단말
JP2022148263A (ja) ロボット、コミュニケーションシステム、コミュニケーション方法及びプログラム
TW202223749A (zh) 用於獲得場景中的設備或其使用者的標識資訊的方法和系統
JP2021196620A (ja) 移動ロボット、サーバ装置、及び運搬方法
JP2022146885A (ja) 表示装置、通信システム、表示制御方法およびプログラム
CN115639806A (zh) 移动体控制系统、移动体控制方法以及存储有移动体控制程序的计算机可读取的存储介质
JP2023145957A (ja) 情報処理装置、情報処理プログラムおよび情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant