CN109120664B - 远程通信方法、远程通信系统和自主移动装置 - Google Patents

远程通信方法、远程通信系统和自主移动装置 Download PDF

Info

Publication number
CN109120664B
CN109120664B CN201810627341.XA CN201810627341A CN109120664B CN 109120664 B CN109120664 B CN 109120664B CN 201810627341 A CN201810627341 A CN 201810627341A CN 109120664 B CN109120664 B CN 109120664B
Authority
CN
China
Prior art keywords
user
robot
presentation device
change amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810627341.XA
Other languages
English (en)
Other versions
CN109120664A (zh
Inventor
史宏杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN202211226114.9A priority Critical patent/CN115623055A/zh
Publication of CN109120664A publication Critical patent/CN109120664A/zh
Application granted granted Critical
Publication of CN109120664B publication Critical patent/CN109120664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开涉及远程通信方法、远程通信系统和自主移动装置,向第2用户给予位于远程地点的第1用户像是位于该场所这样的临场感。在远程通信方法中,第1机器人使用摄像头来拍摄第1据点内的第1用户,第1机器人将拍摄第1用户得到的拍摄图像发送给第1提示装置,第1提示装置从第1机器人接收拍摄图像,第1提示装置显示拍摄图像,第1提示装置检测表示第2用户相对于第2机器人的位置的变化量的第1变化量,所述第2机器人虚拟地表示第1用户,第1提示装置将第1变化量发送给第1机器人,第1机器人从第1提示装置接收第1变化量,第1机器人根据第1变化量,为了改变摄像头的视点而移动。

Description

远程通信方法、远程通信系统和自主移动装置
技术领域
本公开涉及远程通信系统中的远程通信方法、该远程通信系统和自主地移动的自主移动装置,所述远程通信系统具有:第1机器人,其自主地移动,并且,在第1据点拍摄第1用户;以及第1提示装置,其在与第1据点不同的第2据点向与第1用户不同的第2用户提示由第1机器人拍摄到的拍摄图像。
背景技术
近年来,机器人对人类的沟通力日益提高,开发了在自主移动型机器人中组装有电视会议技术和远程操作技术等的远程临场(Telepresence,远程呈现)机器人。远程临场机器人作为通信源的用户的分身,在远程地点环游各种场所,或者与通信目的地的用户进行通话等(例如参照专利文献1)。由此,远程临场机器人能够给予通信目的地的用户前所未有的存在感,同时实现良好的沟通。其结果是,远程临场机器人在居家办公、各种事件、办公室、教育现场等开始普及。
现有技术文献
专利文献1:日本特开2007-216363号公报
发明内容
发明要解决的问题
但是,在上述现有技术中,位于远程地点的人物彼此不能获得对方位于该场所这样的临场感,需要进一步改善。
本公开是为了解决上述问题而完成的,提供能够对第2用户给予位于远程地点的第1用户好像位于该场所这样的临场感的远程通信方法、远程通信系统和自主移动装置。
用于解决问题的手段
本公开的一个方式的远程通信方法,是具有配置在第1据点的第1机器人和配置在与所述第1据点不同的第2据点的第1提示装置的远程通信系统中的远程通信方法。
在所述远程通信方法中,
所述第1机器人使用所述摄像头,拍摄所述第1据点内的第1用户,
所述第1机器人将拍摄所述第1用户得到的拍摄图像发送给所述第1提示装置,
所述第1提示装置从所述第1机器人接收所述拍摄图像,
所述第1提示装置显示所述拍摄图像,
所述第1提示装置检测表示所述第2用户相对于第2机器人的位置变化量的第1变化量,所述第2机器人虚拟地表示所述第1用户,
所述第1提示装置将所述第1变化量发送给所述第1机器人,
所述第1机器人从所述第1提示装置接收所述第1变化量,
所述第1机器人根据所述第1变化量所表示的所述第2用户的位置变化量,为了改变所述摄像头的视点而移动。
发明效果
根据本公开,与第2据点中的第2用户的移动对应地,在第1据点中,拍摄第1用户的第1机器人进行移动,第1机器人的摄像头的视点发生变化,因此,能够对第2用户给予位于第1据点的第1用户好像位于第2据点这样的临场感。
附图说明
图1是示出本公开的实施方式1中的远程通信系统的结构的图。
图2A是用于对本公开的实施方式1中的远程通信系统的概要进行说明的示意图。
图2B是用于对本公开的实施方式1中的远程通信系统的概要进行说明的示意图。
图3是示出本公开的实施方式1中的第1远程临场机器人、头戴式显示器和第2远程临场机器人的结构的图。
图4是用于对在本实施方式1中头戴式显示器和第1远程临场机器人设定第1极坐标系和第2极坐标系的初始设定处理进行说明的流程图。
图5是用于说明本实施方式1中的第1极坐标系和第2极坐标系的初始设定的示意图。
图6是用于说明本公开的实施方式1中的远程通信系统的工作的流程图。
图7是用于对在本实施方式1的远程通信系统中在第1据点第1远程临场机器人从正面拍摄第1用户的工作进行说明的示意图。
图8是示出在图7所示的第2据点中在头戴式显示器显示的显示画面的一例的图。
图9是用于对在本实施方式1的远程通信系统中在第1据点第1远程临场机器人从后侧拍摄第1用户的工作进行说明的示意图。
图10是示出在图9所示的第2据点中在头戴式显示器显示的显示画面的一例的图。
图11是示出本公开的实施方式2中的远程通信系统的结构的图。
图12是示出本公开的实施方式2中的第1远程临场机器人、第1头戴式显示器、第2头戴式显示器和第2远程临场机器人的结构的图。
标号说明
1、1’ 第1远程临场机器人
2 头戴式显示器
2’ 第2头戴式显示器
3、3’ 第2远程临场机器人
4 第1用户
5 第2用户
6 第1头戴式显示器
7 网络
11 拍摄部
12 通信部
13 初始设定部
14 移动控制部
15 移动部
16 旋转控制部
17 旋转部
18 距离测定部
19 偏角测定部
20 旋转角度测定部
21 通信部
22 显示部
23 红外线受光部
24 初始设定部
25 变化量检测部
31 红外线出射部
251 偏角测定部
252 移动判定部
253 距离测定部
254 旋转角度测定部
具体实施方式
(成为本公开基础的见解)
近年,机器人对人类的沟通力日益提高,开发了在自主移动型机器人中组装有电视会议技术和远程操作技术等的远程临场机器人。远程临场机器人作为通信源的用户的分身,在远程地点环游各种场所,或者与通信目的地的用户进行通话等。由此,远程临场机器人能够给予通信目的地的用户前所未有的存在感,同时实现良好的沟通。其结果是,远程临场机器人在居家办公、各种事件、办公室和教育现场等中开始普及。
例如,在专利文献1中,在家者的友人与通信机器人建立联系,参观博物馆,在家者通过家中的操作侧装置观看机器人的摄像头拍摄的影像。通信机器人以使头部朝向操作侧装置侧的在家者的面部所朝向的方向或者使手腕朝操作侧装置侧的在家者所指的方向抬高的媒介模式来进行动作。
这样,在专利文献1中公开了,操作侧装置拍摄在家者,并根据在家者的活动来控制通信机器人的动作。
但是,专利文献1的操作侧装置是固定的,操作侧装置不会根据与通信机器人建立联系并移动的人物的活动而移动。因此,在专利文献1的系统中,位于远程地点的人物彼此不能获得对方位于该场所这样的临场感。
本公开的一个方式的远程通信方法是具有配置在第1据点的第1机器人和配置在与所述第1据点不同的第2据点的第1提示装置的远程通信系统中的远程通信方法。
在所述远程通信方法中,
所述第1机器人使用所述摄像头,拍摄所述第1用户,
所述第1机器人将拍摄所述第1用户得到的拍摄图像发送给所述第1提示装置,
所述第1提示装置从所述第1机器人接收所述拍摄图像,
所述第1提示装置显示所述拍摄图像,
所述第1提示装置检测表示所述第2用户相对于第2机器人的位置的变化量的第1变化量,所述第2机器人虚拟地表示所述第1用户,
所述第1提示装置将所述第1变化量发送给所述第1机器人,
所述第1机器人从所述第1提示装置接收所述第1变化量,
所述第1机器人根据所述第1变化量,为了改变所述摄像头的视点而移动。
因此,根据第2据点中的第2用户的移动,在第1据点中,拍摄第1用户的第1机器人进行移动,第1机器人的摄像头的视点发生变化,因此,能够对第2用户给予位于第1据点的第1用户好像位于第2据点那样的临场感。
另外,所述第1提示装置也可以佩戴于所述第2用户。
上述远程通信方法还可以包括:
在佩戴所述第1提示装置的所述第2用户与所述第2机器人正对时,所述第1提示装置测定所述第2机器人与所述第1提示装置之间的初始距离,
所述第1提示装置设定以所述第2机器人的位置为原点的第1极坐标系,并且,将连接所述第2机器人的位置与所述第1提示装置的位置而成的直线作为所述第1极坐标系的起始线,
所述第1提示装置将测定出的所述初始距离发送给所述第1机器人,
所述第1机器人从所述第1提示装置接收所述初始距离,
所述第1机器人移动到与所述第1用户正对并且与所述第1用户相距所述初始距离的位置,
所述第1机器人设定以所述第1用户的位置为原点的第2极坐标系,并且,将连接所述第1机器人的位置与所述第1用户的位置而成的直线作为所述第2极坐标系的起始线。
因此,在第1提示装置中,设定以第2机器人的位置为原点的第1极坐标系,并且,将连接第2机器人与第1提示装置而成的直线作为第1极坐标系的起始线,在第1机器人中,设定以第1用户的位置为原点的第2极坐标系,并且,将连接第1机器人与第1用户而成的直线作为第2极坐标系的起始线,因此,能够使第1提示装置相对于第2机器人的相对位置关系和第1机器人相对于第1用户的相对位置关系相同。
另外,在远程通信方法中,也可以是,
在所述第1提示装置的位置根据所述第2用户的移动进行了移动的情况下,所述第1提示装置测定所述第1极坐标系中的所述第1提示装置的移动后的位置与所述第2机器人的位置之间的距离,
所述第1提示装置测定连接所述第1极坐标系中的所述第1提示装置的移动后的位置与所述第2机器人的位置而成的直线和所述第1极坐标系的起始线所成的角度。
另外,表示所述第2用户的位置的变化量的所述第1变化量也可以是测定出的所述距离和所述角度。
也可以是,所述第1机器人根据所述第1变化量所表示的所述距离和所述角度,确定应该使所述第1机器人移动到的所述第1据点内的位置,
在与所述第1变化量相应的所述移动中,所述第1机器人向所述确定出的位置移动。
所述确定出的位置也可以是如下位置:所述确定出的位置与所述第1用户的位置之间的距离,与所述第1变化量所示的距离相同,并且,连接所述确定出的位置与所述第1用户的位置而成的直线和所述第2极坐标系的起始线所成的角度,与所述第1变化量所示的角度相同。
因此,能够根据第1极坐标系中的第1提示装置的移动后的位置与第2机器人的位置之间的距离以及连接第1极坐标系中的第1提示装置的移动后的位置与第2机器人的位置而成的直线和第1起始线所成的角度,使第1机器人移动,使得第1极坐标系中的第1提示装置相对于第2机器人的相对位置与第2极坐标系中的第1机器人相对于第1用户的相对位置相同。
另外,也可以是,所述远程通信方法还包括:所述第1提示装置判断所测定出的所述角度是否为预定角度以上,所述第1提示装置在判断为所测定出的所述角度为所述预定角度以上的情况下,在所述检测中检测所述第1变化量。
因此,在判断为测定出的角度为预定角度以上的情况下即第2用户的移动量较大的情况下,能够使第1机器人移动。
另外,也可以是,所述远程通信方法还包括:所述第2机器人从所述第2机器人的正面向下方射出可见光。
根据该结构,在第2机器人中,从第2机器人的正面向下方射出可见光,因此,第2用户能够通过目视可见光,与第2机器人正对。
另外,也可以是,所述远程通信方法还包括:所述第2机器人从所述第2机器人的正面射出红外光,所述第1提示装置,当在所述第1提示装置的正面检测出从所述第2机器人射出的所述红外光的情况下,测定所述初始距离。
因此,能够以在第1提示装置的正面检测出从第2机器人射出的红外光为触发来测定初始距离,并且,能够设定第1极坐标系和第2极坐标系。
另外,所述远程通信方法还包括:所述第1提示装置检测表示所述第2用户相对于所述第2机器人的面部朝向的变化量的第2变化量,所述第1机器人从所述第1提示装置接收所述第2变化量,所述第1机器人通过旋转所述摄像头,使所述摄像头的拍摄方向相应于所述第2变化量而改变。
因此,按照第2用户的面部朝向的变化,摄像头的拍摄方向发生变化,因此,能够向第2用户给予第2用户好像位于第1据点内那样的临场感。
另外,在所述第2变化量的检测中,进一步,所述第1提示装置也可以测定所述第2用户的面部朝向相对于所述第1极坐标系的起始线的角度,将测定出的所述角度检测为所述第2用户的面部朝向的变化量。也可以通过使所述摄像头旋转,旋转至所述摄像头的拍摄方向相对于所述第2极坐标系的起始线的角度与所述第2变化量所表示的所述角度一致。
因此,按照第2用户的面部朝向的变化,摄像头的拍摄方向发生变化,因此,能够向第2用户给予第2用户好像位于第1据点内那样的临场感。
所述远程通信系统还可以具有配置在所述第1据点的第2提示装置。
所述第2提示装置也可以佩戴于所述第1用户。
所述远程通信方法还可以包括:在检测出所述第1变化量时,在向所述第1机器人发送所述第1变化量之前,所述第1提示装置向所述第2提示装置发送表示催促所述第1用户静止的第1通知信息。
在检测出所述第2变化量时,在向所述第1机器人发送所述第2变化量之前,所述第1提示装置也可以向所述第2提示装置发送所述第1通知信息。
所述第2提示装置也可以从所述第1提示装置接收第1通知信息。
所述第2提示装置也可以显示所述第1通知信息。
通过这样结构,在第2用户移动的情况下,能够抑止第1用户的移动。
另外,也可以是,在由所述第2提示装置检测出第3变化量之前接收到所述第1通知信息的情况下,显示所述第1通知信息,所述第3变化量表示所述第1用户相对于所述第1机器人的位置的变化量,
或者,
在由所述第2提示装置检测出第4变化量之前接收到所述第1通知信息的情况下,显示所述第1通知信息,所述第4变化量表示所述第1用户相对于所述第1机器人的面部朝向的变化量。
通过这样结构,在第2用户移动的情况下,能够抑止第1用户的移动。
另外,所述远程通信系统还可以具有配置在所述第1据点的第2提示装置。
所述第2提示装置也可以佩戴于所述第1用户。
在所述远程通信方法还可以包括:在所述第2提示装置检测出表示所述第1用户的位置的变化量的第3变化量或表示所述第1用户相对于所述第1机器人的面部朝向的变化量的第4变化量时,所述第2提示装置向所述第1提示装置发送表示催促所述第2用户静止的第2通知信息。
所述第1提示装置也可以接收所述第2通知信息。
所述第1提示装置也可以显示所述第2通知信息。
通过这样结构,在第1用户移动的情况下,能够抑制第2用户的移动。
另外,也可以是,在由所述第1提示装置检测出所述第1变化量之前接收到所述第2通知信息的情况下,显示所述第2通知信息,
或者,
在由所述第1提示装置检测出所述第2变化量之前接收到所述第2通知信息的情况下,显示所述第2通知信息。
通过这样结构,在第1用户移动的情况下,能够抑制第2用户的移动。
本公开的其它方式的远程通信系统具有:
配置在第1据点的第1机器人;以及
配置在与所述第1据点不同的第2据点的提示装置,
所述第1机器人具有:
摄像头,其拍摄所述第1据点内的第1用户;以及
发送部,其将由所述摄像头拍摄到的所述第1用户的拍摄图像发送给所述提示装置。
所述提示装置具有:
接收部,其从所述第1机器人接收所述拍摄图像;
显示部,其显示所述拍摄图像;
检测部,其检测表示所述第2用户相对于第2机器人的位置的变化量的第1变化量,所述第2机器人虚拟地表示所述第1用户;
发送部,其将所述第1变化量发送给所述第1机器人。
所述第1机器人还具有:接收部,其从所述提示装置接收所述第1变化量;移动部,其使所述第1机器人移动;以及移动控制部,其根据所述第1变化量,为了改变所述摄像头的视点而控制所述移动部。
因此,根据第2据点中的第2用户的移动,在第1据点中,拍摄第1用户的第1机器人进行移动,第1机器人的摄像头的视点变化,因此,能够向第2用户给予位于第1据点的第1用户好像位于第2据点那样的临场感。
本公开的其它方式的自主移动装置具有:
摄像头,其拍摄第1据点内的第1用户;
发送部,其将由所述摄像头拍摄到的第1用户的拍摄图像发送给配置在与所述第1据点不同的第2据点的提示装置;
接收部,其从所述提示装置接收表示所述第2用户相对于第2机器人的位置的变化量的第1变化量,所述第2机器人虚拟地表示所述第1用户;
移动部,其使所述第1机器人移动;以及
移动控制部,其根据所述第1变化量,为了改变所述摄像头的视点而控制所述移动部。
因此,根据第2据点中的第2用户的移动,在第1据点中,拍摄第1用户的自主移动装置进行移动,自主移动装置的摄像头的视点发生变化,因此,能够向第2用户给予位于第1据点的第1用户好像位于第2据点那样的临场感。
以下参照附图,对本公开的实施方式进行说明。此外,以下的实施方式只是将本公开具体化的一例,不对本公开的技术范围进行限定。
(实施方式1)
首先,对本公开的实施方式1中的远程通信系统的概要进行说明。
图1是示出本公开的实施方式1中的远程通信系统的结构的图,图2A和图2B是用于对本公开的实施方式1中的远程通信系统的概要进行说明的示意图。
图1所示的远程通信系统具有第1远程临场机器人1、头戴式显示器2和第2远程临场机器人3。第1远程临场机器人1配置在第1据点,头戴式显示器2和第2远程临场机器人3配置在与第1据点不同的第2据点。第1远程临场机器人1和头戴式显示器2以能够经由网络7彼此通信的方式连接。此外,网络7例如是互联网。
如图2A、图2B所示那样,在第1据点中,第1远程临场机器人1拍摄作为拍摄对象的第1用户4,并将第1用户4的拍摄图像发送给头戴式显示器2。另外,第1远程临场机器人1自主地移动。第1远程临场机器人1也称作移动控制装置。
第2远程临场机器人3当做第1用户4,配置在第2据点。本实施方式1中的第2远程临场机器人3不自主地移动,但也可以自主地移动。
头戴式显示器2佩戴在第2用户5的头部。头戴式显示器2接收由第1远程临场机器人1发送的拍摄图像,在头戴式显示器2的显示器主体(未图示)显示接收到的拍摄图像。头戴式显示器2向第2用户5提示由第1远程临场机器人1拍摄到的拍摄图像。
如图2A所示,在佩戴有头戴式显示器2的第2用户5向与第2远程临场机器人3正对的位置移动时,头戴式显示器2测定第2远程临场机器人3与头戴式显示器2之间的距离。
第2用户5与第2远程临场机器人3正对的位置例如是第2用户5面向第2远程临场机器人3的正面的位置。因此,从上述位置观察第2远程临场机器人3的方向成为观察第2远程临场机器人3的正面的方向。
头戴式显示器2将测定出的初始距离发送给第1远程临场机器人1。
第1远程临场机器人1在从头戴式显示器2接收到初始距离时,向如下位置移动:第1远程临场机器人1的摄像头的拍摄方向是从正面观察第1用户4的方向,且距第1用户4的距离成为初始距离。摄像头的拍摄方向例如是摄像头的拍摄镜头(未图示)的光轴方向。
第1远程临场机器人1例如也可以预先将从正面拍摄第1用户4时的拍摄图像存储在存储器(未图示)等中,并基于该图像,判断从摄像头的拍摄方向是否是从正面观察第1用户4的方向。
另外,第1远程临场机器人1例如也可以具有测距传感器(未图示),使用测距传感器来判断第1用户4与第1远程临场机器人1之间的距离是否是初始距离。
如图2A所示,第1远程临场机器人1与第1用户4相距与头戴式显示器2和第2远程临场机器人3之间的距离即初始距离相同的距离,并且第1远程临场机器人1的拍摄方向是与第2用户5观察当做第1用户4的第2远程临场机器人3的方向相同的方向、即从正面观察对象物的方向。
此时,第1远程临场机器人1相对于第1用户4的相对位置关系与头戴式显示器2相对于当做第1用户4的第2远程临场机器人3的相对位置关系相同。第2用户5佩戴着头戴式显示器2,因此视作第2用户5的位置与头戴式显示器2的位置相同来进行说明。
此处,例如位于图2A所示的位置的第2用户5如图2B所示那样在佩戴着头戴式显示器2的状态下,在第2据点内移动。
在该情况下,头戴式显示器2以图2A所示的第2用户5的位置为基准,检测第2用户5的位置变化量。即,头戴式显示器2以图2A所示的头戴式显示器2的位置为基准,检测头戴式显示器2自身位置的变化量。头戴式显示器2将表示检测出的变化量的第1变化量发送给第1远程临场机器人1。
第1远程临场机器人1从头戴式显示器2接收第1变化量,并根据第1变化量所表示的第2用户5的位置变化量,在第2据点内移动。
更具体而言,如图2B所示,从根据第1变化量进行了移动的第1远程临场机器人1的位置观察第1用户4的方向是与从移动后的第2用户5的位置观察第2远程临场机器人3的方向相同的方向。进而,根据第1变化量进行了移动的第1远程临场机器人1与第1用户4之间的距离,和移动后的第2用户5所佩戴的头戴式显示器2与第2远程临场机器人3之间的距离相同。
即,即使佩戴头戴式显示器2的第2用户5在第2据点内进行了移动,第1远程临场机器人1也根据第1变化量而移动,因此,第1远程临场机器人1相对于第1用户4的相对位置关系与头戴式显示器2相对于当做第1用户4的第2远程临场机器人3的相对位置关系相同。
第1远程临场机器人1将拍摄第1用户4而得到的拍摄图像发送给头戴式显示器2。由此,在头戴式显示器2显示有如下拍摄图像:该拍摄图像是在与从移动后的第2用户5的位置观察当做第1用户4的第2远程临场机器人3的方向相同的方向上且从离开第1用户4为第2用户5和第2远程临场机器人3之间的距离量的位置拍摄第1用户4而得到的。
由此,能够向第2用户给予位于第1据点的第1用户4好像位于第2据点那样的临场感。换言之,这可以说能够向第2用户给予位于第2据点的第2用户5好像位于第1据点那样的临场感。
另外,关于头戴式显示器2,也可以以图2A所示的位置的第2用户5的面部朝向为基准,来检测面部朝向的变化量。在本实施方式中,以第2用户5将面部朝向左右的情况为例来进行说明。在该情况下,头戴式显示器2检测第2用户5的面部朝向的变化量,将表示检测出的面部朝向的变化量的第2变化量发送给第1远程临场机器人1。第1远程临场机器人1从头戴式显示器2接收第2变化量,第1远程临场机器人1根据第2变化量所表示的第2用户5的面部朝向的变化量,使摄像头向左或向右旋转,由此改变拍摄方向。
由此,能够进一步向第2用户给予位于第1据点的第1用户4好像位于第2据点那样的临场感。
图3是示出本公开的实施方式1中的第1远程临场机器人、头戴式显示器和第2远程临场机器人的结构的图。
第2远程临场机器人3具有红外线出射部31。红外线出射部31从第2远程临场机器人3的正面朝向前方,射出红外光。红外光例如可以是具有红外波长的激光。该激光也称作红外线激光。
头戴式显示器2具有通信部21、显示部22、红外线受光部23、初始设定部24和与检测部对应的变化量检测部25。另外,头戴式显示器2具有CPU(Central Processing Unit:中央处理器)等处理器(未图示)和存储有程序的存储器(未图示),处理器执行程序,由此通信部21、显示部22、红外线受光部23、初始设定部24和变化量检测部25分别发挥功能。
通信部21从第1远程临场机器人1接收在第1据点拍摄第1用户4而得到的拍摄图像。
显示部22例如具有上述显示器主体(未图示),并在显示器主体显示由通信部21接收到的拍摄图像。
红外线受光部23例如接受来自头戴式显示器2的正面的红外光,并对其进行检测。红外线受光部23例如安装在从头戴式显示器2的正面可见的位置。红外光从第2远程临场机器人3的正面射出,因此,当在第2用户5佩戴的头戴式显示器2的正面检测出该红外光的情况下,第2远程临场机器人3成为正对头戴式显示器2和佩戴其的第2用户5。
此外,在本实施方式1中,第2远程临场机器人3具有从第2远程临场机器人3的正面朝前方射出红外光的红外线出射部31,但本公开不特别限定于此,第2远程临场机器人3也可以具有向第2远程临场机器人3的正面的下方射出可视激光的激光出射部。在该情况下,头戴式显示器2也可以不具有红外线受光部23,第2用户5通过目视可视激光,能够移动到与第2远程临场机器人3正对的位置。
变化量检测部25检测表示第2用户5相对于第2远程临场机器人3的位置的变化量的第1变化量,其中,第2远程临场机器人3虚拟地表示第1用户4。
变化量检测部25还检测表示第2用户5相对于第2远程临场机器人3的面部朝向的变化量的第2变化量。
通信部21将由变化量检测部25检测出的第1变化量和第2变化量的至少一方发送给第1远程临场机器人1。变化量检测部25例如具有偏角测定部251、移动判定部252、距离测定部253和旋转角度测定部254。
距离测定部253例如是LIDAR(Light Detection and Ranging:激光雷达)或毫米波雷达等测距传感器,测定与对象物的距离。距离测定部253测定第2远程临场机器人3与第2用户5正对时的第2远程临场机器人3与头戴式显示器2之间的初始距离。距离测定部253在由红外线受光部23检测出红外光的情况下,测定初始距离。
此外,第2远程临场机器人3在不射出红外光而射出可视激光的情况下,也可以在头戴式显示器2上设置当第2远程临场机器人3与第2用户5正对时按下的按钮。进而,距离测定部253可以在按钮被按下的情况下,测定初始距离。
初始设定部24在第2远程临场机器人3与第2用户5正对的情况下即由红外线受光部23检测出红外光的情况下,指示距离测定部253测定第2远程临场机器人3与头戴式显示器2之间的初始距离。初始设定部24设定以第2远程临场机器人3的位置为原点的第1极坐标系,并且,将连接第2远程临场机器人3与头戴式显示器2的直线作为第1极坐标系的起始线。在以后的说明中,将该起始线称作第1起始线来进行说明。此时,第1极坐标系的第1起始线上的第2远程临场机器人3(原点)与头戴式显示器2之间的距离成为由距离测定部253测定出的初始距离。通信部21将由距离测定部253测定出的初始距离发送给第1远程临场机器人1。
在测定出初始距离之后,佩戴头戴式显示器2的第2用户5进行了了移动的情况下,距离测定部253测定第1极坐标系中的头戴式显示器2的移动后的位置与第2远程临场机器人3之间的距离。另外,也可以按一定的时间间隔进行该测定。
偏角测定部251测定连接第1极坐标系中的头戴式显示器2的移动后的位置与第2远程临场机器人3的位置而成的直线和第1起始线所成的角度。
偏角测定部251例如包含与BLE(Bluetooth(注册商标)Low Energy:低能耗蓝牙)标准对应的天线。天线接收从设置在头戴式显示器2周围的发信机发送的信标(Beacon)信号。发信机例如由发送遵循BLE的通信协议的信标信号的发信机构成。发信机按一定间隔(例如数米)设置在头戴式显示器2所在的第2据点的内部(例如房间)的天花板、地板或墙壁等,并按一定周期发送信标信号。发信机具有事先存储表示自身的设置位置的位置信息的存储器(未图示),并将自身位置信息包含在信标信号中来发送。此外,发信机的位置信息例如由表示第2据点内的预定区域的正交坐标系的坐标来表示。
偏角测定部251取得天线接收的强度最高的信标信号中包含的发信机的位置信息来作为头戴式显示器2的位置信息。偏角测定部251将所取得的正交坐标系的坐标转换为第1极坐标系的坐标。进而,偏角测定部251测定连接第1极坐标系中的头戴式显示器2(第2用户5)的移动后的位置与第2远程临场机器人3的位置而成的直线和第1起始线所成的角度。通信部21将由距离测定部253测定出的距离和由偏角测定部251测定出的角度作为头戴式显示器2的位置变化量,并将表示该变化量的第1变化量发送给第1远程临场机器人1。
移动判定部252例如判断头戴式显示器2的位置变化量是否为预定量以上,由此判断头戴式显示器2即佩戴头戴式显示器2的第2用户5是否进行了移动。另外,在判断为头戴式显示器2的位置变化量为预定量以上的情况下,通过变化量检测部25检测表示该变化量的第1变化量。另外,在判断为头戴式显示器2的位置变化量小于预定量的情况下,不通过变化量检测部25检测第1变化量。
更具体而言,移动判定部252例如判断由偏角测定部251测定出的角度是否为与上述的预定量对应的预定角度以上,由此判断头戴式显示器2(第2用户5)是否进行了移动。即,移动判定部252在由偏角测定部251测定出的角度为预定角度以上的情况下,判断为头戴式显示器2(第2用户5)发生了移动,并通过变化量检测部25检测表示该变化量的第1变化量。
另一方面,在由偏角测定部251测定出的角度小于预定角度的情况下,判断为头戴式显示器2(第2用户5)没有移动。不通过变化量检测部25检测第1变化量。
通信部21在判断为由偏角测定部251测定出的角度为预定角度以上的情况下,将第1变化量发送给第1远程临场机器人1。另外,通信部21在判断为由偏角测定部251测定出的角度小于预定角度的情况下,不向第1远程临场机器人1发送第1变化量。
旋转角度测定部254测定第2用户5的面部朝向相对于第1极坐标系的第1起始线的角度。也将第2用户5的面部朝向的角度称作旋转角度。旋转角度测定部254例如由惯性传感器构成。惯性传感器是由3轴角速度传感器和3方向加速度传感器构成的、检测惯性运动量的传感器,检测第2用户5的头部举动。旋转角度测定部254例如在设定了第1极坐标时,将从第1起始线上的头戴式显示器2的位置朝向与第1极坐标系的原点对应的第2远程临场机器人3的位置的方向作为第1基准方向,存储在存储器(未图示)中。旋转角度测定部254测定出第2用户5的面部朝向相对于第1基准方向的角度来作为旋转角度。通信部21将由旋转角度测定部254测定出的旋转角度作为第2用户5的面部朝向的变化量,并将表示该变化量的第2变化量发送给第1远程临场机器人1。
第1远程临场机器人1具有拍摄部11、通信部12、初始设定部13、移动控制部14、移动部15、旋转控制部16、旋转部17、距离测定部18、偏角测定部19和旋转角度测定部20。另外,第1远程临场机器人1具有处理器(未图示)和存储有程序的存储器(未图示),处理器执行程序,由此拍摄部11、通信部12、初始设定部13、移动控制部14、移动部15、旋转控制部16、旋转部17、距离测定部18、偏角测定部19和旋转角度测定部20发挥功能。
拍摄部11拍摄第1用户4。拍摄部11例如是摄像头。
通信部12将由拍摄部11得到的拍摄图像发送给头戴式显示器2。另外,通信部12接收由头戴式显示器2发送的第1变化量和第2变化量的至少一方。另外,通信部12在初始设定时,从头戴式显示器2接收初始距离。
距离测定部18例如是测距传感器,测定与对象物的距离。对象物例如为第1用户4。距离测定部18测定第1远程临场机器人1与第1用户4之间的距离。
移动控制部14通过控制移动部15,使第1远程临场机器人1移动。
移动部15由马达和驱动轮构成,使第1远程临场机器人1移动。在接收到第1变化量的情况下,移动控制部14控制移动部15,使第1远程临场机器人1向与第1变化量对应的位置移动,因此,拍摄位置根据该移动而变化,故而拍摄部11的视点发生变化。与拍摄部11的视点发生变化相应地,由拍摄部11拍摄的第1用户4的拍摄图像发生变化。另外,关于移动部15,在由通信部12接收到初始距离时,移动控制部14控制移动部15,使第1远程临场机器人1移动到与第1用户4正对、且与第1用户4相距初始距离的位置。
初始设定部13设定以第1用户4的位置为原点的第2极坐标系,并且,将连接第1远程临场机器人1的位置与第1用户4的位置而成的直线作为第2极坐标系的起始线。在以后的说明中,将该起始线称作第2起始线来进行说明。初始设定部13例如将第2极坐标系的第1远程临场机器人1的位置、第1用户4的位置等存储在存储器(未图示)中。
距离测定部18例如在第1远程临场机器人1进行了移动的情况下,测定连接第2极坐标系中的移动后的第1远程临场机器人1的位置与第1用户4的位置而成的直线和第2起始线所成的角度。
偏角测定部19例如包含与BLE(Bluetooth(注册商标)Low Energy)标准对应的天线。天线接收从设置于第1远程临场机器人1的周围的发信机发送的信标信号。发信机按一定间隔(例如数米)设置在第1据点的内部(例如房间)的天花板、地板或墙壁等,并按一定的周期发送信标信号。发信机具有事先存储表示自身设置位置的位置信息的存储器(未图示),并将信标信号包含在自身位置信息中来发送。此外,发信机的位置信息例如由表示第1据点内的预定区域的正交坐标系的坐标来表示。
偏角测定部19取得天线接收的强度最高的信标信号中包含的发信机的位置信息来作为第1远程临场机器人1的位置信息。偏角测定部19将所取得的正交坐标系的坐标转换为第2极坐标系的坐标。进而,偏角测定部19测定连接第2极坐标系中的第1远程临场机器人1的移动后的位置与第1用户4的位置而成的直线和第2起始线所成的角度。
移动控制部14控制移动部15,根据接收到的第1变化量所示的距离和角度,使第1远程临场机器人1移动,使得第1极坐标系中的第2用户5相对于第2远程临场机器人3的相对位置与第2极坐标系中的第1远程临场机器人1相对于第1用户4的相对位置变得相同。
此处,根据第1变化量使第1远程临场机器人1移动到的位置是如下位置:连接该位置与第1用户4的位置而成的直线和第2起始线所成的角度与第1变化量所表示的角度相同,从该位置到第1用户4的位置为止的距离与第1变化量所表示的距离相同。
旋转控制部16通过控制旋转部17,使第1远程临场机器人1旋转。
旋转角度测定部20测定第1远程临场机器人1的拍摄部11的拍摄方向相对于第2极坐标系的第2起始线的角度。也将该拍摄方向的角度称作拍摄方向的旋转角度。拍摄部11的拍摄方向是与拍摄部11对应的摄像头所具有的拍摄镜头(未图示)的光轴方向。旋转角度测定部20例如由惯性传感器构成。惯性传感器是由3轴角速度传感器和3方向加速度传感器构成的、检测惯性运动量的传感器,检测与第1远程临场机器人1的拍摄部11对应的摄像头的拍摄方向。旋转角度测定部20例如在设定第2极坐标时,将从第2起始线上的第1远程临场机器人1的位置朝向第1用户4的位置的方向作为第2基准方向,存储在存储器(未图示)中。旋转角度测定部20测定出第1远程临场机器人1的拍摄方向相对于第2基准方向的角度来作为旋转角度。
旋转部17例如以旋转轴(未图示)为旋转中心,使第1远程临场机器人1旋转。旋转轴的轴方向例如是与配置第1远程临场机器人1的地板垂直的方向。由此,第1远程临场机器人1以旋转轴为中心进行旋转。
旋转部17使第1远程临场机器人1旋转,由此使与第1远程临场机器人1的拍摄部11对应的摄像头旋转。由此,拍摄部11的拍摄方向变化。拍摄部11的拍摄方向例如是与拍摄部11对应的摄像头所具有的拍摄镜头的光轴方向。
例如,在接收到第2变化量的情况下,旋转控制部16控制旋转部17,根据第2变化量使第1远程临场机器人1旋转,由此改变拍摄部11的拍摄方向。即,旋转控制部16控制旋转部17,根据接收到的第2变化量所示的旋转角度使第1远程临场机器人1旋转,由此使拍摄部11的拍摄方向相对于第2起始线旋转。旋转控制部16控制旋转部17使第1远程临场机器人1旋转,直至由旋转角度测定部20测定出的旋转角度与接收到的第2变化量所示的旋转角度一致为止,由此使拍摄部11的拍摄方向相对于第2起始线变化。
此外,在上述的例子中,以旋转部17使第1远程临场机器人1旋转的情况为例进行了说明,但不限于此。例如,旋转部17也可以仅使作为拍摄部11的摄像头以旋转轴(未图示)为旋转中心进行旋转。
此外,第1远程临场机器人1也可以具有取得第1用户4的声音的传声器(麦克风),头戴式显示器2也可以具有输出由通信部21接收到的声音数据的扬声器。在该情况下,第1远程临场机器人1的传声器取得第1用户4的声音并转换为声音数据。通信部12将由传声器取得的声音数据发送给头戴式显示器2。头戴式显示器2的通信部21接收由第1远程临场机器人1发送的声音数据。扬声器输出与接收到的声音数据对应的第1用户4的声音。
另外,在本实施方式1中,第1远程临场机器人1对应于第1机器人。第1远程临场机器人1也称作自主移动装置。
另外,头戴式显示器2对应于第1提示装置。另外,第2远程临场机器人3对应于第2机器人。
另外,第1远程临场机器人1的通信部12也可以具有发送部(未图示)和接收部(未图示)。发送部例如也可以包含发送电路。接收部也可以包含接收电路。在该情况下,由通信部12进行的发送的工作可以由发送部进行。另外,由通信部12进行的接收的工作可以由接收部进行。
另外,头戴式显示器2的通信部21也可以具有发送部(未图示)和接收部(未图示)。发送部例如也可以包含发送电路。接收部也可以包含接收电路。在该情况下,由通信部21进行的发送的工作可以由发送部进行。另外,由通信部21进行的接收的工作可以由接收部进行。
接下来,对头戴式显示器2和第1远程临场机器人1设定第1极坐标系和第2极坐标系的初始设定处理进行说明。
图4是用于对在本实施方式1中头戴式显示器2和第1远程临场机器人1设定第1极坐标系和第2极坐标系的初始设定处理进行说明的流程图。
首先,在步骤S1中,在佩戴头戴式显示器2的第2用户5位于与第2远程临场机器人3正对的位置的情况下,头戴式显示器2的红外线受光部23检测由第2远程临场机器人3射出的红外线光。
接下来,在步骤S2中,距离测定部253测定第2远程临场机器人3与第2用户5正对时的第2远程临场机器人3与头戴式显示器2之间的初始距离。
接下来,在步骤S3中,初始设定部24设定以第2远程临场机器人3的位置为原点的第1极坐标系,并且,将连接第2远程临场机器人3的位置与头戴式显示器2位置而成的直线作为第1极坐标系的起始线即第1起始线。此外,将第1极坐标系的初始设定值存储在头戴式显示器2所具有的存储器(未图示)中。
接下来,在步骤S4中,通信部21将由距离测定部253测定出的初始距离发送给第1远程临场机器人1。
接下来,在步骤S5中,第1远程临场机器人1的通信部12接收由头戴式显示器2发送的初始距离。
接下来,在步骤S6中,移动控制部14控制移动部15,使第1远程临场机器人1移动到与第1用户4正对、且与第1用户4相距初始距离的位置。
移动控制部14例如基于由拍摄部11拍摄到的第1用户4的拍摄图像,使第1远程临场机器人1向与第1用户4正对的位置移动。更具体而言,移动控制部14控制移动部15,使第1远程临场机器人1向拍摄到第1用户4的正面的位置移动。由此,第1远程临场机器人1向与第1用户4正对的位置移动。
进而,距离测定部18测定第1远程临场机器人1与第1用户4之间的距离,移动控制部14控制移动部15,使第1远程临场机器人1移动,使得第1远程临场机器人1与第1用户4之间的距离成为初始距离。
或者,移动控制部14也可以控制移动部15,在使第1远程临场机器人1移动到与第1用户4相距初始距离的位置之后,基于在以第1用户4的位置为中心且半径为初始距离的圆周上移动期间拍摄到的拍摄图像,使第1远程临场机器人1向拍摄到第1用户4的正面的位置移动。
接下来,在步骤S7中,初始设定部13设定以第1用户4的位置为原点的第2极坐标系,并且,将连接第1远程临场机器人1的位置与第1用户4的位置而成的直线作为第2极坐标系的起始线、即第2起始线。此外,将第2极坐标系的初始设定值存储在第1远程临场机器人1所具有的存储器(未图示)中。
图5是用于说明本实施方式1中的初始设定部24对第1极坐标系的设定和初始设定部13对第2极坐标系的设定的示意图。
如图5所示,第1极坐标系以第2远程临场机器人3的位置TPR_B为原点,并将连接第2远程临场机器人3的位置TPR_B与头戴式显示器2的位置U_B而成的直线作为第1起始线。另外,在第1极坐标系中,设第2远程临场机器人3的位置TPR_B与头戴式显示器2的位置U_B之间的距离为初始距离r0。
另外,第2极坐标系以第1用户4的位置U_A为原点,并将连接第1远程临场机器人1的位置TPR_A与第1用户4的位置U_A而成的直线作为第2起始线。另外,在第2极坐标系中,设第1远程临场机器人1的位置TPR_A与第1用户4的位置U_A之间的距离为初始距离r0。
接下来,考虑佩戴头戴式显示器2的第2用户5在第2据点内移动的情况。例如,在因第2用户5的移动而在第1极坐标系中头戴式显示器2的位置U_B向箭头Y1的方向移动了的情况下,通过距离测定部253测定头戴式显示器2的移动后的位置U_B’与第2远程临场机器人3的位置TPR_B之间的距离r,并且,通过偏角测定部251测定连接头戴式显示器2的移动后的位置U_B’与第2远程临场机器人3的位置TPR_B而成的直线和第1起始线之间的角度θ。通信部21将测定出的距离r和角度θ作为第2用户5的位置变化量,并将表示该变化量的第1变化量发送给第1远程临场机器人1。另外,第2用户5的位置变化量也是第2用户5佩戴的头戴式显示器2的位置变化量。
在通信部12从头戴式显示器2接收到第1变化量时,移动控制部14根据第1变化量,算出应该使第1远程临场机器人1移动到的位置TPR_A’。在第2极坐标系中,位置TPR_A’是如下位置:从该位置TPR_A’到第1用户4的位置U_A的距离为第1变化量所表示的距离r,连接位置TPR_A’与位置U_A而成的直线和第2起始线之间的角度成为角度θ。移动控制部14控制移动部15,使远程临场机器人1从位置TPR_A向位置TPR_A’移动。在该情况下,远程临场机器人1朝箭头Y2的方向移动。
另一方面,旋转角度测定部254在第1坐标系中,以从位置U_B朝向位置TPR_B的方向为第1基准方向,测定第2用户5的面部朝向相对于第1基准方向的角度来作为旋转角度。通信部21将由旋转角度测定部254测定出的旋转角度作为第2用户5的面部朝向的变化量,并将表示该变化量的第2变化量发送给第1远程临场机器人1。
在通信部12从头戴式显示器2接收到第2变化量时,旋转控制部16控制旋转部17,使远程临场机器人1旋转。
例如,在将从图5所示的位置TPR_A朝向位置U_A的方向作为第2基准方向时,旋转控制部16控制旋转部17,使远程临场机器人1旋转,使得远程临场机器人1的拍摄方向相对于第2基准方向的角度与第2变化量所表示的旋转角度一致。
接下来,对本公开的实施方式1中的远程通信系统的工作进行说明。
图6是用于说明本公开的实施方式1中的远程通信系统的工作的流程图。图6所示的流程图例如也可以在图4所示的流程图结束之后进行。
首先,在步骤S11中,第1远程临场机器人1的拍摄部11拍摄第1用户4。
接下来,在步骤S12中,通信部12将由拍摄部11得到的拍摄图像发送给头戴式显示器2。
接下来,在步骤S13中,拍摄部11判断是否结束拍摄。此处,在判断为结束拍摄的情况下(步骤S13:是),结束远程通信系统的处理。另一方面,在判断为不结束拍摄的情况下(步骤S13:否),返回到步骤S11的处理,继续进行第1用户4的拍摄。例如,第1远程临场机器人1从第1用户4受理关于是否结束拍摄的输入。拍摄部11也可以基于上述输入来判断是否结束拍摄。
另外,头戴式显示器2也可以从第2用户5受理关于是否结束拍摄的输入。在该情况下,通信部21将表示是否结束拍摄的信息发送给第1远程临场机器人1。
接下来,在步骤S14中,头戴式显示器2的通信部21从第1远程临场机器人1接收拍摄图像。
接下来,在步骤S15中,显示部22显示由通信部21接收到的拍摄图像。
接下来,在步骤S16中,偏角测定部251测定连接第1极坐标系中的头戴式显示器2的位置与第2远程临场机器人3的位置而成的直线和第1起始线所成的角度。
接下来,在步骤S17中,偏角测定部251判断所测定出的角度是否为预定角度以上。此处,在判断为测定出的角度小于预定角度的情况下(步骤S17:否),转入步骤S22的处理。
另一方面,在判断为测定出的角度为预定角度以上的情况下(步骤S17:是),在步骤S18中,距离测定部253测定第1极坐标系中的头戴式显示器2的位置与第2远程临场机器人3的位置之间的距离。
接下来,在步骤S19中,通信部21将由偏角测定部251测定出的角度和由距离测定部253测定出的距离作为第2用户5的位置变化量,并将表示该第2用户5的位置变化量的第1变化量发送给第1远程临场机器人1。
接下来,在步骤S20中,第1远程临场机器人1的通信部12从头戴式显示器2接收第1变化量。
接下来,在步骤S21中,移动部15根据由通信部12接收到的第1变化量所示的距离和角度,使第1远程临场机器人1移动,使得第1极坐标系中的第2用户5相对于第2远程临场机器人3的相对位置与第2极坐标系中的第1远程临场机器人1相对于第1用户4的相对位置变得相同。然后,返回到步骤S11的处理,拍摄部11拍摄第1用户4。
另一方面,在步骤S19中发送了第1变化量之后,在步骤S22中,旋转角度测定部254测定第2用户5的面部朝向相对于第1极坐标系的第1起始线的角度来作为旋转角度。
接下来,在步骤S23中,旋转角度测定部254判断所测定出的旋转角度是否为预定角度以上。此处,在判断为测定出的旋转角度小于预定角度的情况下(步骤S23:否),转入步骤S15的处理。
另一方面,在判断为测定出的旋转角度为预定角度以上的情况下(步骤S23:是),在步骤S24中,通信部21将由旋转角度测定部254测定出的旋转角度作为第2用户5的面部朝向的变化量,并将表示该第2用户5的面部朝向的变化量的第2变化量发送给第1远程临场机器人1。然后,返回到步骤S15的处理,显示部22显示由通信部21接收到的拍摄图像。
接下来,在步骤S25中,第1远程临场机器人1的通信部12从头戴式显示器2接收第2变化量。
接下来,在步骤S26中,旋转控制部16控制旋转部17,根据第2变化量来使第1远程临场机器人1旋转。具体而言,旋转控制部16控制旋转部17,使第1远程临场机器人1旋转,直至由旋转角度测定部20测定出的旋转角度与第2变化量所表示的旋转角度一致为止。
通过使第1远程临场机器人1旋转,拍摄部11的拍摄方向发生变化。由此,根据第2用户5的面部朝向即第2用户5的视线的方向的变化,能够改变拍摄部11的拍摄方向。然后,返回到步骤S11的处理,拍摄部11拍摄第1用户4。
接下来,对如下的具体工作进行说明:在本实施方式1的远程通信系统中,在第1据点,第1远程临场机器人拍摄第1用户,在第2据点,头戴式显示器向第2用户提示拍摄图像。
图7是用于对在本实施方式1的远程通信系统中在第1据点第1远程临场机器人从正面拍摄第1用户的工作进行说明的示意图。
在图7中,例如处于图4所示的流程图刚结束后的状态。即,完成了头戴式显示器2对第1极坐标系的设定、远程临场机器人1对第2极坐标系的设定。
在图7的第2据点中,例如,第2用户5佩戴的头戴式显示器2位于图5所示的第1极坐标系的位置U_B。另外,第2远程临场机器人3位于图5所示的第1极坐标系的位置TPR_B。
在图7的第1据点中,第1远程临场机器人1的位置例如是图5所示的第2极坐标系的位置TPR_A。另外,第1用户的位置例如是图5所示的第2极坐标系的位置U_A。
在图7的第1据点中,第1远程临场机器人1拍摄第1用户4,并将拍摄图像发送给头戴式显示器2。此时,第1用户4挥动高尔夫球杆,第1远程临场机器人1从正面拍摄第1用户4。在第2用户5佩戴的头戴式显示器2显示从挥动高尔夫球杆的第1用户4的正面拍摄的拍摄图像。
接下来,在第2据点中,第2用户5以绕到第2远程临场机器人3后侧的方式,朝箭头51的方向移动。根据第2用户5的移动,第1据点的第1远程临场机器人1也以绕到第1用户4后侧的方式,朝箭头52的方向移动。在第2据点中,移动后的第2用户5的位置例如为图5所示的第1极坐标系的位置U_B’。在第1据点中,移动后的第1远程临场机器人1的位置例如为图5所示的第2极坐标系的TPR_A’。
图8是示出在图7所示的第2据点中在头戴式显示器显示的显示画面的一例的图。
如图8所示,头戴式显示器2的显示部22显示在第1据点从正面拍摄第1用户4得到的拍摄图像。
图9是用于对在本实施方式1的远程通信系统中在第1据点第1远程临场机器人从后侧拍摄第1用户的工作进行说明的示意图。
在图9的第2据点中,第2用户5朝箭头51的方向移动,位于第2远程临场机器人3的后侧。进而,第1据点的第1远程临场机器人1也根据第2用户5的移动,朝箭头52的方向移动,位于第1用户4的后侧。
进而,第1远程临场机器人1拍摄第1用户4,并将拍摄图像发送给头戴式显示器2。此时,第1远程临场机器人1从后侧拍摄挥动高尔夫球杆的第1用户4。
图10是示出在图9所示的第2据点中在头戴式显示器显示的显示画面的一例的图。
如图10所示,头戴式显示器2的显示部22显示在第1据点从后侧拍摄第1用户4得到的拍摄图像。
这样,根据第2据点中的佩戴头戴式显示器2的第2用户5的移动,第1据点中的第1远程临场机器人1移动,第1远程临场机器人1的拍摄部11的视点也与第1远程临场机器人1的移动对应地变化。其结果是,头戴式显示器2所显示的拍摄图像也根据第2用户5的移动而变化。因此,能够向第2用户5给予位于第1据点的第1用户4好像位于第2据点那样的临场感。
此外,在本实施方式中,在第2用户5正在移动的期间,也持续显示拍摄图像。另外,关于拍摄图像,也可以在第2用户5正在移动的期间不显示,而在第2用户5停止的时刻显示。由此,能够防止因第1远程临场机器人1移动而产生的拍摄图像的抖动。
另外,在本实施方式1中,对检测2维平面上的第2用户5和第1远程临场机器人1的位置变化的例子进行了说明,但也可以检测3维空间内的第2用户5和第1远程临场机器人1的位置变化。在该情况下,可以是,头戴式显示器2检测3维空间内的头戴式显示器2的移动,第1远程临场机器人1与头戴式显示器2的移动对应地在3维空间内移动。
(实施方式2)
接下来,对本公开的实施方式2中的远程通信系统的概要进行说明。在上述实施方式1中,采用了在第1据点配置第1远程临场机器人,在第2据点配置头戴式显示器和第2远程临场机器人的例子,而在实施方式2中,在第1据点配置第1远程临场机器人和第1头戴式显示器,在第2据点配置第2头戴式显示器和第2远程临场机器人。
图11是示出本公开的实施方式2中的远程通信系统的结构的图。
图11所示的远程通信系统具有第1远程临场机器人1’、第1头戴式显示器6、第2头戴式显示器2’和第2远程临场机器人3’。第1远程临场机器人1’和第1头戴式显示器6配置在第1据点,第2头戴式显示器2’和第2远程临场机器人3’配置在与第1据点不同的第2据点。
第1远程临场机器人1’和第2头戴式显示器2’以能够经由网络7彼此通信的方式连接。另外,第2远程临场机器人3’和第1头戴式显示器6以能够经由网络7彼此通信的方式连接。第1头戴式显示器6和第2头戴式显示器2’以能够经由网络7彼此通信的方式连接。此外,网络7例如为互联网。
在第1据点中,第1远程临场机器人1’拍摄第1用户4,并将拍摄图像发送给第2头戴式显示器2’。另外,第1远程临场机器人1’自主地移动。
第2头戴式显示器2’佩戴在第2用户5的头部。第2头戴式显示器2’接收由第1远程临场机器人1’发送的拍摄图像,并显示接收到的拍摄图像。也就是说,第2头戴式显示器2’向佩戴第2头戴式显示器2’的第2用户5提示从第1远程临场机器人1’接收到的拍摄图像。此时,第1远程临场机器人1’与第1用户4佩戴的第1头戴式显示器6的位置关系,和第2远程临场机器人3’与第2用户5佩戴的第2头戴式显示器2’的位置关系相同。
此处,在第2用户5在第2据点中进行了移动的情况下,第1远程临场机器人1’也根据第2用户5的移动而移动。因此,第1远程临场机器人1’相对于第1用户4佩戴的第1头戴式显示器6的相对位置关系成为与头戴式显示器2’相对于第2远程临场机器人3’的相对位置关系相同。进而,第1远程临场机器人1’将拍摄第1用户4而得到的拍摄图像发送给第2头戴式显示器2’。由此,在第2头戴式显示器2’中,显示在与从移动后的第2用户5的位置观察当做第1用户4的第2远程临场机器人3’的方向相同的方向上从离开了第2用户5与第2远程临场机器人3’之间的距离的位置拍摄第2用户4而得到的拍摄图像。
另一方面,在第2据点中,第2远程临场机器人3’拍摄第2用户5,并将拍摄图像发送给第1头戴式显示器6。另外,第2远程临场机器人3’自主地移动。第1头戴式显示器6佩戴在第1用户4的头部。第1头戴式显示器6接收由第2远程临场机器人3’发送的拍摄图像,并显示接收到的拍摄图像。第1头戴式显示器6在第1据点向第1用户4提示由第2远程临场机器人3’拍摄到的拍摄图像。此时,第2远程临场机器人3’与第2用户5佩戴的第2头戴式显示器2’的位置关系,和第1远程临场机器人1’与第1用户4佩戴的第1头戴式显示器6的位置关系相同。
此处,在第1用户4在第1据点中进行了移动的情况下,第2远程临场机器人3’也根据第1用户4的移动而移动。因此,第2远程临场机器人3’相对于第2用户5佩戴的第2头戴式显示器2’的相对位置关系成为与第1头戴式显示器6相对于第1远程临场机器人1’的相对位置关系相同。进而,第2远程临场机器人3’将拍摄第2用户5而得到的拍摄图像发送给第1头戴式显示器6。由此,在第1头戴式显示器6中,显示在与从移动后的第1用户4的位置观察当做第2用户5的第1远程临场机器人1’的方向相同的方向上从离开了第1用户4与第1远程临场机器人1’之间的距离的位置拍摄第2用户5而得到的拍摄图像。。
图12是示出本公开的实施方式2中的第1远程临场机器人、第1头戴式显示器、第2头戴式显示器和第2远程临场机器人的结构的图。此外,在图12中,与对在实施方式1的说明中使用的图赋予的标号相同的部分是相同或与其相当的,故而省略详细说明。
第2远程临场机器人3’具有红外线出射部31、拍摄部11、通信部12、初始设定部13、移动控制部14、移动部15、旋转控制部16、旋转部17、距离测定部18、偏角测定部19和旋转角度测定部20。第2远程临场机器人3’具有CPU等处理器(未图示)和存储有程序的存储器(未图示),处理器执行程序,由此红外线出射部31、拍摄部11、通信部12、初始设定部13、移动控制部14、移动部15、旋转控制部16、旋转部17、距离测定部18、偏角测定部19和旋转角度测定部20发挥功能。
第2头戴式显示器2’具有通信部21、显示部22、红外线受光部23、初始设定部24和与检测部对应的变化量检测部25。第2头戴式显示器2’具有CPU等处理器(未图示)和存储有程序的存储器(未图示),处理器执行程序,由此通信部21、显示部22、红外线受光部23、初始设定部24和变化量检测部25发挥功能。
第1远程临场机器人1’的结构与第2远程临场机器人3’的结构相同,第1头戴式显示器6的结构与第2头戴式显示器2’的结构相同,故而此处省略详细说明。
此外,在本实施方式2中,第1远程临场机器人1’对应于第1机器人。第1机器人也称作自主移动装置。另外,第2头戴式显示器2’对应于第1提示装置,第2远程临场机器人3’对应于第2机器人。另外,第1头戴式显示器6对应于第2提示装置。
第2远程临场机器人3’自主地移动,并且在第2据点使用拍摄部11拍摄第2用户。
与第1头戴式显示器6的检测部对应的变化量检测部25检测表示第1用户4相对于第1远程临场机器人1’的位置的变化量的第3变化量。另外,变化量检测部25检测表示第1用户4相对于第1远程临场机器人1’的面部朝向的变化量的第4变化量。
此外,关于第3变化量和第4变化量的检测方法,与实施方式1中的第1变化量和第2变化量的检测方法相同,故而此处省略详细说明。第1头戴式显示器6的显示部22在第1据点向第1用户提示由第2远程临场机器人3’拍摄到的拍摄图像。
第2头戴式显示器2’的通信部21在由变化量检测部25检测出第1变化量或第2变化量的情况下,向第1头戴式显示器6发送用于催促第1用户4静止的第1通知信息。进而,第2头戴式显示器2’的通信部21将检测出的第1变化量或第2变化量发送给第1远程临场机器人1’。
第1头戴式显示器6的通信部21从第2头戴式显示器2’接收第1通知信息。第1头戴式显示器6的显示部22在由变化量检测部25检测出第3变化量或第4变化量之前从第2头戴式显示器2’接收到第1通知信息的情况下,显示表示用于催促第1用户4静止的信息。由此,在第1头戴式显示器6显示第1通知信息的情况下,第1用户4静止。在该情况下,第1用户4佩戴的第1头戴式显示器6的位置不发生变化。由于第2远程临场机器人3’根据第1用户4的移动而移动,因此,如果第1用户4静止,则第2远程临场机器人3’也静止。
另一方面,第1远程临场机器人1’的通信部12从第2头戴式显示器2’接收第1变化量或第2变化量。
例如,在第1远程临场机器人1’的通信部12从第2头戴式显示器2’接收到第1变化量的情况下,第1远程临场机器人1’的移动控制部14控制移动部15,使第1远程临场机器人1向与第1变化量对应的位置移动。关于移动的动作,在实施方式1中作了说明,故而此处省略详细说明。
例如,在第1远程临场机器人1’的通信部12从第2头戴式显示器2’接收到第2变化量的情况下,第1远程临场机器人1’的旋转控制部16控制旋转部17,使第1远程临场机器人1’旋转。关于旋转的动作,在实施方式1中作了说明,故而此处省略详细说明。
通过这样的方式,在第2用户5移动时,第1远程临场机器人1’根据该移动而移动,第1用户4和第2远程临场机器人3’静止。因此,第2用户5佩戴的第2头戴式显示器2’能够检测第2头戴式显示器2’相对于第2远程临场机器人3’的相对位置的变化或面部朝向的变化。另外,能够在第1远程临场机器人1’根据第2用户5的移动而移动的期间,使第1用户4静止。
由此,在第2用户5移动、第1远程临场机器人1’根据该移动而移动了的情况下,移动后的第1远程临场机器人1’相对于第1用户4的相对位置与移动后的第2头戴式显示器2’相对于与第1用户4对应的第2远程临场机器人3’的相对位置变得相同。
另外,根据第2用户5的面部朝向,第1远程临场机器人1’的拍摄部的拍摄部11的拍摄方向发生变化。
第1头戴式显示器6的通信部21在由变化量检测部25检测出第3变化量或第4变化量的情况下,向第2头戴式显示器2’发送表示催促第2用户5静止的第2通知信息。进而,第1头戴式显示器6的通信部21将检测出的第3变化量或第4变化量发送给第2远程临场机器人3’。
第2头戴式显示器2’的通信部21从第1头戴式显示器6接收第2通知信息。第2头戴式显示器2’的显示部22在由变化量检测部25检测出第1变化量或第2变化量之前从第1头戴式显示器6接收到第2通知信息的情况下,显示用于催促第2用户5静止的信息。由此,在第2头戴式显示器2’显示了第2通知信息的情况下,第2用户5静止。在该情况下,第2用户5佩戴的第2头戴式显示器2’的位置不发生变化。由于第1远程临场机器人1’根据第2用户5的移动而移动,因此,如果第2用户5静止,则第1远程临场机器人1’静止。
另一方面,第2远程临场机器人3’的通信部12从第1头戴式显示器6接收第3变化量或第4变化量。
例如,在第2远程临场机器人3’的通信部12从第1头戴式显示器6接收到第3变化量的情况下,第2远程临场机器人3’的移动控制部14控制移动部15,使第2远程临场机器人3向与第3变化量对应的位置移动。关于移动的动作,在实施方式1中作了说明,故而此处省略详细说明。
例如,在第2远程临场机器人3’的通信部12从第1头戴式显示器6接收到第4变化量的情况下,第2远程临场机器人3’的旋转控制部16控制旋转部17,使第2远程临场机器人3’旋转。关于旋转的动作,在实施方式1中作了说明,故而此处省略详细说明。
通过这样的方式,在第1用户4移动时,第2远程临场机器人3’根据该移动而移动,第2用户5和第1远程临场机器人1’静止。因此,第1用户4佩戴的第1头戴式显示器6能够检测第1头戴式显示器6相对于第1远程临场机器人1’的相对位置的变化或面部朝向的变化。另外,能够在第2远程临场机器人3’根据第1用户4的移动而移动的期间,使第2用户5静止。
由此,在第1用户4移动、第2远程临场机器人3’根据该移动而移动的情况下,移动后的第2远程临场机器人3’相对于第2用户5的相对位置和移动后的第1头戴式显示器6相对于与第2用户5对应的第1远程临场机器人1’的相对位置变得相同。
另外,根据第1用户4的面部朝向,第2远程临场机器人3’的拍摄部的拍摄部11的拍摄方向发生变化。
在第1头戴式显示器6和第2头戴式显示器2’中的一方的头戴式显示器进行移动的情况下,在另一方的头戴式显示器的显示部显示催促静止的信息,由此,能够使第1头戴式显示器6和第2头戴式显示器2’的一方移动,而使另一方静止。因此,在与第1远程临场机器人1’和第2远程临场机器人3’中的一方的头戴式显示器对应的远程临场机器人进行移动的情况下,能够使另一方的远程临场机器人静止。
由此,能够防止第1头戴式显示器6和第2头戴式显示器2’这两方同时移动。此外,能够防止第1远程临场机器人1’和第2远程临场机器人3’这两方同时移动。
产业上的可利用性
本公开的远程通信方法、远程通信系统和自主移动装置能够向第2用户给予位于远程地点的第1用户像是位于该场所这样的临场感,作为具有第1机器人和第1提示装置的远程通信系统中的远程通信方法、该远程通信系统和自主地移动的自主移动装置是有用的,所述第1机器人自主地移动,并且在第1据点拍摄第1用户,所述第1提示装置在与第1据点不同的第2据点向与第1用户不同的第2用户提示由第1机器人拍摄到的拍摄图像。

Claims (14)

1.一种远程通信方法,是具有配置在第1据点的第1机器人和配置在与所述第1据点不同的第2据点的第1提示装置的远程通信系统中的远程通信方法,
所述远程通信方法包括:
所述第1机器人的摄像头拍摄所述第1据点内的第1用户,
所述第1机器人将拍摄所述第1用户得到的拍摄图像发送给所述第1提示装置,
所述第1提示装置从所述第1机器人接收所述拍摄图像,
所述第1提示装置显示所述拍摄图像,
所述第1提示装置检测表示所述第2据点内的第2用户相对于第2机器人的位置的变化量的第1变化量,所述第2机器人虚拟地表示所述第1用户,
所述第1提示装置将所述第1变化量发送给所述第1机器人,
所述第1机器人从所述第1提示装置接收所述第1变化量,
所述第1机器人根据所述第1变化量,为了改变所述摄像头的视点而移动。
2.根据权利要求1所述的远程通信方法,
所述第1提示装置佩戴于所述第2用户,
所述远程通信方法还包括:
在佩戴所述第1提示装置的所述第2用户与所述第2机器人正对时,所述第1提示装置测定所述第2机器人与所述第1提示装置之间的初始距离,
所述第1提示装置设定以所述第2机器人的位置为原点的第1极坐标系,并且,将连接所述第2机器人的位置与所述第1提示装置的位置而成的直线作为所述第1极坐标系的起始线,
所述第1提示装置将测定出的所述初始距离发送给所述第1机器人,
所述第1机器人从所述第1提示装置接收所述初始距离,
所述第1机器人移动到与所述第1用户正对并且与所述第1用户相距所述初始距离的位置,
所述第1机器人设定以所述第1用户的位置为原点的第2极坐标系,并且,将连接所述第1机器人的位置与所述第1用户的位置而成的直线作为所述第2极坐标系的起始线。
3.根据权利要求2所述的远程通信方法,
所述远程通信方法还包括:
在所述第1提示装置的位置根据所述第2用户的移动进行了移动的情况下,所述第1提示装置测定所述第1极坐标系中的所述第1提示装置的移动后的位置与所述第2机器人的位置之间的距离,
所述第1提示装置测定连接所述第1极坐标系中的所述第1提示装置的移动后的位置与所述第2机器人的位置而成的直线和所述第1极坐标系的起始线所成的角度,
表示所述第2用户的位置的变化量的所述第1变化量是测定出的所述距离和所述角度,
所述第1机器人根据所述第1变化量所表示的距离和角度,确定应该使所述第1机器人移动到的所述第1据点内的位置,
在与所述第1变化量相应的所述移动中,所述第1机器人向所述确定出的位置移动,
所述确定出的位置是如下位置:所述确定出的位置与所述第1用户的位置之间的距离,与所述第1变化量所示的距离相同,并且,连接所述确定出的位置与所述第1用户的位置而成的直线和所述第2极坐标系的起始线所成的角度,与所述第1变化量所示的角度相同。
4.根据权利要求3所述的远程通信方法,
所述远程通信方法还包括:
所述第1提示装置判断所测定出的所述角度是否为预定角度以上,
所述第1提示装置在判断为所测定出的所述角度为所述预定角度以上的情况下,在所述检测中检测所述第1变化量。
5.根据权利要求2所述的远程通信方法,
所述远程通信方法还包括:
所述第2机器人从所述第2机器人的正面向下方射出可见光。
6.根据权利要求2所述的远程通信方法,
所述远程通信方法还包括:
所述第2机器人从所述第2机器人的正面射出红外光,
所述第1提示装置,当在所述第1提示装置的正面检测出从所述第2机器人射出的所述红外光的情况下,测定所述初始距离。
7.根据权利要求2所述的远程通信方法,
所述远程通信方法还包括:
所述第1提示装置检测表示所述第2用户相对于所述第2机器人的面部朝向的变化量的第2变化量,
所述第1机器人从所述第1提示装置接收所述第2变化量,
所述第1机器人通过旋转所述摄像头,使所述摄像头的拍摄方向相应于所述第2变化量而改变。
8.根据权利要求7所述的远程通信方法,
在所述第2变化量的检测中,进一步,
所述第1提示装置测定所述第2用户的面部朝向相对于所述第1极坐标系的起始线的角度,将测定出的所述角度检测为所述第2用户的面部朝向的变化量,
通过使所述摄像头旋转,旋转至所述摄像头的拍摄方向相对于所述第2极坐标系的起始线的角度与所述第2变化量所表示的所述角度一致。
9.根据权利要求7所述的远程通信方法,
所述远程通信系统还具有配置在所述第1据点的第2提示装置,
所述第2提示装置佩戴于所述第1用户,
所述远程通信方法还包括:
在检测出所述第1变化量时,在向所述第1机器人发送所述第1变化量之前,所述第1提示装置向所述第2提示装置发送表示催促所述第1用户静止的第1通知信息,
在检测出所述第2变化量时,在向所述第1机器人发送所述第2变化量之前,所述第1提示装置向所述第2提示装置发送所述第1通知信息,
所述第2提示装置从所述第1提示装置接收第1通知信息,
所述第2提示装置显示所述第1通知信息。
10.根据权利要求9所述的远程通信方法,
在由所述第2提示装置检测出第3变化量之前接收到所述第1通知信息的情况下,显示所述第1通知信息,所述第3变化量表示所述第1用户相对于所述第1机器人的位置的变化量,
或者,
在由所述第2提示装置检测出第4变化量之前接收到所述第1通知信息的情况下,显示所述第1通知信息,所述第4变化量表示所述第1用户相对于所述第1机器人的面部朝向的变化量。
11.根据权利要求7所述的远程通信方法,
所述远程通信系统还具有配置在所述第1据点的第2提示装置,
所述第2提示装置佩戴于所述第1用户,
所述远程通信方法还包括:
在所述第2提示装置检测出表示所述第1用户的位置的变化量的第3变化量或表示所述第1用户相对于所述第1机器人的面部朝向的变化量的第4变化量时,所述第2提示装置向所述第1提示装置发送表示催促所述第2用户静止的第2通知信息,
所述第1提示装置接收所述第2通知信息,
所述第1提示装置显示所述第2通知信息。
12.根据权利要求11所述的远程通信方法,
在由所述第1提示装置检测出所述第1变化量之前接收到所述第2通知信息的情况下,显示所述第2通知信息,或者,
在由所述第1提示装置检测出所述第2变化量之前接收到所述第2通知信息的情况下,显示所述第2通知信息。
13.一种远程通信系统,具有:
配置在第1据点的第1机器人;以及
配置在与所述第1据点不同的第2据点的提示装置,
所述第1机器人具有:
摄像头,其拍摄所述第1据点内的第1用户;以及
发送部,其将由所述摄像头拍摄到的所述第1用户的拍摄图像发送给所述提示装置,
所述提示装置具有:
接收部,其从所述第1机器人接收所述拍摄图像;
显示部,其显示所述拍摄图像;
检测部,其检测表示所述第2据点内的第2用户相对于第2机器人的位置的变化量的第1变化量,所述第2机器人虚拟地表示所述第1用户;以及
发送部,其将所述第1变化量发送给所述第1机器人,
所述第1机器人还具有:
接收部,其从所述提示装置接收所述第1变化量;
移动部,其使所述第1机器人移动;以及
移动控制部,其根据所述第1变化量,为了改变所述摄像头的视点而控制所述移动部。
14.一种自主移动装置,配置在第1据点,具有:
摄像头,其拍摄所述第1据点内的第1用户;
发送部,其将由所述摄像头拍摄到的第1用户的拍摄图像发送给提示装置,所述提示装置配置在与所述第1据点不同的第2据点;
接收部,其从所述提示装置接收由所述提示装置所具备的检测部检测出的表示所述第2据点内的第2用户相对于第2机器人的位置的变化量的第1变化量,所述第2机器人虚拟地表示所述第1用户;
移动部,其使所述自主移动装置移动;以及
移动控制部,其根据所述第1变化量,为了改变所述摄像头的视点而控制所述移动部。
CN201810627341.XA 2017-06-23 2018-06-19 远程通信方法、远程通信系统和自主移动装置 Active CN109120664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211226114.9A CN115623055A (zh) 2017-06-23 2018-06-19 远程通信方法、远程通信系统和自主移动装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-122932 2017-06-23
JP2017122932A JP6788845B2 (ja) 2017-06-23 2017-06-23 遠隔通信方法、遠隔通信システム及び自律移動装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211226114.9A Division CN115623055A (zh) 2017-06-23 2018-06-19 远程通信方法、远程通信系统和自主移动装置

Publications (2)

Publication Number Publication Date
CN109120664A CN109120664A (zh) 2019-01-01
CN109120664B true CN109120664B (zh) 2022-09-20

Family

ID=64692889

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202211226114.9A Pending CN115623055A (zh) 2017-06-23 2018-06-19 远程通信方法、远程通信系统和自主移动装置
CN201810627341.XA Active CN109120664B (zh) 2017-06-23 2018-06-19 远程通信方法、远程通信系统和自主移动装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202211226114.9A Pending CN115623055A (zh) 2017-06-23 2018-06-19 远程通信方法、远程通信系统和自主移动装置

Country Status (3)

Country Link
US (1) US10321065B2 (zh)
JP (1) JP6788845B2 (zh)
CN (2) CN115623055A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090636B1 (ko) * 2018-09-14 2020-03-18 엘지전자 주식회사 로봇, 로봇 시스템 및 그 동작 방법
US20220080930A1 (en) 2019-01-23 2022-03-17 Koito Manufacturing Co., Ltd. Vehicle cleaner system
EP3760391A1 (en) * 2019-07-03 2021-01-06 Ricoh Company, Ltd. Information processing apparatus, telepresence robot, information processing method, and carrier means
KR102613040B1 (ko) 2019-08-01 2023-12-11 엘지전자 주식회사 영상 통화 방법 및 이를 구현하는 로봇
JP7291452B2 (ja) * 2019-08-06 2023-06-15 直之 村上 コンピユーターの目(pceye)
CN111352501A (zh) * 2019-12-09 2020-06-30 华为技术有限公司 业务交互方法及装置
US10991185B1 (en) 2020-07-20 2021-04-27 Abbott Laboratories Digital pass verification systems and methods

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135641A (ja) * 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
JP2002314963A (ja) * 2001-04-18 2002-10-25 Nippon Telegr & Teleph Corp <Ntt> コミュニケーションシステム
JP3768957B2 (ja) 2002-12-27 2006-04-19 本田技研工業株式会社 移動ロボットの経路設定方法
JP4014044B2 (ja) 2003-01-28 2007-11-28 株式会社国際電気通信基礎技術研究所 コミュニケーションロボットおよびそれを用いたコミュニケーションシステム
JP2005117621A (ja) * 2003-09-16 2005-04-28 Honda Motor Co Ltd 画像配信システム
US8599239B2 (en) * 2004-04-21 2013-12-03 Telepresence Technologies, Llc Telepresence systems and methods therefore
JP2006146435A (ja) 2004-11-17 2006-06-08 Univ Waseda 動作伝達システムおよび動作伝達方法
JP4512830B2 (ja) 2006-02-20 2010-07-28 国立大学法人埼玉大学 コミュニケーションロボット
WO2009148610A2 (en) * 2008-06-05 2009-12-10 Roy Sandberg Responsive control method and system for a telepresence robot
JP5478357B2 (ja) * 2010-05-14 2014-04-23 日本電信電話株式会社 表示装置および表示方法
US8928659B2 (en) * 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
TWI503099B (zh) * 2012-11-16 2015-10-11 Univ Yuan Ze 遠距居家照護之遠端臨場機器人於多元人際互動溝通系統
US9210377B2 (en) * 2013-10-30 2015-12-08 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
JP6352217B2 (ja) * 2015-04-27 2018-07-04 日本電信電話株式会社 コミュニケーションシステムおよびその制御方法

Also Published As

Publication number Publication date
JP2019009592A (ja) 2019-01-17
US20180376073A1 (en) 2018-12-27
US10321065B2 (en) 2019-06-11
CN109120664A (zh) 2019-01-01
CN115623055A (zh) 2023-01-17
JP6788845B2 (ja) 2020-11-25

Similar Documents

Publication Publication Date Title
CN109120664B (zh) 远程通信方法、远程通信系统和自主移动装置
CN108028884B (zh) 摄像系统及摄像控制方法
WO2018025458A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6615732B2 (ja) 情報処理装置および画像生成方法
TWI744558B (zh) 基於視頻通信的實景窗系統
JP2020005146A (ja) 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置
JP7240996B2 (ja) アイウェア装置を用いた測量システムおよび測量方法
CN112188089A (zh) 距离获取方法及装置、焦距调节方法及装置、测距组件
CN109806583B (zh) 用户界面显示方法、装置、设备及系统
KR101814714B1 (ko) 스마트폰 카메라 원격 제어 방법 및 시스템
JP6518645B2 (ja) 情報処理装置および画像生成方法
JP2007303913A (ja) 異物検知装置、それを用いたロボット装置、異物検知方法および異物検知プログラム
US11212485B2 (en) Transparency system for commonplace camera
CN108353102B (zh) 一种障碍物提示的方法和终端设备
CN109274929A (zh) 可穿戴设备和可穿戴设备的控制方法
JP2005303683A (ja) 画像送受信装置
US20190089899A1 (en) Image processing device
TWI700933B (zh) 視頻通信裝置及方法
JP2020198501A (ja) 撮影装置、プログラム、および撮影方法
KR20120046981A (ko) 위치정보 기반의 영상데이터의 처리 방법 및 장치
WO2020013298A1 (ja) 発信元方向推定装置、発信元方向推定システム、赤外線発光装置、ロボット、発信元方向推定方法およびプログラム、対象物存在方向推定システム
CN116719202B (zh) 目标追踪电子设备、终端设备及目标追踪系统
KR102196683B1 (ko) 3d 투어 촬영 장치 및 방법
WO2021181442A1 (ja) スマートフォン撮影システム
JP6662411B2 (ja) 携帯情報端末およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant