CN108326875A - 通信控制方法与装置、远程呈现机器人以及存储介质 - Google Patents

通信控制方法与装置、远程呈现机器人以及存储介质 Download PDF

Info

Publication number
CN108326875A
CN108326875A CN201810003550.7A CN201810003550A CN108326875A CN 108326875 A CN108326875 A CN 108326875A CN 201810003550 A CN201810003550 A CN 201810003550A CN 108326875 A CN108326875 A CN 108326875A
Authority
CN
China
Prior art keywords
user
communication
information
communication device
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810003550.7A
Other languages
English (en)
Other versions
CN108326875B (zh
Inventor
西川由理
松浦俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017173789A external-priority patent/JP6934623B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108326875A publication Critical patent/CN108326875A/zh
Application granted granted Critical
Publication of CN108326875B publication Critical patent/CN108326875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/026Services making use of location information using location based information parameters using orientation information, e.g. compass
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38Outdoor scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本公开涉及通信控制方法与装置、远程呈现机器人及存储介质。通信控制方法包括:(A)从多个第2通信装置接收用于识别所述多个第2通信装置的多个装置识别信息和用于掌握所述多个第2通信装置周围的状况的多个状况信息;(B)在接收到的多个状况信息中的至少一个包含与用户有关的信息时,基于所述与用户有关的信息和所述多个装置识别信息中的至少一个,更新表示哪个用户位于哪个第2通信装置周围的邻近信息数据库;(C)在从第1通信装置接收到向某个对象用户的连接请求时,参照邻近信息数据库,从所述多个第2通信装置中选择位于所述对象用户周围的第2通信装置;(D)将选择出的所述第2通信装置与所述第1通信装置以能够通信的方式连接。

Description

通信控制方法与装置、远程呈现机器人以及存储介质
技术领域
本公开涉及通信系统的通信控制方法,该通信系统具备通信源的用户使用的通信源通信装置、通信目的地的用户为了与通信源的用户通信而能够使用的多个通信目的地通信装置、和控制通信源通信装置与多个通信目的地通信装置的通信的通信控制装置,本公开还涉及该通信控制装置、具备该通信控制装置的远程呈现机器人(Telepresence Robot,远程临场机器人)、以及作为该通信控制装置发挥功能的计算机的通信控制程序,例如涉及对通信源的用户提供仿佛与远程位置的通信目的地的用户当场地面对着那样的临场感的远程呈现等。
背景技术
近年来,随着人工智能的发展,逐渐变为使用机器人,通信源的用户与通信目的地的用户进行会话等交流(communication)。例如,专利文献1中公开了如下的交流系统:用户A向机器人输入声音(语音)及其相伴随的身体动作时,机器人制作包含声音以及身体动作的消息,如果该消息是给远程位置的用户C的消息,则将消息发送给远程位置的其他机器人,并重现所记录的消息所包含的声音以及身体动作。在该专利文献1中,不仅重现声音而且也重现身体动作,因此,能够通过机器人实现自然的交流。
现有技术文献
专利文献1:日本特开2004-230479号公报
发明内容
发明所要解决的问题
然而,在上述的现有技术中,对于在成为通信目的地的远程位置,多个用户四处移动,且多个机器人四处移动的情况下,如何从多个机器人中决定向多个用户中的成为通信目的地的用户发送会话等的消息的机器人,没有进行任何研究。因此,关于在通信目的地的多个用户等移动的环境下,从多个通信目的地通信装置中决定成为通信目的地的用户使用的通信目的地通信装置的方法,需要进一步的改善。
本公开是为了解决上述问题而做出的,目的在于提供能够在通信目的地的多个用户移动的环境下,将通信源的用户使用的通信源通信装置与多个通信目的地通信装置中的对于通信目的地的用户而言适当的通信目的地通信装置以能够通信的方式进行连接的通信控制方法、通信控制装置、远程呈现机器人以及通信控制程序。
用于解决问题的技术方案
本公开的一个技术方案涉及的通信控制方法,是控制第1通信装置与多个第2通信装置之间的通信的方法,包括:(A)从所述多个第2通信装置接收用于识别所述多个第2通信装置的多个装置识别信息和用于掌握所述多个第2通信装置周围的状况的多个状况信息;(B)在接收到的所述多个状况信息中的至少一个包含与用户有关的信息时,基于所述与用户有关的信息和所述多个装置识别信息中的至少一个,更新表示哪个用户位于哪个第2通信装置周围的邻近(近旁)信息数据库;(C)在从所述第1通信装置接收到向某个对象用户的连接请求时,参照所述邻近信息数据库,从所述多个第2通信装置中选择位于所述对象用户周围的第2通信装置;(D)将选择出的所述第2通信装置与所述第1通信装置以能够通信的方式进行连接。
发明效果
根据本公开,能够在通信目的地的多个用户移动的环境下,将通信源的用户使用的通信源通信装置与多个通信目的地通信装置中的对于通信目的地的用户而言适当的通信目的地通信装置以能够通信的方式进行连接。
附图说明
图1是表示本公开的实施方式1涉及的通信系统的构成的一例的框图。
图2是表示图1所示的通信系统的利用状态的一例的示意图。
图3是表示由图1所示的通信系统实现的通信控制处理的一例的时序图。
图4是用于对图1所示的云服务器(cloud server)的邻近信息的管理处理的一例进行说明的示意图。
图5是表示由图1所示的云服务器实现的邻近信息更新处理的一例的流程图。
图6是表示图1所示的远程呈现机器人对邻近信息进行管理的情况下的邻近信息的一例的图。
图7是表示图1所示的远程呈现机器人对邻近信息进行管理的情况下的更新后的邻近信息的一例的图。
图8是表示由图1所示的云服务器实现的通信连接处理的一例的流程图。
图9是表示本公开的实施方式2涉及的通信系统的构成的一例的框图。
图10是表示图9所示的通信历史记录DB所存储的通信历史记录信息的一例的图。
图11是表示由图9所示的通信系统实现的通信控制处理的一例的时序图。
图12是表示本公开的实施方式3涉及的通信系统的构成的一例的框图。
图13是表示图12所示的远程呈现机器人的配置状态的一例的示意图。
图14是表示由图12所示的通信系统实现的通信控制处理的一例的时序图。
图15是表示本公开的实施方式4涉及的通信系统的构成的一例的框图。
图16是表示图15所示的远程呈现机器人的配置状态的一例的示意图。
图17是表示由图15所示的通信系统实现的通信控制处理的一例的时序图。
标号说明
1a~1n、1a’~1n’远程呈现机器人;3、3a~3c云服务器;4通信装置;5a~5m便携终端;11摄像头(camera);12影像取得部;13麦克风(话筒);14声音取得部;15触摸面板;16操作信息取得部;17通信部;18驱动控制部;19马达;20影像再现部;21显示器;22声音再现部;23扬声器;24位置检测部;31通信部;32人物判定部;33用户DB(数据库);34邻近信息管理部;35邻近信息DB(数据库);36时刻信息取得部;37对话连接处理部;41通信部;42操作部;43表示部;44拍摄部;61用户位置管理部;62用户位置DB(数据库);63通信历史记录解析部;64通信历史记录DB(数据库);65机器人位置控制部;66机器人位置管理部;67机器人位置DB(数据库);68通信状态管理部;69通信状态DB(数据库)。
具体实施方式
(成为本公开的基础的见解)
近年来,机器人与人类的交流能力日益提高,已开发了将电视会议技术以及远程操作技术等组装于自主移动式机器人而得到的远程呈现机器人。远程呈现机器人作为通信源的用户的替身,在远程位置,在各种地方四处走动,且进行与通信目的地的用户的通话等,由此,能够给予通信目的地的用户至今所没有的存在感,并且能够实现良好的交流,远程呈现机器人已开始在远程(在家)办公、各种活动、办公室、教育现场等普及。
在此,在上述的专利文献1所述的交流系统中,假定在远程位置有多个交流机器人,系统管理着要接入(access,访问)某个人物就与哪个机器人连接这一固定的目的地(宛先)信息。因此,通信源的用户也可以对成为通信目的地的用户的所在地没有意识。
然而,在专利文献1所述的交流系统中,由于固定地管理着目的地信息,因而会发生由目的地信息所确定的交流机器人没有成为适合于通信目的地的用户的交流机器人的情况。即,在现实世界中,用户和机器人都四处移动,因而存在固定地分配给成为通信目的地的用户的机器人远离成为通信目的地的用户的情况,被固定分配的机器人不一定持久地一直是接入成为通信目的地的用户的最佳的机器人。
因此,若假定许多远程呈现机器人和许多人物(用户)共处的办公室环境,则在位于远程位置的人物想要接入处于该环境的人物的情况下,由于许多用户四处移动,且许多远程呈现机器人四处移动,因而成为问题的是,与许多远程呈现机器人中的哪个远程呈现机器人连接最高效。
在此,为了在成为通信源的人物接入成为通信目的地的人物时适当地选择应该连接的远程呈现机器人,需要不断动态地更新上述的目的地信息。
例如,构建对话系统(通信系统),对话系统包括多个远程呈现机器人(通信目的地通信装置)、通信源通信装置、和进行邻近信息的管理及对话连接的通信控制装置,使通信控制装置掌握哪个远程呈现机器人最邻近于成为通信目的地的人物这一邻近信息。此时,将多个远程呈现机器人中的、通过影像装置(例如摄像头)最后识别到成为通信目的地的人物的远程呈现机器人,作为最易于接入该人物的远程呈现机器人登记于邻近信息的数据库。
如此,将最后识别到成为通信目的地的人物的远程呈现机器人作为最易于接入成为通信目的地的人物的远程呈现机器人,逐次更新邻近信息,根据该邻近信息来决定成为通信目的地通信装置的远程呈现机器人,由此,能够将距离成为通信目的地的人物最近的远程呈现机器人决定作为通信目的地通信装置。
基于上述见解,本申请发明人用心对在通信目的地的多个用户等移动的环境下,应该如何从多个通信目的地通信装置中决定成为通信目的地的用户使用的通信目的地通信装置进行了研究,其结果,完成了本公开。
本公开的一个技术方案涉及的通信控制方法,是通信系统的通信控制方法,所述通信系统具备:通信源的用户使用的通信源通信装置;通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置;以及控制所述通信源通信装置与所述多个通信目的地通信装置的通信的通信控制装置,所述多个通信目的地通信装置各自将用于判定位于该通信目的地通信装置邻近的用户的用户判定数据、和识别该通信目的地通信装置的通信装置识别信息发送给所述通信控制装置,所述通信控制装置具备邻近信息存储部,所述通信控制装置从所述多个通信目的地通信装置的每一个接收所述用户判定数据以及所述通信装置识别信息,基于所述用户判定数据判定位于所述通信目的地通信装置邻近的用户,生成识别所判定出的用户的用户识别信息,基于所述用户判定数据以及所述通信装置识别信息,制作邻近信息并存储于所述邻近信息存储部,所述邻近信息使所述用户识别信息与识别距离由该用户识别信息识别的用户最近的通信目的地通信装置的通信装置识别信息关联,所述通信源通信装置将包含所述通信目的地的用户的所述用户识别信息在内的通信请求指令(command)发送给所述通信控制装置,所述通信控制装置接收到所述通信请求指令时,参照所述邻近信息存储部的所述邻近信息,将由所述通信目的地的用户的所述用户识别信息所关联的所述通信装置识别信息识别的所述通信目的地通信装置与所述通信源通信装置以能够通信的方式进行连接。
根据这种构成,多个通信目的地通信装置各自将用于判定位于该通信目的地通信装置邻近的用户的用户判定数据、和识别该通信目的地通信装置的通信装置识别信息发送给通信控制装置,通信控制装置从多个通信目的地通信装置的每一个接收用户判定数据以及通信装置识别信息,基于用户判定数据判定位于通信目的地通信装置邻近的用户,生成识别所判定出的用户的用户识别信息,另外,基于用户判定数据以及通信装置识别信息,制作邻近信息并存储于邻近信息存储部,所述邻近信息使用户识别信息与识别距离由该用户识别信息识别的用户最近的通信目的地通信装置的通信装置识别信息关联。因此,使用户识别信息与识别距离由该用户识别信息识别的用户最近的通信目的地通信装置的通信装置识别信息相关联的邻近信息根据从多个通信目的地通信装置对用户判定数据以及通信装置识别信息的发送而逐次被更新,能够制作按每个用户来确定最近的通信目的地通信装置的邻近信息。
在此,若通信源通信装置将包含通信目的地的用户的用户识别信息在内的通信请求指令发送给通信控制装置,则通信控制装置在接收到通信请求指令时,参照邻近信息存储部的邻近信息,将由通信目的地的用户的用户识别信息所关联的通信装置识别信息识别的通信目的地通信装置与通信源通信装置以能够通信的方式进行连接,因此,能够将通信源的用户使用的通信源通信装置与距离通信目的地的用户最近的通信目的地通信装置以能够通信的方式进行连接。其结果,能够在通信目的地的多个用户移动的环境下,将通信源的用户使用的通信源通信装置与多个通信目的地通信装置中的对于通信目的地的用户而言适当的通信目的地通信装置以能够通信的方式进行连接。
也可以为,所述多个通信目的地通信装置各自将拍摄位于该通信目的地通信装置邻近的用户而得到的图像数据、和识别该通信目的地通信装置的通信装置识别信息发送给所述通信控制装置,所述通信控制装置还具备基准数据存储部,所述基准数据存储部针对多个用户的各个用户,关联地存储表现该用户的脸部的基准脸部图像数据与识别该用户的所述用户识别信息,所述通信控制装置从所述多个通信目的地通信装置的每一个接收所述图像数据以及所述通信装置识别信息,从所述图像数据中提取表现用户的脸部的脸部图像数据,对所述脸部图像数据与所述基准数据存储部所存储的多个基准脸部图像数据进行比较,由此,判定所述图像数据所包含的用户,将判定出的用户的所述基准脸部图像数据所关联的所述用户识别信息从所述基准数据存储部中读出,将所述图像数据的取得时刻为最新的所述用户识别信息、与和所述图像数据一起发送来的所述通信装置识别信息关联,并作为所述邻近信息存储于所述邻近信息存储部。
根据这种构成,多个通信目的地通信装置各自将拍摄位于该通信目的地通信装置邻近的用户而得到的图像数据、和识别该通信目的地通信装置的通信装置识别信息发送给通信控制装置,通信控制装置从多个通信目的地通信装置的每一个接收图像数据以及通信装置识别信息,从图像数据中提取表现用户的脸部的脸部图像数据,对脸部图像数据与基准数据存储部所存储的多个基准脸部图像数据进行比较,由此,判定图像数据所包含的用户,将判定出的用户的基准脸部图像数据所关联的用户识别信息从基准数据存储部中读出,将图像数据的取得时刻为最新的用户识别信息、与和图像数据一起发送来的通信装置识别信息关联,并作为邻近信息存储于邻近信息存储部,因此,使用从图像数据中提取到的脸部图像数据,判定出用户时,能够根据图像数据的取得时刻为最新的用户识别信息以及通信装置识别信息来更新邻近信息,能够制作按每个用户来确定最近的通信目的地通信装置的邻近信息。
也可以为,所述通信控制装置在从由所述多个通信目的地通信装置在预定期间内发送来的多个图像数据判定出同一用户的情况下,从所述脸部图像数据中提取表现用户的脸部的脸部图像区域,对所述脸部图像区域的面积最大的脸部图像数据与所述多个基准脸部图像数据进行比较,由此,根据所述脸部图像区域的面积最大的脸部图像数据判定用户,将判定出的用户的所述基准脸部图像数据所关联的所述用户识别信息从所述基准数据存储部中读出,将针对所述脸部图像区域的面积最大的脸部图像数据而从所述基准数据存储部中读出的所述用户识别信息、与识别发送了所述脸部图像区域的面积最大的脸部图像数据的所述通信目的地通信装置的所述通信装置识别信息关联,并作为所述邻近信息存储于所述邻近信息存储部。
根据这种构成,在从由多个通信目的地通信装置在预定期间内发送来的多个图像数据判定出同一用户的情况下,从脸部图像数据中提取表现用户的脸部的脸部图像区域,对脸部图像区域的面积最大的脸部图像数据与多个基准脸部图像数据进行比较,由此,根据脸部图像区域的面积最大的脸部图像数据判定用户,将判定出的用户的基准脸部图像数据所关联的用户识别信息从基准数据存储部中读出,将针对脸部图像区域的面积最大的脸部图像数据而从基准数据存储部中读出的用户识别信息、与识别发送了脸部图像区域的面积最大的脸部图像数据的通信目的地通信装置的通信装置识别信息关联,并作为邻近信息存储于邻近信息存储部,因此,即使在多个通信目的地通信装置检测出同一用户的情况下,也能够制作对发送了脸部图像区域的面积最大的脸部图像数据的通信目的地通信装置、即距离用户最近的一个通信目的地通信装置进行确定的邻近信息。
也可以为,所述通信控制装置在从所述图像数据中判定出多个用户的情况下,提取所述多个用户各自的表现脸部的脸部图像数据,对所述脸部图像数据的每一个与所述多个基准脸部图像数据进行比较,由此,判定所述图像数据所包含的多个用户,将判定出的多个用户的所述基准脸部图像数据所关联的多个用户识别信息从所述基准数据存储部中读出,针对所述多个用户的各个用户,将所述图像数据的取得时刻为最新的所述用户识别信息、与和所述图像数据一起发送来的所述通信装置识别信息关联,并作为所述邻近信息存储于所述邻近信息存储部。
根据这种构成,在从一个通信控制装置的图像数据中判定出多个用户的情况下,提取多个用户各自的表现脸部的脸部图像数据,对脸部图像数据的每一个与多个基准脸部图像数据进行比较,由此,判定图像数据所包含的多个用户,将判定出的多个用户的基准脸部图像数据所关联的多个用户识别信息从基准数据存储部中读出,针对多个用户的各个用户,将图像数据的取得时刻为最新的用户识别信息、与和图像数据一起发送来的通信装置识别信息关联,并作为邻近信息存储于邻近信息存储部,因此,即使在多个用户位于一个通信控制装置周围的情况下,也能够制作按每个用户来确定最近的通信目的地通信装置的邻近信息。
也可以为,所述多个通信目的地通信装置各自将收集位于该通信目的地通信装置邻近的用户的声音而得到的声音数据、和识别该通信目的地通信装置的通信装置识别信息发送给所述通信控制装置,所述通信控制装置还具备基准数据存储部,所述基准数据存储部针对多个用户的各个用户,关联地存储表现该用户的声音的基准声音数据与识别该用户的所述用户识别信息,所述通信控制装置从所述多个通信目的地通信装置的每一个接收所述声音数据以及所述通信装置识别信息,对所述声音数据与所述基准数据存储部所存储的多个基准声音数据进行比较,由此,判定发出所述声音的用户,将判定出的用户的所述基准声音数据所关联的所述用户识别信息从所述基准数据存储部中读出,将所述声音数据的取得时刻为最新的所述用户识别信息、与和所述声音数据一起发送来的所述通信装置识别信息关联,并作为所述邻近信息存储于所述邻近信息存储部。
根据这种构成,多个通信目的地通信装置各自将收集位于该通信目的地通信装置邻近的用户的声音而得到的声音数据、和识别该通信目的地通信装置的通信装置识别信息发送给通信控制装置,通信控制装置从多个通信目的地通信装置的每一个接收声音数据以及通信装置识别信息,对声音数据与基准数据存储部所存储的多个基准声音数据进行比较,由此,判定发出声音的用户,将判定出的用户的基准声音数据所关联的用户识别信息从基准数据存储部中读出,将声音数据的取得时刻为最新的用户识别信息、与和声音数据一起发送来的通信装置识别信息关联,并作为邻近信息存储于邻近信息存储部,因此,使用声音数据判定出用户时,能够根据声音数据的取得时刻为最新的用户识别信息以及通信装置识别信息来更新邻近信息,能够制作按每个用户来确定最近的通信目的地通信装置的邻近信息。
也可以为,所述通信控制装置在从由所述多个通信目的地通信装置在预定期间内发送来的多个声音数据判定出同一用户的情况下,使用所述声音数据来检测所述声音数据的相对于所述通信目的地通信装置的声源位置,对所述声源位置距离所述通信目的地通信装置最近的声音数据与所述多个基准声音数据进行比较,由此,判定所述声源位置距离所述通信目的地通信装置最近的声音数据的用户,将判定出的用户的所述基准声音数据所关联的所述用户识别信息从所述基准数据存储部中读出,将针对所述声源位置距离所述通信目的地通信装置最近的声音数据而从所述基准数据存储部中读出的所述用户识别信息、与识别发送了所述声源位置距离所述通信目的地通信装置最近的声音数据的所述通信目的地通信装置的所述通信装置识别信息关联,并作为所述邻近信息存储于所述邻近信息存储部。
根据这种构成,在从由多个通信目的地通信装置在预定期间内发送来的多个声音数据判定出同一用户的情况下,使用声音数据来检测声音数据的相对于通信目的地通信装置的声源位置,对声源位置距离通信目的地通信装置最近的声音数据与多个基准声音数据进行比较,由此,判定声源位置距离通信目的地通信装置最近的声音数据的用户,将判定出的用户的基准声音数据所关联的用户识别信息从基准数据存储部中读出,将针对声源位置距离通信目的地通信装置最近的声音数据而从基准数据存储部中读出的用户识别信息、与识别发送了声源位置距离通信目的地通信装置最近的声音数据的通信目的地通信装置的通信装置识别信息关联,并作为邻近信息存储于邻近信息存储部,因此,即使在多个通信目的地通信装置检测出同一用户的情况下,也能够制作对发送了声源位置最近的声音的通信目的地通信装置、即距离用户最近的一个通信目的地通信装置进行确定的邻近信息。
也可以为,所述多个通信目的地通信装置各自从位于该通信目的地通信装置邻近的用户所持有的发信机接收包含识别该用户的用户识别信息的信标(beacon)信号,将表示接收到的信标信号的电波强度的强度信息、所述用户识别信息、和识别该通信目的地通信装置的通信装置识别信息发送给所述通信控制装置,所述通信控制装置从所述多个通信目的地通信装置的每一个接收所述强度信息、所述用户识别信息以及所述通信装置识别信息,将与所述信标信号的电波强度最大的所述强度信息一起发送来的所述用户识别信息以及所述通信装置识别信息作为所述邻近信息存储于所述邻近信息存储部。
根据这种构成,多个通信目的地通信装置各自从位于该通信目的地通信装置邻近的用户所持有的发信机接收包含识别该用户的用户识别信息的信标信号,将表示接收到的信标信号的电波强度的强度信息、接收到的用户识别信息、和识别该通信目的地通信装置的通信装置识别信息发送给通信控制装置,通信控制装置从多个通信目的地通信装置的每一个接收强度信息、用户识别信息以及通信装置识别信息,将与信标信号的电波强度最大的强度信息一起发送来的用户识别信息以及通信装置识别信息作为邻近信息存储于邻近信息存储部,因此,能够按每个用户制作对发送了信标信号的电波强度最大的强度信息的通信目的地通信装置、即距离用户最近的通信目的地通信装置进行确定的邻近信息。
也可以为,所述多个通信目的地通信装置各自以能够移动的方式构成,所述通信控制装置还具备通信历史记录存储部,所述通信控制装置将识别使用所述通信目的地通信装置进行通信的所述通信目的地的用户的所述用户识别信息、与表示所述通信目的地的用户使用所述通信目的地通信装置的时刻的时刻信息关联,并作为所述通信源通信装置与所述通信目的地通信装置的通信历史记录信息存储于所述通信历史记录存储部,参照所述通信历史记录存储部的所述通信历史记录信息,确定通信频度高于预定值的所述通信目的地的用户,在所述确定出的通信目的地的用户的邻近配置所述多个通信目的地通信装置中的至少一个。
根据这种构成,将识别使用通信目的地通信装置进行通信的通信目的地的用户的用户识别信息、与表示通信目的地的用户使用通信目的地通信装置的时刻的时刻信息关联,并作为通信源通信装置与通信目的地通信装置的通信历史记录信息存储于通信历史记录存储部,参照通信历史记录存储部的通信历史记录信息,确定通信频度高于预定值的通信目的地的用户,在确定出的通信目的地的用户的邻近配置多个通信目的地通信装置中的至少一个,因此,被高频度接入的通信目的地的用户能够使用位于邻近的通信目的地通信装置,容易地进行与通信源通信装置的通信。
也可以为,所述通信控制装置参照所述通信历史记录存储部的所述通信历史记录信息,确定所述通信目的地的用户的通信频度高于预定值的时间段,在所述时间段,在所述通信目的地的用户的邻近配置所述多个通信目的地通信装置中的至少一个。
根据这种构成,参照通信历史记录存储部的通信历史记录信息,确定通信目的地的用户的通信频度高于预定值的时间段,在确定出的时间段,在通信目的地的用户的邻近配置多个通信目的地通信装置中的至少一个,因此,被高频度接入的通信目的地的用户能够在被高频度接入的时间段,使用位于邻近的通信目的地通信装置,容易地进行与通信源通信装置的通信。
也可以为,所述通信目的地的用户包括多个通信目的地的用户,所述多个通信目的地通信装置各自以能够移动的方式构成,所述通信控制装置取得表示所述多个通信目的地的用户各自的位置的用户位置信息以及表示所述多个通信目的地通信装置各自的位置的装置位置信息,基于所述用户位置信息以及所述装置位置信息,使所述多个通信目的地通信装置移动,以使得所述多个通信目的地通信装置被分散地配置给所述多个通信目的地的用户。
根据这种构成,取得表示多个通信目的地的用户各自的位置的用户位置信息以及表示多个通信目的地通信装置各自的位置的装置位置信息,基于取得的用户位置信息以及装置位置信息,使多个通信目的地通信装置移动,以使得多个通信目的地通信装置被分散地配置给多个通信目的地的用户,因此,多个通信目的地的用户的各个用户能够使用位于最近处的通信目的地通信装置,容易地进行与通信源通信装置的通信,能够高效地使用多个通信目的地通信装置。
也可以为,所述通信控制装置使所述多个通信目的地通信装置中的没有在与所述通信源通信装置通信的未通信装置移动,以使得所述未通信装置被分散地配置给所述多个通信目的地的用户中的没有在与所述通信源通信装置通信的未通信用户。
根据这种构成,使多个通信目的地通信装置中的没有在与通信源通信装置通信的未通信装置移动,以使得未通信装置被分散地配置给多个通信目的地的用户中的没有在与通信源通信装置通信的未通信用户,因此,未通信用户能够使用位于最近处的通信目的地通信装置,容易地进行与通信源通信装置的通信,能够高效地使用未通信装置。
也可以为,所述多个通信目的地通信装置各自由用于将所述通信源的用户的消息传达给所述通信目的地的用户的远程呈现机器人构成,所述远程呈现机器人具备:通信部,其将所述用户判定数据和所述通信装置识别信息发送给所述通信控制装置;自主移动部,其用于进行自主移动;以及提示部,其将所述通信源的用户的消息提示给所述通信目的地的用户。
根据这种构成,能够在不仅多个用户,而且多个远程呈现机器人也移动的环境下,将通信源的用户使用的通信源通信装置与多个远程呈现机器人中距离通信目的地的用户最近的远程呈现机器人以能够通信的方式进行连接。
另外,本公开的其他技术方案涉及的通信控制方法,是通信系统的通信控制方法,所述通信系统具备:通信源的用户使用的通信源通信装置;通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置;以及控制所述通信源通信装置与所述多个通信目的地通信装置的通信的通信控制装置,所述多个通信目的地通信装置各自以能够移动的方式构成,所述通信控制装置具备通信历史记录存储部,所述通信控制装置将识别使用所述通信目的地通信装置进行通信的所述通信目的地的用户的用户识别信息、与表示所述通信目的地的用户使用所述通信目的地通信装置的时刻的时刻信息关联,并作为所述通信源通信装置与所述通信目的地通信装置的通信历史记录信息存储于所述通信历史记录存储部,参照所述通信历史记录存储部的所述通信历史记录信息,确定通信频度高于预定值的所述通信目的地的用户,在所述确定出的通信目的地的用户的邻近配置所述多个通信目的地通信装置中的至少一个。
根据这种构成,将识别使用通信目的地通信装置进行通信的通信目的地的用户的用户识别信息、与表示通信目的地的用户使用通信目的地通信装置的时刻的时刻信息关联,并作为通信源通信装置与通信目的地通信装置的通信历史记录信息存储于通信历史记录存储部,参照通信历史记录存储部的通信历史记录信息,确定通信频度高于预定值的通信目的地的用户,在确定出的通信目的地的用户的邻近配置多个通信目的地通信装置中的至少一个,因此,被高频度接入的通信目的地的用户能够使用位于邻近的通信目的地通信装置,容易地进行与通信源通信装置的通信。
另外,本公开的其他技术方案涉及的通信控制方法,是通信系统的通信控制方法,所述通信系统具备:通信源的用户使用的通信源通信装置;通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置;以及控制所述通信源通信装置与所述多个通信目的地通信装置的通信的通信控制装置,所述通信目的地的用户包括多个通信目的地的用户,所述多个通信目的地通信装置各自以能够移动的方式构成,所述通信控制装置取得表示所述多个通信目的地的用户各自的位置的用户位置信息以及表示所述多个通信目的地通信装置各自的位置的装置位置信息,基于所述用户位置信息以及所述装置位置信息,使所述多个通信目的地通信装置移动,以使得所述多个通信目的地通信装置被分散地配置给所述多个通信目的地的用户。
根据这种构成,取得表示多个通信目的地的用户各自的位置的用户位置信息以及表示多个通信目的地通信装置各自的位置的装置位置信息,基于取得的用户位置信息以及装置位置信息,使多个通信目的地通信装置移动,以使得多个通信目的地通信装置被分散地配置给多个通信目的地的用户,因此,多个通信目的地的用户的各个用户能够使用位于最近处的通信目的地通信装置,容易地进行与通信源通信装置的通信,能够高效地使用多个通信目的地通信装置。
另外,本公开不仅能够作为执行如上所述的特征性处理的通信控制方法而实现,而且也能够作为具备与通信控制方法所包含的特征性处理对应的特征性构成的通信控制装置等而实现。另外,也可以为,远程呈现机器人具备本公开的通信控制装置的构成要素的一部分或者全部。再者,还能够作为计算机程序而实现,所述计算机程序使计算机执行本公开的通信控制方法所包含的特征性的处理。因此,在以下的其他技术方案中,也能够实现与上述通信控制方法同样的效果。
本公开的其他技术方案涉及的通信控制装置,是控制通信源的用户使用的通信源通信装置、与通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置之间的通信的通信控制装置,具备:通信部,其接收来自所述多个通信目的地通信装置的每一个的用于判定位于该通信目的地通信装置邻近的用户的用户判定数据、和识别该通信目的地通信装置的通信装置识别信息;判定部,其基于所述用户判定数据判定位于所述通信目的地通信装置邻近的用户,生成识别所判定出的用户的用户识别信息;管理部,其基于所述用户判定数据和所述通信装置识别信息,制作使所述用户识别信息与识别距离由该用户识别信息识别的用户最近的通信目的地通信装置的通信装置识别信息关联的邻近信息;邻近信息存储部,其存储所述邻近信息;以及连接部,其在通过所述通信部从所述通信源通信装置接收到包含所述通信目的地的用户的所述用户识别信息在内的通信请求指令时,参照所述邻近信息存储部的所述邻近信息,将由所述通信目的地的用户的所述用户识别信息所关联的所述通信装置识别信息识别的所述通信目的地通信装置与所述通信源通信装置以能够通信的方式进行连接。
另外,本公开的其他技术方案涉及的通信控制装置,是控制通信源的用户使用的通信源通信装置、与以能够移动的方式构成的、通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置之间的通信的通信控制装置,具备:通信历史记录存储部,其将识别使用所述通信目的地通信装置进行通信的所述通信目的地的用户的用户识别信息、与表示所述通信目的地的用户使用所述通信目的地通信装置的时刻的时刻信息关联,并作为所述通信源通信装置与所述通信目的地通信装置的通信历史记录信息进行存储;通信历史记录解析部,其参照所述通信历史记录存储部的所述通信历史记录信息,确定通信频度高于预定值的所述通信目的地的用户;以及位置控制部,其在所述确定出的通信目的地的用户的邻近配置所述多个通信目的地通信装置中的至少一个。
另外,本公开的其他技术方案涉及的通信控制装置,是控制通信源的用户使用的通信源通信装置、与以能够移动的方式构成的、多个通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置之间的通信的通信控制装置,具备:取得部,其取得表示所述多个通信目的地的用户各自的位置的用户位置信息和表示所述多个通信目的地通信装置各自的位置的装置位置信息;以及位置管理部,其基于所述用户位置信息和所述装置位置信息,使所述多个通信目的地通信装置移动,以使得所述多个通信目的地通信装置被分散地配置给所述多个通信目的地的用户。
本公开的其他技术方案涉及的远程呈现机器人,是用于将通信源的用户的消息传达给通信目的地的用户的远程呈现机器人,具备:上述的通信控制装置、用于进行自主移动的自主移动部、以及将所述通信源的用户的消息提示给所述通信目的地的用户的提示部。
也可以为,所述通信部在所述邻近信息存储部所存储的所述邻近信息被更新了的情况下,将更新后的邻近信息发送给其他远程呈现机器人。
根据这种构成,在邻近信息存储部所存储的邻近信息被更新了的情况下,将更新后的邻近信息发送给其他远程呈现机器人,因此,多个远程呈现机器人能够管理相同的邻近信息。
本公开的其他技术方案涉及的通信控制程序,是用于使计算机作为通信控制装置发挥功能的通信控制程序,通信控制装置控制通信源的用户使用的通信源通信装置、与通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置之间的通信,所述通信控制程序使所述计算机执行如下处理:接收来自所述多个通信目的地通信装置的每一个的用于判定位于该通信目的地通信装置邻近的用户的用户判定数据、和识别该通信目的地通信装置的通信装置识别信息;基于所述用户判定数据判定位于所述通信目的地通信装置邻近的用户;生成识别所判定出的用户的用户识别信息;基于所述用户判定数据和所述通信装置识别信息,制作使所述用户识别信息与识别距离由该用户识别信息识别的用户最近的通信目的地通信装置的通信装置识别信息关联的邻近信息并存储于邻近信息存储部;在从所述通信源通信装置接收到包含所述通信目的地的用户的所述用户识别信息在内的通信请求指令时,参照所述邻近信息存储部的所述邻近信息,将由所述通信目的地的用户的所述用户识别信息所关联的所述通信装置识别信息识别的所述通信目的地通信装置与所述通信源通信装置以能够通信的方式进行连接。
另外,本公开的其他技术方案涉及的通信控制程序,是用于使计算机作为通信控制装置发挥功能的通信控制程序,通信控制装置控制通信源的用户使用的通信源通信装置、与以能够移动的方式构成的、通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置之间的通信,所述通信控制程序使所述计算机执行如下处理:将识别使用所述通信目的地通信装置进行通信的所述通信目的地的用户的用户识别信息、与表示所述通信目的地的用户使用所述通信目的地通信装置的时刻的时刻信息关联,并作为所述通信源通信装置与所述通信目的地通信装置的通信历史记录信息存储于通信历史记录存储部;参照所述通信历史记录存储部的所述通信历史记录信息,确定通信频度高于预定值的所述通信目的地的用户;在所述确定出的通信目的地的用户的邻近配置所述多个通信目的地通信装置中的至少一个。
另外,本公开的其他技术方案涉及的通信控制程序,是用于使计算机作为通信控制装置发挥功能的通信控制程序,通信控制装置控制通信源的用户使用的通信源通信装置、与以能够移动的方式构成的、多个通信目的地的用户为了与所述通信源的用户通信而能够使用的多个通信目的地通信装置之间的通信,所述通信控制程序使所述计算机执行如下处理:取得表示所述多个通信目的地的用户各自的位置的用户位置信息和表示所述多个通信目的地通信装置各自的位置的装置位置信息;基于所述用户位置信息和所述装置位置信息,使所述多个通信目的地通信装置移动,以使得所述多个通信目的地通信装置被分散地配置给所述多个通信目的地的用户。
而且,毫无疑问也可以通过CD-ROM等计算机可读取的非瞬时性记录介质或者互联网等通信网络来使这种计算机程序流通。
此外,以下说明的实施方式均表示本公开的一个具体例。在以下的实施方式中表示的数值、形状、构成要素、步骤、步骤的顺序等仅为一例,并非旨在限定本公开。另外,对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素,作为任意的构成要素进行说明。另外,在所有的实施方式中,也可以组合各自的内容。
以下,参照附图,对本公开的实施方式进行说明。
(实施方式1)
图1是表示本公开的实施方式1涉及的通信系统的构成的一例的框图。图1所示的通信系统具备多个远程呈现机器人1a~1n(以下也记作远程呈现机器人1)、云服务器3以及通信装置4。
远程呈现机器人1是配置于远离通信源用户的远程位置的办公室等的、通信目的地的用户为了与通信源的用户通信而能够使用的多个通信目的地通信装置的一例。另外,远程呈现机器人1是组装了电视会议技术以及远程操作技术等的自主移动式机器人,作为通信源的用户的替身,在远程位置,在各种地方移动,且进行与通信目的地的用户的对话等,由此将通信源的用户的消息传达给通信目的地的用户。
此外,通信目的地通信装置不特别限定于上述的远程呈现机器人,可以进行各种变更,例如也可以使用不自主行走的固定式交流机器人、设置于预定地方的个人计算机以及人工智能搭载型扬声器、即使人不进行驾驶操作也能够自主行走的自动汽车等其他通信目的地通信装置。
云服务器3例如由处理器、存储器、通信装置以及外部存储装置等构成,经由有线或者无线的通信线路(省略图示),以能够通信的方式与多个远程呈现机器人1a~1n以及通信装置4连接。云服务器3是对通信装置4以及多个远程呈现机器人1a~1n的通信进行控制的通信控制装置的一例。此外,通信控制装置不特别限定于云服务器3,可以进行由远程呈现机器人执行云服务器3的功能,或由智能手机、平板电脑、个人计算机等通信终端执行云服务器3的功能等各种变更。
通信装置4例如由平板电脑等构成,在远离通信目的地用户的远程位置的办公室等被使用,是通信源的用户使用的通信源通信装置的一例。此外,通信装置4不特别限定于上述的例子,可以进行使用多个通信装置,或使用智能手机、个人计算机等其他通信终端,或使用与远程呈现机器人1同样构成的远程呈现机器人等各种变更。
图2是表示图1所示的通信系统的利用状态的一例的示意图。例如,假定位于东京办公室的用户S1使用通信装置4,想要对位于大阪办公室的用户R1进行远程呈现的情况。
如图2所示,在大阪的办公室内,不仅有用户R1,还有其他许多的用户R2~R6,另外,多个远程呈现机器人1a~1d处于待机状态,用户R1~R6以及远程呈现机器人1a~1d随意移动着。另外,多个远程呈现机器人1a~1d构成为包括:用于进行自主移动的大致圆柱状的自主移动部;用于对用户进行远程呈现的平板电脑状的提示部;以及连结自主移动部与提示部的连结部等。
在此,在图2所示的例子中,距离用户R1最近的远程呈现机器人是远程呈现机器人1d,云服务器3通过后述的通信控制处理,将通信装置4与远程呈现机器人1d以能够通信的方式进行连接。远程呈现机器人1d搜寻用户R1并自走(自力推进),或基于用户S1的输入进行移动,去接近用户R1。在该状态下,将位于东京办公室的用户S1使用通信装置4输入的消息等发送给远程呈现机器人1d,远程呈现机器人1d向位于大阪办公室的用户R1传达位于东京办公室的用户S1的消息等。
重新参照图1,远程呈现机器人1具备摄像头11、影像取得部12、麦克风13、声音取得部14、触摸面板15、操作信息取得部16、通信部17、驱动控制部18、马达19、影像再现部20、显示器21、声音再现部22以及扬声器23。云服务器3具备通信部31、人物判定部32、用户DB(数据库)33、邻近信息管理部34、邻近信息DB(数据库)35、时刻信息取得部36以及对话连接处理部37。通信装置4具备通信部41、操作部42、表示部43以及拍摄部44。
远程呈现机器人1的摄像头11例如由能够取得全方位的图像的全方位摄像头构成,一直或者按预定间隔地拍摄位于远程呈现机器人1邻近的所有用户,将拍摄到的图像数据作为用于判定位于远程呈现机器人1邻近的用户的用户判定数据,输出给影像取得部12。此外,摄像头11不特别限定于上述的例子,可以进行使用如下拍摄装置等各种变更,即所述拍摄装置边移动能够拍摄一个方向的摄像头边取得全方位的图像。
影像取得部12将从摄像头11取得的图像数据输出给通信部17。具体而言,在远程呈现机器人1正在进行远程呈现工作时,影像取得部12将拍摄成为远程呈现工作的对象的通信目的地的用户而得到的图像数据输出给通信部17,通信部17将拍摄到通信目的地的用户的图像数据输出给云服务器3。
另外,在远程呈现机器人1没有进行远程呈现工作而处于待机状态,随意移动时,影像取得部12将远程呈现机器人1的全方位的图像数据(在360度范围内拍摄远程呈现机器人1的邻近而得到的邻近图像数据)、和预先存储于内部存储器(省略图示)的识别远程呈现机器人1的机器人识别信息(通信装置识别信息)输出给通信部17。通信部17将邻近图像数据和机器人识别信息输出给云服务器3。
此外,摄像头11以及影像取得部12不特别限定于上述的例子,可以进行各种变更,例如在使用其他数据作为用户判定数据的情况下,也可以使用仅具有远程呈现工作所需的功能的摄像头以及影像取得部。
麦克风13例如由两个以上的无指向性的麦克风构成,一直或者按预定间隔地收集位于远程呈现机器人1邻近的所有的用户声音,将收集到的声音数据作为用于判定位于远程呈现机器人1邻近的用户的用户判定数据,输出给声音取得部14。
声音取得部14将从麦克风13取得的声音数据输出给通信部17。具体而言,在远程呈现机器人1正在进行远程呈现工作时,声音取得部14将收集成为远程呈现工作的对象的通信目的地的用户的声音而得到的声音数据输出给通信部17,通信部17将收集到通信目的地的用户的声音的声音数据输出给云服务器3。
另外,在远程呈现机器人1没有进行远程呈现工作而处于待机状态,随意移动,并将声音数据作为用户判定数据使用时,声音取得部14将远程呈现机器人1的全方位的声音数据(在360度范围内在远程呈现机器人1的邻近收集声音而得到的邻近声音收集数据)、和预先存储于内部存储器(省略图示)的识别远程呈现机器人1的机器人识别信息(通信装置识别信息)输出给通信部17。通信部17将邻近声音数据和机器人识别信息输出给云服务器3。
此外,麦克风13以及声音取得部14不特别限定于上述的例子,可以进行各种变更,例如在使用其他数据作为用户判定数据的情况下,也可以使用仅具有远程呈现工作所需的功能的麦克风以及声音取得部。
触摸面板15在远程呈现机器人1进行远程呈现工作时,被通信目的地的用户用于输入各种操作信息等,将各种操作信息等输出给操作信息取得部16。
操作信息取得部16将从触摸面板15取得的操作信息输出给通信部17。具体而言,在远程呈现机器人1进行远程呈现工作时,操作信息取得部16经由通信部17将与远程呈现工作有关的操作信息输出给驱动控制部18、影像再现部20以及声音再现部22,远程呈现机器人1进行与操作信息相应的远程呈现工作。
此外,在远程呈现机器人1被作为通信源的用户所使用的通信源通信装置(例如通信装置4)来使用的情况下,操作信息取得部16作为连接请求取得部发挥功能,当通信源的用户使用触摸面板15输入了包含通信目的地的用户的用户识别信息在内的通信请求时,操作信息取得部16制作包含通信目的地的用户的用户识别信息在内的通信请求指令并输出给通信部17,通信部17将通信请求指令输出给云服务器3。
驱动控制部18控制马达19的旋转。马达19根据驱动控制部18的控制对驱动轮(省略图示)进行驱动,使远程呈现机器人1移动或停止。驱动控制部18以及马达19相当于用于使远程呈现机器人自主移动的自主移动部的一例。
影像再现部20将影像信号输出给显示器21,所述影像信号再现了从通信装置4或者云服务器3经由通信部17所取得的通信源的用户的影像数据等。显示器21显示通信源的用户的影像等。影像再现部20以及显示器21相当于将通信源的用户的消息提示给所述通信目的地的用户的提示部的一例。
声音再现部22将声音信号输出给扬声器23,所述声音信号再现了从通信装置4或者云服务器3经由通信部17所取得的通信源的用户的声音数据等。扬声器23再现通信源的用户的声音等。声音再现部22以及扬声器23相当于将通信源的用户的消息提示给所述通信目的地的用户的提示部的一例。
云服务器3的通信部31与多个远程呈现机器人1a~1n以及通信装置4进行通信。例如,通信部31接收从多个远程呈现机器人1a~1n发送来的邻近图像数据以及机器人识别信息,将邻近图像数据输出给人物判定部32,将邻近图像数据以及机器人识别信息输出给邻近信息管理部34。
用户DB33针对多个用户(例如图2所示的在大阪办公室的所有用户)的各个用户,预先关联地存储有表现该用户的脸部的基准脸部图像数据与识别该用户的用户识别信息。
人物判定部32从邻近图像数据中提取表现用户的脸部的脸部图像数据,对脸部图像数据与用户DB33所存储的多个基准脸部图像数据进行比较,由此,判定邻近图像数据所包含的用户,将判定出的用户的基准脸部图像数据所关联的用户识别信息从用户DB33中读出,将人物判定出的用户的用户识别信息输出给邻近信息管理部34。
邻近信息管理部34从时刻信息取得部36取得邻近图像数据的取得时刻作为最终发现时刻,将最终发现时刻、从人物判定部32输出的用户识别信息、与和被使用于该用户识别信息的制作中的邻近图像数据一起发送来的机器人识别信息关联,并作为邻近信息存储于邻近信息DB35。因此,在邻近信息DB35中,作为邻近信息,关联存储有邻近图像数据的取得时刻为最新的用户识别信息、与和邻近图像数据一起发送来的机器人识别信息,因而与最终发现时刻一起存储有人物判定出的用户的用户识别信息、和识别距离该用户最近的远程呈现机器人1的机器人识别信息。
另外,邻近信息管理部34每次都判定是否从由多个远程呈现机器人1a~1n在预定期间内(例如大致相同时刻)发送来的多个邻近图像数据中识别到同一用户。具体而言,邻近信息管理部34在由人物判定部32在预定期间内多次通知了同一用户的用户识别信息且与各用户识别信息对应的机器人识别信息不同、即从由远程呈现机器人1a~1n在预定期间内发送来的多个邻近图像数据中判定出同一用户的情况下,指示人物判定部32重新进行人物判定。
人物判定部32从同一用户的所有脸部图像数据中提取表现用户的脸部的脸部图像区域,对脸部图像区域的面积最大的脸部图像数据与多个基准脸部图像数据进行比较,由此,根据脸部图像区域的面积最大的脸部图像数据判定用户,将判定出的用户的基准脸部图像数据所关联的用户识别信息从用户DB33中读出并输出给邻近信息管理部34。在此,脸部图像区域的提取处理可以使用各种方法,例如,人物判定部32根据脸部图像数据,将外接于脸部的四边形的宽度设为W、高度设为H时,对面积W×H进行比较,由此,能够决定脸部图像区域的面积最大的脸部图像数据。
邻近信息管理部34从时刻信息取得部36取得提取到脸部图像区域的面积最大的脸部图像数据的邻近图像数据的取得时刻来作为最终发现时刻,将最终发现时刻、从人物判定部32输出的与脸部图像区域的面积最大的脸部图像数据相对的一个用户识别信息、与和被使用于该用户识别信息的制作中的邻近图像数据一起发送来的一个机器人识别信息关联,并作为邻近信息存储于邻近信息DB35。
因此,在从由远程呈现机器人1a~1n在预定期间内发送来的多个邻近图像数据中判定出同一用户的情况下,在邻近信息DB35中,作为邻近信息,关联地存储有与脸部图像区域的面积最大的脸部图像数据相对的一个用户识别信息、与和被使用于该用户识别信息的制作中的邻近图像数据一起发送来的一个机器人识别信息,因而与最终发现时刻一起存储有人物判定出的用户的一个用户识别信息、和识别距离该用户最近的远程呈现机器人1的一个机器人识别信息。
另外,人物判定部32在从一个邻近图像数据中判定出多个用户的情况下,提取多个用户各自的表现脸部的脸部图像数据,对脸部图像数据的每一个与多个基准脸部图像数据进行比较,由此,判定所述邻近图像数据所包含的多个用户,将判定出的多个用户的基准脸部图像数据所关联的多个用户识别信息从用户DB33中读出并输出给邻近信息管理部34。
邻近信息管理部34从时刻信息取得部36取得上述的邻近图像数据的取得时刻作为最终发现时刻,对于多个用户的各个用户,将使最终发现时刻、从人物判定部32输出的用户识别信息、与和被使用于该用户识别信息的制作中的邻近图像数据一起发送来的机器人识别信息相关联的多个邻近信息存储于邻近信息DB35。因此,在邻近信息DB35中,对于多个用户的各个用户,作为邻近信息,关联存储有邻近图像数据的取得时刻为最新的用户识别信息、与和邻近图像数据一起发送来的机器人识别信息,因而与最终发现时刻一起存储有人物判定出的多个用户的用户识别信息、和识别距离各用户最近的远程呈现机器人1的机器人识别信息。
另外,在使用上述的声音数据作为用户判定数据的情况下,用户DB33也可以针对多个用户(例如图2所示的在大阪办公室的所有用户)的各个用户,预先关联地存储有表现该用户的声音的基准声音数据与识别该用户的用户识别信息。在该情况下,人物判定部32通过对经由通信部31接收到的声音数据与用户DB33所存储的多个基准声音数据进行比较(例如通过使用声纹的说话人比对),判定发出声音的用户,将判定出的用户的基准声音数据所关联的用户识别信息从用户DB33中读出,将人物判定出的用户的用户识别信息输出给邻近信息管理部34。
邻近信息管理部34从时刻信息取得部36取得声音数据的取得时刻作为最终发现时刻,将最终发现时刻、从人物判定部32输出的用户识别信息、与和被使用于该用户识别信息的制作中的声音数据一起发送来的机器人识别信息关联,并作为邻近信息存储于邻近信息DB35。因此,在邻近信息DB35中,作为邻近信息,关联存储有声音数据的取得时刻为最新的用户识别信息、与和声音数据一起发送来的机器人识别信息,因而与最终发现时刻一起存储有人物判定出的用户的用户识别信息、和识别距离该用户最近的远程呈现机器人1的机器人识别信息。
另外,邻近信息管理部34也可以每次都判定是否从由多个远程呈现机器人1a~1n在预定期间内(例如大致相同时刻)发送来的声音数据中识别到同一用户。邻近信息管理部34在由人物判定部32在预定期间内多次通知了同一用户的用户识别信息且与各用户识别信息对应的机器人识别信息不同、即从由远程呈现机器人1a~1n在预定期间内发送来的多个声音数据中判定出同一用户的情况下,指示人物判定部32重新进行人物判定。
人物判定部32使用判定出了同一用户的所有声音数据来检测各声音数据的相对于远程呈现机器人1的声源位置,对声源位置距离远程呈现机器人1最近的声音数据与多个基准声音数据进行比较,由此,判定声源位置距离远程呈现机器人1最近的声音数据的用户,将判定出的用户的基准声音数据所关联的用户识别信息从用户DB33中读出并输出给邻近信息管理部34。在此,使用多个麦克风推定声源位置的处理可以使用各种方法,例如,可以使用TDOA(Time Difference Of Arrival,到达时差)方式等,TDOA方式利用在所取得的多个声音数据之间会产生声波的到来所涉及的时间差这一情况。
邻近信息管理部34从时刻信息取得部36取得声源位置距离远程呈现机器人1最近的声音数据的取得时刻来作为最终发现时刻,将最终发现时刻、从人物判定部32输出的与声源位置距离远程呈现机器人1最近的声音数据相对的一个用户识别信息、与和被使用于该用户识别信息的制作中的声音数据一起发送来的一个机器人识别信息关联,并作为邻近信息存储于邻近信息DB35。
因此,在从由远程呈现机器人1a~1n在预定期间内发送来的多个声音数据中判定出同一用户的情况下,在邻近信息DB35中,作为邻近信息,关联地存储有与声源位置距离远程呈现机器人1最近的声音数据相对的一个用户识别信息、与和被使用于该用户识别信息的制作中的声音数据一起发送来的一个机器人识别信息,因而与最终发现时刻一起存储有人物判定出的用户的一个用户识别信息、和识别距离该用户最近的远程呈现机器人1的一个机器人识别信息。
另外,用户判定数据不特别限定于上述的例子,只要能够确定距离用户最近的远程呈现机器人1,也可以使用其他数据。例如也可以为,多个远程呈现机器人1a~1n的各自的通信部17从位于自身临近的用户所持有的发信机(省略图示)接收包含识别该用户的用户识别信息的信标信号,将表示接收到的信标信号的电波强度的强度信息、用户识别信息、和识别该远程呈现机器人的机器人识别信息发送给云服务器3。
在该情况下,云服务器3的通信部31从多个远程呈现机器人1a~1n的每一个接收强度信息、用户识别信息以及机器人识别信息。邻近信息管理部34从时刻信息取得部36取得与信标信号的电波强度为最大的强度信息一起发送来的用户识别信息以及机器人识别信息的取得时刻作为最终发现时刻,将最终发现时刻、信标信号的电波强度最大的强度信息、用户识别信息、与机器人识别信息关联,并作为邻近信息存储于邻近信息DB35。
因此,在邻近信息DB35中,作为邻近信息,关联地存储有信标信号的电波强度为最大的强度信息等的取得时刻为最新的用户识别信息、与和该用户识别信息一起发送来的机器人识别信息,因而与最终发现时刻一起存储有人物判定出的用户的用户识别信息、和识别距离该用户最近的远程呈现机器人1的机器人识别信息。
通信装置4的通信部41与云服务器3(以及/或者多个远程呈现机器人1a~1n)进行通信。通信部41经由云服务器3(或者直接)从通信目的地的用户所使用的远程呈现机器人1接收对通信目的地的用户进行拍摄而得到的图像数据和/或对通信目的地的用户的声音进行收集而得到的声音数据等并输出给表示部43。
操作部42例如由触摸面板等构成,被通信源的用户为了输入用于远程呈现(例如与通信目的地的用户的对话)的各种操作信息等而使用。
表示部43由能够再现图像以及/或者声音的显示器以及/或者扬声器等构成。表示部43经由通信部41,被输入来自通信目的地的用户所使用的远程呈现机器人1或者云服务器3的、对通信目的地的用户进行拍摄而得到的图像数据和/或对通信目的地的用户的声音进行收集而得到的声音数据等,显示通信目的地的用户的图像,或再现通信目的地的用户的声音。
拍摄部44例如由摄像头以及/或者麦克风等构成。拍摄部44一直或者按预定间隔地拍摄通信源的用户,经由通信部41,将对通信源的用户进行拍摄而得到的图像数据和/或对通信源的用户的声音进行收集而得到的声音数据发送给云服务器3或者通信目的地的用户所使用的远程呈现机器人1。
另外,在通信源的用户使用操作部42输入包含通信目的地的用户的用户识别信息在内的通信请求时,操作部42制作包含通信目的地的用户的用户识别信息在内的通信请求指令并输出给通信部41,通信部41将通信请求指令发送给云服务器3。
云服务器3的通信部31接收通信请求指令并输出给对话连接处理部37。对话连接处理部37接收到通信请求指令时,参照邻近信息DB35的邻近信息,将由通信目的地的用户的用户识别信息所关联的机器人识别信息识别的远程呈现机器人1与通信装置4以能够通信的方式进行连接。因此,通信装置4能够与距离通信目的地的用户最近的远程呈现机器人1进行通信,通信源的用户能够使用距离通信目的地的用户最近的远程呈现机器人1,对通信目的地的用户进行远程呈现。
接着,对由如上所述构成的通信系统实现的通信控制处理进行说明。图3是表示由图1所示的通信系统实现的通信控制处理的一例的时序图。此外,在以下的处理中,对使用邻近图像数据作为用户判定数据的例子进行说明。
首先,多个远程呈现机器人1a~1n的每一个一直或者按预定间隔地拍摄在360度范围内拍摄邻近而得到的邻近图像数据,将邻近图像数据和自身的机器人识别信息发送给云服务器3(步骤S11)。
接着,云服务器3接收从多个远程呈现机器人1a~1n发送来的邻近图像数据以及机器人识别信息,云服务器3的人物判定部32从邻近图像数据中提取脸部图像数据,对脸部图像数据与用户DB33所存储的多个基准脸部图像数据进行比较,由此,判定邻近图像数据所包含的用户,将判定出的用户的基准脸部图像数据所关联的用户识别信息从用户DB33中取得并输出给邻近信息管理部34(步骤S12)。
接着,邻近信息管理部34从时刻信息取得部36取得邻近图像数据的取得时刻作为最终发现时刻,将使最终发现时刻、从人物判定部32输出的用户识别信息、与和被使用于该用户识别信息的制作中的邻近图像数据一起发送来的机器人识别信息相关联的邻近信息依次登记于邻近信息DB35,按人物判定出的每个用户来管理最新的邻近信息(步骤S13)。
在此,具体地对上述的邻近信息的管理处理(步骤S13)进行说明。图4是用于对图1所示的云服务器3的邻近信息的管理处理的一例进行说明的示意图。例如,如图4的上段左侧所示,假定如下场景:用户R1沿着箭头的行进方向移动时,远程呈现机器人1a沿用户R1的方向移动,另外,位于远离远程呈现机器人1a的位置的远程呈现机器人1b也沿着用户R1的方向移动。
在此,在时刻16:00,远程呈现机器人1b的邻近图像数据中没有拍摄到用户R1,远程呈现机器人1a的邻近图像数据中拍摄到了用户R1的情况下,远程呈现机器人1a将包括用户R1的邻近图像数据、和自身的机器人识别信息“A”发送给云服务器3。云服务器3的人物判定部32从远程呈现机器人1a的邻近图像数据中判定出用户R1,将判定出的用户R1的用户识别信息“X”输出给邻近信息管理部34。
此时,如图4的上段右侧所示,邻近信息管理部34将使用户R1的用户识别信息“X”、距离用户R1最近的机器人识别信息“A”、和最终发现时刻“16:00”相关联的邻近信息登记于邻近信息DB35。
接着,如图4的下段左侧所示,在时刻“16:05”,远程呈现机器人1a与用户R1交会,从用户R1离开并沿着箭头的行进方向移动,远程呈现机器人1a的邻近图像数据中变得拍摄不到用户R1。另一方面,远程呈现机器人1b以及用户R1沿箭头的行进方向移动,两者接近时,远程呈现机器人1b的邻近图像数据中会拍摄到用户R1。
因此,远程呈现机器人1b将包括用户R1的邻近图像数据、和自身的机器人识别信息“B”发送给云服务器3。云服务器3的人物判定部32从远程呈现机器人1b的邻近图像数据中判定出用户R1,将判定出的用户R1的用户识别信息“X”输出给邻近信息管理部34。
此时,如图4的下段右侧所示,邻近信息管理部34将使用户R1的用户识别信息“X”、距离用户R1最近的机器人识别信息“B”、和最终发现时刻“16:05”相关联的邻近信息登记于邻近信息DB35,更新用户R1的邻近信息。如此,邻近信息管理部34对人物判定出的每个用户,通过最终发现时刻为最新的邻近信息来更新邻近信息DB35,对人物判定出的每个用户登记最近的远程呈现机器人1的机器人识别信息。
重新参照图3,在通信源的用户使用通信装置4的操作部42输入包含通信目的地的用户的用户识别信息在内的通信请求时,操作部42制作包含通信目的地的用户的用户识别信息在内的通信请求指令并输出给通信部41,通信部41将通信请求指令发送给云服务器3(步骤S14)。
接着,云服务器3的通信部31接收通信请求指令并输出给对话连接处理部37,对话连接处理部37参照邻近信息DB35的邻近信息,读出与通信目的地的用户的用户识别信息关联的机器人识别信息,确定距离通信目的地的用户最近的远程呈现机器人1(步骤S15)。
接着,对话连接处理部37将所确定的远程呈现机器人1与通信装置4以能够通信的方式进行连接(步骤S16)。
接着,对话连接处理部37将来自通信装置4的通信源的用户的消息等发送给距离通信目的地的用户最近的远程呈现机器人1,并且将来自远程呈现机器人1的通信目的地的用户的消息等发送给通信装置4,使用通信装置4和远程呈现机器人1,在通信源的用户与通信目的地的用户之间实现远程呈现(步骤S17)。如此,能够对通信源的用户提供仿佛与远程位置的通信目的地的用户当场地面对着那样的临场感。
接着,进一步详细地对上述的由通信系统实现的通信控制处理中的由云服务器3实现的邻近信息更新处理进行说明。图5是表示由图1所示的云服务器实现的邻近信息更新处理的一例的流程图。
首先,云服务器3的通信部31接收从多个远程呈现机器人1a~1n发送来的邻近图像数据以及机器人识别信息(步骤S21)。
接着,人物判定部32从邻近图像数据中提取脸部图像数据,对脸部图像数据与用户DB33所存储的多个基准脸部图像数据进行比较,由此判定邻近图像数据所包含的用户,从用户DB33中取得判定出的用户的基准脸部图像数据所关联的用户识别信息并输出给邻近信息管理部34(步骤S22)。
接着,邻近信息管理部34从时刻信息取得部36取得邻近图像数据的取得时刻作为最终发现时刻,制作邻近信息,该邻近信息使最终发现时刻、从人物判定部32输出的用户识别信息、与和被使用于该用户识别信息的制作中的邻近图像数据一起发送来的机器人识别信息相关联(步骤S23)。
接着,邻近信息管理部34确认在预定期间内制作出的多个邻近信息,判断是否从多个邻近图像数据中判定出同一用户(步骤S24),在没有判定出同一用户的情况下(步骤S24:否),将处理移至步骤S27。
另一方面,在判定出同一用户的情况下(步骤S24:是),邻近信息管理部34指示人物判定部32基于最大脸部图像区域重新进行人物判定,人物判定部32从同一用户的所有脸部图像数据中提取表现用户的脸部的脸部图像区域,对脸部图像区域的面积最大的脸部图像数据与多个基准脸部图像数据进行比较,由此,根据脸部图像区域的面积最大的脸部图像数据判定用户,从用户DB33中取得判定出的用户的基准脸部图像数据所关联的用户识别信息并输出给邻近信息管理部34(步骤S25)。
接着,邻近信息管理部34从时刻信息取得部36取得邻近图像数据的取得时刻作为最终发现时刻,制作使最终发现时刻、从人物判定部32输出的用户识别信息、与和被使用于该用户识别信息的制作中的邻近图像数据一起发送来的机器人识别信息相关联的基于最大脸部图像区域的邻近信息(步骤S26)。
接着,邻近信息管理部34将制作出的邻近信息登记于邻近信息DB35,更新邻近信息DB35(步骤S27)。之后,反复进行步骤S21以后的处理,对人物判定出的每个用户管理最新的邻近信息,与最终发现时刻一起存储人物判定出的用户的用户识别信息、和识别距离该用户最近的远程呈现机器人1的机器人识别信息。
在此,对图1所示的多个远程呈现机器人1a~1n的每一个具备云服务器3的人物判定部32、用户DB33、邻近信息管理部34、邻近信息DB35、时刻信息取得部36以及对话连接处理部37,还作为管理邻近信息的通信控制装置发挥功能的情况下的邻近信息更新处理进行说明。在该情况下,多个远程呈现机器人1a~1n的每一个除了上述的步骤S21~S27的处理之外,作为同步处理,还如下这样执行在使各远程呈现机器人1具有邻近信息管理部34的情况下的邻近信息的操作处理。
例如,各远程呈现机器人1具有其他远程呈现机器人的机器人识别信息的一览表,保存于预定的存储区域、例如邻近信息DB35。
图6是表示图1所示的远程呈现机器人1对邻近信息进行管理的情况下的邻近信息的一例的图,图7是表示图1所示的远程呈现机器人1对邻近信息进行管理的情况下的更新后的邻近信息的一例的图。
如图6所示,作为邻近信息,用户识别信息、最近的机器人识别信息以及脸部面积的各信息与其最终更新时刻(最终发现时刻)一起保存于邻近信息DB35,再者,保存有表示邻近信息是否与其他所有远程呈现机器人同步了的已同步标志,在更新时设立已同步标志。在图6所示的例子中,例如,用户识别信息“Z”、最近的机器人识别信息“C”、脸部面积“40”和最终发现时刻“16:03”相关联,该邻近信息的已同步标志尚未设立。
假设在上述状态下,例如机器人识别信息“A”的远程呈现机器人1在时刻“16:10”检测出用户识别信息“Z”的用户的脸部面积“70”。在该情况下,时刻“16:10”比图6的最终发现时刻“16:03”新,脸部面积也更大,因此,如图7所示,机器人识别信息“A”的远程呈现机器人1的邻近信息DB35的用户识别信息“Z”的邻近信息被更新,进而,以对已同步标志设置“1”的方式设立已同步标志。
接着,机器人识别信息“A”的远程呈现机器人1的对话连接处理部37经由通信部17,对其他所有远程呈现机器人广播(broadcast)用户识别信息“Z”、机器人识别信息“A”、脸部面积“70”以及最终发现时刻“16:03”的邻近信息。
接收到上述的邻近信息的其他所有远程呈现机器人的邻近信息管理部34参照自身的邻近信息DB35,在对应的邻近信息的已同步标志的栏中没有设立比特位(bit)的情况下,用接收到的邻近信息来更新邻近信息DB35。另一方面,在已同步标志的栏中设立了比特位的情况下,邻近信息管理部34基于接收到的邻近信息,判定是否能够进行更新,根据判定结果将邻近信息DB35更新。
具体而言,邻近信息管理部34比较人物判定时的脸部面积,在接收到的邻近信息的脸部面积信息更大的情况下,邻近信息的发送源的远程呈现机器人、例如机器人识别信息“A”的远程呈现机器人1距离用户识别信息Z的用户更近,因而更新邻近信息DB35,反之不进行更新。
接着,其他所有远程呈现机器人在将数据库的数据更新后,将邻近信息的更新完成信号发送给邻近信息的发送源的远程呈现机器人、例如机器人识别信息“A”的远程呈现机器人1。机器人识别信息“A”的远程呈现机器人1在从其他所有远程呈现机器人接收到邻近信息的更新信号后,清除已同步标志。
根据上述的同步处理,即使在多个远程呈现机器人1a~1n对邻近信息进行管理的情况下,一个远程呈现机器人的邻近信息DB35所存储的邻近信息被更新时,会将被更新的邻近信息发送给其他远程呈现机器人,因此也能够使邻近信息在多个远程呈现机器人1a~1n中同步,能够管理相同的邻近信息。
接着,更详细地对上述的由通信系统实现的通信控制处理中的由云服务器3实现的通信连接处理进行说明。图8是表示由图1所示的云服务器3实现的通信连接处理的一例的流程图。
首先,通信源的用户使用通信装置4的操作部42输入包括通信目的地的用户的用户识别信息在内的通信请求,通信部41将通信请求指令发送给云服务器3后,云服务器3的通信部31接收通信请求指令并输出给对话连接处理部37(步骤S31)。
接着,对话连接处理部37参照邻近信息DB35的邻近信息,读出与通信目的地的用户的用户识别信息关联的机器人识别信息,确定距离通信目的地的用户最近的远程呈现机器人1(步骤S32)。
接着,对话连接处理部37将所确定的远程呈现机器人1与通信装置4以能够通信的方式进行连接(步骤S33)。
接着,对话连接处理部37将来自通信装置4的通信源的用户的消息等发送给距离通信目的地的用户最近的远程呈现机器人1,并且将来自远程呈现机器人1的通信目的地的用户的消息等发送给通信装置4,由此,使用通信装置4和远程呈现机器人1,在通信源的用户与通信目的地的用户之间实现远程呈现(步骤S34)。
根据上述的处理,在本实施方式中,能够在不仅多个用户,而且多个远程呈现机器人1a~1n也移动的环境下,将通信源的用户使用的通信装置4与多个远程呈现机器人1a~1n中距离通信目的地的用户最近的远程呈现机器人以能够通信的方式进行连接,在通信源的用户与通信目的地的用户之间实现仿佛当场地面对着那样的临场感,并且进行良好的远程呈现。
(实施方式2)
图9是表示本公开的实施方式2涉及的通信系统的构成的一例的框图。图9所示的通信系统与图1所示的通信系统的不同之处在于:追加了多个通信目的地的用户所持有的多个便携终端5a~5m(以下也记作便携终端5);云服务器3变更为还具备用户位置管理部61、用户位置DB(数据库)62、通信历史记录解析部63、通信历史记录DB(数据库)64以及机器人位置控制部65的云服务器3a,其他之处与图1所示的通信系统是同样的,因此,对同一部分赋予同一标号,省略详细说明。
在上述的实施方式1中,将通信源的用户使用的通信装置4与多个远程呈现机器人1a~1n中距离通信目的地的用户最近的远程呈现机器人以能够通信的方式进行连接,但在本实施方式中,除了上述的处理,还基于通信装置4与多个远程呈现机器人1a~1n的通信历史记录,从多个通信目的地的用户中确定被高频度接入的用户,从多个远程呈现机器人1a~1n中将至少1台远程呈现机器人配置在该用户的邻近,使该用户的远程呈现变得容易。
此外,云服务器3a不特别限定于上述的例子,例如也可以为,将人物判定部32、用户DB33、邻近信息管理部34、邻近信息DB35以及时刻信息取得部36省略,基于通信装置4与多个远程呈现机器人1a~1n的通信历史记录,从多个通信目的地的用户中确定被高频度接入的用户,从多个远程呈现机器人1a~1n中将至少1台远程呈现机器人配置在该用户的邻近。
便携终端5a~5m的每一个例如由智能手机等构成,至少具备位置检测部51以及通信部52。位置检测部51检测表示持有便携终端5的通信目的地的用户的当前位置的用户位置信息,通信部52将检测出的用户位置信息与通信目的地的用户的用户识别信息一起发送给云服务器3a。
例如,在大阪的办公室内设置多个Wi-Fi(注册商标)基站或者信标发信器,位置检测部51使用Wi-Fi(注册商标)定位法或者信标定位法,算出来自Wi-Fi(注册商标)基站或者信标发信器的电波的强度的不同,推定持有便携终端5的通信目的地的用户的当前位置。此外,检测通信目的地的用户的当前位置的方法不特别限定于上述的例子,例如,也可以使用下述其他方法:使用通信目的地的用户的智能手机等所具备的加速度传感器、磁性传感器、角速度传感器等,推定通信目的地的用户的移动方向以及移动量的行人自主导航法;在屋内设置与GPS(Global Positioning System,全球定位系统)相同的方式(协议和频率)的发信器,沿用既有的智能手机的GPS接收功能来无缝地测定屋内和屋外的通信目的地的用户的位置的IMES(Indoor Messaging System,室内定位技术)定位法;用智能手机接收从设置于屋内的扬声器产生的超声波,推定通信目的地的用户的位置的声波定位法等。
云服务器3a的通信部31接收从各便携终端5a~5m发送来的表示通信目的地的各用户的当前位置的用户位置信息以及用户识别信息并输出给用户位置管理部61。用户位置管理部61将用户位置信息以及用户识别信息存储于用户位置DB62。
在此,在本实施方式中,通信装置4的操作部42制作包含使用通信装置4进行通信的通信源的用户的用户识别信息、以及通信目的地的用户的用户识别信息在内的通信请求指令并输出给通信部41,通信部41将通信请求指令发送给云服务器3a。
对话连接处理部37在将远程呈现机器人1与通信装置4以能够通信的方式进行了连接时,将使用远程呈现机器人1进行通信的通信目的地的用户的用户识别信息、表示通信目的地的用户开始使用远程呈现机器人1的时刻的时刻信息、以及使用通信装置4进行通信的通信源的用户的用户识别信息,作为远程呈现机器人1与通信装置4的通信历史记录信息输出给通信历史记录解析部63。通信历史记录解析部63将通信历史记录信息存储于通信历史记录DB64。
图10是表示图9所示的通信历史记录DB64所存储的通信历史记录信息的一例的图。如图10所示,作为通信历史记录信息,通信历史记录DB64在表示通信开始时刻的时刻的栏中保存有时刻信息,在通信源用户识别信息的栏中保存有通信源的用户的用户识别信息,在通信目的地用户识别信息的栏中保存有通信目的地的用户的用户识别信息。例如,在从“10:20”起,通信源用户识别信息“a”的通信源的用户开始了与通信目的地用户识别信息“X”的通信目的地的用户的通信的情况下,时刻“10:20”、通信源用户识别信息“a”与通信目的地用户识别信息“X”被相关联地存储于通信历史记录DB64。
此外,时刻信息不特别限定于上述的使用开始时刻,可以进行利用使用开始时刻以及使用结束时刻来确定使用时间段,或仅利用使用结束时刻等各种变更。
通信历史记录解析部63参照通信历史记录DB64的通信历史记录信息,将通信频度高于预定值的通信目的地的用户确定作为被高频度接入的人物,将确定出的通信目的地的用户的用户识别信息输出给机器人位置控制部65。例如,通信历史记录解析部63将通信频度高的前几个人确定作为被高频度接入的人物,或将通信频度最高的人物确定作为被高频度接入的人物,或将预定期间内的通信次数在预定次数以上的人物确定作为被高频度接入的人物。
在图10所示的例子的情况下,用户识别信息“X”的通信目的地的用户最高频度地被进行了接入,因此,通信历史记录解析部63将用户识别信息“X”的通信目的地的用户确定作为被高频度接入的人物。
另外,通信历史记录解析部63也可以参照通信历史记录DB64的通信历史记录信息,确定通信目的地的用户的通信频度高于预定值的时间段,将表示确定出的时间段的时间段信息与通信频度高于预定值的通信目的地的用户的用户识别信息一起输出给机器人位置控制部65。例如,通信历史记录解析部63将通信时间分为上午和下午,将在上午或者下午通信频度高的前几个人确定作为被高频度接入的人物,或将在上午或者下午通信频度最高的人物确定作为被高频度接入的人物,或将上午或者下午的通信次数在预定次数以上的人物确定作为被高频度接入的人物。
在图10所示的例子的情况下,用户识别信息“X”的通信目的地的用户为上午的通信频度最高,因此,通信历史记录解析部63将用户识别信息“X”的通信目的地的用户确定作为被高频度接入的人物,并且确定“上午”作为通信目的地的用户的通信频度高于预定值的时间段。此外,时间段的划分不特别限定于上述的例子,例如可以进行按每个小时将通信频度高的前几个人或者通信频度最高的人物确定作为被高频度接入的人物等各种变更。
机器人位置控制部65使用用户位置管理部61,从用户位置DB62中读出表示由通信历史记录解析部63所确定的通信目的地的用户的当前位置的用户位置信息。机器人位置控制部65使用通信部31,将用于使远程呈现机器人1a~1n中的至少1台远程呈现机器人移动到所确定的通信目的地的用户的邻近的移动命令发送给有关远程呈现机器人。
具体而言,机器人位置控制部65使用邻近信息管理部34,参照邻近信息DB35,判定在所确定的通信目的地的用户的邻近、例如一定距离内是否有远程呈现机器人。在一定距离内没有远程呈现机器人的情况下,机器人位置控制部65确定距离所确定的通信目的地的用户最近的远程呈现机器人,使用通信部31,将用于使之移动到所确定的通信目的地的用户的邻近的移动命令发送给确定出的远程呈现机器人。
在该情况下,接收到移动命令的远程呈现机器人移动到所确定的通信目的地的用户的邻近、例如距离1米以内,之后,维持该距离,并且追随着所确定的通信目的地的用户。因此,将会在常常被接入的人物的旁边,尽可能地配置处于能够通信的状态的远程呈现机器人,即使假如在常常被接入的人物的附近的远程呈现机器人被使用了的情况下,也会使另外的远程呈现机器人配置在常常被接入的人物的邻近。
另外,在确定了时间段的情况下,机器人位置控制部65使用通信部31,将用于使远程呈现机器人1a~1n中的至少1台远程呈现机器人在所确定的时间段移动到通信目的地的用户的邻近的移动命令发送给有关远程呈现机器人。
在该情况下,接收到移动命令的远程呈现机器人在所确定的时间段移动到通信目的地的用户的邻近、例如距离1米以内,之后,维持该距离,并且在所确定的时间段之内追随着所确定的通信目的地的用户。因此,在上午常常被接入的人物的旁边,尽可能地在上午配置处于能够通信的状态的远程呈现机器人,即使假如在常常被接入的人物的附近的远程呈现机器人被使用了的情况下,也会使另外的远程呈现机器人在上午配置在常常被接入的人物的邻近。
图11是表示由图9所示的通信系统实现的通信控制处理的一例的时序图。
首先,多个便携终端5a~5m的各自的位置检测部51一直或者按预定间隔地检测通信目的地的各用户的用户位置信息,通信部52将通信目的地的各用户的用户位置信息以及用户识别信息发送给云服务器3a(步骤S41)。
接着,云服务器3a的通信部31接收从便携终端5a~5m发送来的通信目的地的各用户的用户位置信息以及用户识别信息并输出给用户位置管理部61,用户位置管理部61将通信目的地的各用户的用户位置信息以及用户识别信息存储于用户位置DB62(步骤S42)。
接着,云服务器3a与云服务器3同样地,执行图3所示的通信控制处理,对话连接处理部37将通信目的地的远程呈现机器人1与通信装置4以能够通信的方式进行连接,将来自通信装置4的通信源的用户的消息等发送给距离通信目的地的用户最近的远程呈现机器人1,并且将来自远程呈现机器人1的通信目的地的用户的消息等发送给通信装置4,使用通信装置4和远程呈现机器人1,在通信源的用户与通信目的地的用户之间实现远程呈现(步骤S43)。
接着,对话连接处理部37将使用远程呈现机器人1进行通信的通信目的地的用户的用户识别信息、表示通信目的地的用户开始使用远程呈现机器人1的时刻的时刻信息、以及使用通信装置4进行通信的通信源的用户的用户识别信息,作为远程呈现机器人1与通信装置4的通信历史记录信息输出给通信历史记录解析部63,通信历史记录解析部63将通信历史记录信息存储于通信历史记录DB64(步骤S44)。
接着,通信历史记录解析部63参照通信历史记录DB64的通信历史记录信息,将通信频度高于预定值的通信目的地的用户确定作为高频度地进行通话的人物,将确定出的通信目的地的用户的用户识别信息输出给机器人位置控制部65(步骤S45)。
接着,机器人位置控制部65使用邻近信息管理部34以及邻近信息DB35,判定在所确定的通信目的地的用户的一定距离内是否有远程呈现机器人(步骤S46)。在所确定的通信目的地的用户的一定距离内有远程呈现机器人的情况下(步骤S46:是),结束处理。
另一方面,在所确定的通信目的地的用户的一定距离内没有远程呈现机器人的情况下(步骤S46:否),机器人位置控制部65使用邻近信息管理部34以及邻近信息DB35,确定距离所确定的通信目的地的用户最近的远程呈现机器人(步骤S47)。
接着,机器人位置控制部65使用通信部31,将用于使之移动到所确定的通信目的地的用户的邻近的移动命令发送给确定出的远程呈现机器人(步骤S48)。
接着,远程呈现机器人接收来自通信部31的移动命令,移动到所确定的通信目的地的用户的邻近,之后,维持该距离,并且追随着所确定的通信目的地的用户(步骤S49)。此外,在图11中,为了简化图示,以执行1次各处理的方式进行了图示,但不特别限定于该例,也可以随意将各处理执行多次,使得基于最新的通信历史记录,在高频度进行会话的人物的附近配置远程呈现机器人。
根据上述的处理,在本实施方式中,在不仅多个用户,而且多个远程呈现机器人1a~1n也移动的环境下,将识别使用远程呈现机器人进行通信的通信目的地的用户的用户识别信息与表示通信目的地的用户使用远程呈现机器人的时刻的时刻信息关联,并作为通信源的用户使用的通信装置4与多个远程呈现机器人1a~1n的通信历史记录信息存储于通信历史记录DB64,参照通信历史记录DB64的通信历史记录信息,确定通信频度高于预定值的通信目的地的用户,在确定出的通信目的地的用户的邻近配置多个远程呈现机器人1a~1n中的至少1台远程呈现机器人,因此,被高频度接入的通信目的地的用户能够使用位于邻近的远程呈现机器人,容易地进行与通信源的用户的通信装置4之间的远程呈现。
(实施方式3)
图12是表示本公开的实施方式3涉及的通信系统的构成的一例的框图。图12所示的通信系统与图1所示的通信系统的不同之处在于:追加了多个通信目的地的用户所持有的多个便携终端5a~5m;云服务器3变更为还具备用户位置管理部61、用户位置DB62、机器人位置管理部66以及机器人位置DB(数据库)67的云服务器3b;远程呈现机器人1a~1n变更为还具备位置检测部24的远程呈现机器人1a’~1n’(以下也记作远程呈现机器人1’),其他之处与图1所示的通信系统是同样的,因此,对同一部分赋予同一标号,省略详细说明。
在上述的实施方式1中,将通信源的用户使用的通信装置4与多个远程呈现机器人1a~1n中距离通信目的地的用户最近的远程呈现机器人以能够通信的方式进行连接,但在本实施方式中,除了上述的处理,还对所有远程呈现机器人1a’~1n’的位置和所有通信目的地的用户的位置进行监视,根据所有通信目的地的用户的位置来自动地调整所有远程呈现机器人1a’~1n’的位置,防止远程呈现机器人1a’~1n’过度集中,由此,使通信目的地的用户的远程呈现变得容易。
此外,云服务器3b不特别限定于上述的例子,例如也可以为,将人物判定部32、用户DB33、邻近信息管理部34、邻近信息DB35以及时刻信息取得部36省略,对所有远程呈现机器人1a’~1n’的位置和所有通信目的地的用户的位置进行监视,根据通信目的地的用户的位置来自动地调整远程呈现机器人1a’~1n’的位置。
便携终端5a~5m各自具备位置检测部51以及通信部52,与实施方式2同样地构成,同样地工作。
云服务器3b的通信部31接收从各便携终端5a~5m发送来的表示通信目的地的各用户的当前位置的用户位置信息以及用户识别信息并输出给用户位置管理部61。用户位置管理部61将用户位置信息以及用户识别信息存储于用户位置DB62。
远程呈现机器人1a’~1n’的位置检测部24与位置检测部51同样地构成,检测表示各远程呈现机器人1a’~1n’的当前位置的机器人位置信息(装置位置信息),通信部17将检测出的机器人位置信息与机器人识别信息一起发送给云服务器3b。
例如,在大阪的办公室内设置多个Wi-Fi(注册商标)基站或者信标发信器,位置检测部24使用Wi-Fi(注册商标)定位法或者信标定位法,算出来自Wi-Fi(注册商标)基站或者信标发信器的电波的强度的不同,推定远程呈现机器人1a’~1n’的当前位置。此外,检测远程呈现机器人1a’~1n’的当前位置的方法不特别限定于上述的例子,例如,也可以使用下述其他方法:使用加速度传感器、磁性传感器、角速度传感器等,推定远程呈现机器人1a’~1n’的移动方向以及移动量的自主导航法;在屋内设置与GPS相同的方式(协议和频率)的发信器,沿用既有的GPS接收功能来无缝地测定屋内和屋外的远程呈现机器人1a’~1n’的位置的IMES定位法;用麦克风13接收从设置于屋内的扬声器产生的超声波,推定远程呈现机器人1a’~1n’的位置的声波定位法等。
云服务器3b的通信部31接收从各远程呈现机器人1a’~1n’发送来的表示各远程呈现机器人1a’~1n’的当前位置的机器人位置信息以及机器人识别信息并输出给机器人位置管理部66。机器人位置管理部66将机器人位置信息以及机器人识别信息存储于机器人位置DB67。
机器人位置管理部66经由用户位置管理部61从用户位置DB62中读出用户位置信息,并且从机器人位置DB67中读出机器人位置信息。机器人位置管理部66基于用户位置信息以及机器人位置信息,决定使多个远程呈现机器人1a’~1n’相对于多个通信目的地的用户均匀地分散的配置。机器人位置管理部66使用通信部31,将用于使远程呈现机器人1a’~1n’移动以使得多个远程呈现机器人1a’~1n’被分散地配置给多个通信目的地的用户的移动命令发送给远程呈现机器人1a’~1n’。
具体而言,机器人位置管理部66计算使通信目的地的各用户与距离该用户最近的远程呈现机器人之间的距离之和最小的配置,将通信目的地的各用户与远程呈现机器人1a’~1n’的距离最优化。
另外,在通信目的地的用户所处的空间横跨多个房间、和/或虽然在宽阔的空间内但存在障碍物的情况下,机器人位置管理部66也可以使用下述方法进行将远程呈现机器人的当前位置设为起点、将通信目的地的各用户的当前位置设为终点时的路径计划,使各远程呈现机器人移动到各远程呈现机器人移动的路径之和被最小化的位置。例如,可以使用内田雅文,“用于移动机器人的最短路径计划方法”(移動ロボットのための最短経路計画法),电学论C,115卷9号,平成7年,p.1079-1085,或者陈谦,三郎,“重视更新效率的用于室内移动机器人的路径计划的新的地图模型”(更新効率を重視した屋内移動ロボットの経路計画のための新しい地図モデル),日本机器人学会杂志,Vol.10,No.1,1992年,p89~98等所记载的方法。此外,通信目的地的用户所处的空间的楼层的地图等预先存储于机器人位置DB67。
图13是表示图12所示的远程呈现机器人1a’~1n’的配置状态的一例的示意图。例如,假设6位用户R1~R6和3台远程呈现机器人1a’~1c’位于成为通信目的地的大阪的办公室的情况。在该情况下,发送上述的移动命令之前,如图13的左侧所示,相对于分散地位于各处的6位用户R1~R6,3台远程呈现机器人1a’~1c’过度集中。此时,云服务器3b将上述的移动命令发送给两台远程呈现机器人1b’、1c’后,如图13的右侧所示,两台远程呈现机器人1b’、1c’如图示那样移动,3台远程呈现机器人1a’~1c’配置于相对于6位用户R1~R6分散的位置。
图14是表示由图12所示的通信系统实现的通信控制处理的一例的时序图。
首先,多个便携终端5a~5m的各自的位置检测部51一直或者按预定间隔地检测通信目的地的各用户的用户位置信息,通信部52将通信目的地的各用户的用户位置信息以及用户识别信息发送给云服务器3b(步骤S51)。
接着,云服务器3b的通信部31接收从便携终端5a~5m发送来的通信目的地的各用户的用户位置信息以及用户识别信息并输出给用户位置管理部61,用户位置管理部61将通信目的地的各用户的用户位置信息以及用户识别信息存储于用户位置DB62(步骤S52)。
接着,多个远程呈现机器人1a’~1n’的各自的位置检测部24一直或者按预定间隔地检测各远程呈现机器人1a’~1n’的机器人位置信息,通信部17将多个远程呈现机器人1a’~1n’的机器人位置信息以及机器人识别信息发送给云服务器3b(步骤S53)。
接着,云服务器3b的通信部31接收从远程呈现机器人1a’~1n’发送来的机器人位置信息以及机器人识别信息并输出给机器人位置管理部66,机器人位置管理部66将各远程呈现机器人1a’~1n’的机器人位置信息以及机器人识别信息存储于机器人位置DB67(步骤S54)。
接着,机器人位置管理部66经由用户位置管理部61从用户位置DB62中读出用户位置信息,并且从机器人位置DB67中读出机器人位置信息,算出通信目的地的各用户与距离该用户最近的远程呈现机器人之间的当前的距离(步骤S55)。
接着,机器人位置管理部66计算使通信目的地的各用户与距离该用户最近的远程呈现机器人的距离之和最小的配置,将通信目的地的各用户与远程呈现机器人的距离最优化(步骤S56)。
接着,机器人位置管理部66使用通信部31,将用于使远程呈现机器人1a’~1n’移动以使得成为使通信目的地的各用户与距离该用户最近的远程呈现机器人的距离之和最小的配置的移动命令发送给远程呈现机器人1a’~1n’(步骤S57)。
接着,远程呈现机器人1a’~1n’接收来自通信部31的移动命令,移动到移动命令所示的位置(步骤S58)。因此,多个远程呈现机器人1a’~1n’配置成相对于多个通信目的地的用户分散的状态。此外,在图14中,为了简化图示,以执行1次各处理的方式进行了图示,但不特别限定于该例,也可以随意将各处理执行多次,使得多个远程呈现机器人1a’~1n’总是相对于通信目的地的各用户的最新的位置分散。
根据上述的处理,在本实施方式中,在不仅多个用户,而且多个远程呈现机器人1a’~1n’也移动的环境下,接收表示多个通信目的地的用户各自的位置的用户位置信息以及表示多个远程呈现机器人1a’~1n’各自的位置的机器人位置信息,基于接收到的用户位置信息以及机器人位置信息,使多个远程呈现机器人1a’~1n’移动以使得多个远程呈现机器人1a’~1n’被分散地配置给多个通信目的地的用户,因此,多个通信目的地的用户各自能够使用位于最近处的远程呈现机器人,容易地进行与通信源的用户的通信装置4之间的通信,能够高效地使用多个远程呈现机器人1a’~1n’。
(实施方式4)
图15是表示本公开的实施方式4涉及的通信系统的构成的一例的框图。图15所示的通信系统与图12所示的通信系统的不同之处在于:云服务器3b变更为还具备通信状态管理部68、通信状态DB(数据库)69的云服务器3c,其他之处与图12所示的通信系统是同样的,因此,对同一部分赋予同一标号,省略详细说明。
在上述的实施方式3中,对所有远程呈现机器人1a’~1n’的位置和所有通信目的地的用户的位置进行监视,根据所有通信目的地的用户的位置来自动地调整所有远程呈现机器人1a’~1n’的位置,但在本实施方式中,对所有远程呈现机器人1a’~1n’的位置和所有通信目的地的用户的位置进行监视,并且确定处于通信状态的远程呈现机器人,根据除正在使用处于通信状态的远程呈现机器人的用户以外的通信目的地的未通信用户的位置,自动地调整除处于通信状态的远程呈现机器人以外的未通信远程呈现机器人(未通信装置)的位置,防止未通信远程呈现机器人的过度集中,由此,使未通信用户的远程呈现变得容易。
此外,云服务器3c不特别限定于上述的例子,例如也可以为,将人物判定部32、用户DB33、邻近信息管理部34、邻近信息DB35以及时刻信息取得部36省略,对所有远程呈现机器人1a’~1n’的位置和所有通信目的地的用户的位置进行监视,并且确定处于通信状态的远程呈现机器人,根据除正在使用处于通信状态的远程呈现机器人的用户以外的通信目的地的未通信用户的位置,自动地调整除处于通信状态的远程呈现机器人以外的未通信远程呈现机器人的位置。
对话连接处理部37在将远程呈现机器人1与通信装置4以能够通信的方式进行了连接时,将包括通信中所使用的远程呈现机器人1的机器人识别信息以及使用该远程呈现机器人1进行着通信的通信目的地的用户的用户识别信息在内的通信状态信息,作为远程呈现机器人1与通信装置4的通信状态输出给通信状态管理部68。通信状态管理部68将当前的通信状态信息存储于通信状态DB69,将通信状态更新。
通信状态管理部68参照通信状态DB69的通信状态信息,确定所有远程呈现机器人1a’~1n’中的处于通信状态的远程呈现机器人,将处于通信状态的远程呈现机器人的机器人识别信息以及正在使用该远程呈现机器人的通信目的地的用户的用户识别信息输出给机器人位置管理部66。
机器人位置管理部66将处于通信状态的远程呈现机器人以及正在使用该远程呈现机器人的通信目的地的用户排除,经由用户位置管理部61从用户位置DB62读出用户位置信息,并且从机器人位置DB67读出机器人位置信息。机器人位置管理部66基于将正在使用处于通信状态的远程呈现机器人的通信目的地的用户的用户位置信息以及该远程呈现机器人的机器人位置信息除外的用户位置信息以及机器人位置信息,决定使未通信远程呈现机器人相对于未通信用户均匀地分散的配置。机器人位置管理部66使用通信部31,将用于使未通信远程呈现机器人移动以使得未通信远程呈现机器人被分散地配置给未通信用户的移动命令发送给未通信远程呈现机器人。
图16是表示图15所示的远程呈现机器人1a’~1n’的配置状态的一例的示意图。例如,假设6位用户R1~R6和3台远程呈现机器人1a’~1c’位于成为通信目的地的大阪的办公室的情况。在该情况下,发送上述的移动命令之前,如图16的左侧所示,相对于分散地位于各处的6位用户R1~R6,分散地配置有3台远程呈现机器人1a’~1c’。此时,若用户R4使用远程呈现机器人1c’开始进行远程呈现,则云服务器3b将用户R4以及远程呈现机器人1c’排除,将上述的移动命令发送给两台远程呈现机器人1a’、1b’以使得两台远程呈现机器人1a’、1b’被分散地配置给5位用户R1~R3、R5、R6。其结果,如图16的右侧所示,两台远程呈现机器人1a’、1b’如图示那样移动,两台远程呈现机器人1a’、1b’配置于相对于5位用户R1~R3、R5、R6分散的位置。
图17是表示由图15所示的通信系统实现的通信控制处理的一例的时序图。
首先,在图17所示的通信控制处理中,与图14所示的通信控制处理同样地执行步骤S51~S54的处理。
接着,云服务器3c与云服务器3同样地,执行图3所示的通信控制处理,对话连接处理部37将通信目的地的远程呈现机器人1与通信装置4以能够通信的方式进行连接,将来自通信装置4的通信源的用户的消息等发送给距离通信目的地的用户最近的远程呈现机器人1,并且将来自远程呈现机器人1的通信目的地的用户的消息等发送给通信装置4,使用通信装置4和远程呈现机器人1,在通信源的用户与通信目的地的用户之间实现远程呈现(步骤S61)。
接着,对话连接处理部37将包括通信中所使用的远程呈现机器人1的机器人识别信息以及使用该远程呈现机器人1正在通信的通信目的地的用户的用户识别信息在内的通信状态信息,作为远程呈现机器人1与通信装置4的通信状态输出给通信状态管理部68,通信状态管理部68将当前的通信状态信息存储于通信状态DB69,将通信状态更新(步骤S62)。
接着,通信状态管理部68参照通信状态DB69的通信状态信息,确定处于通信状态的远程呈现机器人,将处于通信状态的远程呈现机器人的机器人识别信息以及正在使用该远程呈现机器人的通信目的地的用户的用户识别信息输出给机器人位置管理部66,机器人位置管理部66将处于通信状态的远程呈现机器人以及正在使用该远程呈现机器人的通信目的地的用户排除,读出用户位置信息以及机器人位置信息,算出通信目的地的各未通信用户与距离该用户最近的未使用远程呈现机器人之间的当前距离(步骤S63)。
接着,机器人位置管理部66计算使通信目的地的各未通信用户与距离该用户最近的未使用远程呈现机器人之间的距离之和最小的配置,将未通信用户与未使用远程呈现机器人的距离最优化(步骤S64)。
接着,机器人位置管理部66使用通信部31,将用于使未通信远程呈现机器人移动以使得未通信远程呈现机器人被分散地配置给未通信用户的移动命令发送给未通信远程呈现机器人(步骤S65)。
接着,未通信远程呈现机器人接收来自通信部31的移动命令,移动到移动命令所示的位置(步骤S66)。因此,多个未通信远程呈现机器人配置为相对于多个通信目的地的未通信用户分散的状态。此外,在图17中,为了简化图示,以执行1次各处理的方式进行了图示,但不特别限定于该例,也可以随意将各处理执行多次,使得多个未通信远程呈现机器人总是相对于通信目的地的各未通信用户的最新的位置分散。
根据上述的处理,在本实施方式中,在不仅多个用户,而且多个远程呈现机器人1a’~1n’也移动的环境下,使多个远程呈现机器人1a’~1n’中的没有在与通信装置4通信的未通信远程呈现机器人移动以使得未通信远程呈现机器人被分散地配置给多个通信目的地的用户中的没有在与通信装置4通信的未通信用户,因此,未通信用户能够使用位于最近处的未通信远程呈现机器人,容易地进行与通信装置4的通信,能够高效地使用未通信远程呈现机器人。
以上,基于上述的实施方式说明了本公开的一个技术方案涉及的通信系统,但本公开不限定于上述的实施方式。只要不偏离本公开的宗旨,将本领域技术人员想到的各种变形应用于本实施方式而得到的方式、或者将不同的实施方式中的构成要素组合而构建的方式也包含在本公开的范围内。
产业上的可利用性
本公开涉及的通信控制方法、通信控制装置、远程呈现机器人以及通信控制程序能够在通信目的地的多个用户移动的环境下,将通信源的用户使用的通信源通信装置与多个通信目的地通信装置中的对于通信目的地的用户而言适当的通信目的地通信装置以能够通信的方式进行连接,因此,对在通信源的用户与远程位置的通信目的地的用户之间提供仿佛当场地面对着那样的临场感的远程呈现等是有用的。

Claims (20)

1.一种通信控制方法,是控制第1通信装置与多个第2通信装置之间的通信的方法,包括:
(A)从所述多个第2通信装置接收用于识别所述多个第2通信装置的多个装置识别信息和用于掌握所述多个第2通信装置周围的状况的多个状况信息;
(B)在接收到的所述多个状况信息中的至少一个包含与用户有关的信息时,基于所述与用户有关的信息和所述多个装置识别信息中的至少一个,更新表示哪个用户位于哪个第2通信装置周围的邻近信息数据库;
(C)在从所述第1通信装置接收到向某个对象用户的连接请求时,参照所述邻近信息数据库,从所述多个第2通信装置中选择位于所述对象用户周围的第2通信装置;
(D)将选择出的所述第2通信装置与所述第1通信装置以能够通信的方式进行连接。
2.根据权利要求1所述的通信控制方法,
在所述(B)中,包括:
(b1)在接收到的所述多个状况信息中的所述至少一个包含人物的特征的信息时,通过将所述人物的所述特征与用户数据库所登记的多个用户的特征进行比对,从所述多个用户中决定与所述人物一致的所述用户;
(b2)将所决定的所述用户与位于所述用户周围的至少一个第2通信装置关联,至少生成一条邻近信息。
3.根据权利要求2所述的通信控制方法,
在所述(B)中,还包括:
(b3)在最近的预定期间内生成了与相同的用户有关的两条以上的邻近信息的情况下,从所述两条以上的邻近信息中决定与距离所述用户最近的第2通信装置有关的邻近信息;
(b4)将所决定的所述邻近信息保存于所述邻近信息数据库。
4.根据权利要求2所述的通信控制方法,
在所述(b2)中,包括:
(b21)从所述用户数据库中取得确定所决定的所述用户的用户识别信息;
(b22)将取得的所述用户识别信息与确定位于所述用户周围的所述至少一个第2通信装置的所述至少一个装置识别信息关联。
5.根据权利要求1至4中任一项所述的通信控制方法,
所述连接请求包含确定所述对象用户的对象用户识别信息,
在所述(C)中,包括:
(c1)从所述邻近信息数据库内的多个用户识别信息中,决定与所述对象用户识别信息一致的用户识别信息;
(c2)在所述邻近信息数据库中,确定与所决定的用户识别信息关联的所述装置识别信息。
6.根据权利要求2至4中任一项所述的通信控制方法,
所述多个状况信息是拍摄到所述多个第2通信装置周围的多个图像数据,
所述人物的所述特征是所述图像数据所包含的所述人物的脸部的特征,
所述多个用户的所述特征是所述多个用户的脸部的特征。
7.根据权利要求3所述的通信控制方法,
所述多个状况信息是拍摄到所述多个第2通信装置周围的多个图像数据,
所述人物的所述特征是所述图像数据所包含的所述人物的脸部的特征,
所述多个用户的所述特征是所述多个用户的脸部的特征,
在所述(b3)中,包括:
(b31)从包含有所述相同的用户的脸部的两个以上的图像数据中,分别提取映有所述用户的脸部的两个以上的脸部图像区域;
(b32)通过比较所述两个以上的脸部图像区域,从所述两个以上的图像数据中决定具有最大的脸部图像区域的图像数据;
(b33)将取得了所决定的所述图像数据的第2通信装置视为距离所述用户最近的第2通信装置。
8.根据权利要求2至4中任一项所述的通信控制方法,
所述多个状况信息是录有所述多个第2通信装置周围的声音的多个声音数据,
所述人物的所述特征是所述声音数据所包含的所述人物的声音的特征,
所述多个用户的所述特征是所述多个用户的声音的特征。
9.根据权利要求3所述的通信控制方法,
所述多个状况信息是录有所述多个第2通信装置周围的声音的多个声音数据,
所述人物的所述特征是所述声音数据所包含的所述人物的声音的特征,
所述多个用户的所述特征是所述多个用户的声音的特征,
在所述(b3)中,包括:
(b31)解析包含有所述相同的用户的声音的两个以上的声音数据,从而取得两个以上的位置信息,该两个以上的位置信息分别表示所述用户的声音的声源与取得所述两个以上的声音数据的两个以上的第2通信装置之间的相对的位置关系;
(b32)参照所述两个以上的位置信息,决定距离所述用户最近的第2通信装置。
10.根据权利要求1所述的通信控制方法,
与所述用户有关的信息是与由所述用户发送的信标信号有关的信号信息,
在所述(B)中,包括:
(b1)在接收到的所述多个状况信息中的所述至少一个包含所述信号信息时,通过将所述信号信息与用户数据库所登记的多个用户的多个信号信息进行比对,从所述多个用户中决定所述用户;
(b2)将所决定的所述用户与位于所述用户周围的至少一个第2通信装置关联,至少生成一条邻近信息。
11.根据权利要求10所述的通信控制方法,
在所述(B)中,还包括:
(b3)在最近的预定期间内生成了与相同的用户有关的两条以上的邻近信息的情况下,根据与由所述相同的用户发送的所述信标信号有关的两个以上的信号信息,分别取得各自表示所述信标信号的强度的强度信息;
(b4)参照所述两个以上的强度信息,决定距离所述用户最近的第2通信装置;
(b5)将与所决定的所述第2通信装置有关的邻近信息保存于所述邻近信息数据库。
12.根据权利要求1所述的通信控制方法,还包括:
(E)将使通信时刻信息与用户识别信息关联的通信历史记录信息记录于通信历史记录数据库,所述通信时刻信息表示选择出的所述第2通信装置与所述第1通信装置进行了通信的时刻,所述用户识别信息是识别所述对象用户的信息;
(F)参照所述通信历史记录数据库,在所述对象用户的通信频度高于预定值的情况下,使所述多个第2通信装置中的至少一个配置在所述对象用户周围。
13.根据权利要求12所述的通信控制方法,
在所述(F)中,当在某个时间段所述对象用户的通信频度高于预定值的情况下,在所述时间段,使所述多个第2通信装置中的至少一个配置在所述对象用户周围。
14.根据权利要求1所述的通信控制方法,还包括:
(G)每次接收所述装置识别信息和所述状况信息时,对表示所述多个第2通信装置各自的位置的装置位置信息和表示多个用户各自的位置的用户位置信息进行更新;
(H)基于所述装置位置信息和所述用户位置信息,使所述多个第2通信装置移动,以使得所述多个第2通信装置被分散地配置给所述多个用户。
15.根据权利要求14所述的通信控制方法,
在所述(H)中,使所述多个第2通信装置中的没有与所述第1通信装置通信的至少两个第2通信装置移动,以使得所述至少两个第2通信装置被分散地配置给所述多个用户中的没有与任何人进行通信的至少两个用户。
16.根据权利要求1所述的通信控制方法,还包括:
(I)在所述(B)之后,将更新后的所述邻近信息数据库的至少一部分信息发送给所述多个第2通信装置。
17.根据权利要求1至4中任一项所述的通信控制方法,
所述多个第2通信装置的每一个是远程呈现机器人,
所述远程呈现机器人包括:
一对轮子或者一双脚;
通信机;
显示器;
扬声器;以及
麦克风。
18.一种通信控制装置,其控制第1通信装置与多个第2通信装置之间的通信,具备:
存储器,其记录有使根据权利要求1至4中任一项所述的通信控制方法执行的程序;以及
处理器,其执行所述程序。
19.一种远程呈现机器人,包括:
根据权利要求18所述的通信控制装置;
所述多个第2通信装置中的至少一个;
一对轮子或者一双脚;
通信机;
显示器;
扬声器;以及
麦克风。
20.一种非瞬时性存储介质,记录有使处理器执行根据权利要求1至4中任一项所述的通信控制方法的程序。
CN201810003550.7A 2017-01-20 2018-01-03 通信控制方法与装置、远程呈现机器人以及存储介质 Active CN108326875B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017008547 2017-01-20
JP2017-008547 2017-01-20
JP2017173789A JP6934623B2 (ja) 2017-01-20 2017-09-11 通信制御方法、テレプレゼンスロボット、及び通信制御プログラム
JP2017-173789 2017-09-11

Publications (2)

Publication Number Publication Date
CN108326875A true CN108326875A (zh) 2018-07-27
CN108326875B CN108326875B (zh) 2023-03-24

Family

ID=62907390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810003550.7A Active CN108326875B (zh) 2017-01-20 2018-01-03 通信控制方法与装置、远程呈现机器人以及存储介质

Country Status (2)

Country Link
US (1) US10397750B2 (zh)
CN (1) CN108326875B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409493A (zh) * 2018-09-12 2019-03-01 中国人民解放军国防科技大学 一组自主机器人伴随观察行为建立方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108326875B (zh) * 2017-01-20 2023-03-24 松下知识产权经营株式会社 通信控制方法与装置、远程呈现机器人以及存储介质
US11212439B2 (en) * 2018-07-24 2021-12-28 Ricoh Company, Ltd. Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
CN112187845A (zh) * 2019-07-03 2021-01-05 株式会社理光 信息处理装置及方法、远程监控机器人、据点控制系统
KR20210050201A (ko) * 2019-10-28 2021-05-07 엘지전자 주식회사 로봇, 로봇의 작동 방법 및 상기 로봇을 포함하는 로봇 시스템

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037163A1 (en) * 2000-05-01 2001-11-01 Irobot Corporation Method and system for remote control of mobile robot
JP2005064876A (ja) * 2003-08-12 2005-03-10 Seiko Epson Corp 呼出制御システム、呼出制御装置、電話機、呼出制御方法および通話方法
JP2005103703A (ja) * 2003-09-30 2005-04-21 Toshiba Corp ロボット
JP2007053477A (ja) * 2005-08-16 2007-03-01 Nec Infrontia Corp 呼出制御方法、呼出制御システム、呼出制御装置及び電話機
US20090174763A1 (en) * 2008-01-09 2009-07-09 Sony Ericsson Mobile Communications Ab Video conference using an external video stream
US20120197464A1 (en) * 2011-01-28 2012-08-02 Intouch Health Interfacing with a mobile telepresence robot
CN103052022A (zh) * 2011-10-17 2013-04-17 中国移动通信集团公司 基于移动行为的用户稳定点发现方法和系统
CN103988484A (zh) * 2011-11-17 2014-08-13 夏普株式会社 重放装置、电视接收机、设备选择方法、程序以及存储介质
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人
US20150085063A1 (en) * 2013-09-20 2015-03-26 Microsoft Corporation Configuration of a touch screen display with conferencing
CN104965426A (zh) * 2015-06-24 2015-10-07 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人控制系统、方法和装置
CN105810200A (zh) * 2016-02-04 2016-07-27 深圳前海勇艺达机器人有限公司 基于声纹识别的人机对话装置及其方法
CN106054619A (zh) * 2015-04-16 2016-10-26 松下知识产权经营株式会社 信息通知方法以及声音输出装置
US20160337795A1 (en) * 2013-12-19 2016-11-17 Intel Corporation Context-aware collaborative user tracking

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4014044B2 (ja) 2003-01-28 2007-11-28 株式会社国際電気通信基礎技術研究所 コミュニケーションロボットおよびそれを用いたコミュニケーションシステム
US9283674B2 (en) * 2014-01-07 2016-03-15 Irobot Corporation Remotely operating a mobile robot
CN108326875B (zh) * 2017-01-20 2023-03-24 松下知识产权经营株式会社 通信控制方法与装置、远程呈现机器人以及存储介质
JP7013689B2 (ja) * 2017-06-21 2022-02-01 富士フイルムビジネスイノベーション株式会社 遠隔操作型移動ロボットおよびロボット制御システム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010037163A1 (en) * 2000-05-01 2001-11-01 Irobot Corporation Method and system for remote control of mobile robot
JP2005064876A (ja) * 2003-08-12 2005-03-10 Seiko Epson Corp 呼出制御システム、呼出制御装置、電話機、呼出制御方法および通話方法
JP2005103703A (ja) * 2003-09-30 2005-04-21 Toshiba Corp ロボット
JP2007053477A (ja) * 2005-08-16 2007-03-01 Nec Infrontia Corp 呼出制御方法、呼出制御システム、呼出制御装置及び電話機
US20090174763A1 (en) * 2008-01-09 2009-07-09 Sony Ericsson Mobile Communications Ab Video conference using an external video stream
US20120197464A1 (en) * 2011-01-28 2012-08-02 Intouch Health Interfacing with a mobile telepresence robot
CN103052022A (zh) * 2011-10-17 2013-04-17 中国移动通信集团公司 基于移动行为的用户稳定点发现方法和系统
CN103988484A (zh) * 2011-11-17 2014-08-13 夏普株式会社 重放装置、电视接收机、设备选择方法、程序以及存储介质
US20150085063A1 (en) * 2013-09-20 2015-03-26 Microsoft Corporation Configuration of a touch screen display with conferencing
US20160337795A1 (en) * 2013-12-19 2016-11-17 Intel Corporation Context-aware collaborative user tracking
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人
CN106054619A (zh) * 2015-04-16 2016-10-26 松下知识产权经营株式会社 信息通知方法以及声音输出装置
CN104965426A (zh) * 2015-06-24 2015-10-07 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人控制系统、方法和装置
CN105810200A (zh) * 2016-02-04 2016-07-27 深圳前海勇艺达机器人有限公司 基于声纹识别的人机对话装置及其方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409493A (zh) * 2018-09-12 2019-03-01 中国人民解放军国防科技大学 一组自主机器人伴随观察行为建立方法

Also Published As

Publication number Publication date
US10397750B2 (en) 2019-08-27
CN108326875B (zh) 2023-03-24
US20180213362A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
CN108326875A (zh) 通信控制方法与装置、远程呈现机器人以及存储介质
JP6934623B2 (ja) 通信制御方法、テレプレゼンスロボット、及び通信制御プログラム
US11632645B2 (en) Improving computer performance of executing binaural sound
US9554091B1 (en) Identifying conference participants and active talkers at a video conference endpoint using user devices
US20220244710A1 (en) Information processing device and information processing method
CN110313190B (zh) 控制装置和方法
CN107192390A (zh) 共享车辆的定位方法、装置及终端设备
US20230050825A1 (en) Hands-Free Crowd Sourced Indoor Navigation System and Method for Guiding Blind and Visually Impaired Persons
KR20190109324A (ko) 로봇 충전대의 위치를 추천하기 위한 방법, 장치 및 시스템
KR20130134585A (ko) 휴대 단말의 센싱 정보 공유 장치 및 방법
Higuchi et al. Mobile devices as an infrastructure: A survey of opportunistic sensing technology
US11874876B2 (en) Electronic device and method for predicting an intention of a user
CN107846696B (zh) ZigBee系统、终端设备的控制方法及装置
CN117178241A (zh) 一种展陈场景智能讲解的系统及其方法
JP7056155B2 (ja) 情報伝達装置、情報伝達システム及びプログラム
US10049558B2 (en) Information processing system, terminal, information processing method, information processing method of terminal, and program
CN108965231A (zh) 通信控制方法及装置、远程临场机器人以及记录介质
JPWO2020095714A1 (ja) 情報処理装置および方法、並びに、プログラム
CN113074731B (zh) 一种智能导航设备及智能导航设备自主导航方法
JPWO2019049661A1 (ja) 情報処理装置、情報処理方法、およびプログラム
García et al. Determining and locating the closest available resources to mobile collaborators
KR101217624B1 (ko) 모바일 단말기를 이용한 보행 안내 장치 및 그 방법
JP2012243140A (ja) サーバ、携帯端末、通信システム、通信方法、およびプログラム
TWI788217B (zh) 立體空間中定位方法與定位系統
CN108766278A (zh) 一种电子路牌信息显示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant