CN111133762A - 信息提供系统、信息提供方法以及信息提供系统用管理装置 - Google Patents

信息提供系统、信息提供方法以及信息提供系统用管理装置 Download PDF

Info

Publication number
CN111133762A
CN111133762A CN201880062824.8A CN201880062824A CN111133762A CN 111133762 A CN111133762 A CN 111133762A CN 201880062824 A CN201880062824 A CN 201880062824A CN 111133762 A CN111133762 A CN 111133762A
Authority
CN
China
Prior art keywords
image data
robot
user
unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880062824.8A
Other languages
English (en)
Other versions
CN111133762B (zh
Inventor
蛭田茂宪
村松大辅
北村史郎
仲山修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN111133762A publication Critical patent/CN111133762A/zh
Application granted granted Critical
Publication of CN111133762B publication Critical patent/CN111133762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9035—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Toys (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种信息提供系统，具备：将由机器人的拍摄部获取的图像数据与由信息获取部获取的位置信息和时刻信息建立关联地进行存储的存储部、从存储的图像数据中提取与由使用者指示的时刻和位置相对应的图像数据的数据提取部、基于提取出的图像数据来显示图像的显示部。存储部对由与第一使用者一起移动的第一机器人的拍摄部获取的图像数据和由与第二使用者一起移动的第二机器人的拍摄部获取的图像数据进行存储。在存储于存储部中的由第一机器人获取的图像数据中不存在与由第一使用者指示的时刻和位置相对应的图像数据时，数据提取部从存储于存储部中的由第二机器人获取的图像数据中提取与由第一使用者指示的时刻和位置相对应的图像数据。

Description

信息提供系统、信息提供方法以及信息提供系统用管理装置
技术领域
本发明涉及一种向使用者提供通过机器人获取的信息的信息提供系统、信息提供方法以及信息提供系统用管理装置。
背景技术
作为这种系统，以往已知有通过旅行者所携带的机器人获取旅行者所看到的影像、对话的数据并将这些获取的数据保存于服务器中的系统(例如参见专利文献1)。采用该系统，旅行目的地的影像、对话的数据经由机器人保存于服务器，因此使用者(旅行者)之后能够播放该数据。
然而，在上述专利文献1中记载的系统中，当因某种理由机器人获取影像、对话的数据失败时，无法向使用者提供可播放的数据。
现有技术文献
专利文献1：特开2017-104532号公报。
发明内容
本发明的一方式的信息提供系统具备：机器人，其与使用者一起移动，具有获取图像数据的拍摄部；信息获取部，其一并获取使用者或机器人的位置信息和时刻信息；存储部，其将由拍摄部获取的图像数据与由信息获取部获取的位置信息和时刻信息建立关联地进行存储；数据提取部，其从存储于存储部的图像数据中提取与由使用者指示的时刻和位置相对应的图像数据；以及显示部，其基于由数据提取部提取出的图像数据显示图像。机器人包含与第一使用者一起移动的第一机器人和与第二使用者一起移动的第二机器人，存储部存储由第一机器人的所述拍摄部获取的图像数据和由第二机器人的所述拍摄部获取的图像数据，在存储于存储部中的由第一机器人的拍摄部获取的图像数据中不存在与由第一使用者指示的时刻和位置相对应的图像数据时，数据提取部从存储于存储部中的由第二机器人的拍摄部获取的图像数据中提取与由第一使用者指示的时刻和位置相对应的图像数据。
本发明的其他方式为通过与使用者一起移动且具有获取图像数据的拍摄部的机器人提供信息的信息提供方法，该方法包含如下步骤：一并取得使用者或机器人的位置信息和时刻信息；将由拍摄部获取的图像数据与所获取的位置信息和时刻信息建立关联地存储于存储部中；从存储于存储部的图像数据中提取与由使用者指示的时刻和场所相对应的图像数据；基于提取出的图像数据显示图像。机器人包含：与第一使用者一起移动的第一机器人和与第二使用者一起移动的第二机器人，存储图像数据包含：对由第一机器人的拍摄部获取的图像数据和由第二机器人的拍摄部获取的图像数据进行存储，提取图像数据包含：在存储于存储部中的由第一机器人的拍摄部获取的图像数据中不存在与由第一使用者指示的时刻和位置相对应的图像数据时，从存储于存储部中的由第二机器人的拍摄部获取的图像数据中提取与由第一使用者指示的时刻和位置相对应的图像数据。
本发明的又一方式的信息提供系统用管理装置具备：信息获取部，其将由与使用者一起移动的机器人获取的图像数据和位置信息与时刻信息一并获取；存储部，其将由信息获取部获取的图像数据与位置信息和时刻信息建立关联地进行存储；输入部，其由使用者输入指令；数据提取部，其从存储于存储部中的图像数据中，提取与由输入部指示的时刻和位置相对应的图像数据；以及显示部，其基于由数据提取部提取出的图像数据显示图像。机器人包含与第一使用者一起移动的第一机器人和与第二使用者一起移动的第二机器人，存储部对由第一机器人获取的图像数据和由第二机器人获取的图像数据进行存储，数据提取部在存储于存储部中的由第一机器人获取的图像数据中不存在与由第一使用者指示的时刻和位置相对应的图像数据时，从存储于存储部中的由第二机器人获取的图像数据中提取与由第一使用者指示的时刻和位置相对应的图像数据。
发明效果：
根据本发明，即使在因某种理由使得机器人获取图像数据失败的情况下，也能通过机器人向使用者提供可充分播放的图像数据。
附图说明
图1是示出本发明的实施方式的信息提供系统的整体结构的示意图。
图2是示出图1的使用者设备的结构的图。
图3是示出图1的机器人的结构的图。
图4是示出图1的管理服务器的概略结构的框图。
图5是示出由图4的运算部执行的处理的一例的流程图。
图6是示出本发明的实施方式的信息提供系统的动作的一例的图。
附图标记说明：
10：使用者设备；12：显示器；16：控制器；20：机器人；20A：第一机器人；20B：第二机器人；26：控制器；30：管理服务器；36：存储部；37：信息获取部；38：数据提取部；40：使用者设备控制部；100：信息提供系统；211：视觉传感器。
具体实施方式
以下，参照图1～图6说明本发明的实施方式。本发明的实施方式的信息提供系统能够将由与使用者一起行动的机器人获取的信息保存于管理服务器，并且将保存于管理服务器中的信息提供给使用者。
图1是示出本发明的实施方式的信息提供系统100的整体结构的示意图。如图1所示，本实施方式的信息提供系统100包含由位于A地点的使用者1A佩戴的使用者设备10、与位于B地点的使用者1B一起行动的第一机器人20A、与位于C地点的使用者1C一起行动的第二机器人20B以及管理服务器30而构成。
这些使用者设备10、第一机器人20A、第二机器人20B以及管理服务器30借助包含互联网线路等无线通信网的网络2以能够通信的方式连接。此外，第一机器人20A与第二机器人20B彼此为相同结构，以下有时也用共用的附图标记20表示这些机器人20A、20B。
从A地点观察，B地点为较远的地方。即，A地点与B地点是彼此分离的地点，例如是互不相同地区或互不相同的国家。B地点的第一机器人20A由A地点的使用者1A远程操作。使用者1A和使用者1B例如是家人，当使用者1A难以与使用者1B一同外出(例如旅行)时，由第一机器人20A替代使用者1A，与使用者1B一起旅行，以将此时第一机器人20A所得到的信息提供给使用者1A的方式构成信息提供系统100。由此使用者1A例如能够待在家里享受仿佛与使用者1B一同旅行的氛围。此外，与C地点的使用者1C一起行动的第二机器人20B也由未图示的其他使用者(例如使用者1C的家人)远程操作。
B地点和C地点位于同一地区内，例如同一观光地区内。因此，B地点与C地点之间的距离在规定距离内。此外，规定距离例如既可以是数米～数十米，也可以是数千米左右。
第一机器人20A是从B地点或B地点附近的店铺3租借的。即，第一机器人20A由去了店铺3的使用者1B租借，在B地点与使用者1B一起行动。第二机器人20B是从C地点或C地点附近的店铺(例如B地点的店铺3)租借的。即，第二机器人20B由使用者1C租借，在C地点与使用者1C一起行动。当在各地点的旅行结束时，各机器人20A、20B由使用者1B、1C返还给店铺3。
在店铺3的各机器人20上预先标注固有的识别ID(机器人ID)。对租借机器人20的使用者赋予用于识别使用者的使用者ID。使用者ID与机器人ID建立对应关系，机器人20的租借信息，即哪个机器人20在哪个期间被哪个使用者租借的信息存储在管理服务器30中。
图2是示出使用者设备10的结构的图。如图2所示，使用者设备10是例如整体呈近似头盔形状的可穿戴计算机，佩戴于使用者的头部。使用者设备10具有对使用者的脑波、脑磁波、脑血流的状态等脑活动进行检测的多个传感器11。即，使用者设备10具备所谓的脑机接口(BMI)，该脑机接口(BMI)根据脑活动信号检测出使用者的思考或意图，不使用身体地实现机械操作。
使用者设备10还具有显示器12、麦克风13、扬声器14、输入装置15、控制器16以及无线单元17。显示器12是例如非透射式的头戴式显示器，配置为覆盖使用者的面部，显示由机器人20获取的相机图像。显示的相机图像包含由机器人20当前获取的当前时刻的相机图像和由机器人20过去获取的过去时刻的相机图像。
麦克风13配置于使用者的嘴边，输入由使用者发出的声音信号。扬声器14配置于使用者的耳边，输出声音。输入装置15由使用者操作的开关、触控面板等构成，能够经由输入装置15输入各种信息。例如，能够输入用于确定在显示器12上显示的相机图像的信息、即拍摄的时间和地点。
控制器16包含具有CPU、ROM、RAM等的微型计算机，控制无线单元17，在与管理服务器30之间进行通信。例如控制器16将来自传感器11和麦克风13的信号发送至管理服务器30，并基于来自管理服务器30的信号，向显示器12、扬声器14等输出控制信号。
控制器16还根据经由输入装置15输入的指令，对存储于管理服务器30中的图像数据进行读取，根据该图像数据，向显示器12输出控制信号，使之显示图像。即，控制器16具有对过去由机器人20获取的相机图像进行播放的功能。
图3是示出机器人20的结构的图。如图3所示，机器人20是具有头、躯体、2个臂部、2个腿部的人型机器人，机器人本身能够通过双腿步行而移动。机器人20的高度接近成人的身高，例如为140～160cm左右。
机器人20具有具备与用于感知外界的人的感觉功能即五感相对应的检测功能的多个传感器，即视觉传感器211、听觉传感器212、触觉传感器213、嗅觉传感器214以及味觉传感器215。这些传感器211～215将与人的五感相对应的信号(五感信号)作为检测信号进行输出。
更具体而言，视觉传感器211由相机构成，具有：拍摄部，其具有设置于机器人20的眼睛位置的CMOS传感器、CCD传感器等图像传感器和镜头；驱动部，其上下左右驱动拍摄部；以及变焦机构，其放大缩小被拍摄体，视觉传感器211获取机器人20的周围的图像(动画)。听觉传感器212由例如设置于机器人20的耳朵位置的麦克风构成，获取机器人20的周围的声音。触觉传感器213由例如设置于机器人20的机械手位置等的力觉传感器构成，检测作用于机器人20的机械手的外力。嗅觉传感器214设置于机器人20的鼻子位置，检测气味。味觉传感器215设置于机器人20的嘴的位置，检测味道。
机器人20还具有执行器22、扬声器23、输入装置24、GPS传感器25、控制器26以及无线单元27。执行器22由例如设置于机器人20的关节部的多个伺服马达等构成，机器人20借助执行器22的驱动而动作。扬声器23设置于机器人20的嘴的位置，输出声音。输入装置24具备电源开关等各种开关。GPS传感器25接收来自GPS卫星的GPS信号。GPS传感器25能够基于接收到的信号，检测机器人20的位置。
控制器26包含具有CPU、ROM、RAM等的微型计算机，控制无线单元27，在与管理服务器30之间进行通信。例如控制器26将来自输出五感信号的传感器211～215和GPS传感器25的信号发送至管理服务器30。控制器26还基于来自管理服务器30的信号向执行器22、扬声器23等输出控制信号。
图4是示出管理服务器30的概略结构的一例的框图。如图4所示，管理服务器30具有输入装置31、显示装置32、无线单元33以及控制器34。此外，输入装置31和显示装置32能够省略。此外，无线单元33是将使用者设备10与机器人20进行通信连接的结构(通信连接部)即可。
控制器34具有CPU等运算部35、ROM、RAM、硬盘等存储部36以及其他周边电路，控制无线单元33，在与使用者设备10和机器人20之间进行通信。运算部35具有信息获取部37、数据提取部38、机器人控制部39以及使用者设备控制部40作为功能性结构。此外，以下为了方便起见，根据需要，如图1所示，区分多个使用者和多个机器人进行说明。
信息获取部37经由无线单元33，获取从使用者设备10(图2的传感器11、麦克风13、输入装置15等)发送的数据和从第一机器人20A(图3的传感器211～215、GPS传感器25等)发送的数据。从第一机器人20A发送的数据中的由视觉传感器211获取的图像数据和由听觉传感器212获取的声音数据被标注第一机器人20A的机器人ID和与第一机器人20A一同行动的使用者1B的使用者ID，存储于存储部36。
存储部36具有自己数据存储部361和他人数据存储部362作为功能性结构。自己数据存储部361中存储标注有自己(使用者1B)的使用者ID的图像数据和声音数据。他人数据存储部362中存储标注有他人(使用者1C)的使用者ID的图像数据和声音数据。此外，他人数据存储部362也存储标注有使用者1A～1C以外的多个使用者的使用者ID的图像数据和声音数据。由GPS传感器25获取的第一机器人20A的位置信息也与同该位置信息相对应的时刻信息一起存储在自己数据存储部361中。由GPS传感器25获取的第二机器人20B的位置信息也与同该位置信息相对应的时刻信息一起存储于他人数据存储部362。
数据提取部38从存储于自己数据存储部361中的与自己(使用者1B)的使用者ID相对应的图像数据和声音数据中，提取与经由使用者设备10的输入装置15输入的时刻(目标时刻)和位置(目标位置)相对应的数据。即提取使用者1B想播放的目标时刻和目标位置的图像数据以及声音数据。此外，目标时刻能够由输入装置15指定，包含例如○月○日○时～△月△日△时等规定的时间范围。目标位置也能够由输入装置15指定，仅包含地名等规定的地理范围，并不指定包含门牌号的精确住址。
数据提取部38在与经由使用者设备10的输入装置15输入的目标时刻和目标位置相对应的数据没有保存于自己数据存储部361中时，根据存储于自己数据存储部361中的标注有自己(使用者1B)的使用者ID的第一机器人20A的位置信息和时刻信息，确定出目标时刻的第一机器人20A的实际位置(与目标位置不同的位置)。进而，判定经由输入装置15输入的目标位置是否相对于第一机器人20A的实际位置在规定距离内。该判定是对目标位置与第一机器人20A的实际位置是否彼此在同一地区(例如同一观光地)内的判定，规定距离设定为例如数十米～数千米左右。
数据提取部38在判定为经由输入装置15输入的目标位置相对于第一机器人20A的实际位置在规定距离内时，从存储于他人数据存储部362中的与他人(使用者1C)的使用者ID相对应的图像数据和声音数据(由第二机器人20B获取的图像数据和声音数据)中，提取与经由输入装置15输入的时刻和位置相对应的数据。另一方面，数据提取部38在判定为经由输入装置15输入的目标位置相对于第一机器人20A的实际位置不在规定距离内时，输出不能提取数据的信号。
机器人控制部39基于从使用者设备10发送出的针对第一机器人20A的动作指令、即基于使用者1A的脑活动的动作指令，生成针对第一机器人20A的执行器22的动作信号。然后，将该动作信号经由无线单元33发送至第一机器人20A。第一机器人20A的控制器26根据该动作信号，向执行器22输出控制信号。由此，能够按照使用者1A的意图，使第一机器人20A作为使用者1A的替身进行动作。机器人控制部39也能够使基于来自使用者设备10的麦克风13的信号的声音从第一机器人20A的扬声器23输出。
使用者设备控制部40基于来自第一机器人20A的传感器211～215的信号(五感信号)，生成针对使用者设备10的动作信号。然后，将该动作信号经由无线单元33发送至使用者设备10。例如基于由视觉传感器211检测出的信号，发送图像信号。使用者设备10的控制器16根据该图像信号，向显示器12输出控制信号，使显示器12显示从视觉传感器211获得的三维图像。由此，使用者1A能够实时地可靠掌握机器人20的周围状况。使用者设备控制部40也能够使基于来自听觉传感器212的信号的声音从使用者设备10的扬声器14输出。
使用者设备控制部40还经由无线单元33将由数据提取部38提取出的图像数据和声音数据发送至使用者设备10。
图5是示出由运算部35按照预先存储于存储部36的程序执行的处理、特别是与使用者设备10的图像显示相关的处理的一例的流程图。当例如使用者1B在自家经由使用者设备10(输入装置15)输入图像播放指令时，开始该流程图所示的处理。
首先在S1(S：处理步骤)中，读取经由输入装置15输入的指令、即用于确定播放图像的目标时刻和目标位置的指令。接下来，在S2中，判定存储于自己数据存储部361中的与自己的使用者ID相对应的图像数据和声音数据中是否存在与目标时刻和目标位置相对应的数据、即能否从自己数据存储部361提取数据。当S2为肯定时，进入S3，从自己数据存储部361提取与目标时刻和目标位置相对应的图像数据和声音数据。接下来，在S8中，将提取出的数据发送至使用者设备10。
另一方面，当S2为否定时，进入S4，基于存储于自己数据存储部361中的时刻信息和位置信息，确定目标时刻的标注有自己的使用者ID的第一机器人20A的实际位置。接下来，在S5中，判定目标位置是否相对于第一机器人20A的实际位置在规定距离内。当S5为肯定时，进入S6，判定存储于他人数据存储部362中的与他人(使用者1C)的使用者ID相对应的图像数据和声音数据中是否存在与目标时刻和目标位置相对应的数据、即能否从他人数据存储部362提取数据。当S6为肯定时，进入S7，从他人数据存储部362提取与目标时刻和目标位置相对应的图像数据和声音数据。接下来，在S8中，将提取出的数据发送至使用者设备10。
当S5为否定或者S6为否定时，进入S9。在S9中，将表示不能从存储部36提取与目标时刻和目标位置相对应的数据的信号(不能提取信号)发送至使用者设备10。
更加具体地说明本实施方式的信息提供系统100的主要动作。例如如图1所示，假设与第一机器人20A一起行动的使用者1B在从外出地回家后，利用使用者设备10播放由第一机器人20A获取的图像和声音数据的情况。此时，使用者1B经由输入装置15指示目标时刻和目标位置。
当指定例如使用者1B过去旅行过的地点B及当时的时刻作为目标位置以及目标时刻时，数据提取部38从自己数据存储部361提取相对应的图像数据和声音数据(S3)，使用者设备控制部40将这些数据发送至使用者设备10(S8)。由此，如图6所示，在使用者1B所佩戴的使用者设备10的显示器12上显示地点B的过去的图像51。其结果是，使用者1B能够回想过去旅行过的地点B的场景，享受乐趣。
在因某种理由(例如故障)，过去旅行过的B地点的数据没有存储于自己数据存储部361中时，数据提取部38从他人数据存储部362中提取相对应的图像数据和声音数据(S7)，使用者设备控制部40将这些数据发送至使用者设备10(S8)。由此，即使在第一机器人20A获取相机图像失败的情况下，使用者1B也能回想过去旅行过的地点B的场景，享受乐趣。
另一方面，当指定例如使用者1B过去在地点B旅行时没能去过的地点B的附近的地点C作为目标位置时，数据提取部38从他人数据存储部362提取相对应的图像数据和声音数据(S7)，使用者设备控制部40将这些数据发送至使用者设备10(S8)。由此，如图6所示，在使用者1B佩戴的使用者设备10的显示器12上显示地点C的过去的图像52。在该情况下，使用者1B实际去过的地点B和没能去过的地点C在规定距离内位于同一地区内。因此，能够使用C地点的图像数据作为对于使用者1B而言的补充数据，使用者1B能够与B地点的旅行建立关联地享受C地点的播放图像。
采用本实施方式，能够起到如下作用效果。
(1)本实施方式的信息提供系统100具有：机器人20，其与使用者一起移动，具有获取图像数据的视觉传感器211；信息获取部37，其一并获取机器人20的位置信息和时刻信息；存储部36，其将由视觉传感器211获取的图像数据与由信息获取部37获取的位置信息和时刻信息建立关联地进行存储；数据提取部38，其从存储于存储部36中的图像数据中提取与由使用者指示的目标时刻和目标位置相对应的图像数据；以及显示器12，其基于由数据提取部38提取出的图像数据，显示图像(图1～4)。机器人20包含与使用者1B一起移动的第一机器人20A和与使用者1C一起移动的第二机器人20B(图1)。存储部36具有：自己数据存储部361，其存储由第一机器人20A的视觉传感器211获取的图像数据；和他人数据存储部362，其存储由第二机器人20B的视觉传感器211获取的图像数据(图4)。在存储于自己数据存储部361中的由第一机器人20A的视觉传感器211获取的图像数据中不存在与由使用者1B指示的目标时刻和目标位置相对应的图像数据时，数据提取部38从存储于他人数据存储部362中的由第二机器人20B的视觉传感器211获取的图像数据中提取与由使用者1B指示的目标时刻和目标位置相对应的图像数据(图5)。因为像这样在自己数据存储部361中不存在与目标时刻和目标位置相对应的图像数据时，从存储于他人数据存储部362中的图像数据中提取与目标时刻和目标位置相对应的图像数据，所以即使在因某种理由使得第一机器人20A获取图像数据失败的情况下，也能向使用者提供可播放的所希望的图像数据。
(2)在与由使用者1B指示的目标时刻和目标位置相对应的第一机器人20A的位置信息和时刻信息没有存储于自己数据存储部361中时、也就是使用者1B没有在目标时刻去过目标位置时，数据提取部38从存储于他人数据存储部362中的由第二机器人20B的视觉传感器211获取的图像数据中提取与目标时刻和目标位置相对应的图像数据(图5)。由此，能够向使用者B提供使用者1B没能去过的场所的图像数据。
(3)数据提取部38以由使用者1B指示的目标时刻的存储于自己数据存储部361中的第一机器人20A的实际位置相对于由使用者1B指示的目标位置在规定距离内为条件，从存储于他人数据存储部362中的由第二机器人20B的视觉传感器211获取的图像数据中，提取与由使用者1B指示的目标时刻和目标位置相对应的图像数据(图5)。因此，提取出与使用者2B和第一机器人20A曾一起去过的场所位于同一地区的场所的图像数据，所以能够将提取出的图像数据用作图像播放时的补充数据，能够提供对于使用者1B而言有用的信息。
(4)机器人20构成为能够歩行(图3)。由此，机器人20即使不由使用者1B携带，也能与使用者1B一起行动，能够容易地获取使用者1B的周围的图像数据。
(5)本实施方式的信息提供方法是通过具有获取图像数据的视觉传感器211并且与使用者一起移动的机器人20提供信息的方法，包含如下步骤：一并获取机器人20的位置信息和时刻信息；将由视觉传感器211获取的图像数据与所获取的位置信息和时刻信息建立关联地存储于存储部36；从存储于存储部36中的图像数据中提取与由使用者指示的时刻和场所相对应的图像数据；基于提取出的图像数据显示图像(图5)。机器人20包含与使用者1B一起移动的第一机器人20A和与使用者1C一起移动的第二机器人20B(图1)。存储图像数据包含：存储由第一机器人20A的视觉传感器211获取的图像数据和由第二机器人20B的视觉传感器211获取的图像数据。提取图像数据包含：在存储于存储部36中的由第一机器人20A的视觉传感器211获取的图像数据中不存在与由使用者1B指示的目标时刻和目标位置相对应的图像数据时，从存储于存储部36中的由第二机器人20B的视觉传感器211获取的图像数据中提取与目标时刻和目标位置相对应的图像数据(S7)。由此，即使在第一机器人20A获取图像数据失败的情况下也能向使用者提供与目标时刻和目标位置相对应的图像数据。
上述实施方式能够进行各种变形。以下说明变形例。在上述实施方式中，使用了能够双腿步行的人型机器人20，但只要具有获取图像数据的视觉传感器211等的拍摄部并且与使用者一起移动，机器人的结构就不局限于上述情况。在上述实施方式中，根据来自使用者1A的指令，使机器人20移动，但也可以以例如由机器人自身判断周围的状况而追随使用者1B的方式构成机器人。在上述实施方式中，包含第一机器人20A和第二机器人20B而构成信息提供系统100，但也可以在信息提供系统中包含更多的机器人。这些机器人不仅可以包括相对于使用者指定的目标位置位于规定距离内的机器人，还可以包含超过规定距离而存在的机器人。
在上述实施方式中，信息获取部37获取来自GPS传感器25的信号，由此获取机器人20的位置信息和时刻信息，但是因为机器人20与使用者1B一起行动，所以也可以获取使用者1B的位置信息和时刻信息来替代机器人20的位置信息和时刻信息。例如，信息获取部37可以获取来自具有GPS传感器等的位置信息获取功能的由使用者1B携带的移动终端的信号。在上述实施方式中，数据提取部38从存储部36提取与目标位置和目标时刻相对应的图像数据和声音数据，但只要至少提取图像数据，所提取的数据就可以为任意数据，数据提取部的结构并不局限于上述内容。在上述实施方式中，在作为头戴式显示器的使用者设备10的显示器12上显示图像，但显示部的结构并不局限于此。
上述实施方式中的使用者设备10和机器人20的控制器16、26的功能的一部分也可以由管理服务器30承担，管理服务器30的功能的一部分也可以由控制器16、26承担。在上述实施方式中，使用者设备10和机器人20经由管理服务器30相互通信，但也可以不经由管理服务器30而直接通信。
在上述实施方式中，在店铺3租借机器人20，但例如即使使用者使用自家所有的机器人，也能够同样构成本发明。还可以将管理服务器30和店铺3的终端构成为能够通信，经由管理服务器30实施机器人20的租借预约申请、租金支付等。
以上说明归根结底为一例，只要不破坏本发明的特征，上述实施方式和变形例就不限定本发明。还能够将上述实施方式与变形例的一个或多个任意组合，也能够组合变形例彼此。

Claims (6)

1.一种信息提供系统，其特征在于，具备：
机器人，其与使用者一起移动，具有获取图像数据的拍摄部；
信息获取部，其一并获取所述使用者或所述机器人的位置信息和时刻信息；
存储部，其将由所述拍摄部获取的图像数据与由所述信息获取部获取的位置信息和时刻信息建立关联地进行存储；
数据提取部，其从存储于所述存储部的图像数据中提取与由所述使用者指示的时刻和位置相对应的图像数据；以及
显示部，其基于由所述数据提取部提取出的图像数据显示图像，
所述机器人包含与第一使用者一起移动的第一机器人和与第二使用者一起移动的第二机器人，
所述存储部存储由所述第一机器人的所述拍摄部获取的图像数据和由所述第二机器人的所述拍摄部获取的图像数据，
在存储于所述存储部中的由所述第一机器人的所述拍摄部获取的图像数据中不存在与由所述第一使用者指示的时刻和位置相对应的图像数据时，所述数据提取部从存储于所述存储部中的由所述第二机器人的所述拍摄部获取的图像数据中提取与由所述第一使用者指示的时刻和位置相对应的图像数据。
2.根据权利要求1所述的信息提供系统，其特征在于，
在与由所述第一使用者指示的时刻和位置相对应的所述第一使用者或所述第一机器人的位置信息和时刻信息没有存储于所述存储部中时，所述数据提取部从存储于所述存储部中的由所述第二机器人的所述拍摄部获取的图像数据中提取与由所述第一使用者指示的时刻和位置相对应的图像数据。
3.根据权利要求2所述的信息提供系统，其特征在于，
所述数据提取部以由所述第一使用者指示的时刻的存储于所述存储部中的所述第一使用者或所述第一机器人的位置相对于由所述第一使用者指示的位置在规定距离内为条件，从存储于所述存储部中的由所述第二机器人的所述拍摄部获取的图像数据中提取与由所述第一使用者指示的时刻和位置相对应的图像数据。
4.根据权利要求1至3中任一项所述的信息提供系统，其特征在于，
所述机器人构成为能够歩行。
5.一种信息提供方法，为通过具有获取图像数据的拍摄部且与使用者一起移动的机器人提供信息的信息提供方法，其特征在于，包含如下步骤：
一并获取所述使用者或所述机器人的位置信息和时刻信息，
将由所述拍摄部获取的图像数据与所获取的位置信息和时刻信息建立关联地存储于存储部中，
从存储于所述存储部的图像数据中提取与由所述使用者指示的时刻和场所相对应的图像数据，
基于提取出的图像数据显示图像，
所述机器人包含与第一使用者一起移动的第一机器人和与第二使用者一起移动的第二机器人，
存储所述图像数据包含：对由所述第一机器人的所述拍摄部获取的图像数据和由所述第二机器人的所述拍摄部获取的图像数据进行存储，
提取所述图像数据包含：在存储于所述存储部中的由所述第一机器人的所述拍摄部获取的图像数据中不存在与由所述第一使用者指示的时刻和位置相对应的图像数据时，从存储于所述存储部中的由所述第二机器人的所述拍摄部获取的图像数据中提取与由所述第一使用者指示的时刻和位置相对应的图像数据。
6.一种信息提供系统用管理装置，其特征在于，具备：
信息获取部，其将由与使用者一起移动的机器人获取的图像数据和位置信息与时刻信息一并获取；
存储部，其将由所述信息获取部获取的图像数据与位置信息和时刻信息建立关联地进行存储；
输入部，其由所述使用者输入指令；
数据提取部，其从存储于所述存储部中的图像数据中，提取与由所述输入部指示的时刻和位置相对应的图像数据；以及
显示部，其基于由所述数据提取部提取出的图像数据显示图像，
所述机器人包含与第一使用者一起移动的第一机器人和与第二使用者一起移动的第二机器人，
所述存储部对由所述第一机器人获取的图像数据和由所述第二机器人获取的图像数据进行存储，
在存储于所述存储部中的由所述第一机器人获取的图像数据中不存在与由所述第一使用者指示的时刻和位置相对应的图像数据时，所述数据提取部从存储于所述存储部中的由所述第二机器人获取的图像数据中提取与由所述第一使用者指示的时刻和位置相对应的图像数据。
CN201880062824.8A 2017-09-29 2018-09-14 信息提供系统、信息提供方法以及信息提供系统用管理装置 Active CN111133762B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017189799 2017-09-29
JP2017-189799 2017-09-29
PCT/JP2018/034163 WO2019065305A1 (ja) 2017-09-29 2018-09-14 情報提供システム、情報提供方法および情報提供システム用管理装置

Publications (2)

Publication Number Publication Date
CN111133762A true CN111133762A (zh) 2020-05-08
CN111133762B CN111133762B (zh) 2021-08-10

Family

ID=65902358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880062824.8A Active CN111133762B (zh) 2017-09-29 2018-09-14 信息提供系统、信息提供方法以及信息提供系统用管理装置

Country Status (4)

Country Link
US (1) US11792484B2 (zh)
JP (1) JP6892928B2 (zh)
CN (1) CN111133762B (zh)
WO (1) WO2019065305A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227007B2 (en) * 2019-07-23 2022-01-18 Obayashi Corporation System, method, and computer-readable medium for managing image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336403A (ja) * 2006-06-18 2007-12-27 Masahide Tanaka 通信機能を有するデジタルカメラ
CN103793360A (zh) * 2012-10-31 2014-05-14 索尼公司 信息处理系统、信息处理设备和存储介质
WO2015017691A1 (en) * 2013-08-02 2015-02-05 Irobot Corporation Time-dependent navigation of telepresence robots
CN106572344A (zh) * 2016-09-29 2017-04-19 宇龙计算机通信科技(深圳)有限公司 虚拟现实直播方法、系统以及云服务器
JP2017104532A (ja) * 2015-12-01 2017-06-15 株式会社タスカケル 交流支援システム
CN107145758A (zh) * 2017-05-31 2017-09-08 上海思依暄机器人科技股份有限公司 一种基于家用机器人的外出陪护服务方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
US8635192B2 (en) * 2008-02-28 2014-01-21 Blackberry Limited Method of automatically geotagging data
JP2010019641A (ja) * 2008-07-09 2010-01-28 Fujifilm Corp 情報提供装置、方法およびプログラムならびにアルバム作成装置、方法およびプログラム
US8406925B2 (en) * 2009-07-01 2013-03-26 Honda Motor Co., Ltd. Panoramic attention for humanoid robots
US8316046B2 (en) * 2010-04-07 2012-11-20 Apple Inc. Journaling on mobile devices
US9172938B2 (en) * 2012-04-27 2015-10-27 Panasonic Intellectual Property Management Co., Ltd. Content reproduction method, content reproduction system, and content imaging device
US9183303B1 (en) * 2015-01-30 2015-11-10 Dropbox, Inc. Personal content item searching system and method
JP2016200909A (ja) * 2015-04-08 2016-12-01 日本電信電話株式会社 アルバム作成支援装置、アルバム作成支援システム、および、アルバム作成支援方法
US10679058B2 (en) * 2016-01-06 2020-06-09 Orcam Technologies Ltd. Wearable apparatus and methods for processing images to identify contextual situations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007336403A (ja) * 2006-06-18 2007-12-27 Masahide Tanaka 通信機能を有するデジタルカメラ
CN103793360A (zh) * 2012-10-31 2014-05-14 索尼公司 信息处理系统、信息处理设备和存储介质
WO2015017691A1 (en) * 2013-08-02 2015-02-05 Irobot Corporation Time-dependent navigation of telepresence robots
JP2017104532A (ja) * 2015-12-01 2017-06-15 株式会社タスカケル 交流支援システム
CN106572344A (zh) * 2016-09-29 2017-04-19 宇龙计算机通信科技(深圳)有限公司 虚拟现实直播方法、系统以及云服务器
CN107145758A (zh) * 2017-05-31 2017-09-08 上海思依暄机器人科技股份有限公司 一种基于家用机器人的外出陪护服务方法和装置

Also Published As

Publication number Publication date
JPWO2019065305A1 (ja) 2020-11-26
WO2019065305A1 (ja) 2019-04-04
US20200234046A1 (en) 2020-07-23
US11792484B2 (en) 2023-10-17
JP6892928B2 (ja) 2021-06-23
CN111133762B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
JP4838499B2 (ja) ユーザ支援装置
KR101646503B1 (ko) 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
EP2960630A2 (en) Eyewear-type terminal and method for controlling the same
WO2017126433A1 (ja) 情報処理装置およびユーザガイド提示方法
WO2020012955A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11156844B2 (en) Information processing apparatus, information processing method, and program
CN109844600B (zh) 信息处理设备、信息处理方法和程序
JP7287257B2 (ja) 画像処理装置、表示システム、プログラムおよび画像処理方法
JP7085578B2 (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
KR20180017736A (ko) Hmd 및 그 hmd의 제어 방법
US20180278995A1 (en) Information processing apparatus, information processing method, and program
CN111133762B (zh) 信息提供系统、信息提供方法以及信息提供系统用管理装置
JP7040521B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2009238251A (ja) ユーザ支援装置
JP7023971B2 (ja) サービス提供システム、サービス提供方法およびサービス提供システム用管理装置
EP3944086B1 (en) Information delivery device, information delivery method, and information delivery program
US11135725B2 (en) Robot control system, robot control method and user apparatus for robot control system
US20220137908A1 (en) Head mounted processing apparatus
WO2019138682A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6559096B2 (ja) 情報出力システム及び情報出力方法
JP2021034977A (ja) サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム
JP2019145161A (ja) プログラム、情報処理装置、及び情報処理方法
WO2021152834A1 (ja) ライフログ管理装置、制御方法及び記憶媒体
WO2022149496A1 (ja) エンタテインメントシステムおよびロボット
WO2022149497A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant