CN108415675B - 信息处理设备、信息处理系统和信息处理方法 - Google Patents

信息处理设备、信息处理系统和信息处理方法 Download PDF

Info

Publication number
CN108415675B
CN108415675B CN201710903197.3A CN201710903197A CN108415675B CN 108415675 B CN108415675 B CN 108415675B CN 201710903197 A CN201710903197 A CN 201710903197A CN 108415675 B CN108415675 B CN 108415675B
Authority
CN
China
Prior art keywords
display
movable object
robot
management area
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710903197.3A
Other languages
English (en)
Other versions
CN108415675A (zh
Inventor
得地贤吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN108415675A publication Critical patent/CN108415675A/zh
Application granted granted Critical
Publication of CN108415675B publication Critical patent/CN108415675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39082—Collision, real time collision avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40478—Graphic display of work area of robot, forbidden, permitted zone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49137—Store working envelop, limit, allowed zone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning

Abstract

信息处理设备、信息处理系统和信息处理方法。信息处理设备包括显示控制器，当关于可移动物体的位置信息改变时，所述显示控制器改变与所述可移动物体关联的图像的显示尺寸并显示所述图像。

Description

信息处理设备、信息处理系统和信息处理方法
技术领域
本发明涉及信息处理设备、信息处理系统和信息处理方法。
背景技术
日本未审查专利申请公布No.2009-123061描述了一种在显示器上显示远程控制的机器人的位置和方向并且能够根据其需要校正显示位置和方向的技术。
随着物联网(IoT)社会的发展，能够容易地掌握物体的位置等的系统变得必要。
发明内容
因此，与可移动物体关联的图像的显示尺寸没有表示距离的情况相比，本发明的目的在于容易地掌握位置关系。
根据本发明的第一方面，提供了一种包括显示控制器的信息处理设备，当关于可移动物体的位置信息改变时，所述显示控制器改变与所述可移动物体关联的图像的显示尺寸并显示所述图像。
根据本发明的第二方面，基于第一方面的信息处理设备，显示控制器可通过所述图像的方向来表现可移动物体的距离的变化方向。
根据本发明的第三方面，基于第一方面的信息处理设备，确定用于可移动物体的管理的区域可参考预定对象来确定。
根据本发明的第四方面，基于第一方面的信息处理设备，显示控制器可根据可移动物体相对于预定对象的距离来改变与可移动物体关联的图像的显示尺寸。
根据本发明的第五方面，基于第四方面的信息处理设备，如果可移动物体朝着所述对象移动，则显示控制器可增大与可移动物体关联的图像的显示尺寸，如果可移动物体远离所述对象移动，则显示控制器可减小与可移动物体关联的图像的显示尺寸。
根据本发明的第六方面，基于第一方面的信息处理设备，显示控制器可根据从确定用于可移动物体的管理的区域的中心到可移动物体的距离来改变与可移动物体关联的图像的显示尺寸。
根据本发明的第七方面，基于第六方面的信息处理设备，如果所述距离超过阈值，则显示控制器可改变与可移动物体关联的图像的显示尺寸。
根据本发明的第八方面，基于第一方面的信息处理设备，如果位置信息超出确定用于管理的区域，则显示控制器可从显示区域删除与可移动物体关联的图像。
根据本发明的第九方面，基于第八方面的信息处理设备，如果位置信息返回到确定用于管理的区域，则显示控制器可在显示区域中再次显示与可移动物体关联的图像。
根据本发明的第十方面，基于第一方面的信息处理设备，显示控制器可显示通过与可移动物体关联的图像的显示尺寸指示的距离。
根据本发明的第十一方面，基于第一方面的信息处理设备，显示控制器可将指示可移动物体的位置的区域信息与和可移动物体关联的图像一起显示。
根据本发明的第十二方面，基于第一方面的信息处理设备，显示控制器可移动与可移动物体关联的图像的显示位置，以使得所述图像不与显示在显示画面上的另一工作区域交叠。
根据本发明的第十三方面，基于第十二方面的信息处理设备，显示控制器可跨越显示画面与非显示虚拟空间之间的边界移动与可移动物体关联的图像的显示位置。
根据本发明的第十四方面，基于第十二方面的信息处理设备，显示控制器可将与可移动物体关联的图像的显示位置从显示画面移动到非显示虚拟空间。
根据本发明的第十五方面，基于第一方面的信息处理设备，可移动物体可包括自走机构。
根据本发明的第十六方面，基于第十五方面的信息处理设备，可根据可移动物体的操作状态来改变与可移动物体关联的图像。
根据本发明的第十七方面，基于第十五方面的信息处理设备，显示控制器可提供针对可移动物体的帮助请求的指示。
根据本发明的第十八方面，基于第一方面的信息处理设备，当与要执行的功能关联的另一图像被叠加在与可移动物体关联的图像上时，可向可移动物体发送针对所述功能的执行指令。
根据本发明的第十九方面，提供了一种信息处理系统，该信息处理系统包括：至少一个可移动物体；以及信息处理设备，当关于所述可移动物体的位置信息改变时，所述信息处理设备改变与所述可移动物体关联的图像的显示尺寸并显示所述图像。
根据本发明的第二十方面，提供了一种信息处理方法，该信息处理方法包括当关于可移动物体的位置信息改变时，改变与所述可移动物体关联的图像的显示尺寸并显示所述图像
通过本发明的第一方面，与可移动物体关联的图像的显示尺寸没有表示距离的情况相比，可容易地掌握位置关系。
通过本发明的第二方面，与无论距离变化如何，与可移动物体关联的图像的方向均相同的情况相比，可掌握距离变化的方向。
通过本发明的第三方面，与可移动物体关联的图像的显示尺寸没有表示距离的情况相比，可容易地掌握位置关系。
通过本发明的第四方面，与可移动物体关联的图像的显示尺寸没有表示相对于被预定作为基准的对象的距离的情况相比，可容易地掌握相对于所述预定对象的位置关系。
通过本发明的第五方面，由于如果可移动物体朝着对象移动，则显示尺寸增大，如果可移动物体远离对象移动，则显示尺寸减小，所以可容易地掌握相对于预定为基准的对象的位置关系。
通过本发明的第六方面，与可移动物体关联的图像的显示尺寸没有表示相对于确定用于管理的区域的中心的距离的情况相比，可容易地掌握相对于中心的位置关系。
通过本发明的第七方面，由于如果距离超过预定阈值，则显示尺寸改变，所以计算显示尺寸的负荷可降低。
通过本发明的第八方面，由于从画面删除了与可移动物体关联的图像，所以可掌握可移动物体移动到确定用于管理的区域之外。
通过本发明的第九方面，由于与可移动物体关联的图像被再次显示，所以可掌握可移动物体返回到确定用于管理的区域。
通过本发明的第十方面，由于显示通过显示尺寸所指示的距离，所以可容易地预期可移动物体的具体距离。
通过本发明的第十一方面，由于显示可移动物体所在的区域，所以可容易地掌握可移动物体的具体位置。
通过本发明的第十二方面，由于与可移动物体关联的图像移动以使得该图像不与另一工作区域交叠，所以可持续地掌握位置关系。
通过本发明的第十三方面，由于与可移动物体关联的图像跨越显示画面与非显示虚拟空间之间的边界移动，所以可持续地掌握位置关系。
通过本发明的第十四方面，由于与可移动物体关联的图像移动到非显示虚拟空间，所以可持续地掌握位置关系。
通过本发明的第十五方面，与可移动物体关联的图像的显示尺寸没有表示距离的情况相比，可容易地掌握位置关系。
通过本发明的第十六方面，可通过图像的显示形式的变化来掌握操作状态。
通过本发明的第十七方面，由于在操作画面上提供帮助请求的指示，所以可掌握可移动物体的操作状态。
通过本发明的第十八方面，可利用操作来指示功能的执行。
通过本发明的第十九方面，与可移动物体关联的图像的显示尺寸没有表示距离的情况相比，可容易地掌握位置关系。
通过本发明的第二十方面，与可移动物体关联的图像的显示尺寸没有表示距离的情况相比，可容易地掌握位置关系。
附图说明
将基于以下附图详细描述本发明的示例性实施方式，附图中：
图1示出作为示例性实施方式的示例的信息处理系统的概念配置；
图2示出确定管理区域以包括用户的示例；
图3示出确定距基准点的特定距离或特定范围作为管理区域的示例；
图4示出作为示例性实施方式的另一示例的信息处理系统的概念配置；
图5是说明用在此示例性实施方式中的机器人的外部配置的图示；
图6是说明根据此示例性实施方式的机器人的硬件配置的图示；
图7是说明使用信标的位置确定方法的图示；
图8是说明利用从机器人发送的通信无线电波来确定机器人的位置的方法的图示；
图9是说明根据此示例性实施方式的信息终端的硬件配置的图示；
图10是说明根据此示例性实施方式的信息终端的软件配置的图示；
图11是说明用户和机器人之间的距离的图示；
图12是说明管理区域的中心位置和机器人之间的距离的图示；
图13是说明例如儿童或宠物的基准点与机器人之间的距离的图示；
图14A和图14B是说明当真实空间中的管理区域具有椭圆形状并且显示器的显示画面具有大致四边形形状时的变形处理的图示，图14A示出真实空间中的管理区域的形状，图14B示出要施加于显示上的虚拟管理区域的基于部分区域的变形的方向和大小；
图15A和图15B是说明使虚拟管理区域变形，以使得与用户的位置对应的管理区域的端部位于画面的左端的示例的图示，图15A示出真实空间中的管理区域的形状，图15B示出要施加于虚拟管理区域的基于部分区域的变形的方向和大小；
图16A和图16B是说明当真实空间中的管理区域具有一个方向上较长的矩形形状(例如，细长路径)并且显示器的显示画面具有大致四边形形状时的变形处理的图示，图16A示出真实空间中的管理区域的形状，图16B示出要施加于虚拟管理区域的基于部分区域的变形的方向和大小；
图17A和图17B是说明变形后的虚拟管理区域的形状没有与显示画面的形状对准(align)的示例的图示，图17A示出真实空间中的管理区域的形状，图17B示出要施加于虚拟管理区域的基于部分区域的变形的方向和大小；
图18A和图18B是说明使虚拟管理区域变形，以使得当另一工作画面显示在显示画面上时，虚拟管理区域不与所述另一工作画面交叠的示例的图示，图18A示出真实空间中的管理区域的形状，图18B示出要施加于虚拟管理区域的基于部分区域的变形的方向和大小；
图19A和图19B是说明针对显示画面上的机器人的位置指示使用真实图像的示例的图示，图19A示出相机的布置示例，图19B示出虚拟管理区域中的显示示例；
图20A和图20B是说明当另一工作画面显示在显示画面上时在显示画面内移动虚拟管理区域的示例的图示，图20A示出另一工作画面显示之前的虚拟管理区域的显示位置，图20B示出另一工作画面显示之后的虚拟管理区域的显示位置；
图21A和图21B是说明当另一工作画面显示在显示画面上时将虚拟管理区域移动到跨接在显示画面和虚拟管理画面的位置的示例的图示，图21A示出另一工作画面显示之前的虚拟管理区域的显示位置，图21B示出另一工作画面显示之后的虚拟管理区域的显示位置；
图22A和图22B是说明当另一工作画面显示在显示画面上时将虚拟管理区域移动到虚拟管理画面的示例的图示，图22A示出在另一工作画面显示之前的虚拟管理区域的显示位置，图22B示出在另一工作画面显示之后的虚拟管理区域的显示位置；
图23A至图23C是说明根据距离来改变与机器人关联的图像的显示尺寸的示例的图示，图23A示出真实空间中的用户和机器人之间的距离的关系，图23B示出显示尺寸的变化为连续的情况，图23C示出显示尺寸的变化为逐步的情况；
图24示出在虚拟管理区域的各个部分处显示显示比例(比例尺)的示例；
图25A和图25B是说明在画面上显示由显示尺寸指示的距离信息的示例的图示，图25A示出显示尺寸与距离之间的对应的样本，图25B示出在图像附近显示针对距离的引导的示例；
图26A和图26B是说明利用特定区域名称指示机器人的位置的示例的图示，图26A示出管理区域中确定的区域名称，图26B示出在虚拟管理区域中显示机器人所在区域的区域名称的显示示例；
图27A和图27B是说明在画面上显示距机器人的距离的示例的图示，图27A示出管理区域中的机器人的位置，图27B示出在虚拟管理区域中利用数值来显示距机器人的距离的显示示例；
图28A至图28C是说明关于机器人移动到管理区域之外的提前通知的画面的示例的图示，图28A示出管理区域和机器人之间的位置关系，图28B示出在显示画面上显示的提前通知画面的示例，图28C示出在显示提前通知之后的显示；
图29A至图29C是说明关于机器人移动到管理区域之外的提前通知的画面的另一示例的图示，图29A示出管理区域和机器人之间的位置关系，图29B示出在显示画面上显示的提前通知画面的示例，图29C示出在显示提前通知之后的显示；
图30A至图30C是说明关于机器人返回到管理区域的提前通知的画面的示例的图示，图30A示出管理区域和机器人之间的位置关系，图30B示出在显示画面上显示的提前通知画面的示例，图30C示出在显示提前通知之后的显示；
图31A至图31C是说明关于机器人返回到管理区域的提前通知的画面的另一示例的图示，图31A示出管理区域和机器人之间的位置关系，图31B示出在显示画面上显示的提前通知画面的示例，图31C示出在显示提前通知之后的显示；
图32A至图32C是说明当在管理区域的中心处与机器人的通信中断时的显示示例的图示，图32A示出管理区域和机器人之间的位置关系，图32B示出关于通信故障的提前通知的画面的示例，图32C示出在显示提前通知之后的显示；
图33A至图33C是说明当在管理区域的中心处与机器人的通信重新开始时的显示示例的图示，图33A示出管理区域和机器人之间的位置关系，图33B示出通信重新开始之前的画面的示例，图33C示出指示通信重新开始的画面的示例；
图34A和图34B是说明由显示图像生成单元从操作信息获取单元获取操作信息的显示示例的图示，图34A示出真实空间中的机器人的操作状态，图34B示出显示画面上的显示形式；
图35A和图35B是由显示图像生成单元从操作信息获取单元获取操作信息的另一显示示例的图示，图35A示出真实空间中的机器人的操作状态，图35B示出显示画面上的显示形式；
图36A和图36B示出当用户和机器人彼此靠近时的显示示例，图36A示出管理区域中的用户和机器人的位置，图36B示出虚拟管理区域中的位置关系的显示示例；
图37A和图37B示出当用户和机器人彼此远离时的显示示例，图37A示出管理区域中的用户和机器人的位置，图37B示出虚拟管理区域中的位置关系的显示示例；
图38A和图38B示出当用户位于管理区域的中心附近时的显示示例，图38A示出管理区域中的用户和机器人的位置，图38B示出虚拟管理区域中的位置关系的显示示例；
图39A和图39B示出当用户和机器人彼此靠近时的另一显示示例，图39A示出管理区域中的用户和机器人的位置，图39B示出虚拟管理区域中的位置关系的显示示例；
图40A和图40B示出当用户和机器人彼此靠近时的另一显示示例，图40A示出管理区域中的用户和机器人的位置，图40B示出虚拟管理区域中的位置关系的显示示例；
图41A和图41B示出当多个机器人位于管理区域中时的显示示例，图41A示出管理区域中的用户和两个机器人之间的位置关系，图41B示出虚拟管理区域中的位置关系的显示示例；
图42A和图42B示出当在管理区域中多个机器人之间的位置关系改变时的显示示例，图42A示出管理区域中的用户和两个机器人之间的位置关系，图42B示出虚拟管理区域中的位置关系的显示示例；
图43A和图43B示出当另一工作画面显示在显示画面中时的显示示例，图43A示出管理区域中的用户和两个机器人之间的位置关系，图43B示出虚拟管理区域中的位置关系的显示示例；
图44A至图44C是说明当另一工作画面的显示尺寸改变时虚拟管理区域的形状的变化的图示，图44A示出另一工作画面显示之前的显示示例，图44B示出紧接在另一工作画面显示之后的显示示例；图44C示出另一工作画面的显示面积改变之后的显示示例；
图45A至图45C是说明当在管理区域中机器人远离用户移动时的显示示例的图示，图45A示出管理区域中的用户和机器人之间的位置关系，图45B示出用于表现机器人远离用户移动的状态的显示示例，图45C示出用于表现机器人远离用户移动的状态的另一显示示例；
图46A至图46C是说明当在管理区域中机器人朝着用户移动时的显示示例的图示，图46A示出管理区域中的用户和机器人之间的位置关系，图46B示出用于表现机器人朝着用户移动的状态的显示示例，图46C示出用于表现机器人朝着用户移动的状态的另一显示示例；
图47A和图47B是说明当在单个显示画面中管理位于多个管理区域中的多个机器人时的显示示例的图示，图47A示出两个管理区域中的机器人的位置，图47B示出显示画面的显示示例；
图48A至图48C是说明当利用显示画面向机器人给出指令时的显示示例的图示，图48A示出来自机器人的指令请求画面的示例，图48B示出来自用户的指令的输入示例，图48C示出来自机器人的响应画面的示例；
图49A至图49C是说明通过将指示机器人要执行的功能的图像叠加在与机器人关联的图像上来指示机器人执行功能的显示示例的图示，图49A示出对机器人的功能的执行指令操作，图49B示出来自机器人的响应画面的示例，图49C示出机器人的操作动作；
图50A和图50B是说明如果进行在显示画面上移动与机器人关联的图像的位置的移动操作，则机器人在管理区域中实际移动的状态的图示，图50A示出显示画面的显示示例，图50B示出机器人在作为真实空间的管理区域中的移动；
图51A至图51C是说明根据虚拟管理区域的形状改变与机器人在真实空间中的移动量对应的虚拟管理区域中的图像的变化量的状态的图示，图51A示出机器人在真实空间中的移动量，图51B示出在虚拟管理区域的显示面积大的情况下图像的变化量，图51C示出在虚拟管理区域的显示面积小的情况下图像的变化量；以及
图52A和图52B是说明根据虚拟管理区域的显示尺寸限制图像的变化范围的图示，图52A示出当虚拟管理区域的显示尺寸大时图像的变化范围，图52B示出当虚拟管理区域的显示尺寸小时图像的变化范围。
具体实施方式
下面参照附图详细描述本发明的示例性实施方式。
系统配置示例
图1示出作为示例性实施方式的示例的信息处理系统1的概念配置。信息处理系统1包括由用户3操作的信息终端100以及在用户3的管理下的机器人200。信息终端100是信息处理设备的示例。机器人200是可移动物体的示例。
尽管图1示出笔记本计算机作为信息终端100的示例，信息终端100可以是任何类型的装置，只要该装置具有与安装在信息终端100上的显示装置或者外部显示装置协作显示关于机器人200的位置信息的功能即可。例如，信息终端100可以是(1)诸如台式计算机、平板计算机、智能手表、智能电话、数字相机、摄像机或监视器的图像显示设备、图像记录设备或图像再现设备，或者诸如游戏机的电子设备，(2)诸如冰箱、炊具或洗衣机的家用电器，(3)诸如家用电器的监视器的房屋设施，(4)诸如汽车的车辆，或者(5)机床。
在此示例性实施方式中，“可移动物体”可以是在真实空间中位置不固定的物体。例如，可移动物体包括便携式物品，例如玩偶(类似填充动物或玩具)、装饰物、笔记本计算机、平板计算机、智能手表、智能电话、数字相机、摄像机、录音机和医疗设备；以及通过自走机构在真实空间中移动的载人或不载人的运输设备，例如汽车、火车、船、飞机和无人机。另外，可移动物体包括通过人力移动的车辆，例如自行车或婴儿车。可移动物体的移动包括在平面中、沿线、在水平方向上、在垂直方向上、在室内环境中、在室外环境中、在地面、在地下、在水中、在空中以及在体内的移动。
在图1中，用户3利用信息终端100所执行的处理功能来掌握管理区域300中的机器人200的位置和操作状态。管理区域300是在真实空间中确定的用于管理待管理的可移动物体的位置和状态的区域。管理区域300包括物理地确定的区域(例如，建筑、办公室或商店的地板、通过墙壁或隔板划分的房间或区段)、关于基准点物理地确定的区域、以及通过用户的指定而确定的区域。基准点可以是诸如结构、物品、人、动物或植物的可物理地指定的对象。与基准点的关系包括包含基准点的区段、包含基准点的房间、包含基准点的地板、包含基准点的建筑、包含基准点的区域以及距基准点的距离。
图2和图3示出给出可移动物体的最大可移动范围的真实空间400的一部分被设定为管理区域300的示例。图2示出确定管理区域300以包括用户3的示例。图3示出确定距基准点5的特定距离或特定范围作为管理区域300的示例。图3示出管理区域300的示例，其中要保护的儿童或宠物或者防范被偷的贵金属等被指定为基准点5。基准点5不限于固定点，可以是移动点。如果基准点5是移动点，则管理区域300的范围随基准点5的移动而移动。
图4示出作为示例性实施方式的另一示例的信息处理系统10的概念配置。在图4中，相同的标号被应用于与图1中的部分对应的部分。在信息处理系统10中，信息终端100通过网络500连接至服务器600。这一点在信息处理系统10和信息处理系统1(参见图1)之间不同。在信息处理系统10中，通过由服务器600执行的处理功能将机器人200的位置和操作状态提供给信息终端100。因此，图4中的信息终端100用作输入/输出装置。处理功能(稍后描述)由服务器600执行。鉴于此，服务器600是信息处理设备的示例。
机器人配置
外部配置
图5是说明用在此示例性实施方式中的机器人200的外部配置的图示。机器人200是玩偶或玩具的形式。机器人200的外部配置不限于图5所示的人形机器人，可以是表现诸如狗或猫的动物、诸如花或树的植物、或者诸如汽车(包括火车)或飞机的交通工具作为主题的机器人。根据此示例性实施方式的交通工具包括载人的交通工具或者不载人的交通工具。
图5中作为示例示出的人形机器人200包括身体201、头部202、臂203和205、手204和206、以及腿207和208。根据此示例性实施方式的身体201存储用于信号处理的电子组件。身体201上可安装有显示装置和/或音频设备。如果机器人200是小玩偶，则身体201填充有填充物。
根据此示例性实施方式的头部202经由设置在颈部的关节机构联接至身体201。在此示例性实施方式中，关节机构可绕三个轴旋转。绕三个轴的旋转包括偏转(绕z轴的旋转)、横滚(绕x轴的旋转)和俯仰(绕y轴的旋转)。关节机构不必绕所有三个轴旋转，可仅绕一个轴或两个轴旋转。旋转可手动地提供，或者可通过利用马达(未示出)的旋转驱动来提供。另选地，头部202可固定到身体201。头部202具有眼睛202A和202B。眼睛202A和202B可被设置为用于装饰，或者各自可包括例如成像装置、投影仪和/或灯。头部202也可具有可动耳。
根据此示例性实施方式的臂203和205经由关节机构联接到身体201。臂203和205的上臂和前臂经由关节机构彼此联接。在此示例性实施方式中，各个关节机构可类似于头部202绕多个轴或单个轴旋转。绕轴的旋转可手动地提供，或者可通过利用马达(未示出)的旋转驱动来提供。另选地，臂203和205可固定到身体201。如果臂203和205以预定角度弯曲，则臂203和205可用于携带物体。
手204和206经由设置在腕部的关节机构联接到臂203和205。手204和206的手掌和手指经由关节机构联接。在此示例性实施方式中，各个关节机构可类似于头部202绕多个轴或单个轴旋转。绕轴的旋转可手动地提供，或者可通过利用马达(未示出)的旋转驱动来提供。在此示例性实施方式中，手204和206可通过张开和闭合手指来抓握物体。另选地，手204和206可被固定到臂203和205。
腿207和208可经由关节机构联接到身体201，或者可在用作自走机构(例如，轮子或履带)的同时附接到身体201。如果腿207和208经由关节机构联接到身体201，则关节机构可类似于头部202绕多个轴或单个轴旋转。绕轴的旋转可手动地提供，或者可通过利用马达(未示出)的旋转驱动来提供。另选地，腿207和208可被固定到身体201。
硬件配置
图6是说明根据此示例性实施方式的机器人200的硬件配置的图示。机器人200包括控制整个设备的移动的控制器210、捕获静止图像或电影的相机211、再现谈话语音、歌曲或效果音的扬声器212、用于输入或获取声音的麦克风213、诸如关节机构的可动机构214、用于与外部设备通信的通信单元215、显示图像的显示器216、使整个设备移动的移动机构217、向各个单元供电的电源218、用于收集各个单元的状态和周边信息的传感器219、以及用于获取位置信息的位置检测器220。各个单元例如通过总线221彼此连接。
图6所示的硬件配置仅是示例。机器人200上不必安装有所有上述构件。机器人200上可另外安装有构件(未示出)。例如，机器人200上可安装有电源按钮、存储器(硬盘装置、半导体存储器等)和/或热源(包括冷却源)。
控制器210是计算机，并且包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。ROM存储由CPU执行的程序。CPU读出存储在ROM中的程序，并且在使用RAM作为工作区域的同时执行程序。CPU通过程序的执行来控制形成机器人200的各个单元的操作。
控制器210具有根据程序处理通过例如相机211、麦克风213和传感器219获取的信息的功能。这种情况下的信息包括例如视觉、听觉、触觉、味觉、嗅觉、平衡感和温度。通过识别由相机211捕获的图像的处理来提供视觉。通过识别由麦克风213获取的声音的处理来提供听觉。触觉包括例如浅部感觉(触觉、痛觉、温度觉)、深部感觉(压觉、位置觉、振动觉等)和皮质感觉(两点辨别感、立辨别能力等)。控制器210可辨别触觉。可通过利用各种传感器219检测信息来提供触觉、味觉、嗅觉、平衡感和温度。温度包括环境温度、内部温度以及人或动物的体温。另外，由控制器210获取的信息可包括人或动物的脑波。在这种情况下，对于脑波，可由通信单元215接收从附接到人等的脑波检测装置输出的信息。
控制器210具有识别获取的信息并处理该信息的功能。所述功能由存储的程序或者通过通信单元215连接的外部计算机所执行的程序提供。识别处理可采用基于人工智能的机器学习。通过采用该技术，可获得与人类接近的确定结果。近来，正在开发神经网络深度学习。还通过增强部分学习领域的强化学习增加识别的准确性。控制器210还可具有通过从互联网的检索以及与外部计算机的通信来收集信息并且如果发生不确定情况则根据与检索到的现象的相似度寻找解决方案的功能。
控制器210基于识别结果和处理结果执行各种操作。例如，控制器210可使用扬声器212输出语音，可使用通信单元215发送消息，或者可使用显示器216输出图像。控制器210可利用这些信息的输入/输出以及可动机构214的移动来与用户建立通信。通信的应用示例包括例如对顾客的服务和会议的进展。另外，控制器210可具有记录通信的功能和创建会议记录的功能。
如果存在无法建立通信的外部设备，则控制器210可利用图像识别(例如，识别写在遥控器上的形状或字符)来指定准备用于外部设备的远程控制的控制器，并且可通过对所指定的控制器的操作来向外部设备发送指令。
在此示例性实施方式中，相机211被设置在眼睛202A和202B(参见图5)中的一者或二者的位置处。如果投影仪用作显示器216，则该投影仪可被设置在例如眼睛202A和202B(参见图5)中的一者或二者中。另选地，投影仪可被设置在身体201或头部202中。
除了运送物体之外，可动机构214还用于表达感情的目的。如果可动机构214用于运送物体，则可动机构214通过臂203和205和手204和206的变形来提供例如抓握、保持或支撑物体的动作。如果可动机构214用于表达感情，则可动机构214通过头部202、臂203和205等(参见图5)的驱动来执行倾斜头部、向上看、环视(移动眼睛)、抬起手或者用手指指的动作。
根据此示例性实施方式的通信单元215通过无线系统来与外部通信。机器人200上安装有数量与预期作为通信目标的外部设备所使用的通信方案的数量对应的通信单元215。通信方案可包括例如红外通信、可见光通信、近场无线电通信、Wi-Fi(注册商标)、蓝牙(Bluetooth，注册商标)、RFID(注册商标)、ZigBee(注册商标)、IEEE802.11a(注册商标)、MulteFire和低功率广域(LPWA)。用于无线电通信的频带包括短波长频带(例如，800MHz至920MHz)、长波长频带(例如，2.4GHz、5GHz)以及其它频带。通信线缆可用于通信单元215与外部设备之间的连接。
作为这种通信功能的应用示例，机器人200可具有使用虚拟货币的结算功能。该结算功能可以是允许在前期存入的金额的范围内结算的前期支付系统、后支付的信用卡结算系统、或者从指定账户支付的借记卡结算系统。货币可以是诸如比特币(Bitcoin，注册商标)的虚拟货币。机器人200的身体201可具有用于存放现金的空间，并且可具有根据其需要输出所需金额以用于结算的功能、打开和关闭面板以允许人取出存放的现金的功能和/或其它功能。也可存在与扬声器212协作向人借现金的功能。
显示器216用于提供与用户的视觉通信。在此示例性实施方式中，显示器216显示字符和图形。如果显示器216被设置在头部202，则显示器216可显示面部表情。
尽管在此示例性实施方式中移动机构217使用轮子和履带，但是机器人200可利用推进器或者压缩空气的吹风功能通过空气的力来移动。尽管在此示例性实施方式中电源218使用二次电池，但是电源218可使用一次电池、燃料电池和太阳能电池中的任一个，只要电池可生成电力即可。另选地，代替电源218，可采用通过电源线缆从外部接收电力供应的配置。
在此示例性实施方式中，机器人200包括位置检测器220。位置检测器220使用例如从全球定位系统(GPS)信号读取点信息的方法；利用与GPS信号等同的信号确定室内位置的室内消息系统(IMES)的方法；使用从多个Wi-Fi接入点发送的无线电波的强度、到达时间等来确定位置的Wi-Fi位置确定方法；使用对从基站周期性地生成的信号的响应的方向和延迟时间来确定位置的基站位置确定方法；通过接收不可听范围内的超声波来确定位置的声波位置确定方法；通过使用蓝牙从信标接收无线电波来确定位置的蓝牙位置确定方法；利用根据例如发光二极管(LED)的照明光的闪烁发送的位置信息来确定位置的可见光位置确定方法；或者利用加速度传感器、陀螺仪传感器或其它传感器来确定当前位置的自主导航方法。
图7是说明使用信标的位置确定方法的图示。在图7中，振荡器700A设置在墙壁上，振荡器700B设置在地板上，振荡器700C设置在天花板上，振荡器700D设置在图像形成设备700中。振荡器700A至700D中的每一个发射根据特定位置信息调制的信标。该位置检测技术可使用室内技术和室外技术。如果在室内环境和室外环境二者中使用机器人200，则机器人200可具有两种类型的位置检测器220以用于室内使用和室外使用。经由通信单元215将检测或估计的位置信息告知给信息终端100或服务器600。
尽管在此示例性实施方式中机器人200上安装有位置检测器220，如果未安装位置检测器220，则可通过外部设施获取或估计关于机器人200的位置信息。图8是说明利用从机器人200发送的通信无线电波来确定机器人200的位置的方法的图示。从机器人200发送的无线电波225被位置已知的接入点800A、800B和800C接收。位置确定单元900利用接入点800A、800B和800C所接收的无线电波225的强度和延迟时间来确定机器人200的位置。将所测量的位置信息从位置确定单元900通知给信息终端100或服务器600。另选地，信息终端100或服务器600可作为位置确定单元900执行功能。
或者，关于与机器人200建立了近场无线电通信的读取装置(读取器)的位置信息可用作机器人200的位置。如果通过设置在室内或室外环境中的监视相机等捕获的图像包括机器人200的图像，则捕获机器人200的监视相机的位置可用作机器人200的位置。为了检测机器人200，使用图像识别技术。在这种情况下使用监视相机的方法可被应用于机器人200是没有电子组件的玩偶的情况。
信息终端和服务器的配置
下面描述信息终端100和服务器600的配置。现在描述信息终端100的配置。
硬件配置
图9是说明根据此示例性实施方式的信息终端100的硬件配置的图示。信息终端100包括控制整个设备的移动的控制器110、接收从用户输入的操作的操作单元111、用于与外部设备通信的通信单元112、用于存储各种数据的存储器113、显示与各种应用中的任一个对应的工作画面的显示器114、以及输出语音、歌曲和效果声的扬声器115。各个单元通过例如总线116彼此连接。
图9所示的硬件配置仅是示例。信息终端100上不必安装有所有上述构件。另外，信息终端100上可安装有附加构件(未示出)。服务器600上仅需要安装有控制器110、通信单元112和存储器113。
控制器110是计算机，并且包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。ROM存储由CPU执行的程序。CPU读出存储在ROM中的程序，并且在使用RAM作为工作区域的同时执行程序。CPU通过程序的执行来控制形成信息终端100的各个单元的操作。根据此示例性实施方式的控制器110是显示控制器的示例。作为显示控制器的功能将稍后描述。
操作单元111使用鼠标、键盘、触摸面板等。触摸面板被设置在显示器114的前表面上。通信单元112是用于通过有线系统或无线系统与外部设备通信的装置。根据此示例性实施方式的通信单元112通过无线系统与外部设备通信。外部设备的示例是机器人200。存储器113是硬盘装置或者具有大容量的另一存储器。由CPU执行的程序可存储在存储器113中。
显示器114使用例如液晶显示面板或有机电致发光(EL)显示面板。另选地，显示器114可以是外部附接至信息终端100的监视器。
软件配置
图10是说明根据此示例性实施方式的信息终端100的软件配置的图示。图10所示的软件配置由执行程序的控制器110提供。
控制器110包括：位置信息获取单元1101，其获取关于真实空间400(参见图2和图3)中的机器人200的位置信息；基准位置获取单元1102，其获取用于机器人的位置管理的基准位置；以及距离计算单元1103，其计算机器人200距基准位置的距离。
位置信息获取单元1101可通过通信单元112(参见图9)获取关于机器人200的位置信息，或者可基于无线电基站的接收强度、延迟时间等来计算关于机器人200的位置信息。基准位置获取单元1102获取操作信息终端100的用户的位置、管理区域300的中心位置、以及由用户指定的基准点5(参见图3)中的哪一个用作基准位置。从指令接收单元1107给出关于基准位置的信息。
距离计算单元1103计算基准位置与机器人200之间的距离L。距离L的示例示出于图11至图13中。图11是说明用户3与机器人200之间的距离L的图示。在这种情况下，用户3和机器人200位于管理区域300中。图12是说明管理区域300的中心位置Pc与机器人200之间的距离L的图示。在这种情况下，用户3可位于管理区域300中，或者可像用户3A一样位于管理区域300之外。图13是说明诸如儿童或宠物的基准点5与机器人200之间的距离L的图示。在这种情况下，用户3可位于管理区域300中，或者可像用户3A一样位于管理区域300之外。
返回参考图10的描述，控制器110包括：管理区域信息获取单元1104，其获取关于确定机器人200的管理范围的管理区域300(参见图1至图4)的位置信息；显示区域信息获取单元1105，其获取关于显示器114(参见图9)的画面上用于显示管理区域300的显示区域的信息；以及管理区域形状变形单元1106，其根据所获取的显示区域的形状使设置在画面上的管理区域300的形状变形。
例如，管理区域信息获取单元1104从数据库等(未示出)获取关于用户所指定的管理区域300的布局信息。数据库可存储在存储器113(参见图9)中，或者可存储在通过通信单元112(参见图9)连接的外部存储器中。根据此示例性实施方式的管理区域信息获取单元1104还获取布局信息、关于设置或存在于真实空间中的设备的信息、以及关于掌握位置所需的地标等的信息，作为关于管理区域300的信息。
根据此示例性实施方式的管理区域信息获取单元1104至少将所获取的关于管理区域300的信息中所包括的布局信息输出给管理区域形状变形单元1106。另选地，管理区域信息获取单元1104除了布局之外还可将其它信息输出给管理区域形状变形单元1106。布局信息不限于设计或地图级别的精确和准确的信息，可以是表现粗略形状的简要信息。
布局信息可包括可用于掌握管理区域300中的区域的信息，例如，部门或团队的名称、商店的名称等。可在显示画面114A上通过指示概念图像的符号或标记来表示设备或地标。可取的是不过度增加要显示的信息量以掌握位置关系。为了掌握位置关系，了解粗略布局以及布局中的位置关系就够了。因此，可由显示图像生成单元1110选择关于设备或地标的信息中所包括的实际要显示的信息。从指示接收单元1107给出与管理区域300的设定或选择有关的信息。
显示区域信息获取单元1105获取关于能够用于显示管理区域300的显示区域的信息。显示区域信息获取单元1105获取关于显示画面114A的物理信息(例如，7英寸显示器、分辨率等)，并且还获取与通过指令接收单元1107接收的另一工作画面的尺寸和布置位置有关的信息。当显示画面114A上未显示另一工作画面时，显示器114的整个画面(显示画面114A)可用于显示显示上的管理区域(以下称为“虚拟管理区域”)。用户可设定或调节能够用于显示虚拟管理区域的最大范围。如果另一工作画面显示在显示画面114A上，则显示画面114A的没有所述另一工作画面的部分用于显示虚拟管理区域300A。
管理区域形状变形单元1106使关于管理区域300的布局信息变形为例如图14A至图17B所示的布局信息。图14A和图14B是说明当真实空间中的管理区域300具有椭圆形状并且显示器114的显示画面114A具有大致四边形形状时的变形处理的图示，图14A示出真实空间中的管理区域300的形状，图14B示出要施加于虚拟管理区域300A的基于部分区域的变形的方向和大小。箭头的方向和长度表示变形的方向和量。
在图14A和图14B的情况下，管理区域形状变形单元1106使从管理区域信息获取单元1104给出的整个虚拟管理区域300A非线性地变形，以使得变形后的虚拟管理区域300A与显示画面114A的形状(例如，5英寸显示器)对准。变形后的虚拟管理区域300A是用于与机器人200关联的图像(图19B中稍后描述的图像200A等)的位置指示的显示区域的示例。由于变形是非线性的，所以变形前的布局与变形后的布局不相似。
在图14A和图14B的示例中，在虚拟管理区300A中，在区域的一部分从显示画面114A突出的水平方向上应用压缩变换，并且对显示画面114A的四个拐角区域应用扩展变换。这样，图14A和图14B所示的变形处理是根据区域来应用压缩变换和扩展变换的不均匀变形。变形后的虚拟管理区域300A以混合的方式包括压缩区域和扩展区域。即，图14B所示的虚拟管理区域300A以混合的方式具有不同比例的区域。管理区域形状变形单元1106对虚拟管理区域300A的变形可以是允许保存信息以掌握机器人200距基准点的粗略距离以及机器人200相对于基准点的粗略方向的变形。
提供这种变形的方法不限于一种，可以是各种方法中的任一种。例如，随着区域的位置离显示画面114A的中心越远，各个区域中的变形量可能越大，并且随着区域的位置越靠近显示画面114A的中心，该变形量可能越小。另外，可针对各个方向或区域指定要压缩的量或要扩展的量，并且可根据所指定的要压缩的量或者所指定的要扩展的量来确定该方向或区域上的变形量。
如果从管理区域信息获取单元1104给出的虚拟管理区域300A的形状类似于显示画面114A的形状，则管理区域形状变形单元1106可通过相似变换来变换虚拟管理区域300A。即使从管理区域信息获取单元1104给出的虚拟管理区域300A的形状与显示画面114A的形状相似，虚拟管理区域300A的部分区域也可以被非线性地变形。
图15A和图15B是说明使虚拟管理区域300A变形，以使得管理区域300的与用户3的位置对应的端部位于画面的左端的示例的图示，图15A示出真实空间中的管理区域300的形状，图15B示出要施加于显示上的虚拟管理区域300A的基于部分区域的变形的方向和大小。箭头的方向和长度表示变形的方向和量。
在图15A和图15B的示例中，在虚拟管理区域300A中，在区域的一部分从显示画面114A突出的水平方向上应用朝着左端的压缩变形，并且对显示画面114A的左上角和左下角区域应用扩展变换。另外，通过此变形方法，虚拟管理区域300A被变形成与显示画面114A相似的大致四边形形状。然而，真实空间中的点与显示画面上的点之间的对应关系方面的分布不同于图14A和图14B的示例。
图16A和图16B是说明当真实空间中的管理区域300具有一个方向上较长的矩形形状(例如，细长路径)并且显示器114的显示画面114A具有大致四边形形状时的变形处理的图示，图16A示出真实空间中的管理区域300的形状，图16B示出要施加于虚拟管理区域300A的基于部分区域的变形的方向和大小。箭头的方向和长度表示变形的方向和量。
在图16A和图16B的示例中，在虚拟管理区域300A中，在区域的一部分从显示画面114A突出的水平方向应用压缩变换，并且在显示画面114A的上下方向上应用扩展变换。即使在如图16A和图16B所示的一个方向上较长的长矩形形状的情况下，虚拟管理区域300A也可变形以使得管理区域300的用户3所在的端部位于画面的左端，如图15A和图15B所示。
在图14A至图16B所示的变形的示例中，变形后的虚拟管理区域300A的形状与显示画面114A的形状对准；然而，变形后的虚拟管理区域300A的形状可不与显示画面114A的形状对准。图17A和图17B是说明变形后的虚拟管理区域300A的形状不与显示画面114A的形状对准的示例的图示，图17A示出真实空间中的管理区域300的形状，图17B示出要施加于虚拟管理区域300A的基于部分区域的变形的方向和大小。图17A和图17B示出真实空间中的管理区域300具有在一个方向上较长的矩形形状(例如，细长路径)并且显示画面114A具有大致四边形形状的情况。
在图17A和图17B的示例中，仅在存在从显示画面114A突出的区域的水平方向上压缩虚拟管理区域300A。因此，在显示画面114A上，在虚拟管理区域300A的上下方向上生成空白部分。然而，虚拟管理区域300A在左右方向上被压缩以被容纳在显示画面114A中。因此，图17A和图17B所示的变形也是权利要求中的“根据显示区域的形状的变形”的示例。
接下来描述当在显示画面114A上正在显示或者另外显示另一工作画面时的虚拟管理区域300A的变形示例。图18A和图18B是说明使虚拟管理区域300A变形，以使得当另一工作画面114B显示在显示画面114A上时，虚拟管理区域300A不与所述另一工作画面交叠的示例的图示，图18A示出真实空间中的管理区域300的形状，图18B示出要施加于虚拟管理区域300A的基于部分区域的变形的方向和大小。这种情况下的另一工作画面114B是权利要求中的“另一个工作区域”的示例。
在图18A和图18B中，在变形前具有椭圆形状的虚拟管理区域300A变形成L形状。当另一工作画面114B的形状改变或者另一工作画面114B关闭时，虚拟管理区域300A的形状与所述另一工作画面114B的形状的变化关联地改变。
返回参考图10的描述，控制器110具有用作从用户3接收指令的指令接收单元1107的功能。这种情况下的指令包括上述基准位置的指定和管理区域300的指定。
控制器110还用作指令发送单元1108，其利用通信单元112来发送指令接收单元1107所接收的指令当中的针对外部设备(例如，机器人200)的指令内容。例如，在显示画面114A上，指示要由机器人200执行的功能的图像被移动以叠加在与机器人200关联的图像200A(参见图19A和图19B)上，指令发送单元1108向机器人200发送指示执行对应功能的命令。在这种情况下，“指示要由机器人200执行的功能的图像”是权利要求中的“另一图像”的示例。
控制器110用作映射单元1109，其将从位置信息获取单元1101给出的关于机器人200和用户3(或3A)的位置信息映射到显示在显示画面114A上的虚拟管理区域300A中。映射单元1109还具有确定机器人200和用户3(或3A)是否位于管理区域300内的功能。
根据此示例性实施方式的映射单元1109获取关于管理区域形状变形单元1106所执行的变形处理的信息，或者获取与管理区域300和虚拟管理区域300A之间的坐标的对应关系有关的信息，并且执行将机器人200和用户3的位置映射(关联)在虚拟管理区域300A中的处理。在映射处理时，还考虑显示器114的分辨率。因此，尽管显示器的尺寸相同，但是如果分辨率不同，则机器人200和用户3的映射位置可不同。
另外，控制器110用作显示图像生成单元1110，其基于映射有关于机器人200的位置信息的虚拟管理区域300A来生成虚拟管理区域300A的图像。显示图像生成单元1110利用图标、图像等将机器人200的位置显示在虚拟管理区域300A上。
如果从图像获取单元1111给出由设置在管理区域300中的相机捕获的机器人200的图像，则显示图像生成单元1110可显示机器人200的实际图像，而非图标。图19A和图19B是说明在显示画面114A上针对机器人200的位置指示使用真实图像的示例的图示，图19A示出相机910的布置示例，图19B示出虚拟管理区域300A中的显示示例。利用真实图像(图像200A)，即使在虚拟管理区域300A中管理多个物品，用户3也可容易地掌握物品的位置。
显示图像生成单元1110可从距离计算单元1103输入距离信息。在这种情况下，显示图像生成单元1110可在显示画面114A上显示指示距离的数值。稍后描述显示示例。显示图像生成单元1110可根据距离来改变图像200A的显示尺寸。稍后描述显示示例。
在除了虚拟管理区域300A以外的工作画面(另一工作画面114B)被显示在画面上的情况下，显示图像生成单元1110可具有在虚拟管理区域300A的显示尺寸不改变的情况下移动显示位置以避开另一工作画面114B的功能。图20A至图23C示出显示位置的移动示例。
图20A和图20B是说明当另一工作画面114B显示在显示画面114A上时在显示画面114A内移动虚拟管理区域300A的示例的图示，图20A示出另一工作画面114B显示之前的虚拟管理区域300A的显示位置，图20B示出另一工作画面114B显示之后的虚拟管理区域300A的显示位置。
图21A和图21B是说明当另一工作画面114B显示在显示画面114A上时将虚拟管理区域300A移动到跨接在显示画面114A和虚拟管理画面114C的位置的示例的图示，图21A示出另一工作画面114B显示之前的虚拟管理区域300A的显示位置，图21B示出另一工作画面114B显示之后的虚拟管理区域300A的显示位置。虚拟管理画面114C是位于物理显示画面114A之外的非显示页面。该非显示页面是虚拟空间的示例。图21A和图21B示出单个非显示页面的示例；然而，非显示页面的数量可为多个。
在图21A和图21B的示例中，虚拟管理区域300A的显示位置移动而其形状不改变；然而，可根据另一新显示的工作画面114B来改变虚拟管理区域300A的形状，然后可移动显示位置。例如，如果虚拟管理区域300A根据另一工作画面114B而简单地变形，则虚拟管理区域300A的显示面积可能过度减小，并且可能难以识别机器人200的位置。因此，虚拟管理区域300A可变形以使得其显示面积不会变得小于预定面积。然后，可移动虚拟管理区域300A的显示位置。
图22A和图22B是说明当另一工作画面114B显示在显示画面114A上时将虚拟管理区域300A移动到虚拟管理画面114C的示例的图示，图22A示出在显示另一工作画面114B之前虚拟管理区域300A的显示位置，图22B示出在显示另一工作画面114B之后虚拟管理区域300A的显示位置。同样在这种情况下，可改变虚拟管理区域300A的形状，然后可移动其显示位置。
显示图像生成单元1110可具有根据距基准位置的距离来改变与机器人200关联的图像200A的显示尺寸的功能。图23A至图23C是说明根据距离L来改变与机器人200关联的图像200A的显示尺寸的示例的图示，图23A示出在真实空间中用户3与机器人200之间的距离L的关系，图23B示出显示尺寸的变化为连续的情况，图23C示出显示尺寸的变化为逐步的情况。
如图23A至图23C所示，随着距离L减小，显示图像生成单元1110显示具有更大显示尺寸的图像200A，并且随着距离L增大，显示具有更小显示尺寸的图像200A。通过改变显示尺寸，用户3容易地掌握机器人200的位置。可通过距离L与阈值之间的比较来提供显示尺寸的逐步改变。例如，显示图像生成单元1110在距离L超过阈值的时刻(距离L超过较大一侧的阈值以及距离L超过较小一侧的阈值的两个时刻)改变图像200A的显示尺寸。在此示例性实施方式中，改变图像200A的显示尺寸的功能与根据显示画面114A的形状使虚拟管理区域300A变形的功能组合使用。然而，可改变图像200A的显示尺寸，而不管显示区域的形状的变形。
尽管可通过显示画面114A上的显示尺寸的变化来掌握机器人200是近还是远，但是实际距离是不清楚的。为了识别距离，需要在虚拟管理区域300A中显示各个位置的显示比例和距离信息。图24示出显示比例(比例尺)被显示在虚拟管理区域300A的各个部分的示例。在图24的示例中，画面中心处的十字形区域中的压缩率高于显示画面114A的四个拐角部分。显示比例是比例信息的示例，并且用作与映射在显示画面114A上的图像200A对应的真实空间400中的机器人200的位置的补充信息。
图25A和图25B是说明在画面上显示由显示尺寸指示的距离信息的示例的图示，图25A示出显示尺寸与距离之间的对应的样本，图25B示出在图像200A附近显示针对距离的引导的示例。图26A和图26B是说明利用特定区域名称指示机器人200的位置的示例的图示，图26A示出管理区域300中确定的区域名称，图26B示出在虚拟管理区域300A中显示机器人200所在区域的区域名称的显示示例。图26B利用字符示出机器人200在区段A中。
图27A和图27B是说明在画面上显示距机器人200的距离的示例的图示，图27A示出管理区域300中的机器人200的位置，图27B示出在虚拟管理区域300A中利用数值来显示距机器人200的距离L的显示示例。通过这些显示功能的组合，用户3可容易地掌握机器人200的位置并且可识别更准确的机器人200的位置。
另外，显示图像生成单元1110可具有在显示画面上进行提前通知的功能，该提前通知指示机器人200移动到管理区域300之外。图28A至图28C是说明关于机器人200移动到管理区域300之外的提前通知的画面的示例的图示，图28A示出管理区域300和机器人200之间的位置关系，图28B示出显示在显示画面114A上的提前通知画面的示例，图28C示出显示提前通知之后的显示。在此示例性实施方式中，“提前通知”表示关于图像200A从显示画面114A消失的通告或指示。在图28A至图28B的示例中，通过字符“再见”指示机器人200从管理区域300离开的情况，然后图像200A从画面消失。因此，用户3可在显示画面114A上识别出机器人200移动到管理区域300之外。
图29A至图29C是说明关于机器人200移动到管理区域300之外的的提前通知的画面的另一示例的图示，图29A示出管理区域300和机器人200之间的位置关系，图29B示出显示在显示画面114A上的提前通知画面的示例，图29C示出在显示提前通知之后的显示。在图29A至图29B的示例中，通过挥手动作来指示机器人200移动到管理区域300之外的情况，然后图像200A从画面消失。因此，用户3可在显示画面114A上识别出机器人200移动到管理区域300之外。
另外，显示图像生成单元1110可具有在显示画面上进行指示机器人200返回到管理区域300的提前通知的功能。图30A至图30C是说明关于机器人200返回到管理区域300的提前通知的画面的示例的图示，图30A示出管理区域300和机器人200之间的位置关系，图30B示出显示在显示画面114A上的提前通知画面的示例，图30C示出在显示提前通知之后的显示。在图30A至图30C的示例中，通过使得图像200A与字符“我回来了”一起出现在画面上来指示机器人200返回到管理区域300的情况。即，再次显示图像200A。因此，用户3可在显示画面114A上识别出机器人200返回到管理区域300。
图31A至图31C是说明关于机器人200返回到管理区域300的提前通知的画面的另一示例的图示，图31A示出管理区域300和机器人200之间的位置关系，图31B示出在显示画面114A上显示的提前通知画面的示例，图31C示出在显示提前通知之后的显示。在图31A至图31C的示例中，通过使得鞠躬图像200A出现在画面上来指示机器人200返回到管理区域300的情况。即，再次显示图像200A。因此，用户3可在显示画面114A上识别出机器人200返回到管理区域300。
另外，显示图像生成单元1110可具有以下功能：即使当机器人200处于管理区域300中时，也显示发生了通信故障。图32A至图32C是说明当在管理区域300的中心处与机器人200的通信中断时的显示示例的图示，图32A示出管理区域300和机器人200之间的位置关系，图32B示出关于通信故障的提前通知的画面的示例，图32C示出在显示提前通知之后的显示。在图32A至图32C的示例中，通过挥手动作来指示与机器人200的通信中断，然后图像200A从画面消失。由于尽管机器人200位于虚拟管理区域300A的中心，与机器人200关联的图像200A在这种动作之后消失，所以用户3可在显示画面114A上识别出与机器人200的通信中断。另选地，可在画面上通过字符显示通信故障。
图33A至图33C是说明当在管理区域300的中心处与机器人200的通信重新开始时的显示示例的图示，图33A示出管理区域300和机器人200之间的位置关系，图33B示出通信重新开始之前的画面的示例，图33C示出指示通信重新开始的画面的示例。在图33A至图33C的示例中，通过鞠躬图像200A的出现来指示与机器人200的通信恢复。由于鞠躬图像200A出现，所以尽管机器人200位于虚拟管理区域300A的中心，用户3也可以在显示画面114A上识别出与机器人200的通信恢复。另选地，可在画面上通过字符显示通信恢复。图像200A的显示消失时的显示尺寸与显示恢复时的显示尺寸相同。
返回参考关于图10的描述，控制器110还具有作为从机器人200获取操作信息的操作信息获取单元1112的功能。如果可获取机器人200的操作状态，则机器人200的操作状态可被显示在显示画面114A上。
图34A和图34B是说明由显示图像生成单元1110从操作信息获取单元1112获取操作信息的显示示例的图示，图34A示出真实空间中的机器人200的操作状态，图34B示出显示画面上的显示形式。图34A和图34B示出机器人200携带包裹230的状态。因此，携带包裹230A的图像200A被显示在显示画面114A上。通过该显示，用户3可识别出机器人200正在携带包裹230。
图35A和图35B是由显示图像生成单元1110从操作信息获取单元1112获取操作信息的另一显示示例的图示，图35A示出真实空间中的机器人200的操作状态，图35B示出显示画面上的显示形式。图35A和图35B示出机器人200掉落包裹230的状态。在此示例中，没有包裹230A的图像200A显示在显示画面114A上，并且显示诸如“帮助”、“掉落包裹”和“过来拾起包裹”的请求帮助的表达(字符)。即使用户3无法在视觉上检查机器人200，利用该显示，用户3也能认识到出现了麻烦，并可执行适当的动作。
操作画面的示例
下面描述根据此示例性实施方式的信息终端100的操作画面的示例。
画面示例1
图36A和图36B示出当用户3和机器人200彼此靠近时的显示示例，图36A示出在管理区域300中的用户3和机器人200的位置，图36B示出虚拟管理区域300A中的位置关系的显示示例。由于图36A和图36B示出当机器人200靠近用户3时的显示示例，所以在指示用户3的图像3B附近显示具有相对大的显示尺寸的与机器人200关联的图像200A。参照图36A和图36B，发现机器人200位于管理区域300的中心附近。
图37A和图37B示出当用户3和机器人200彼此远离时的显示示例，图37A示出在管理区域300中的用户3和机器人200的位置，图37B示出虚拟管理区域300A中的位置关系的显示示例。由于图37A和图37B示出当机器人200远离用户3时的显示示例，所以在远离指示用户3的图像3B的位置处显示具有相对小的显示尺寸的与机器人200关联的图像200A。参照图37A至图37B，发现机器人200位于管理区域300的拐角附近。
尽管在图36A至图37B中根据距用户3的距离来改变与机器人200关联的图像200A的显示尺寸，但是显示尺寸可相同，而不管画面上的位置。
画面示例2
图38A和图38B示出当用户3位于管理区域300的中心附近时的显示示例，图38A示出在管理区域300中的用户3和机器人200的位置，图38B示出虚拟管理区域300A中的位置关系的显示示例。尽管因为机器人200位于管理区域300的拐角处图38A和图38B示出与图37A和图37B中的示例相似的示例，但是用户3与机器人200之间的距离小，因此与机器人200关联的图像200A的显示尺寸没有显着减小。
画面示例3
图39A和图39B示出当用户3和机器人200彼此靠近时的另一显示示例，图39A示出管理区域300中的用户3和机器人200的位置，图39B示出虚拟管理区域300A中的位置关系的显示示例。用户3与机器人200之间的位置关系与图36A和图36B相同。然而，图39A和图39B示出与显示区域对应的距离的引导。例如，在图39A和图39B中，发现机器人200位于与用户3分开约100m的位置处。用户3可参考与机器人200关联的图像200A的显示尺寸以及画面上的距离的引导来容易地掌握与机器人200的位置关系。
画面示例4
图40A和图40B示出当用户3和机器人200彼此靠近时的另一显示示例，图40A示出在管理区域300中的用户3和机器人200的位置，图40B示出虚拟管理区域300A中的位置关系的显示示例。用户3与机器人200之间的位置关系与图39A和图39B相同。然而，图40A和图40B示出与显示区域对应的比例信息。具体地，画面的左侧部分对应于5m，画面的中心部分对应于10m，画面的右侧部分对应于100m，但是这些部分的长度与图39A和图39B中相同。用户3可参考与机器人200关联的图像200A的显示尺寸以及画面上的比例信息来容易地掌握与机器人200的位置关系。
画面示例5
图41A和图41B示出当多个机器人200位于管理区域300中时的显示示例，图41A示出管理区域300中的用户3与两个机器人200(1)和200(2)之间的位置关系，图41B示出虚拟管理区域300A中的位置关系的显示示例。在图41A和图41B所示的显示示例中，指示紧密布置的机器人200(1)和200(2)的图像200A(1)和200A(2)以相同的显示尺寸显示。然而，如果图像200A(1)和200A(2)的显示形式相同，则两个机器人200(1)和200(2)可能无法彼此区分。因此，在图41A和图41B中，两个图像200A(1)和200A(2)以不同的显示形式显示，以使得两个机器人200(1)和200(2)可彼此区分。在图41A和图41B中，以不同的颜色显示图像200A(1)和200A(2)。
图42A和图42B示出当在管理区域300中多个机器人200之间的位置关系改变时的显示示例，图42A示出在管理区域300中用户3与两个机器人200(1)和200(2)之间的位置关系，图42B示出虚拟管理区域300A中的位置关系的显示示例。在图42A和图42B的显示示例中，机器人200(1)朝着用户3移动，机器人200(2)远离用户3移动。另外，在图42A和图42B中，图像200A(1)的显示尺寸被改变以增大，图像200A(2)的显示尺寸被改变以减小。随着显示上的改变，用户3可容易地掌握两个机器人200(1)和200(2)之间的位置关系。
画面示例6
图43A和图43B示出当另一工作画面114B显示在显示画面114A中时的显示示例，图43A示出在管理区域300中用户3与两个机器人200(1)和200(2)之间的位置关系，图43B示出虚拟管理区域300A中的位置关系的显示示例。在图43A和图43B中，虚拟管理区域300A的形状变形以避开另一工作画面114B。结果，指示机器人200(2)的图像200A(2)移动到显示画面114A的中心附近的位置。该显示位置对应于管理区域300的端部，因此，指示机器人200(2)的图像200A(2)的显示尺寸显著小于指示机器人200(1)的图像200A(1)的显示尺寸。因此，用户3可容易地掌握：机器人200(1)近，机器人200(2)远。
画面示例7
图44A至图44C是说明当另一工作画面114B的显示尺寸改变时虚拟管理区域300A的形状的变化的图示，图44A示出在显示另一工作画面114B之前的显示示例，图44B示出紧接在显示另一工作画面114B之后的显示示例，图44C示出另一工作画面114B的显示面积改变之后的显示示例。在图44A至图44C中，虚拟管理区域300A的形状改变；然而，与机器人200关联的图像200A的显示尺寸没有改变。用户3可容易地掌握机器人200的位置，而不管虚拟管理区域300A的变化。
画面示例8
图45A至图45C是说明当在管理区域300中机器人200远离用户3移动时的显示示例的图示，图45A示出在管理区域300中的用户3和机器人200之间的位置关系，图45B示出用于表现机器人200远离用户3移动的状态的显示示例，图45C示出用于表现机器人200远离用户移动的状态的另一显示示例。在图45B中，与机器人200关联的图像200A示出其背对着与用户3对应的图像3B。在图45C中，与机器人200关联的图像200A示出其背对着观看显示画面114A的用户3。
图46A至图46C是说明当在管理区域300中机器人200朝着用户3移动时的显示示例的图示，图46A示出在管理区域300中的用户3和机器人200之间的位置关系，图46B示出用于表现机器人200朝着用户3移动的状态的显示示例，图46C示出用于表现机器人200朝着用户3移动的状态的另一显示示例。在图46B中，与机器人200关联的图像200A示出其脸对着与用户3对应的图像3B。在图46C中，与机器人200关联的图像200A示出其脸对着观看显示画面114A的用户3。
画面示例9
图47A和图47B是说明当在单个显示画面114A中管理位于多个管理区域300中的多个机器人200(1)和200(2)时的显示示例的图示，图47A示出在两个管理区域300(1)和300(2)中的机器人200的位置，图47B示出显示画面114A的显示示例。在显示画面114A上，与两个管理区域300(1)和300(2)对应的两个虚拟管理区域300A(1)和300A(2)被并排显示。与机器人200(1)对应的图像200A(1)以大的显示尺寸显示在虚拟管理区域300A(1)中。与机器人200(2)对应的图像200A(2)以小的显示尺寸显示在虚拟管理区域300A(2)中。
画面示例10
图48A至图48C是说明当利用显示画面114A向机器人200给出指令时的显示示例的图示，图48A示出来自机器人200的指令请求画面的示例，图48B示出来自用户的指令的输入示例，图48C示出来自机器人200的响应画面的示例。例如，当光标叠加在与机器人200关联的图像200A上并且在图像200A上进行右击时，显示指令请求画面。图48A至图48C示出用户3请求机器人200递送打印好的材料的示例。
画面示例11
图49A至图49C是说明通过将指示机器人200要执行的功能的图像250叠加在与机器人200关联的图像200A上来指示机器人200执行功能的显示示例的图示，图49A示出对机器人200的功能的执行指令操作，图49B示出来自机器人200的响应画面的示例，图49C示出机器人200的操作状态。图49A至图49C示出用户3请求机器人200递送打印好的材料的示例。参照图49C，发现与机器人200关联的图像200A正拿着打印好的材料230B并正在递送。
画面示例12
图50A和图50B是说明如果进行在显示画面114A上移动与机器人200关联的图像200A的位置的移动操作，则机器人200在管理区域300中实际移动的状态的图示，图50A示出显示画面114A的显示示例，图50B示出机器人200在作为真实空间的管理区域300中的移动。在图50A和图50B的示例中，通过使光标240对准与机器人200关联的图像200A并拖放图像200A，来向真实空间中的机器人200发送移动指令。在图50A和图50B的示例中，在拖动过程中图像200A的位置远离用户3移动，因此显示画面114A上的图像200A的显示尺寸减小。
画面示例13
图51A至图51C是说明根据虚拟管理区域300A的形状来改变与机器人200在真实空间400中的移动量对应的虚拟管理区域300A中的图像200A的变化量的状态的图示，图51A示出机器人200在真实空间400中的移动量，图51B示出在虚拟管理区域300A的显示面积大的情况下图像200A的变化量，图51C示出在虚拟管理区域300A的显示面积小的情况下图像200A的变化量。图中的各个箭头表示真实空间400或虚拟管理区域300A中的变化量。在图51A至图51C的情况下，不管虚拟管理区域300A的差异，与机器人200关联的图像200A的显示尺寸相同，并且仅图像200A的变化量改变。
在图51A至图51C中，由于在真实空间400中未设定管理区域300，所以图51A至图51C中的虚拟管理区域300A对应于机器人200的周边区域。这种情况下的虚拟管理区域300A是用于机器人200的位置指示的显示区域的示例。如果未设定管理区域300，则管理区域信息获取单元1104(参见图10)可从数据库等获取关于机器人200实际所在的点的周边的地图信息和布局信息。即使在这种情况下，机器人200的位置指示也根据显示画面114A中的虚拟管理区域300A的形状而改变。因此，用户可容易地掌握可移动物体的位置。
画面示例14
图52A和图52B是说明根据虚拟管理区域300A的显示尺寸来限制图像200A的变化范围的图示，图52A示出当虚拟管理区域300A的显示尺寸为大时图像200A的变化范围，图52B示出当虚拟管理区域300A的显示尺寸为小时图像200A的变化范围。在图52A和图52B的情况下，在图52A中在显示画面114A上图像200A在左右方向上可移动的范围比图52B中大。这样，显示画面114A上图像200A的可移动范围受到虚拟管理区域300A的显示尺寸限制。可通过虚拟管理区域300A的显示尺寸来限制图像200A的显示尺寸的变化范围。
其它示例性实施方式
为了例示和描述的目的提供了本发明的示例性实施方式的以上描述。其并不旨在为穷尽性的或者将本发明限于所公开的精确形式。显然，对于本领域技术人员而言许多修改和变化将是显而易见的。选择并描述实施方式以便最佳地说明本发明的原理及其实际应用，从而使得本领域技术人员能够理解本发明的各种实施方式以及适合于可以想到的具体用途的各种修改。本发明的范围旨在由以下权利要求书及其等同物限定。

Claims (20)

1.一种信息处理设备，所述信息处理设备包括显示控制器，所述显示控制器显示与可移动物体关联的图像，
其中，当所述可移动物体在真实空间中处于携带包裹的操作状态时，所述显示控制器显示携带包裹的第一图像，并且
其中，当所述可移动物体在所述真实空间中处于掉落包裹的操作状态时，所述显示控制器显示没有包裹的第二图像。
2.根据权利要求1所述的信息处理设备，其中，所述显示控制器通过所述图像的方向来表现所述可移动物体的距离的变化方向。
3.根据权利要求1所述的信息处理设备，其中，确定用于所述可移动物体的管理的区域参考预定对象来确定。
4.根据权利要求1所述的信息处理设备，其中，所述显示控制器根据所述可移动物体相对于预定对象的距离来改变与所述可移动物体关联的所述图像的显示尺寸。
5.根据权利要求4所述的信息处理设备，其中，如果所述可移动物体朝着所述对象移动，则所述显示控制器增大与所述可移动物体关联的所述图像的显示尺寸，如果所述可移动物体远离所述对象移动，则所述显示控制器减小与所述可移动物体关联的所述图像的显示尺寸。
6.根据权利要求1所述的信息处理设备，其中，所述显示控制器根据从确定用于所述可移动物体的管理的区域的中心到所述可移动物体的距离来改变与所述可移动物体关联的所述图像的显示尺寸。
7.根据权利要求6所述的信息处理设备，其中，如果所述距离超过阈值，则所述显示控制器改变与所述可移动物体关联的所述图像的显示尺寸。
8.根据权利要求1所述的信息处理设备，其中，如果位置信息超出确定用于管理的区域，则所述显示控制器从显示区域删除与所述可移动物体关联的所述图像。
9.根据权利要求8所述的信息处理设备，其中，如果所述位置信息返回到确定用于管理的所述区域，则所述显示控制器在所述显示区域中再次显示与所述可移动物体关联的所述图像。
10.根据权利要求1所述的信息处理设备，其中，所述显示控制器显示通过与所述可移动物体关联的所述图像的显示尺寸指示的距离。
11.根据权利要求1所述的信息处理设备，其中，所述显示控制器将指示所述可移动物体的位置的区域信息与和所述可移动物体关联的所述图像一起显示。
12.根据权利要求1所述的信息处理设备，其中，所述显示控制器移动与所述可移动物体关联的所述图像的显示位置，以使得所述图像不与显示在显示画面上的另一工作区域交叠。
13.根据权利要求12所述的信息处理设备，其中，所述显示控制器跨越所述显示画面与非显示虚拟空间之间的边界移动与所述可移动物体关联的所述图像的显示位置。
14.根据权利要求12所述的信息处理设备，其中，所述显示控制器将与所述可移动物体关联的所述图像的显示位置从所述显示画面移动到非显示虚拟空间。
15.根据权利要求1所述的信息处理设备，其中，所述可移动物体包括自走机构。
16.根据权利要求15所述的信息处理设备，其中，根据所述可移动物体的操作状态来改变与所述可移动物体关联的所述图像。
17.根据权利要求15所述的信息处理设备，其中，所述显示控制器提供针对所述可移动物体的帮助请求的指示。
18.根据权利要求1所述的信息处理设备，其中，当与要执行的功能关联的另一图像被叠加在与所述可移动物体关联的所述图像上时，向所述可移动物体发送针对所述功能的执行指令。
19.一种信息处理系统，该信息处理系统包括：
至少一个可移动物体；以及
信息处理设备，所述信息处理设备显示与所述可移动物体关联的图像，
其中，当所述可移动物体在真实空间中处于携带包裹的操作状态时，所述信息处理设备显示携带包裹的第一图像，并且
其中，当所述可移动物体在所述真实空间中处于掉落包裹的操作状态时，所述信息处理设备显示没有包裹的第二图像。
20.一种信息处理方法，该信息处理方法包括以下步骤：显示与可移动物体关联的图像，
其中，当所述可移动物体在真实空间中处于携带包裹的操作状态时，显示携带包裹的第一图像，并且
其中，当所述可移动物体在所述真实空间中处于掉落包裹的操作状态时，显示没有包裹的第二图像。
CN201710903197.3A 2017-02-10 2017-09-29 信息处理设备、信息处理系统和信息处理方法 Active CN108415675B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-023381 2017-02-10
JP2017023381A JP6950192B2 (ja) 2017-02-10 2017-02-10 情報処理装置、情報処理システム及びプログラム

Publications (2)

Publication Number Publication Date
CN108415675A CN108415675A (zh) 2018-08-17
CN108415675B true CN108415675B (zh) 2023-06-09

Family

ID=63105343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710903197.3A Active CN108415675B (zh) 2017-02-10 2017-09-29 信息处理设备、信息处理系统和信息处理方法

Country Status (3)

Country Link
US (1) US10347026B2 (zh)
JP (1) JP6950192B2 (zh)
CN (1) CN108415675B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880470B2 (en) * 2015-08-27 2020-12-29 Accel Robotics Corporation Robotic camera system
CN109909977A (zh) * 2019-03-20 2019-06-21 哈尔滨理工大学 一种基于脑电波的姿态自动跟随机器人
CN110753303B (zh) * 2019-10-23 2021-04-20 浙江树人学院（浙江树人大学） 一种基于多传感器融合的服务机器人室内定位系统及方法
JP7282016B2 (ja) * 2019-11-11 2023-05-26 株式会社日立製作所 ロボットシステム
CN113524182B (zh) * 2021-07-13 2023-05-16 东北石油大学 一种智能调节人与屏幕距离的装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039953A (ja) * 2004-07-27 2006-02-09 Denso Corp 画像合成装置、ディスプレイ装置およびナビゲーション装置
WO2012053033A1 (ja) * 2010-10-20 2012-04-26 三菱電機株式会社 ３次元立体表示装置
WO2013018324A1 (en) * 2011-08-02 2013-02-07 Sony Corporation Control system, display control method, and non-transitory computer readable storage medium
WO2013136498A1 (ja) * 2012-03-15 2013-09-19 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking
JP2016011061A (ja) * 2014-06-30 2016-01-21 本田技研工業株式会社 移動支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04270981A (ja) * 1991-02-26 1992-09-28 Honda Motor Co Ltd レーダ装置
JPH06149339A (ja) 1992-11-10 1994-05-27 Nitto Seiko Co Ltd 教示装置
JP4348468B2 (ja) * 2004-01-21 2009-10-21 株式会社キャンパスクリエイト 画像生成方法
JP3729417B1 (ja) * 2004-09-07 2005-12-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4347313B2 (ja) 2006-02-23 2009-10-21 ファナック株式会社 ロボット教示操作盤
JP2009123061A (ja) 2007-11-16 2009-06-04 Topy Ind Ltd ロボット位置検出システム
JP4998354B2 (ja) * 2008-03-31 2012-08-15 日本電気株式会社 管制塔用表示装置、該管制塔用表示装置に用いられる航空機表示方法及び表示制御プログラム
JP5087532B2 (ja) * 2008-12-05 2012-12-05 ソニーモバイルコミュニケーションズ株式会社 端末装置、表示制御方法および表示制御プログラム
JP5314548B2 (ja) * 2009-09-16 2013-10-16 株式会社日立製作所 自律移動システム及び自律移動装置
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
US20170183157A9 (en) * 2013-06-18 2017-06-29 Hdt Robotics, Inc. Robotic manipulator for warehouses
KR20150017435A (ko) * 2013-08-06 2015-02-17 삼성전자주식회사 전자 장치 및 전자 장치의 터치 입력을 이용한 객체 편집 방법
JP6410022B2 (ja) * 2013-09-06 2018-10-24 パナソニックＩｐマネジメント株式会社 マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
CN106293417A (zh) * 2015-06-08 2017-01-04 中兴通讯股份有限公司 屏幕画面显示方法及装置
US9855664B2 (en) * 2015-11-25 2018-01-02 Denso Wave Incorporated Robot safety system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039953A (ja) * 2004-07-27 2006-02-09 Denso Corp 画像合成装置、ディスプレイ装置およびナビゲーション装置
WO2012053033A1 (ja) * 2010-10-20 2012-04-26 三菱電機株式会社 ３次元立体表示装置
WO2013018324A1 (en) * 2011-08-02 2013-02-07 Sony Corporation Control system, display control method, and non-transitory computer readable storage medium
WO2013136498A1 (ja) * 2012-03-15 2013-09-19 パイオニア株式会社 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体
JP2016011061A (ja) * 2014-06-30 2016-01-21 本田技研工業株式会社 移動支援装置
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking

Also Published As

Publication number Publication date
CN108415675A (zh) 2018-08-17
US10347026B2 (en) 2019-07-09
JP2018128640A (ja) 2018-08-16
JP6950192B2 (ja) 2021-10-13
US20180232923A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
CN108415675B (zh) 信息处理设备、信息处理系统和信息处理方法
CN110533723B (zh) 增强现实显示的方法、姿态信息的确定方法及装置
US11514207B2 (en) Tracking safety conditions of an area
JP7374313B2 (ja) 仮想環境における乗り物の運転方法、装置、端末及びプログラム
CN112189218A (zh) 基于场地的增强现实的方法和装置
US9092894B2 (en) Display control device and display control program for grouping related items based upon location
US20180005445A1 (en) Augmenting a Moveable Entity with a Hologram
CN104428791A (zh) 通过检测图像中的圆形物体操作计算装置
US20220027038A1 (en) Interactive virtual interface
KR100957575B1 (ko) 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
JP6927937B2 (ja) 三次元骨格表現を生成するためのシステム及び方法
KR20200020295A (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
CN113448343A (zh) 用于设定飞行器的目标飞行路径的方法、系统和程序
CN113784767A (zh) 热电堆阵列融合跟踪
CN114740835A (zh) 路径规划方法、路径规划装置、机器人和存储介质
CN108415676B (zh) 信息处理设备和信息处理方法
CN106371455B (zh) 一种智能交互方法和系统
JP6560479B1 (ja) 無人航空機制御システム、無人航空機制御方法、及びプログラム
KR20180026919A (ko) 증강현실 또는 가상현실 시스템
JP7196894B2 (ja) 情報処理装置、情報処理システム及びプログラム
US20210405701A1 (en) Dockable apparatus for automatically-initiated control of external devices
US20220291679A1 (en) Information processing device, information processing method, information processing program, and control device
US20130155211A1 (en) Interactive system and interactive device thereof
KR20190075356A (ko) 객체를 식별하기 위한 장치 및 방법
EP4207100A1 (en) Method and system for providing user interface for map target creation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

GR01 Patent grant
GR01 Patent grant