CN114063766A - 信息处理装置、存储介质及信息处理方法 - Google Patents

信息处理装置、存储介质及信息处理方法 Download PDF

Info

Publication number
CN114063766A
CN114063766A CN202110246740.3A CN202110246740A CN114063766A CN 114063766 A CN114063766 A CN 114063766A CN 202110246740 A CN202110246740 A CN 202110246740A CN 114063766 A CN114063766 A CN 114063766A
Authority
CN
China
Prior art keywords
information processing
documents
area
document
free area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110246740.3A
Other languages
English (en)
Inventor
吉浜太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN114063766A publication Critical patent/CN114063766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种信息处理装置、存储介质及信息处理方法，在现实空间的空闲区域显示复数个虚拟对象物时，能够维持复数个虚拟对象物的配置而显示。一种信息处理装置，其具备处理器，所述处理器进行如下处理：探测现实空间中的对象物的空闲区域；获取复数个虚拟对象物的配置；以所获取的配置在所述空闲区域显示所述复数个虚拟对象物。

Description

信息处理装置、存储介质及信息处理方法
技术领域
本发明涉及一种信息处理装置、存储介质及信息处理方法。
背景技术
专利文献1公开一种对象验证方法。专利文献1的对象验证方法是验证如下内容的方法：在根据由摄像单元拍摄规定区域而得的图像数据，投影在增强现实感显示系统的视图平面内的图像中，是否存在能够用作系统的接口工具的预先选择的对象。
所述对象验证方法具有识别步骤、计算步骤及验证步骤。在识别步骤中，识别预想会存在于投影到所述视图平面的图像内的所述对象的候选即候选对象的预先确定的复数个特征点在所述图像上的位置。在计算步骤中，使成为所述摄像单元的所述摄像基准的位置位于观察所述视图平面的人的视点，根据该视点的位置和所述被识别的所述候选对象的所述复数个特征点的所述位置，计算所述候选对象在所述规定区域内的现实位置。在验证步骤中，根据所述计算出的所述候选对象在所述规定区域内的现实位置、若所述候选对象为所述对象则所述候选对象的所述计算出的现实位置应满足的预先确定的几何学条件，验证所述候选对象是否为所述对象。
所述对象验证方法还具备检测步骤、判断步骤及变更步骤。在检测步骤中，与将所述投影的投影图像变更为其他投影图像的命令相对应而预先确定有观察所述视图平面的人的手或手指的移动和声音，由声音检测单元检测所述视图平面的人的声音。在判断步骤中，根据通过所述摄像单元拍摄而得的图像数据和通过所述声音检测单元检测出的声音，判定观察所述视图平面的人的手或手指的移动和声音是否为与所述命令相对应而预先确定的所述移动和所述声音。在变更步骤中，当判断为观察所述视图平面的人的手或手指的移动和声音是与所述命令相对应而预先确定的所述移动和所述声音时，将所述投影的投影图像变更为其他投影图像。
专利文献2公开一种信息处理装置。专利文献2的信息处理装置具备图像信息获取单元及创建单元。图像信息获取单元从拍摄进行信息输入的输入单元的摄影装置获取该输入单元的图像信息。创建单元根据所述图像信息创建针对显示所述输入单元的图像的显示装置的显示信息，根据使用所述显示装置中显示的所述输入单元输入的信息，更新针对该显示装置的显示信息。
专利文献1：日本专利第4663077号
专利文献1：日本特开2019-101796号公报
在现实空间的特定位置(例如，桌子上)显示虚拟文档时，存在在该特定位置存在物理物体，无视该物体的存在而显示该文档的情况。这种情况下，若在显示了该文档的状态下试图对该文档进行操作，则物体会成为障碍。因此，期望在特定位置，在作为能够显示文档的区域的空闲区域显示文档。
对文档进行操作时，有时显示复数个文档，并且用户对复数个文档进行操作。此时，用户有时使复数个文档的排列具有意义而进行操作，在该情况下，若复数个文档的配置被打乱显示，则有时会给用户带来不便。
发明内容
本发明的目的在于提供一种在现实空间的特定位置中的空闲区域显示复数个虚拟对象物时，能够维持显示复数个虚拟对象物的配置的信息处理装置、存储介质及信息处理方法。
为了解决上述课题，第1方案所涉及的信息处理装置具备处理器，所述处理器进行如下处理：探测现实空间中的对象物的空闲区域；获取复数个虚拟对象物的配置；以所获取的配置在所述空闲区域显示所述复数个虚拟对象物。
第2方案所涉及的信息处理装置在第1方案所涉及的信息处理装置中，所述处理器进行如下处理：配置于离用户越近的位置的所述虚拟对象物，将所述虚拟对象物显示为越大。
第3方案所涉及的信息处理装置在第1方案或第2方案所涉及的信息处理装置中，所述处理器进行如下处理：探测所述对象物中不存在障碍物的区域作为空闲区域。
第4方案所涉及的信息处理装置在第1方案至第3方案中任一方案所涉及的信息处理装置中，所述处理器进行如下处理：显示可视化所述对象物的空闲区域可视化的虚拟空间中的辅助标记。
第5方案所涉及的信息处理装置在第1方案至第4方案中任一方案所涉及的信息处理装置中，所述处理器进行如下处理：在用户对所述对象物的空闲区域进行了所述复数个虚拟对象物向紧前的移动指示时，向紧前方向移动所有的所述复数个虚拟对象物，所移动的虚拟对象物位于所述空闲区域外时，不显示所述移动的虚拟对象物。
第6方案所涉及的信息处理装置在第5方案所涉及的信息处理装置中，所述处理器进行如下处理：将未显示于所述空闲区域的虚拟对象物显示于位于所述空闲区域的外侧的外侧区域。
第7方案所涉及的信息处理装置在第6方案所涉及的信息处理装置中，所述处理器进行如下处理：在所述外侧区域显示所述虚拟对象物时，所述虚拟对象物的重要度越大，在所述外侧区域中显示于离用户越近的位置。
第8方案所涉及的信息处理装置在第1方案至第7方案中任一方案所涉及的信息处理装置中，所述处理器进行如下处理：用户观察所述空闲区域中的紧前区域时，放大显示所述复数个虚拟对象物中位于所述紧前区域的1个以上的虚拟对象物的大小。
第9方案所涉及的信息处理装置在第1方案至第8方案中任一方案所涉及的信息处理装置中，所述处理器进行如下处理：用户观察所述空闲区域中的靠里的区域时，缩小显示所述复数个虚拟对象物中位于所述靠里的区域的1个以上的虚拟对象物的大小。
第10方案所涉及的信息处理装置在第8方案或第9方案所涉及的信息处理装置中，所述处理器进行如下处理：根据所述用户观察所述1个以上的虚拟对象物的时间的长度，放大或缩小显示所述1个以上的虚拟对象物的大小。
第11方案所涉及的信息处理装置在第1方案所涉及的信息处理装置中，所述处理器进行如下处理：针对在用户进行了从所述对象物的空闲区域提取所述复数个虚拟对象物中的1个以上的虚拟对象物的动作时显示的拟对象物的操作比显示于所述空闲区域的虚拟对象物更受限。
第12方案所涉及的存储介质，其存储有用于使计算机执行如下处理的信息处理程序：探测现实空间中的对象物的空闲区域；获取复数个虚拟对象物的配置；以所获取的配置在所述空闲区域显示所述复数个虚拟对象物。
第13方案所涉及的信息处理方法，其包括如下步骤：探测现实空间中的对象物的空闲区域；获取复数个虚拟对象物的配置；及以所获取的配置在所述空闲区域显示所述复数个虚拟对象物。
发明效果
根据本发明的第1方案所涉及的信息处理装置、第12方案所涉及的存储介质以及第13方案所涉及的信息处理方法，在现实空间的空闲区域显示复数个虚拟对象物时，能够维持复数个虚拟对象物的配置而显示。
根据第2方案所涉及的信息处理装置，配置所述虚拟对象物的位置离用户越近，越能够提高所述虚拟对象物的视觉辨认度。
根据第3方案所涉及的信息处理装置，在不存在所述障碍物的空闲区域，不会因所述障碍物的存在而妨碍对所述复数个虚拟对象物的视觉辨认，能够视觉辨认所述复数个虚拟对象物。
根据第4方案所涉及的信息处理装置，与没有所述辅助标记的情况相比，能够更容易视觉辨认所述复数个虚拟对象物。
根据第5方案所涉及的信息处理装置，在进行了所述移动指示的情况下，与进行所述移动指示之前相比，能够在离所述用户更近的位置视觉辨认所有所述复数个虚拟对象物，并且所移动的虚拟对象物位于所述空闲区域外时，能够不视觉辨认所述移动的虚拟对象物。
根据第6方案所涉及的信息处理装置，能够在所述外侧区域视觉辨认未显示于所述空闲区域的虚拟对象物。
根据第7方案所涉及的信息处理装置，在所述外侧区域，所述虚拟对象物的重要度越大，越能够在离所述用户更近的位置视觉辨认所述虚拟对象物。
根据第8方案所涉及的信息处理装置，能够放大并视觉辨认所述空闲区域中位于紧前区域的1个以上的虚拟对象物。
根据第9方案所涉及的信息处理装置，能够缩小并视觉辨认所述空闲区域中位于靠里的区域的1个以上的虚拟对象物。
根据第10方案所涉及的信息处理装置，能够根据所述用户观察所述1个以上的虚拟对象物的时间的长度，更加放大或更加缩小并视觉辨认所述1个以上的虚拟对象物。
根据第11方案所涉及的信息处理装置，能够避免如下情况：以与针对响应于所述用户提取所述1个以上的虚拟对象物的动作而显示的虚拟对象物的操作相同的方式进行针对显示于所述空闲区域的虚拟对象物的操作。
附图说明
根据以下附图，对本发明的实施方式进行详细叙述。
图1表示实施方式1的信息处理装置JS的结构；
图2是实施方式1的信息处理装置JS的功能框图；
图3表示实施方式1的文档组信息BJ；
图4表示实施方式1的目录信息SJ；
图5表示实施方式1的文档配置图BH；
图6是表示实施方式1的信息处理装置JS的动作的流程图；
图7表示实施方式1的现实空间GK中的桌子TK；
图8表示实施方式1的现实空间GK中的空闲区域AR；
图9表示实施方式1的虚拟空间KK中的菜单MN；
图10表示实施方式1的复合空间FK中的桌子TK及菜单MN；
图11表示实施方式1的虚拟空间KK中的文档BS1～BS25的配置；
图12表示实施方式1的复合空间FK中的桌子TK、空闲区域AR、文档BS1～BS25的显示；
图13是表示实施方式2的信息处理装置JS的动作的流程图；
图14表示实施方式2的现实空间GK中的桌子TK、计算机PC、文件PA、书写工具PE及空闲区域AR；
图15表示实施方式2的虚拟空间KK中的文档BS1～BS25的配置；
图16表示实施方式2的复合空间FK中的桌子TK、空闲区域AR、文档BS1～BS25的显示；
图17表示实施方式2的变形例的虚拟空间KK中的文档BS1～BS25的配置；
图18表示实施方式2的变形例的复合空间FK中的桌子TK、空闲区域AR、文档BS1～BS25的显示；
图19是表示实施方式3的信息处理装置JS的动作的流程图；
图20表示实施方式3的复合空间FK中的菜单MN；
图21表示实施方式3的文档配置图BH；
图22表示实施方式3的虚拟空间KK中的文档BS1～BS4、BS6～BS9的配置；
图23表示实施方式3的复合空间FK中的桌子TK、空闲区域AR、文档BS1～BS4、BS6～BS9的显示；
图24是表示实施方式4的信息处理装置JS的动作的流程图；
图25表示实施方式4的虚拟空间KK中的辅助标记HM的配置；
图26表示实施方式4的复合空间FK中的桌子TK、空闲区域AR、文档BS1～BS15、辅助标记HM的显示；
图27是表示实施方式5的信息处理装置JS的动作的流程图；
图28表示实施方式5的前一次的文档配置图BH；
图29表示实施方式5的虚拟空间KK中的此次的文档BS1、BS2、……的配置；
图30表示实施方式5的复合空间FK中的此次的桌子TK、空闲区域AR、文档BS1、BS2、……的显示；
图31是表示实施方式6的信息处理装置JS的动作的流程图；
图32表示实施方式6的文档配置图BH；
图33表示实施方式6的虚拟空间KK中的文档BS1、BS2、……的配置；
图34表示实施方式6的复合空间FK中的桌子TK、空闲区域AR、文档BS1、BS2、……的显示；
图35是表示实施方式7的信息处理装置JS的动作的流程图；
图36表示实施方式7的复合空间FK中的移动前的文档BS1、BS2、……；
图37表示实施方式7的虚拟空间KK中的文档BS1、BS2、……的配置；
图38表示实施方式7的复合空间FK中的桌子TK、空闲区域AR、移动后的文档BS1、BS2、……的显示；
图39是表示实施方式8的信息处理装置JS的动作的流程图；
图40表示实施方式8的复合空间FK中的文档BS1、BS2、……；
图41表示实施方式8的虚拟空间KK中的外侧区域SR1、SR2内的文档BS1、BS2、……的配置；
图42表示实施方式8的复合空间FK中的桌子TK、空闲区域AR、文档BS1、BS2、……的显示；
图43是表示实施方式9的信息处理装置JS的动作的流程图；
图44表示实施方式9的复合空间FK中的文档BS1、BS2、……；
图45表示实施方式9的复合空间FK的紧前侧区域RY2中的眼睛ME；
图46表示实施方式9的复合空间FK中的桌子TK、空闲区域AR、被放大的文档BS1、BS2、……的显示；
图47表示实施方式9的复合空间FK中的桌子TK、空闲区域AR、进一步被放大的文档BS1、BS2、……的显示；
图48表示实施方式9的复合空间FK的靠里的区域RY1中的眼睛ME；
图49表示实施方式9的复合空间FK中的桌子TK、空闲区域AR、被缩小的文档BS1、BS2、……的显示；
图50表示实施方式9的复合空间FK中的桌子TK、空闲区域AR、进一步被缩小的文档BS1、BS2、……的显示；
图51是表示实施方式10的信息处理装置JS的动作的流程图；
图52表示实施方式10的复合空间FK中的文档BS1、BS2、……；
图53表示实施方式10的复合空间FK中的文档BS3的移动；
图54表示实施方式10的复合空间FK中的桌子TK、空闲区域AR、文档BS1、BS2、……、移动后的文档BS3；
图55是表示实施方式11的信息处理装置JS的动作的流程图；
图56表示提取实施方式11的复合空间FK中的文档BS3的动作；
图57表示实施方式11的复合空间FK中的被放大的文档BS3的显示；
图58表示提取实施方式11的复合空间FK中的文档BS1的动作；
图59表示实施方式11的复合空间FK中的被放大的文档BS1的显示；
图60表示放回实施方式11的复合空间FK中的文档BS1的动作；
图61表示实施方式11的复合空间FK中的原始大小的文档BS1的显示。
符号说明
JS-信息处理装置，1-输入部，2-CPU，3-输出部，4-存储介质，5-存储器，PR-程序，BJ-文档组信息，SJ-目录信息，BH-文档配置图，11-探测部，12-显示部，13-接收部，14-配置部，15-重叠部，16-获取部，17-形成部，18-控制部，19-存储部。
具体实施方式
＜实施方式1＞
对本发明所涉及的信息处理装置JS的实施方式1进行说明。
实施方式1的信息处理装置JS例如为头戴式显示器，通过在现实空间GK(例如，在图7中示出。)重叠虚拟空间KK(例如，在图11中示出。)，向用户提供复合空间FK(例如，在图12中示出。)。
在此，“复合空间”是指，通过在存在于现实世界的现实空间内的物体重叠通过计算机处理而生成的虚拟空间内的影像来形成的空间。以下，为了便于说明，例如使用“通过重叠现实空间和虚拟空间来显示为复合空间。”等的表达。
＜实施方式1的结构＞
图1表示实施方式1的信息处理装置JS的结构。以下，参考图1对实施方式1的信息处理装置JS的结构进行说明。
如图1所示，实施方式1的信息处理装置JS包括输入部1、CPU2(中央处理器，Central Processing Unit)、输出部3、存储介质4及存储器5。
输入部1例如由传感器、相机、键盘、鼠标、触摸屏构成。CPU2为处理器的一例，是根据软件使硬件动作的众所周知的计算机的核心。输出部3例如由液晶显示器、有机EL(电致发光，Electro Luminescence)显示器构成。存储介质4例如由硬盘驱动器(HDD：Hard DiskDrive)、固态驱动器(SSD：Solid State Drive)、ROM(只读存储器，Read Only Memory)构成。存储器5例如由DRAM(动态随机存取存储器，Dynamic Random Access Memory)、SRAM(静态随机存取存储器，Static Random Access Memory)构成。
存储介质4存储程序PR、文档组信息BJ、目录信息SJ及文档配置图BH。
程序PR为规定CPU2应执行的处理的内容的命令组。
对于文档组信息BJ、目录信息SJ及文档配置图BH，将在后面进行叙述。
图2是实施方式1的信息处理装置JS的功能框图。
如图2所示，信息处理装置JS包括探测部11、显示部12、接收部13、配置部14、重叠部15、获取部16、形成部17、控制部18及存储部19。
关于信息处理装置JS中的硬件结构与功能结构之间的关系，在硬件上，由CPU2一边利用存储器5(实现存储部19的一部分功能。)一边执行存储于存储介质4(实现存储部19的另一部分功能。)的程序PR，并且作为控制部18，根据需要控制输入部1及输出部3的动作，由此实现探测部11、显示部12、接收部13、配置部14、重叠部15、获取部16及形成部17的各部的功能。关于各部的功能，将在后面进行叙述。
＜文档组信息BJ＞
图3表示实施方式1的文档组信息BJ。
实施方式1的文档组信息BJ表示文档组的名称与构成文档组的复数个文档之间的对应关系。如图3所示，文档组信息BJ包括“文档组的名称”及“文档组的结构”。更详细而言，例如文档组的名称“文档组1”(例如，与设计开发相关的文档组)由文档BS1～BS25构成。并且，例如文档组的名称“文档组2”(例如，与制造相关的文档组)由文档BS30～BS60构成。
＜目录信息SJ＞
图4表示实施方式1的目录信息SJ。
实施方式1的目录信息SJ表示文档所具有的目录事项，例如文档BS1、BS2、……(在图3中示出。)所具有的目录事项。如图4所示，目录信息SJ包括“文档名称”、“文档重要度”、“文档尺寸”、“文档位置”。
更详细而言，例如，文档名称“文档BS1”的文档重要度为“稍微高”，文档尺寸为“A4”，文档位置为(x1,y1)。并且，例如，文档名称“文档BS2”的文档重要度为“高”，文档尺寸为“A4”，文档位置为(x2,y1)。而且，例如，文档名称“文档BS3”的文档重要度为“极高”，文档尺寸为“A4”，文档位置为(x3,y1)。
“文档位置”是文档配置图BH(参考图5进行后述。)内的位置。
“文档位置”还是空闲区域AR中的相对位置。例如，文档BS1在宽空闲区域AR(例如，在图11中示出。)中配置于所述宽空闲区域AR内的左下角且与文档BS2、BS6、BS7相邻而配置，另一方面，在窄空闲区域AR(例如，在图16中示出。)内也配置于所述窄空闲区域AR的左下角且与文档BS2、BS6、BS7相邻而配置。
“文档位置”能够由用户自由配置，而且根据其位置确定上述“文档重要度”。
＜文档配置图BH＞
图5表示实施方式1的文档配置图BH。
实施方式1的文档配置图BH表示文档BS1、BS2、……(在图3中示出。)的配置。文档配置图BH例如表示文档BS1配置于位置(x1,y1)，文档BS2配置于位置(x2,y1)，文档BS3配置于位置(x3,y1)。
在此，文档BS1、BS2、……的“文档重要度”根据作为文档BS1、BS2、……的目录信息SJ的位置而确定。具体而言，文档BS1、BS2、……中，文档BS1、BS2、……越配置于离用户近(y轴坐标的值小)的位置，“文档重要度”越大。更详细而言，文档BS1、BS2、……中，文档BS1、BS2、……越配置于离用户的紧前的位置(x1,y1)～(x5,y1)更近的位置，并且配置于离对用户而言的中央位置(x3,y1)～(x3,y5)更近的位置，“文档重要度”越大。
＜实施方式1的动作＞
图6是表示实施方式1的信息处理装置JS的动作的流程图。以下，参考图6的流程图对实施方式1的信息处理装置JS的动作进行说明。
以下，为了便于说明及理解，假设通过重叠桌子TK所存在的现实空间GK和配置构成文档组1的文档BS1～BS25的虚拟空间KK来生成复合空间FK。在此，“桌子TK”为“现实空间中的对象物”的一例。并且，“文档BS1、BS2、……”为“复数个虚拟对象物”的一例。“文档BS1、BS2、……”例如并不限于作为纸媒体的文件、书籍，例如包括不是纸媒体的CD(压缩光盘，Compact Disc)、DVD(数字多功能光盘，Digital Versatile Disc)，并且不限于以字符表达的文件，例如包括以字符以外的图像、照片表达的文件。
步骤S11：在信息处理装置JS中，CPU2(在图1中示出。)作为探测部11(在图2中示出。)，如图7所示那样探测现实空间GK内的桌子TK，且如图8所示那样探测桌子TK的空闲区域AR。
在此，CPU2通过对利用作为输入部1(在图1中示出。)的相机拍摄而得的图像实施图像处理，例如实施以往已知的R-CNN(具有卷积神经网络的区域，Regions withConvolutional Neural Networks)、YOLO(仅查看一次，You Only Look Once)、SSD(单发多盒探测器，Single Shot MultiBox Detector)等来进行桌子TK的探测及空闲区域AR的探测。
在此，“空闲区域AR”是指，桌子TK的表面(例如，顶板)中的推断为能够载置文档B1、BS2、……中的至少1个的范围。
步骤S12：CPU2作为显示部12(在图2中示出。)，如图9所示，在虚拟空间KK显示用于使用户(未图示。)选择文档组1、文档组2、……的菜单MN。
步骤S13：CPU2作为重叠部15(在图2中示出。)，通过重叠现实空间GK内的桌子TK及虚拟空间KK内的菜单MN，并作为显示部12(在图2中示出。)，如图10所示，在复合空间FK显示桌子TK及菜单MN。在此，假设CPU2作为接收部13(在图2中示出。)，从用户接收到“文档组1”的选择。
步骤S14：CPU2作为获取部16(在图2中示出。)，如图11所示，根据在步骤S13中选择的“文档组1”，通过参考文档组信息BJ(在图3中示出。)，获取“文档组1”由文档BS1～BS25(在图3中示出。)构成的情况。CPU2还作为获取部，通过参考目录信息SJ(在图4中示出。)及文档配置图BH(在图5中示出。)，获取文档BS1～BS25的“文档位置”。
步骤S15：CPU2作为配置部14(在图2中示出。)，如图11所示，在虚拟空间KK，在空闲区域AR内(在图8中示出。)的所述获取的文档BS1～BS25的“文档位置”配置文档BS1～BS25。
步骤S16：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR及文档BS1～BS25(在图11中示出。)。由此，CPU2作为显示部12(在图2中示出。)，如图12所示，在复合空间FK显示桌子TK、空闲区域AR及文档BS1～BS25。
在此，如图12所示，文档BS1、BS2、……的文档配置图BH中包含的“文档位置”(在图5中示出。)离用户越近，CPU2将文档BS1、BS2、……显示为越大。
在此，“离用户更近”表示，用户相对于空闲区域位于中央时，位于空闲区域的中央或紧前。此时，位于空闲区域的中央的文档与位于空闲区域的左右的文档相比，显示为更大，相对于用户位于紧前的文档与相对于用户位于靠里的位置的文档相比，显示为更大。
复合空间FK中的空闲区域AR(在图12中示出。)可以是用户能够视觉辨认的区域，也可以是无法视觉辨认的区域。
＜实施方式2＞
对实施方式2的信息处理装置JS进行说明。
＜实施方式2的结构＞
实施方式2的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式2的动作＞
图13是表示实施方式2的信息处理装置JS的动作的流程图。以下，参考图13的流程图对实施方式2的信息处理装置JS的动作进行说明。
在实施方式2中，与在现实空间GK中的桌子TK上不存在任何东西的实施方式1不同，如图14所示，存在计算机PC、文件PA及书写工具PE。在此，计算机PC、文件PA及书写工具PE分别为“障碍物”的一例。
以下，为了简化说明，假设用户预先选择了文档组1即文档BS1～BS25。
步骤S21：在信息处理装置JS中，CPU2(在图1中示出。)作为探测部11(在图2中示出。)，如图14所示，探测现实空间GK内的桌子TK，且探测不存在计算机PC、文件PA及书写工具PE的空闲区域AR。
在此，CPU2如下进行不存在计算机PC、文件PA及书写工具PE的空闲区域AR的探测。CPU2利用实施方式1中说明的R-CNN等以往已知的图像处理，探测桌子TK、计算机PC、文件PA及书写工具PE的存在。CPU2在所述探测之后，从桌子TK的表面例如顶板的区域减去存在计算机PC、文件PA及书写工具PE的区域。由此，CPU2获取不存在计算机PC、文件PA及书写工具PE的空闲区域AR。
步骤S22：CPU2作为配置部14(在图2中示出。)，如图15所示，在虚拟空间KK中的空闲区域AR内配置构成“文档组1”的文档BS1～BS25(在图3中示出。)。
步骤S23：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR及文档BS1～BS25(在图15中示出。)。由此，CPU2作为显示部12(在图2中示出。)，如图16所示，在复合空间FK显示桌子TK、空闲区域AR及文档BS1～BS25。
另外，空闲区域的形状无须为矩形，只要是除了障碍物以外的区域即可，因此空闲区域的形状可以是多边形或圆形、椭圆形等。
＜实施方式2的变形例＞
CPU2代替上述步骤S22、S23，作为配置部14，例如根据基于用户的操作，如图17所示，在虚拟空间KK放大配置文档BS1～BS25中作为其一部分的例如文档BS2～BS5、BS7～BS10、BS12～BS15、BS17～BS20。由此，CPU2作为显示部12，如图18所示，可以在复合空间FK显示桌子TK、空闲区域AR、被放大的文档BS2～BS5、BS7～BS10、BS12～BS15、BS17～BS20。
＜实施方式3＞
对实施方式3的信息处理装置JS进行说明。
＜实施方式3的结构＞
实施方式3的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式3的动作＞
图19是表示实施方式3的信息处理装置JS的动作的流程图。以下，参考图19的流程图对实施方式3的信息处理装置JS的动作进行说明。
实施方式3中，与显示所有文档BS1～BS25的实施方式1不同，显示文档BS1～BS25中由用户选择的一部分文档。
步骤S31：在信息处理装置JS中，CPU2(在图1中示出。)作为显示部12(在图2中示出。)，如图20所示，在复合空间FK显示菜单MN。如图20所示，菜单MN能够由用户选择文档BS1～BS25中用户希望显示的文档。在此，假设CPU2作为接收部13(在图2中示出。)，从用户接收到文档BS1、BS4、BS7的选择。
步骤S32：CPU2作为形成部17(在图2中示出。)，如图21所示，在文档配置图BH上形成通过在步骤S31中选择的文档BS1、BS4、BS7确定的闭合区域HR。在此，如图21所示，在闭合区域HR内存在文档BS1～BS4、BS6～BS9。
在此，更详细而言，“闭合区域”为包含所选择的所有文档BS1、BS4、BS7的矩形区域，是指面积最小的区域。
步骤S33：CPU2作为配置部14(在图2中示出。)，如图22所示，在虚拟空间KK中，在桌子TK的空闲区域AR内配置存在于闭合区域HR(在图21中示出。)的BS1～BS4、BS6～BS9。
步骤S34：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR及文档BS1～BS4、BS6～BS9(在图22中示出。)。由此，CPU2作为显示部12(在图2中示出。)，如图23所示，在复合空间FK显示桌子TK、空闲区域AR及文档BS1～BS4、BS6～BS9。
在此，CPU2无需在空闲区域AR显示所有文档BS1～BS25。其结果，CPU2例如与实施方式1的复合空间FK中的文档BS1～BS25(在图12中示出。)的大小相比，放大显示文档BS1～BS4、BS6～BS9。
＜实施方式4＞
对实施方式4的信息处理装置JS进行说明。
＜实施方式4的结构＞
实施方式4的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式4的动作＞
图24是表示实施方式4的信息处理装置JS的动作的流程图。以下，参考图24的流程图对实施方式4的信息处理装置JS的动作进行说明。
实施方式4中，与实施方式1不同，在远近法下，显示用于辅助文档BS1～BS25的视觉辨认的辅助标记。
步骤S41：在信息处理装置JS中，CPU2(在图1中示出。)作为显示部12(在图2中示出。)，例如如图25所示，追加配置可视化放大配置有文档BS1～BS15的空闲区域AR的范围的辅助标记HM。根据远近法显示文档BS1～BS15，因此配置文档BS1～BS15的空闲区域也根据远近法而变形为梯形。通过可视化配置有文档BS1～BS15的范围，用户能够识别能够在哪个范围处理文档BS1～BS15。
步骤S42：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR、文档BS1～BS15及辅助标记HM(在图25中示出。)。由此，CPU2作为显示部12(在图2中示出。)，如图26所示，在复合空间FK显示桌子TK、空闲区域AR、文档BS1～15及辅助标记HM。
＜实施方式5＞
对实施方式5的信息处理装置JS进行说明。
＜实施方式5的结构＞
实施方式5的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式5的动作＞
图27是表示实施方式5的信息处理装置JS的动作的流程图。以下，参考图27的流程图对实施方式5的信息处理装置JS的动作进行说明。
在实施方式5中，假设文档BS1、BS2、……在此次之前的前一次中显示的位置存储于文档配置图BH(在图28中示出。)。
在此，如在图28中示出的文档配置图BH所示，在前一次，例如不存在文档BS4、BS8、BS10、……，即，为各个文档BS4等缺失的缺失状态。
步骤S51：在信息处理装置JS中，CPU2(在图1中示出。)作为获取部16(在图2中示出。)，如图28所示，通过参考表示在前一次中文档BS1、BS2、……显示的位置的文档配置图BH，获取此次文档BS1、BS2、……应配置于哪一位置。
更详细而言，如图28所示，CPU2获取文档BS1～BS25中在前一次中存在的文档即文档BS1、BS2、BS3、BS5、BS6、BS7、BS9、……被配置的位置。
步骤S52：CPU2作为配置部14(在图2中示出。)，如图29所示，此次，在虚拟空间KK的空闲区域AR内的、在前一次配置了文档BS1、BS2、BS3、BS5、BS6、BS7、BS9、……的位置配置文档BS1、BS2、BS3、BS5、BS6、BS7、BS9、……。
步骤S53：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR及文档BS1、BS2、……(在图29中示出。)。由此，CPU2作为显示部12，如图30所示，在复合空间FK显示桌子TK、空闲区域AR及文档BS1、BS2、……。
＜实施方式6＞
对实施方式6的信息处理装置JS进行说明。
＜实施方式6的结构＞
实施方式6的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式6的动作＞
图31是表示实施方式6的信息处理装置JS的动作的流程图。以下，参考图31的流程图对实施方式6的信息处理装置JS的动作进行说明。
在实施方式6中，与实施方式1不同，以与作为文档BS1、BS2、……的目录信息SJ的“文档尺寸”相对应的大小显示文档BS1、BS2、……。
以下，为了便于说明及理解，假设如图32所示，文档BS1、BS2、……的目录信息SJ中包含的“文档尺寸”(在图4中示出。)也包含在文档配置图BH中。在此，如图32所示，“A3”、“A4”、“A5”为“文档尺寸”。
步骤S61：在信息处理装置JS中，CPU2(在图1中示出。)作为获取部16(在图2中示出。)，从文档配置图BH(在图32中示出。)获取文档BS1、BS2、……的“文档尺寸”。
CPU2例如获取文档BS1的文档尺寸“A5”，且文档BS2的文档尺寸“A4”的情况。
步骤S62：CPU2作为配置部14(在图2中示出。)，如图33所示，在虚拟空间KK，在空闲区域AR内以与文档BS1、BS2、……的“文档尺寸”相对应的大小配置文档BS1、BS2、……。
步骤S63：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR及文档BS1、BS2、……(在图33中示出。)。由此，CPU2作为显示部12(在图2中示出。)，如图34所示，在复合空间FK显示桌子TK、空闲区域AR及文档BS1、BS2……。
＜实施方式7＞
对实施方式7的信息处理装置JS进行说明。
＜实施方式7的结构＞
实施方式7的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式7的动作＞
图35是表示实施方式7的信息处理装置JS的动作的流程图。以下，参考图35的流程图对实施方式7的信息处理装置JS的动作进行说明。
在实施方式7中，与文档BS1、BS2、……的位置固定的实施方式1不同，与用户的操作相对应地变更文档BS1、BS2、……的位置。
以下，为了便于说明及理解，假设如图36所示，在复合空间FK，在桌子TK的空闲区域AR内预先显示有文档BS1、BS2、……。
步骤S71：在信息处理装置JS中，CPU2(在图1中示出。)作为探测部11(在图2中示出。)，如图36的箭头YJ所示，探测用户的手TE1、TE2在空闲区域AR内试图向用户的紧前方向移动文档BS1、BS2、……的移动指示。
在此，CPU2通过对利用作为输入部1(在图1中示出。)的相机拍摄而得的图像实施以往已知的图像处理，例如匹配法、梯度法等来进行用户的手TE1、TE2的移动的探测。
步骤S72：CPU2作为配置部14(在图2中示出。)，如图37所示，在虚拟空间KK，在空闲区域AR内将所有文档BS1、BS2、……移动并配置于与图36的箭头YJ的长度(手TE1、TE2所移动的距离)相对应的位置。
步骤S73：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR及文档BS1、BS2、……(在图37中示出。)。由此，CPU2作为显示部12(在图2中示出。)，如图38所示，在复合空间FK显示桌子TK、空闲区域AR及所有文档BS1、BS2、……。
与上述步骤S71～73相反，CPU2也可以在探测到用户的手TE1、TE2在空闲区域AR内试图向与用户的紧前方向相反的方向(远离用户的方向)移动文档BS1、BS2、……的移动指示时，将所有文档BS1、BS2、……向所述相反方向移动并配置之后进行显示。
另外，通过上述向用户的紧前方向的移动及向远离用户的方向的移动，文档BS1、BS2、……中的任一个例如文档BS1位于空闲区域AR外时，可以不显示文档BS1。
＜实施方式8＞
对实施方式8的信息处理装置JS进行说明。
＜实施方式8的结构＞
实施方式8的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式8的动作＞
图39是表示实施方式8的信息处理装置JS的动作的流程图。以下，参考图39的流程图对实施方式8的信息处理装置JS的动作进行说明。
在实施方式8中，与将文档BS1、BS2、……配置并显示于空闲区域AR内的实施方式1不同，不仅将文档BS1、BS2、……配置并显示于空闲区域AR内，还配置并显示于位于空闲区域AR的外侧的外侧区域SR1、SR2(例如，在图41中示出。)。
以下，为了便于说明及理解，假设在复合空间FK，与基于用户的文档操作(例如，文档的放大、文档的移动)相对应而在空闲区域AR预先配置有例如文档BS1～BS25中的一部分文档即文档BS1、BS2、……。
步骤S81：在信息处理装置JS中，CPU2(在图1中示出。)作为探测部11(在图2中示出。)，如图40所示，探测在复合空间FK，存在于空闲区域AR内的文档BS1、BS2、……中的一部分文档即文档BS1～BS4、BS17～BS20未完全显示于空闲区域AR内的情况，即，探测文档BS1～BS4、BS17～BS20中的一部分未完全显示于空闲区域AR的情况。
步骤S82：CPU2作为形成部17(在图2中示出。)，如图41所示，在虚拟空间KK，在空闲区域AR(在图40中示出。)的外侧，例如在紧前方向上的外侧、正面宽度方向上的外侧、纵深方向上的外侧中，在正面宽度方向上的外侧形成外侧区域SR1、SR2。
CPU2进一步作为配置部14(在图2中示出。)，如图41所示，在外侧区域SR1、SR2配置未完全显示于空闲区域AR内的文档BS1～BS4、BS17～BS20中的若干个文档。更详细而言，CPU2考虑文档BS1～BS4、BS17～BS20的目录信息SJ的“文档重要度”(在图4中示出。)及复合空间FK的空闲区域AR中的文档BS1～BS4、BS17～BS20的位置(在图40中示出。)，以重要度越大的文档，配置于离用户越近的位置的方式，例如在左侧的外侧区域SR1，沿从紧前朝向靠里的方向，依次配置文档BS2(或文档BS3)、文档BS3(或文档BS2)、文档BS1，同样地在右侧的外侧区域SR2，沿从紧前朝向靠里的方向，依次配置文档BS4、BS18、BS19。
另外，不考虑文档重要度和文档显示于空闲区域时的位置而单纯地不显示文档时，可以显示于外侧区域。
步骤S83：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR、外侧区域SR1、SR2及文档BS1、BS2、……(在图41中示出。)。由此，CPU2作为显示部12(在图2中示出。)，如图42所示，在复合空间FK显示桌子TK、空闲区域AR、外侧区域SR1、SR2及文档BS1、BS2、……。
＜实施方式9＞
对实施方式9的信息处理装置JS进行说明。
＜实施方式9的结构＞
实施方式9的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式9的动作＞
图43是表示实施方式9的信息处理装置JS的动作的流程图。以下，参考图43的流程图对实施方式9的信息处理装置JS的动作进行说明。
在实施方式9中，与文档BS1、BS2、……的大小没有任何变更的实施方式1不同，根据用户的眼睛所观察的位置及所观察的时间的长度，变更文档BS1、BS2、……的大小。
以下，为了便于说明及理解，假设如图44所示，在复合空间FK，在空闲区域AR内的靠里的区域RY1及紧前侧区域RY2预先配置有文档BS1、BS2、……。
在此，“靠里的区域RY1”是对于用户而言位于空闲区域AR的靠里的位置的区域(离用户相对远的区域)，并且，“紧前侧区域RY2”是对于用户而言位于空闲区域AR的紧前的位置的区域(离用户相对近的区域)。“靠里的区域RY1”为“靠里的区域”的一例，“紧前侧区域RY2”为“紧前区域”的一例。
另外，关于紧前区域与靠里的区域的边界，可以预先确定特定位置，也可以由用户任意地指定。
步骤S91：在信息处理装置JS中，CPU2(在图1中示出。)作为探测部11(在图2中示出。)，如图45所示，探测在复合空间FK，用户的眼睛ME在观察空闲区域AR内的紧前侧区域RY2。
在此，CPU2通过对利用作为输入部1(在图1中示出。)的相机拍摄而得的图像适用图像处理方法，例如以往已知的“利用将基准点作为眼角且将动点作为虹膜的位置关系的方法”、“利用将基准点作为角膜反射且将动点作为瞳孔的位置关系的方法”等来探测用户的眼睛ME在观察紧前侧区域RY2。
步骤S92：CPU2作为配置部14(在图2中示出。)，在虚拟空间KK，在空闲区域AR内放大配置紧前侧区域RY2内的文档BS1、BS2、……(未图示。)。在此，CPU2可以在所述放大的配置的同时，放大配置靠里的区域RY1内的文档BS10、BS11、……。
步骤S93：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR、靠里的区域RY1、紧前侧区域RY2及在步骤S92中被放大的文档BS1、BS2、……。由此，CPU2作为显示部12(在图2中示出。)，如图46所示，在复合空间FK显示桌子TK、空闲区域AR、靠里的区域RY1、紧前侧区域RY2及被放大的文档BS1、BS2、……。
CPU2在进行步骤S92的配置时，可以如下：用户的眼睛观察紧前侧区域RY2的时间越长，越放大配置文档BS1、BS2、……。由此，在步骤S93中，CPU2作为显示部12，如图47所示，在复合空间FK显示桌子TK、空闲区域AR、靠里的区域RY1、紧前侧区域RY2及进一步被放大的文档BS1、BS2、……。
步骤S94：与上述步骤S91相反，CPU2作为探测部11，如图48所示，探测在复合空间FK，用户的眼睛ME在观察空闲区域AR内的靠里的区域RY1。
在此，CPU2例如利用在步骤S91中说明的图像处理方法探测用户的眼睛ME在观察靠里的区域RY1。
步骤S95：与上述步骤S92相反，CPU2作为配置部14，在虚拟空间KK，在空闲区域AR内缩小配置靠里的区域RY1的文档BS10、BS11、……(未图示。)。在此，CPU2可以在所述缩小的配置的同时，缩小配置紧前侧区域RY2内的文档BS1、BS2、……。
步骤S96：CPU2进一步作为重叠部15，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR、靠里的区域RY1、紧前侧区域RY2及在步骤S95中被缩小的文档BS10、BS11、……。由此，CPU2作为显示部12，如图49所示，在复合空间FK显示桌子TK、空闲区域AR、靠里的区域RY1、紧前侧区域RY2及被缩小的文档BS10、BS11……。
CPU2在进行步骤S95的配置时，可以如下：用户的眼睛观察靠里的区域RY1的时间越长，越缩小配置文档BS10、BS11、……。由此，在步骤S9中，CPU2作为显示部12，如图50所示，在复合空间FK显示桌子TK、空闲区域AR、靠里的区域RY1、紧前侧区域RY2及进一步被缩小的文档BS10、BS11、……。
另外，在实施方式9中，根据用户的眼睛所观察的位置及所观察的时间的长度来变更了文档BS1、BS2、……的大小，但也可以根据用户的眼睛所观察的位置及用户进行手势的时间来变更文档BS1、BS2、……的大小。例如可以如下：在用户一边观察紧前侧区域一边用手进行扩大2根手指的距离的动作时，放大文档，在用户一边观察靠里的区域一边用手进行缩小2根手指的距离的动作时，缩小显示文档。
＜实施方式10＞
对实施方式10的信息处理装置JS进行说明。
＜实施方式10的结构＞
实施方式10的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式10的动作＞
图51是表示实施方式10的信息处理装置JS的动作的流程图。以下，参考图51的流程图对实施方式10的信息处理装置JS的动作进行说明。
在实施方式10中，与文档BS1、BS2、……均不移动的实施方式1不同，文档BS1、BS2、……中的其中一个移动。
以下，为了便于说明及理解，假设如图52所示，在复合空间FK的空闲区域AR预先显示有文档BS1、BS2、……。
步骤S101：在信息处理装置JS中，CPU2(在图1中示出。)作为探测部11(在图2中示出。)，如图52、图53所示，探测在复合空间FK，在桌子TK的空闲区域AR内用户的手TE所接触的位置(例如，通过用户的手TE靠近而开始显示的按钮BT的位置)向图53的箭头YJ的方向移动的情况。换言之，CPU2探测手TE试图移动存在于手TE所接触的位置的文档BS3的动作(移动指示)。
步骤S102：CPU2作为配置部14(在图2中示出。)，在虚拟空间KK的空闲区域AR内，将文档BS3以外的文档BS1、BS2、BS4、……配置于与图52所示的BS1、BS2、BS4、……的位置相同的位置，即，不移动配置，且将文档BS3配置于图53的箭头YJ所示的移动后的位置，即，移动配置(未图示。)。
步骤S103：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR及文档BS1、BS2、……。由此，CPU2作为显示部12(在图2中示出。)，如图54所示，在复合空间FK显示桌子TK、空闲区域AR、文档BS1、BS2……。图54中，虚线表示文档BS3的移动前的位置。
＜实施方式11＞
对实施方式11的信息处理装置JS进行说明。
＜实施方式11的结构＞
实施方式11的信息处理装置JS具有与实施方式1的信息处理装置JS的结构(在图1中示出。)及功能(在图2中示出。)相同的结构及功能。
＜实施方式11的动作＞
图55是表示实施方式11的信息处理装置JS的动作的流程图。以下，参考图55的流程图对实施方式11的信息处理装置JS的动作进行说明。
在实施方式11中，与和用户的操作毫无关系地显示文档BS1、BS2、……的实施方式1不同，响应用户的操作而放大或缩小显示文档BS1、BS2、……。
以下，为了便于说明及理解，假设如图56所示，在复合空间FK，在空闲区域AR内预先显示有文档BS1、BS2、……。
步骤S111：在信息处理装置JS中，CPU2(在图1中示出。)作为探测部11(在图2中示出。)，如图56所示，探测在现实空间GK用户试图通过沿箭头YJ1、YJ2的方向移动右手TE1的手指来向用户的方向提取文档BS3的动作。
步骤S112：CPU2作为配置部14(在图2中示出。)，在虚拟空间KK放大配置用户试图提取的文档BS3(未图示。)。
步骤S113：CPU2作为重叠部15(在图2中示出。)，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR、文档BS1、BS2、……及在步骤S112中被放大的文档BS3。由此，CPU2作为显示部12(在图2中示出。)，如图57所示，在复合空间FK显示桌子TK、空闲区域AR、文档BS1、BS2、……及被放大的文档BS3。
步骤S114：与步骤S111同样地，CPU2作为探测部11，如图58所示，探测在现实空间GK用户试图通过沿箭头YJ3、YJ4的方向移动左手TE2的手指来向用户的方向提取文档BS1的动作。
步骤S115：与步骤S112同样地，CPU2作为配置部14，在虚拟空间KK放大配置用户已提取的文档BS3及用户试图提取的文档BS1(未图示。)。
步骤S116：与步骤S113同样地，CPU2作为重叠部15，重叠现实空间GK内的桌子TK(在图8中示出。)以及虚拟空间KK内的空闲区域AR、文档BS2、……、已放大的文档BS3及新放大的文档BS1。由此，CPU2作为显示部12，如图59所示，在复合空间FK显示桌子TK、空闲区域AR、文档BS1、BS2、……及被放大的文档BS3、BS1。
关于针对通过试图向用户的方向提取的动作而放大显示的文档的操作，可以比能够对显示于空闲区域时的文档进行的操作更受限。
通过试图提取的动作来提取文档时，仅是想要单纯阅览文档的情况较多，因此例如通过试图提取的动作而放大显示的文档设为仅能阅览，无法对该文档进行写入等编辑操作。
另一方面，显示于空闲区域的文档显示在现实空间的桌子上，容易进行写入等编辑操作，因此与通过试图向用户的方向提取的动作而放大显示的文档相比，可以更加扩展能够实施的功能。
与上述步骤S111～116相反，例如可以如下：如图60所示，在复合空间FK探测到用户的左手TE2试图放回文档BS1的动作(左手TE2向纵深方向的移动)时，CPU2在虚拟空间KK缩小配置文档BS1之后，如图61所示，在复合空间FK显示桌子TK、空闲区域AR、被放大的文档BS3、原始大小(在图56中示出的大小)的文档BS1。
＜实施方式的组合＞
上述实施方式1～实施方式11的信息处理装置JS还能够组合2个以上的实施方式的信息处理装置JS而构成并进行动作，以此代替分别单独地构成且进行动作。
＜处理器、程序的补充说明＞
在上述实施方式中，处理器是指广义的处理器。除了通用的处理器(例如CPU：中央处理器，Central Processing Unit等)以外，还包含专用的处理器(例如GPU：图形处理器，Graphics Processing Unit、ASIC：专用集成电路，Application Specific IntegratedCircuit、FPGA：现场可编程门阵列，Field Programmable Gate Array、可编程逻辑器件等)。
在上述实施方式中，处理器的动作可以由1个处理器实现，也可以通过复数个处理器的协作来实现。并且，处理器的各动作的顺序并不限定于上述实施方式中的顺序，可以适当变更。
在上述实施方式中，程序PR可以记录于CD-ROM(光盘只读存储器，Compact DiscRead Only Memory)、DVD-ROM(数字多功能光盘只读存储器，Digital Versatile DiscRead Only Memory)及USB(通用串行总线，Universal Serial Bus)存储器等记录介质来提供，也可以经由网络从外部装置下载，以此代替预先存储(安装)于存储介质4。
上述本发明的实施方式是以例示及说明为目的而提供的。另外，本发明的实施方式并不全面详尽地包括本发明，并且并不将本发明限定于所公开的方式。很显然，对本发明所属的领域中的技术人员而言，各种变形及变更是自知之明的。本实施方式是为了最容易理解地说明本发明的原理及其应用而选择并说明的。由此，本技术领域中的其他技术人员能够通过对假定为各种实施方式的特定使用最优化的各种变形例来理解本发明。本发明的范围由以上的权利要求书及其等同物来定义。

Claims (13)

1.一种信息处理装置，其具备处理器，所述处理器进行如下处理：
探测现实空间中的对象物的空闲区域；
获取复数个虚拟对象物的配置；
以所获取的配置在所述空闲区域显示所述复数个虚拟对象物。
2.根据权利要求1所述的信息处理装置，其中，
所述处理器进行如下处理：
配置于离用户越近的位置的所述虚拟对象物，将所述虚拟对象物的大小显示为越大。
3.根据权利要求1或2所述的信息处理装置，其中，
所述处理器进行如下处理：
探测所述对象物中不存在障碍物的区域作为空闲区域。
4.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
显示可视化所述对象物的空闲区域的虚拟空间中的辅助标记。
5.根据权利要求1至4中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
在用户对所述对象物的空闲区域进行了所述复数个虚拟对象物向紧前的移动指示时，向紧前方向移动所有的所述复数个虚拟对象物，所移动的虚拟对象物位于所述空闲区域外时，不显示所述所移动的虚拟对象物。
6.根据权利要求5所述的信息处理装置，其中，
所述处理器进行如下处理：
将未显示于所述空闲区域的虚拟对象物显示于位于所述空闲区域的外侧的外侧区域。
7.根据权利要求6所述的信息处理装置，其中，
所述处理器进行如下处理：
在所述外侧区域显示所述虚拟对象物时，所述虚拟对象物的重要度越大，在所述外侧区域中显示于离用户越近的位置。
8.根据权利要求1至7中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
用户观察所述空闲区域中的紧前区域时，放大显示所述复数个虚拟对象物中位于所述紧前区域的1个以上的虚拟对象物的大小。
9.根据权利要求1至8中任一项所述的信息处理装置，其中，
所述处理器进行如下处理：
用户观察所述空闲区域中的靠里的区域时，缩小显示所述复数个虚拟对象物中位于所述靠里的区域的1个以上的虚拟对象物的大小。
10.根据权利要求8或9所述的信息处理装置，其中，
所述处理器进行如下处理：
根据所述用户观察所述1个以上的虚拟对象物的时间的长度，放大或缩小显示所述1个以上的虚拟对象物的大小。
11.根据权利要求1所述的信息处理装置，其中，
所述处理器进行如下处理：
针对在用户进行了从所述对象物的空闲区域提取所述复数个虚拟对象物中的1个以上的虚拟对象物的动作时显示的虚拟对象物的操作比显示于所述空闲区域的虚拟对象物更受限。
12.一种存储介质，其存储有用于使计算机执行如下处理的信息处理程序：
探测现实空间中的对象物的空闲区域；
获取复数个虚拟对象物的配置；
以所获取的配置在所述空闲区域显示所述复数个虚拟对象物。
13.一种信息处理方法，其包括如下步骤：
探测现实空间中的对象物的空闲区域；
获取复数个虚拟对象物的配置；及
以所获取的配置在所述空闲区域显示所述复数个虚拟对象物。
CN202110246740.3A 2020-08-05 2021-03-05 信息处理装置、存储介质及信息处理方法 Pending CN114063766A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-133265 2020-08-05
JP2020133265A JP2022029773A (ja) 2020-08-05 2020-08-05 情報処理装置及び情報処理プログラム

Publications (1)

Publication Number Publication Date
CN114063766A true CN114063766A (zh) 2022-02-18

Family

ID=80113792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110246740.3A Pending CN114063766A (zh) 2020-08-05 2021-03-05 信息处理装置、存储介质及信息处理方法

Country Status (3)

Country Link
US (1) US20220043506A1 (zh)
JP (1) JP2022029773A (zh)
CN (1) CN114063766A (zh)

Also Published As

Publication number Publication date
JP2022029773A (ja) 2022-02-18
US20220043506A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US20220004255A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11144177B2 (en) Application execution method by display device and display device thereof
US9977590B2 (en) Mobile terminal and method for controlling the same
US9880727B2 (en) Gesture manipulations for configuring system settings
US9465437B2 (en) Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
US8982070B2 (en) Portable information terminal
US9766793B2 (en) Information processing device, information processing method and program
US8797317B2 (en) Mobile terminal and control method thereof
JP2010067135A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US20120147042A1 (en) Electronic publication viewer, method for viewing electronic publication, program, and integrated circuit
KR102205283B1 (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
US10551991B2 (en) Display method and terminal
CN106815809B (zh) 一种图片处理方法和装置
JP6206581B2 (ja) 端末装置、表示制御方法及びプログラム
JP5446700B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6206580B2 (ja) 端末装置、表示制御方法及びプログラム
JP6000553B2 (ja) 情報処理装置及びその制御方法
JP2013218379A (ja) 表示装置及びプログラム
CN114063766A (zh) 信息处理装置、存储介质及信息处理方法
JP2020507174A (ja) 表示コンテンツのパネルをナビゲートする方法
US11436776B2 (en) Information processing apparatus and control method thereof
JP2020086339A (ja) 表示装置および表示方法
US11842119B2 (en) Display system that displays virtual object, display device and method of controlling same, and storage medium
US20230334739A1 (en) Electronic device and method for displaying content based on transformation of display
JP2023161209A (ja) 入力装置、入力方法、及び入力プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination