CN115698967A - 信息处理系统、信息处理方法和信息处理终端 - Google Patents

信息处理系统、信息处理方法和信息处理终端 Download PDF

Info

Publication number
CN115698967A
CN115698967A CN202080101658.5A CN202080101658A CN115698967A CN 115698967 A CN115698967 A CN 115698967A CN 202080101658 A CN202080101658 A CN 202080101658A CN 115698967 A CN115698967 A CN 115698967A
Authority
CN
China
Prior art keywords
cooperation
information terminal
application
terminal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080101658.5A
Other languages
English (en)
Inventor
高见泽尚久
桥本康宣
吉泽和彦
冈田义宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN115698967A publication Critical patent/CN115698967A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种信息处理系统，在多个终端之间协作来执行各终端共同具有的应用程序，其特征在于，作为所述多个终端包括第一信息终端和第二信息终端，所述第二信息终端包括：接受部，其接受所述应用程序的启动指示；和协作控制部，其使该第二信息终端以单独工作模式和协作工作模式中的任一个模式工作，所述第一信息终端包括输出部，其输出所述协作工作模式时执行的所述应用程序的执行结果，所述单独工作模式是由所述第二信息终端单独执行所述应用程序的工作模式，所述协作工作模式是由所述第一信息终端和所述第二信息终端协作执行所述应用程序的工作模式，令所述第二信息终端能够以所述协作工作模式工作的状态为协作状态，所述协作状态是根据所述第一信息终端与所述第二信息终端的配置而决定的。

Description

信息处理系统、信息处理方法和信息处理终端
技术领域
本发明涉及对多个信息终端之间的应用程序(以下称为应用)的启动进行控制的技术。
背景技术
头戴式显示器(Head Mounted Display：HMD)因为显示范围狭窄，所以有时会与其他信息终端协作使用。例如，专利文献1公开了一种应用协作装置，“包括：对设备信息进行管理的第一管理部，其中，设备信息包括用于与协作目标设备连接的信息，和关于该协作目标设备中已登记的应用要使用的数据的信息；第二管理部，其针对来自协作发起设备的协作请求，参照所述设备信息取得协作候选，其中，协作候选表示可协作的协作目标设备和应用；和协作控制部，其启动所述协作候选所表示的应用，将要进行协作的设备和该设备中登记的可协作的应用确定为协作目标(选自摘要)”。
现有技术文献
专利文献
专利文献1：日本特开2017-142693号公报
发明内容
发明要解决的技术问题
根据专利文献1的技术，通过使用其他信息终端来选择并指定所要求的应用，操作性得到了提高。但是，专利文献1的技术中，应用会在登记了该应用的所有信息终端中启动。因此，该应用也在计划外(意料之外)的信息终端中执行，可能对作业造成妨碍，例如，导致该信息终端中其他应用的动作停止等。
本发明是鉴于上述情况作出的，其目的在于提供一种易用性好的信息处理技术，在安装了相同应用或对应应用的多个信息终端之间，容易地在所要求的设备上使应用启动并执行，而不会增加用户负担。
解决问题的技术手段
本发明提供一种信息处理系统，在多个终端之间协作来执行各终端共同具有的应用程序，其特征在于，作为所述多个终端包括第一信息终端和第二信息终端，所述第二信息终端包括：接受部，其接受所述应用程序的启动指示；和协作控制部，其使该第二信息终端以单独工作模式和协作工作模式中的任一个模式工作，所述第一信息终端包括输出部，其输出所述协作工作模式时执行的所述应用程序的执行结果，所述单独工作模式是由所述第二信息终端单独执行所述应用程序的工作模式，所述协作工作模式是由所述第一信息终端和所述第二信息终端协作执行所述应用程序的工作模式，令所述第二信息终端能够以所述协作工作模式工作的状态为协作状态，所述协作状态是根据所述第一信息终端与所述第二信息终端的配置而决定的。
发明效果
根据本发明，能够提供一种易用性好的信息处理技术，在安装了相同应用或对应应用的多个信息终端之间，容易地在所要求的设备上使应用启动并执行，而不会增加用户负担。上述以外的技术问题、技术特征和技术效果将通过以下实施方式的说明而明确。
附图说明
图1是用于说明第一实施方式的信息处理系统的概要的说明图。
图2的(a)和(b)是用于说明第一实施方式的协作状态的说明图。
图3的(a)和(b)是用于说明第一实施方式的非协作状态的说明图。
图4是第一实施方式的头戴式显示器的硬件结构图。
图5是第一实施方式的智能手机的硬件结构图。
图6的(a)和(b)分别是第一实施方式的头戴式显示器和智能手机的功能结构图。
图7是第一实施方式的应用协作处理的流程图的例子。
图8是第二实施方式的应用协作处理的流程图的例子。
图9是用于说明第三实施方式的协作状态判断方法的说明图。
图10是第三实施方式的应用协作处理的流程图的例子。
图11的(a)和(b)是用于说明第四实施方式的智能手机显示器上的显示内容的说明图。
图12是第四实施方式的应用协作处理的流程图的例子。
图13是第五实施方式的应用协作处理的流程图的例子。
图14是第六实施方式的应用协作处理的流程图的例子。
图15是用于说明第七实施方式的信息处理系统的概要的说明图。
图16的(a)和(b)是用于说明第七实施方式的协作状态的说明图。
图17是第七实施方式的智能手表的硬件结构图。
图18是第七实施方式的智能手表的功能框图。
图19是第七实施方式的应用协作处理的流程图的例子。
图20的(a)和(b)是用于说明本发明的变形例的信息处理系统的概要的说明图。
图21的(a)～(e)是用于说明本发明的变形例的图标显示方式的说明图。
具体实施方式
＜＜第一实施方式＞＞
使用附图对本发明的第一实施方式进行说明。本实施方式中，使第一信息处理终端(第一信息终端)和第二信息处理终端(第二信息终端)共同拥有的应用程序(应用)协作执行。
下面，例如以使用头戴式显示器(以下称为HMD)作为第一信息终端、使用智能移动电话(以下称为智能手机)作为第二信息终端的情况为例，对本实施方式进行说明。
图1是示意性地表示本实施方式的整个信息处理系统500的图。如该图所示，本实施方式的信息处理系统500包括在用户501的头部佩戴的第一信息终端即HMD100，和用户手持的第二信息终端即智能手机200。
HMD100是能够实现虚拟现实(Virtual Reality：VR)技术和增强现实(AugmentedReality：AR)技术的信息终端，供用户501在头部佩戴使用，其中，VR技术是生成模拟现实的虚拟世界，能够使用户体验身临其境的感觉的技术，AR技术是在现实世界上附加数字信息，从而将通过CG(Computer Graphics)等生成的虚拟空间(虚拟对象)反映在现实世界中的技术。但是，其存在结构上的制约，显示范围狭窄，并且难以进行精细的操作。
智能手机200具备单独通话和通信的功能。智能手机200在显示器上易于理解地显示图标，且触摸操作性良好。其中，图标是能够在用户501的手指和触控笔等进行的接近或接触操作的作用下启动应用的图形记号。
本实施方式中，HMD100与智能手机200协作，在智能手机200一侧发出HMD100中安装的应用程序(以下称为应用)的启动指示，并在HMD100中执行应用。本实施方式将该状态称为协作状态。另外，下文在不需要区分HMD100与智能手机200的情况下，将其称为信息终端。
第一实施方式中，在HMD100一侧判断HMD100与智能手机200是否处于协作状态。是否处于协作状态是根据两者的配置状态判断的。具体而言，如图2的(a)所示，在HMD100的显示器131(131a、131b)的预先决定的协作视野101a内存在智能手机200的显示器231上显示的应用的图标420(421、422、423)的情况下，判断为处于协作状态。
另外，图2的(a)是位于协作视野101a内的应用程序A(应用A)的图标421被选中的状况。以下，将这样的要求启动的应用程序的图标420位于协作视野101a内的、HMD100与智能手机200的配置状态称为规定配置状态。
在HMD100与智能手机200处于规定配置状态的情况下，判断为协作状态。在用户501经由HMD100的显示器131观察着并通过触摸等动作选择智能手机200上显示的图标421时(图2的(a))，例如在智能手机200一侧进行与选中的图标421对应的应用的启动指示，在HMD100一侧执行应用(图2的(b))。图2的(b)表示了在HMD100中执行应用并显示了该应用的图标411的状态。
本实施方式中，在协作状态下，当用户501触摸应用A的图标421等，在智能手机200一侧接受了用户501进行的选择时，在智能手机200与HMD100之间进行通信，从智能手机200对HMD100发送用户501的触摸信息。
HMD100在接收到对图标421的触摸信息时，将其作为启动指示，启动HMD100内的应用A。
另外，如图3的(a)所示，将智能手机200的显示器231上显示的图标420没有进入HMD100的协作视野101a内的配置状态称为非规定配置状态。
在非规定配置状态下，当通过用户501触摸应用A的图标421等动作，在智能手机200一侧接受了应用A的选择时，直接在智能手机200中启动应用A。
像这样，在本实施方式中，在即使佩戴着HMD100也想要在智能手机200上执行应用的情况下，使图标421位于协作视野101a的范围外即可。
另外，本实施方式中，HMD100和智能手机200分别安装了为了执行特定作业例如播放音乐、图像或创建文档等而使用的相同应用或对应的应用。另外，在HMD100与智能手机200之间，通过终端间的无线通信或有线通信进行信息的收发。
[硬件结构]
以下针对构成实现上述处理的本实施方式的信息处理系统500的HMD100、智能手机200，分别说明硬件结构。
图4和图5分别是表示HMD100和智能手机200的结构例的框图。这些图中，对于与图1～图3所示的结构相同的部分标注相同的标记。
图4是本实施方式的HMD100的硬件结构图。如该图所示，本实施方式的HM100包括主处理器111、系统总线112、存储装置110、操作接受装置120、图像处理装置130、声音处理装置140、传感器150、通信装置160、扩展接口(I/F)部105、计时器106和振动发生装置107。
主处理器111是按照规定的程序对整个HMD100进行控制的主控制部。主处理器111由CPU(Central Processor Unit)或微处理器单元(MPU)实现。主处理器111通过执行存储装置110中存储的操作系统(Operating System：OS)和各种动作控制用应用程序等程序，来进行整个HMD100的动作控制处理。另外，主处理器111控制各种应用的启动动作。主处理器111按照由计时器106测量、输出的时钟信号进行处理。
系统总线112是用于在主处理器111与HMD100内的各部分之间进行数据收发的数据通信路径。
存储装置110包括RAM103和ROM104。在存储装置110中，存储操作系统和音乐、图像、文档等各种动作控制用应用等程序。另外，保存有由操作系统等进行的基本动作所需的基础数据，和供各种应用等启动的文件数据等信息数据。例如，当HMD100中安装的音乐应用启动并选择了音乐的文件数据时，在HMD100中播放选中的音乐的文件数据，从而能够聆听所要求的音乐。
RAM103是基本动作程序和其他应用程序执行时的程序区域。另外，RAM103是在各种应用程序执行时根据需要临时地保存数据的临时存储区域。RAM103也可以与主处理器111一体构成。
ROM104存储HMD100的各动作设定值和HMD100的使用者的信息等。ROM104可以存储由HMD100拍摄的静态图像数据和动态图像数据等。另外，HMD100能够通过从应用程序服务器经由互联网下载新应用程序而进行功能扩展。此时，下载的新应用程序被存储在ROM104中。通过由主处理器111将ROM104中存储的新应用程序载入到RAM103中执行，HMD100能够实现多种功能。
ROM104只要即使在HMD100没有供电的状态下也能够保持所存储的信息即可，不限于能够读取数据但不能写入数据的Mask ROM。作为ROM104，例如可以使用闪存ROM或SSD(Solid State Drive)、HDD(Hard Disc Drive)等器件。
操作接受装置120接受对HMD100的操作指示的输入。本实施方式中具有操作按键121和触摸传感器122。操作按键121是电源按键、音量按键、主屏幕按键等。另外，触摸传感器122接受通过触摸板进行的操作指示。此外，本实施方式的HMD100也可以不具备全部这些操作接受装置120。并且，也可以经由通过有线通信或无线通信连接的分体的信息处理终端设备接受HMD100的操作。
操作接受装置120在HMD100内以用户易于进行输入操作的位置和方式设置即可。另外，也可以从HMD100本体分离并通过有线或无线连接。此外，也可以利用用户501的视线。在利用视线的方式中，例如在显示器131内显示输入操作画面，根据内侧摄像头134检测出的用户501的视线所指向的输入操作画面上的位置来取得输入操作信息。也可以在输入操作画面上显示指点器，操作指点器来取得输入操作信息。另外，也可以由用户501发出表示输入操作的声音，用后述的麦克风143拾取声音而取得输入操作信息。
图像处理装置130是图形(视频)处理器，包括显示器131、外侧摄像头(后置摄像头)133和内侧摄像头(前置摄像头)134。
显示器131例如是液晶面板等显示设备(显示器)，对HMD100的使用者提示经图像信号处理部处理后的图像数据。显示器131包括左眼用显示器131a和右眼用显示器131b。显示器131可以是光学透视式(Optical See-Through)显示器或视频透视式(Video See-Through)显示器。
光学透视式显示器包括将由启动应用生成的播放信息和面向用户的通知信息等各种信息投影的投影部，和使投影的各种信息在眼前成像显示的透明的半反射镜。视频透视式显示器包括液晶面板等，其将通过外侧摄像头133拍摄的眼前的现实空间物体与各种信息一并显示。通过显示器131，用户501除了眼前视野内的图像之外，还一并观看由启动应用生成的音乐、图像、文档等的播放(playback)信息。
本实施方式中，在显示器131上显示应用的执行状态等。
另外，图像信号处理部是对从外侧摄像头133和内侧摄像头134输入的图像进行处理的图形(视频)信号处理器。图像信号处理部将通过主处理器111等生成的对象(object)叠加在输入图像上输出至显示器131。图像信号处理部可以由主处理器111实现，也可以在主处理器111之外具备图像专用的处理器，用它实现。
外侧摄像头133取得HMD100周围的图像。外侧摄像头133设置在HMD100的正面，拍摄前方的视野状态。HMD100虽然存在使用半反射镜等来投影、显示必要的各种信息并同时直接观看眼前的现实空间物体的光学透视方式，和将外侧摄像头133拍摄的眼前的现实空间物体与各种信息一并显示在液晶面板等显示器131上的视频透视方式，但两者均拍摄并取得由外侧摄像头133拍摄的眼前的视野状态。
内侧摄像头134取得与外侧摄像头133不同的区域的图像。例如，拍摄用户的眼睛。本实施方式中，内侧摄像头134与进行视线确定处理的处理部一同发挥视线检测传感器的功能。
视线检测传感器包括右眼视线检测部和左眼视线检测部，分别检测右眼、左眼的视线。另外，视线的检测处理使用一般用作眼动追踪处理的公知技术即可。例如，在利用了角膜反射的方法中，对脸部照射红外线LED(Light Emitting Diode)并用红外线相机拍摄，将通过照射红外线LED而形成的反射光在角膜上的位置(角膜反射)作为基准点，基于瞳孔与角膜反射的位置之间的相对位置来检测视线。该情况下设置有红外线相机、红外线LED。
声音处理装置140是对声音进行处理的音频处理器。包括扬声器141和麦克风143。
扬声器141对外部输出经声音信号处理部处理后的声音信号。声音信号处理部是音频信号处理器。HMD100中使用的例如是耳机等。
麦克风143将用户的声音等变换为声音数据并输入。例如，可以包括外部环境音麦克风和语音麦克风。这些麦克风分别拾取来自外部的声音、用户501自身发出的声音。另外，也可以连接耳机。耳机佩戴在用户501的耳部，能够听到面向用户501的声音。
传感器150是用于检测HMD100的状态的传感器组。本实施方式中包括GPS(GlobalPositioning System)接收部151、陀螺仪传感器152、地磁传感器153、加速度传感器154和深度传感器155。利用该传感器组检测HMD100的位置、运动、倾斜、方位等。另外，深度传感器155取得从HMD100到对象物的距离信息。也可以进而具备其他传感器。
加速度传感器154是检测单位时间的速度变化即加速度的传感器，能够捕捉运动、振动、冲击等。陀螺仪传感器152是检测旋转方向的角速度的传感器，能够捕捉纵向、横向、斜向的姿势状态。使用HMD100中搭载的加速度传感器154和陀螺仪传感器152能够检测HMD100的运动。
地磁传感器153是检测地球磁力的传感器，用于检测HMD100朝向的方向。通过使用检测前后方向、左右方向以及上下方向的地磁场的三轴型传感器，捕捉与HMD100的运动对应的地磁场变化，能够检测HMD100的运动。也可以利用它们来检测并判断是否处于可以经由HMD100看到智能手机200的显示器231上的图标420的状态。
深度传感器155是能够立体地捕捉人和物体等对象物的形状的传感器。能够使用LiDAR(Light Detection and Ranging)、TOF(Time OfFlight)传感器和毫米波雷达等，其中，LiDAR通过向对象物照射红外线等激光并测量反射回的散射光，来分析、检测与位于远距离处的对象物之间的距离以及该对象物的状态，TOF传感器通过按每个像素测量照射在被摄体上的脉冲光的反射时间来进行测距，毫米波雷达通过发射毫米波的无线电波并捕捉其反射波，来检测与反射的对象物的距离以及对象物的状态。利用深度传感器155例如能够测量到智能手机200的距离。
通信装置160是通过近距离无线通信、无线LAN或基站通信，来与位于附近的智能手机200和后述的SW300等其他信息终端进行无线通信的通信接口。在无线通信时，经由收发天线来收发智能手机200中的图标触摸信息、表示启动的应用的应用信息、以及通过启动应用播放的文件数据等。
通信装置160具有LAN(Local Area Network)通信接口(I/F)161、电话网通信I/F162和BT(Bluetooth(注册商标))通信I/F163。LAN通信I/F161通过无线通信与互联网的无线通信用接入点连接，来进行数据收发。电话网通信I/F162通过与移动电话通信网的基站之间的无线通信，进行电话通信(通话)和数据收发。BT通信I/F163是用于按Bluetooth规格与外部装置进行通信的接口。LAN通信I/F161、电话网通信I/F162、BT通信I/F163分别具有编码电路和解码电路、天线等。通信装置160也可以进而包括红外线通信I/F等。
另外，作为近距离无线通信，不仅可以使用Bluetooth(注册商标)，也可以使用IrDA(Infrared Data Association，注册商标)、Zigbee(注册商标)、HomeRF(Home RadioFrequency，注册商标)等进行。或者，也可以使用Wi-Fi(注册商标)等无线LAN进行。另外，作为基站通信，可以使用W-CDMA(Wideband Code Division Multiple Access)和GSM(注册商标)(Global System for Mobile communications)等远距离的无线通信。此外，也可以使用超宽带无线系统(Ultra Wide Band：UWB)检测信息终端之间的位置关系和方向。由此，可以检测并判断是否处于可以经由HMD100看到智能手机200的显示屏幕上的图标420的状态。
另外，通信装置160也可以使用光通信、声波通信等其他方法作为无线通信的手段。该情况下，代替收发天线分别使用发光/受光部、声波输出/声波输入部。
扩展接口部105是用于扩展HMD100的功能的接口组，本实施方式中具备充电端子、影像/声音接口、USB(Universal Serial Bus)接口、存储器接口等。影像/声音接口用于从外部影像/声音输出设备输入影像信号/声音信号、对外部影像/声音输入设备输出影像信号/声音信号等。USB接口用于连接USB设备。存储器接口用于连接存储卡或其他存储介质进行数据收发。
振动发生装置107是按照主处理器111的控制来产生振动的振动器。振动发生装置107将面向用户501的通知信息转换为振动。振动发生装置107通过在紧贴着佩戴HMD100的用户501的头部产生振动，能够对用户501可靠地传达通知。
图5是本实施方式的智能手机200的硬件结构图。如该图所示，本实施方式的智能手机200包括主处理器201、系统总线202、存储装置210、操作接受装置220、图像处理装置230、声音处理装置240、传感器250、通信装置260、扩展接口(I/F)部205、计时器206和振动发生装置207。
各装置的细节与HMD100的同名部分基本相同。不过，智能手机200还包括触摸面板223作为操作接受装置220。触摸面板223具有与显示器231重叠配置的触摸面板123。另外，也可以经由与扩展接口部205连接的键盘等接受指示输入。
显示器231由液晶面板等构成，显示电池容量的剩余量、各种警报、时刻等面向用户501的通知信息，并且在显示器231内显示启动的应用的图标和应用的执行状态等。操作接受装置220例如是静电电容等方式的触摸板式输入单元，将手指或触控笔等进行的接近或接触操作(触摸操作)检测为操作输入。用户501能够设定并输入想要输入的信息，或者通过触摸操作来容易地选择并指定显示器231上的应用或文件的图标。
[功能模块]
接着，对本实施方式的HMD100和智能手机200各自的功能结构进行说明。图6的(a)和图6的(b)分别是本实施方式的HMD100和智能手机200的、与本实施方式相关的功能的功能框图。
如图6的(a)所示，HMD100包括主控制部170、接受部171、收发部172、协作判断部173、应用执行部174、输出部175、应用程序存储部176和图标数据存储部177。
主控制部170控制HMD100的各部分的动作。
接受部171接受用户501发出的指示。本实施方式中通过由主处理器111使操作接受装置120工作而实现。本实施方式中，例如接受应用程序的启动指示等。
收发部172进行与外部装置之间的数据收发。本实施方式中通过由主处理器111使通信装置160工作而实现。本实施方式中，经由收发部172与智能手机200之间进行数据收发。
协作判断部173实现与智能手机200的协作处理。而且，本实施方式中，判断智能手机200是否处于能够以后述的协作工作模式工作的状态即协作状态。本实施方式中如图2的(a)所示，在显示器131上显示协作视野101a，并对外侧摄像头133拍摄的拍摄图像进行分析，根据其显示内容判断是否处于规定配置状态。
协作视野101a被设定为用户501能够通过HMD100的开口(aperture)部分(透镜部分)或显示器131的显示区域观看的视野范围的一部分区域。另外，也可以根据设备的结构、设定值的变更等，将用户501能够通过HMD100观看的整个视野范围用作协作视野101a。
协作判断部173在如图2的(a)所示，拍摄图像中出现了智能手机200的显示器上的规定应用的图标420的情况下，判断为处于规定配置状态。规定应用例如是从智能手机200接收到通知的应用。如后所述，在智能手机200中，在接受了用户501选择规定图标420的情况下，将用于确定与该图标420关联的应用的信息(应用确定信息)发送至HMD100。在HMD100中，基于该应用确定信息，确定与根据接收到的应用确定信息所确定的应用相关联的图标420。
协作判断部173在处于规定配置状态的情况下，判断自身装置是否安装了从智能手机200接受到通知的应用的程序。如果已安装，则判断为处于协作状态。即，本实施方式的协作判断部173在处于规定配置状态、并且本装置中安装了与用户501操作的图标对应的应用的程序的情况下，判断为协作状态。
协作判断部173在判断为协作状态的情况下，对智能手机200发送表示处于协作状态的信息即协作状态信号。另一方面，在并非判断为协作状态的情况下，对智能手机200发送表示处于非协作状态的非协作状态信号。另外，也可以不发送非协作状态信号。
HMD100将自身终端中已安装的应用程序的图标420的形状数据预先作为图标数据存储在图标数据存储部177中。在图标数据存储部177中，与应用确定信息相关联地保存了图标420的形状信息。协作判断部173参照图标数据存储部177，判断是否保存有与接收到的应用确定信息相关联的形状数据。在已保存的情况下，提取该形状数据，判断与协作视野101a对应的区域内是否存在与该形状数据匹配的图像区域。
协作判断部173在图标数据存储部177中没有保存与接收到的应用确定信息相关联的形状数据的情况下，判断为处于非协作状态。而且，即使保存有形状数据，在拍摄图像的与协作视野101a对应的区域中不存在与提取出的形状数据匹配的图像区域的情况下，也判断为非协作状态。另一方面，在保存有形状数据，并且存在与提取出的形状数据匹配的图像区域的情况下，判断为协作状态。
拍摄图像内是否存在与智能手机200的显示器对应的形状和图标420的形状的判断，是通过模式匹配等进行的。
应用执行部174是在接受部171接受了应用启动指示时使应用启动并执行的应用程序执行部。另外，执行的应用的程序被存储在应用程序存储部176中。
输出部175输出执行的应用的执行结果。本实施方式中，例如在显示器131上显示，或者对扬声器141输出声音。
在应用程序存储部176中，存储应用程序。
在图标数据存储部177中，将各应用程序的接受执行指示的图标420的形状数据作为图标数据存储。图标数据与应用程序关联地存储。另外，形状数据不限于物理的形状(图案)、图像，也可以是文本数据等。协作判断部173在不能根据图标的图案判断应用程序的情况下，可以用附带的文本数据确定对应应用。
上述各功能是通过主处理器111将存储在ROM114中的程序载入RAM113中执行而实现的。另外，应用程序存储部176和图标数据存储部177在存储装置110中构建。
接着对本实施方式的智能手机200的功能进行说明。图6的(b)是智能手机200的功能模块。
如该图所示，本实施方式的智能手机200包括主控制部270、接受部271、收发部272、协作控制部273、应用执行部274、输出部275、图标数据存储部277和应用程序存储部276。
主控制部270控制智能手机200的各部分的动作。
接受部271接受用户501的指示。本实施方式中通过由主处理器211使操作接受装置220工作而实现。本实施方式中，例如接受应用的启动指示等各种操作指示。
收发部272进行与外部装置之间的数据收发。本实施方式中通过由主处理器211使通信装置260工作而实现。本实施方式中，经由收发部272与HMD100之间进行数据收发。
协作控制部273决定智能手机200的工作模式，并使智能手机200以决定的工作模式工作。本实施方式中，作为工作模式，包括由智能手机200单独执行应用的单独工作模式，和与HMD100协作执行应用的协作工作模式这2种模式。
协作工作模式是在协作状态的情况下执行的工作模式。协作控制部273在协作工作模式时，决定要执行应用的终端即执行设备(执行终端)。其中，本实施方式中，在协作工作模式时将HMD100决定为执行设备。
即，在协作工作模式下，智能手机200在通过图标420的触摸等从用户501接受到应用的启动指示时，将该启动指示发送至协作中的HMD100。本实施方式在自身装置中不执行应用。
协作控制部273在本实施方式中从HMD100接收了协作状态信号的情况下，判断为处于协作状态，以协作工作模式工作。另一方面，在接收了非协作状态信号的情况下，以单独工作模式工作。
单独工作模式是在从用户501接受到应用的启动指示时，在自身装置中启动、执行该应用的工作模式。
应用执行部274是在智能手机200上执行应用的第二应用程序执行部。本实施方式中，其在接受部171接受了应用的启动指示、并且协作控制部273判断为处于单独工作模式的情况下执行。执行的应用的程序被存储在应用程序存储部276中。
输出部275输出应用执行部274执行的应用的执行结果。本实施方式中，执行结果例如对显示器231、扬声器241输出。
在应用程序存储部276中，存储应用程序。在图标数据存储部277中，存储各应用程序的接受执行指示的图标。图标与应用程序相关联地被存储。
上述各功能是通过主处理器211将存储在ROM214中的程序载入RAM213中执行而实现的。另外，应用程序存储部276和图标数据存储部277在存储装置210中构建。
[处理流程]
接着对本实施方式的信息处理系统500的应用协作处理的流程进行说明。本实施方式中，HMD100与智能手机200协作，启动HMD100的应用。图7是说明应用协作处理的流程的图。
本处理是以HMD100与智能手机200例如成为能够进行近距离通信的状态为契机而开始的。以下，在处理流程的记载中，将HMD100的主控制部170和智能手机200的主控制部270分别记作HMD100和智能手机200。
智能手机200与HMD100首先相互建立通信(S1101、S1201)。本实施方式中，使各自的收发部172、272例如经由BT通信I/F163、263进行数据收发而建立通信。
智能手机200使显示器231显示能够在智能手机200上启动的应用的图标420。智能手机200接受用户501的选择指示(步骤S1202)。智能手机200的接受部271经由触摸面板223检测对显示在显示器231上的、与选中的应用关联的图标420的触摸操作。此处，例如假设选择了应用A。
智能手机200的收发部272经由BT通信I/F263对HMD100通知选择了应用A(选择信息)(步骤S1203)。选择信息中包括用于确定选中的应用程序(此处是应用A)的应用确定信息。
HMD100的协作判断部173在经由收发部172从智能手机200接受到应用A的选择信息时(步骤S1102)，判断自身终端(HMD100)与发送方的终端(智能手机200)是否处于协作状态(步骤S1103)。此处，判断应用A的程序是否已安装在自身装置内，以及两个终端的配置状态是否为规定配置状态。任意一个判断都可以先进行。然后，在选中的应用A的程序已安装、并且处于规定配置状态的情况下，判断为协作状态。另一方面，除此以外的情况下判断为非协作状态。
HMD100对智能手机200l回复是协作状态还是非协作状态的判断结果，即回复协作信号和非协作信号中的某一个(步骤S1104)。
智能手机200的协作控制部273在经由收发部272接收到判断结果时(步骤S1204)，根据判断结果相应地决定执行设备(步骤S1205)。此处，如果判断结果是协作状态，则将执行设备决定为HMD100，如果判断结果是非协作状态，则将执行设备决定为智能手机200。
智能手机200的协作控制部273经由收发部272对HMD100通知决定结果(步骤S1206)。另外，HMD100接收决定结果(步骤S1105)。
之后，根据决定结果，由智能手机200和HMD100分别执行应用A。
智能手机200的应用执行部274在执行设备被决定为智能手机200的情况下(步骤S1207)，启动智能手机200内的应用A(步骤S1208)，执行应用A直到应用A结束(步骤S1209、步骤S1210)，然后结束处理。例如，如果应用A是音乐等的播放应用，则在将播放信息播放至最后的情况下结束。另外，也可以在经由接受部271接受到结束指示的情况下使处理结束。
另一方面，在执行设备没有被决定为智能手机200的情况下，直接结束处理。
同样地，HMD100的应用执行部174在执行设备被决定为HMD100的情况下(步骤S1106)，启动HMD100内的应用A(步骤S1107)，执行应用A直到应用A结束(步骤S1108、S1109)，然后结束处理。另外，应用A的结束指示等通常在HMD100一侧进行。
另一方面，在执行设备没有被决定为HMD100的情况下，直接结束处理。
在HMD100中执行应用A的情况下，例如，如果应用A是播放音乐、图像、文档等的应用，则在HMD100中启动执行应用A，使用显示器131、扬声器141等，播放(playback)音乐、图像、文档等播放信息。在发生了经由操作接受装置120指示播放结束的操作的情况下，结束处理。另外，也可以在将播放信息播放至最后的情况下结束处理。
另外，在HMD100中执行应用A的情况下，也可以利用智能手机200接受应用A的结束指示，将其发送给HMD100。例如，在智能手机200一侧持续显示选中的图标420。然后，智能手机200在S1206的决定结果的通知之后，在发生了对该图像420的触摸操作的情况下，判断为接受到结束指示，对HMD100发送结束指示。
如以上所说明，本实施方式的信息处理系统500是在多个终端之间协作，执行各终端共同拥有的应用的信息处理系统500。其中，包括第一信息终端(HMD100)和第二信息终端(智能手机200)作为多个终端。智能手机200包括接受应用的启动指示的接受部271，和使智能手机200以单独工作模式和协作工作模式中的某一模式工作的协作控制部273。另外，HMD100包括判断智能手机200是否处于能够以协作工作模式工作的状态即协作状态的协作判断部173，和输出在协作工作模式时执行的应用的执行结果的输出部175。单独工作模式是利用智能手机200单独执行应用的工作模式。协作工作模式是利用HMD100和智能手机200协作执行应用的工作模式。智能手机200的协作控制部273在HMD100的协作判断部173判断为处于协作状态的情况下，以协作工作模式工作。
智能手机200能够以协作工作模式工作的状态即协作状态，是根据HMD100与智能手机200的配置而决定的。即，智能手机200的接受部271在智能手机200具备的显示器231(第二显示器)上显示用于接受启动指示的图标420，经由该图标420接受启动指示。HMD100的协作判断部173在HMD100的显示器131的预先决定的协作视野101a内包含显示在显示器231上的图标420的情况下，判断为处于协作状态。
这样，本实施方式中，在由HMD100、智能手机200例示的第一信息终端、第二信息终端中安装有相同应用或对应应用并且能够启动的情况下，在由智能手机200例示的操作性良好的第二信息终端的显示器231上显示的应用的图标420被执行了触摸操作时，根据第一信息终端和第二信息终端的配置状态，自动地决定要启动应用的信息终端。
具体而言，在要使HMD100内的应用启动时，通过采用可以经由HMD100看到智能手机200的图标这样的对于用户501而言易于理解的配置状态来形成协作状态。在协作状态下，能够通过在操作性良好的智能手机200上进行的容易的图标触摸操作，来在HMD100中启动要求的应用。即，对于想要在HMD100中启动的应用，能够在便于一览、操作容易的智能手机200的画面上进行选择。从而，根据本实施方式，能够大幅提高HMD100的操作性、易用性。
另外，根据本实施方式，在要使HMD100上的应用启动时，使用了操作性良好的智能手机200。只要形成可以经由HMD100的视野看到智能手机200的应用图标的规定配置状态，并在该状态下触摸智能手机200的应用图标，就能够经由通信而在HMD100中启动相同应用或对应应用。
由此，因为可以从HMD100看到对要求的应用的图标进行触摸操作的智能手机200，所以用户501能够看见触摸操作，所以能够可靠地进行应用的启动。
例如，如果将协作视野101a设定在显示器131的显示范围的中央部，则对于用户501而言具有更高的可靠性和便利性。
另一方面，根据本实施方式，如果不处于可以经由HMD100的视野看到智能手机200的应用图标的规定配置状态，则即使佩戴着HMD100，也直接启动智能手机200自身中搭载的应用。例如，通过在虽然位于用户501的视野内但并不会被判断为规定配置状态的部分(协作视野101a外的部分)看着图标420并触摸，即使保持佩戴HMD100也能够在智能手机200一侧启动应用。进而，在HMD100与智能手机200并没有协作的状态下，例如在没有佩戴HMD100的状态下或虽然佩戴着但电源关闭等状态下，也能够在智能手机200中直接启动应用。这样，根据本实施方式，用户501能够容易地决定要启动所要求的应用的终端。
根据本实施方式，仅通过改变智能手机200与HMD100的配置状态(位置关系)，就能够决定是使智能手机200与HMD100协作来使智能手机200在作为HMD100的操作装置使用的协作工作模式下执行，还是使智能手机200在单独使用的单独工作模式下执行。从而，能够提供一种用户501的负担小、灵活性高、且操作性好的信息处理系统500。
另外，作为第二信息终端，除了智能手机200之外，也可以是能够显示应用或文件的图标且能够选择图标的信息终端，例如平板、智能手表、PC等。
另外，以上说明中作为执行的应用以音乐应用和视频应用为例进行了说明，但不限定于此。
＜＜第二实施方式＞＞
接着说明本发明的第二实施方式。第一实施方式中，在HMD100一侧判断HMD100与智能手机200是否处于协作状态，在智能手机200一侧决定执行设备。本实施方式中，执行设备的决定也在HMD100一侧进行。
以下，对于本实施方式，主要关注与第一实施方式不同的结构进行说明。
HMD100和智能手机200的硬件结构与第一实施方式相同。另外，功能结构也相同。但是，协作判断部173和协作控制部273的处理不同。
本实施方式的HMD100的协作判断部173如第一实施方式那样，判断HMD100与智能手机200是处于协作状态还是处于非协作状态。本实施方式中，在此之后决定应用A的执行设备。
具体而言，协作判断部173在判断为处于协作状态的情况下，将执行设备决定为HMD100，在判断为处于非协作状态的情况下，将执行设备决定为智能手机200。
协作判断部173在将执行设备决定为HMD100的情况下，对智能手机200发送表示以协作工作模式执行应用的信号(工作模式指示信号)。另一方面，在将执行设备决定为智能手机200的情况下，对智能手机200发送表示以单独工作模式执行应用的工作模式指示信号。
另外，本实施方式的智能手机200的协作控制部273与第一实施方式同样地，使智能手机200以所决定的工作模式工作。但是，本实施方式中，并不像第一实施方式那样进行工作模式的决定。而是按照从HMD100发送的工作模式指示信号所确定的工作模式进行工作。
[处理流程]
以下按照图8说明本实施方式的信息处理系统500的应用协作处理的流程。对于与第一实施方式的应用协作处理相同的处理，标注相同标记，省略重复说明。
本实施方式的HMD100的协作判断部173与第一实施方式同样地，判断HMD100与智能手机200是否处于协作状态(步骤S1103)。之后，由协作判断部173决定应用A的执行设备(步骤S2101)。此处，在判断为协作状态的情况下，将执行设备决定为HMD100，在判断为非协作状态的情况下，将执行设备决定为智能手机200。
然后，协作判断部173将决定结果与判断结果一同发送至智能手机200(步骤S2102)。即，对智能手机200发送工作模式决定信号。之后，按照决定结果相应地执行步骤S1106的处理。
智能手机200一侧的协作控制部273在接收到决定结果时(步骤S2201)，按照工作模式执行步骤S1207以后的处理。
如以上所说明，在本实施方式的信息处理系统500中，HMD100的协作判断部173在判断为协作状态的情况下，指示智能手机200以协作工作模式工作。
这样，根据本实施方式的信息处理系统500，与第一实施方式同样地，能够提供一种不增加用户501的负担地、能够流畅地进行HMD100与智能手机200的协作的易用性好的系统。
＜＜第三实施方式＞＞
接着说明本发明的第三实施方式。本实施方式中，在智能手机200一侧决定是否处于协作状态以及执行设备。
以下，对于本实施方式，主要关注与第一实施方式不同的结构进行说明。
HMD100和智能手机200的硬件结构与第一实施方式相同。另外，功能结构也相同。但是，协作判断部173和协作控制部273的处理不同。
本实施方式的HMD100的协作判断部173在从智能手机200接收到表示选中了应用A的应用A选择信息时，判断自身装置中是否安装了应用A，将判断结果发送给智能手机200。
另外，本实施方式的智能手机200的协作控制部273在从HMD100接收到是否安装了应用A的判断结果时，判断该HMD100与本装置是否处于协作状态，并决定执行设备。
协作控制部273首先判断HMD100与智能手机200是否处于规定配置状态。例如，如图9所示，在智能手机200的内侧摄像头(前置摄像头)234的拍摄范围201a内存在HMD100的情况下，判断为处于规定配置状态。在智能手机200一侧，将HMD100的形状预先作为图案保存，对内侧摄像头234拍摄的图像进行分析，在相当于拍摄范围201a的图像内存在该图案的情况下，判断为规定配置状态。另外，HMD100的形状数据也可以在通信时从HMD100一侧发送给智能手机200使用。
协作控制部273在判断为HMD100与智能手机200处于规定配置状态的情况下，接着参照HMD100发送来的是否安装了应用A的判断结果。在接收到已安装的结果的情况下，判断为协作状态。另一方面，在并不处于规定配置状态的情况下，或者处于规定配置状态但HMD100中没有安装应用A的情况下，判断为非协作状态。
然后，协作控制部273决定执行设备，将决定结果与配置状态的判断结果一起发送给HMD100。协作控制部273例如在判断为协作状态的情况下，将执行设备决定为HMD100，在判断为非协作状态的情况下，将执行设备决定为智能手机200。
[处理流程]
以下，按照图10说明本实施方式的信息处理系统500的应用协作处理的流程。对于与第一实施方式的应用协作处理相同的处理，标注相同标记，省略重复说明。
本实施方式的HMD100的协作判断部173在从智能手机200接收到表示选中了应用A的应用A选择信息时(步骤S1102)，判断自身装置中是否安装了应用A，对智能手机200发送判断结果(步骤S3101)。
智能手机200的协作控制部273在从HMD100接收到判断结果时(步骤S3201)，进行协作状态的判断(步骤S3202)。此处，如上所述，按照两个装置是否处于规定配置状态的判断结果以及从HMD100接收到的判断结果，来相应地进行判断(步骤S3202)。
然后，协作控制部273按照协作状态的判断结果，相应地决定执行设备(步骤S3203)，将决定结果与协作状态的判断结果一起发送至HMD100。
之后，按照决定结果相应地执行步骤S1207以后的处理。
另外，在HMD100一侧，在从智能手机200接收到判断结果和决定结果时(步骤S3102)，按照决定结果相应地执行步骤S1106以后的处理。
如以上所说明，本实施方式的信息处理系统500中，由智能手机200的协作控制部273判断智能手机200是否处于能够以协作工作模式工作的状态即协作状态。然后，在判断为处于协作状态的情况下，使智能手机200以协作工作模式工作。
这样，根据本实施方式的信息处理系统，与第一实施方式同样地，能够提供一种不增加用户501的负担地、能够流畅地进行HMD100与智能手机200的协作的易用性好的信息处理系统。
＜＜第四实施方式＞＞
接着说明本发明的第四实施方式。本实施方式中，即使在选中的应用A的执行设备被判断为是HMD100的情况下，在智能手机200一侧也执行应用A，使其成为能够接受用户501对应用A的操作的状态。
以下，对于本实施方式，主要关注与第一实施方式不同的结构进行说明。
HMD100和智能手机200的硬件结构与第一实施方式相同。另外，功能结构也相同。但是，协作判断部173和协作控制部273的处理不同。
智能手机200一侧的协作控制部273在判断为处于协作状态的情况下，即使执行设备被决定为HMD100，也在智能手机200一侧与HMD100同步地执行应用A。
例如，在如图11的(a)所示选择了应用A的图标421的情况下，协作控制部273对HMD100发送启动指示，并且在智能手机200一侧也执行应用A。然后，如图11的(b)所示，在智能手机200的显示器231上也显示应用A执行中的操作画面。此处，作为一例表示了应用A是音乐播放应用的情况。
本实施方式的协作控制部273在执行设备被决定为HMD100的状态下，当经由智能手机200的显示器231接受了暂停、跳过、后退、停止等对应用A的操作时，将表示接受到的操作的信号(操作信号)发送给HMD100。
HMD100的协作判断部173在应用A执行期间经由收发部172从智能手机200接收到操作信号时，按照该操作信号控制应用A的动作。
[处理流程]
以下，按照图12说明本实施方式的信息处理系统500的应用协作处理的流程。对于与第一实施方式的应用协作处理相同的处理，标注相同标记，省略重复说明。
另外，本实施方式中判断HMD100与智能手机200是否处于协作状态并相应地决定执行设备的处理，可以使用第一～第三实施方式的任一方法。此处，将该处理称为执行设备决定处理。
智能手机200的协作控制部273在步骤S4400中实施执行设备决定处理，在决定了执行设备后，指示应用执行部274启动应用A。于是，应用执行部274启动应用A(步骤S4201)。
然后，根据执行设备是否是智能手机(步骤S1207)来进行处理。即，在执行设备被决定为智能手机的情况下，与第一～第三实施方式同样地进行步骤S1209以后的处理。
另一方面，在执行设备被决定为HMD100的情况下，在智能手机200一侧，应用执行部274也与HMD100同步地执行应用A(步骤S4202)。然后，当接受部271经由显示器231等接受到对应用A的操作时(步骤S4203)，收发部272将与该操作相应的操作信号发送给HMD100。该处理持续至应用A结束。图12中，作为一例给出了接受到应用A的结束操作的情况。
另外，在HMD100一侧，在应用A执行期间，当经由收发部172从智能手机200接收到操作信号时，应用执行部174将其作为面向应用A的操作信号进行处理。例如，如图12所示接收到指示结束的操作信号时(步骤S4101)，结束应用A(步骤S4102)，结束处理。
如以上所说明，在本实施方式的信息处理系统500中，即使在协作工作模式下，在智能手机200一侧也同步地执行应用。因此，即使应用运行于HMD100中，也能够随时在智能手机200上接受对应用的操作。
即，根据本实施方式，在智能手机200与HMD100处于规定配置状态的情况下，当触摸了智能手机200的应用A的图标时，在HMD100中执行应用A。此时，在智能手机200上转移至应用A的操作画面，接受对HMD100中执行的应用A的操作。例如，当在智能手机上触摸了所显示的操作画面的暂停按钮时，使HMD100中执行的应用A的播放暂停。
这样，根据本实施方式的信息处理系统，与第一实施方式同样地，能够提供一种不增加用户501的负担地、能够流畅地进行HMD100与智能手机200的协作的易用性好的信息处理系统。进而，根据本实施方式，即使在应用运行于HMD100的期间，也能够利用智能手机200进行对该应用的操作，所以易用性更好，便利性得到提高。
另外，在智能手机200一侧不需要使应用完整地运行。例如可以构成为，在智能手机200一侧仅使I/F部分工作，将与接受到的操作对应的操作信号发送至HMD100，之后的处理则在HMD100一侧进行。例如，在智能手机200一侧显示操作按钮，经由该操作按钮接受操作输入，并将操作信号发送至HMD100。然后，HMD100的应用按照操作信号进行播放。由此，无需浪费智能手机200的资源，就能够通过智能手机200的易于使用的画面对HMD100的应用进行操作。
＜＜第五实施方式＞＞
接着说明本发明的第五实施方式。本实施方式中，在协作状态时HMD100被决定为执行设备的情况下，智能手机200在HMD100启动应用A之前将执行应用A所需的数据发送至HMD100。本实施方式例如是应用A为文件再现等应用的情况下的实施方式。
以下，对于本实施方式，主要关注与第一实施方式不同的结构进行说明。
HMD100和智能手机200的硬件结构与第一实施方式相同。另外，功能结构也相同。但是，协作判断部173和协作控制部273的处理不同。
本实施方式的智能手机200的协作控制部273在协作状态下执行设备被决定为HMD100的情况下，即在协作工作模式时，将执行选中的应用A所需的数据发送至HMD100。
HMD100的协作判断部173在接收了从智能手机200发送的数据之后，在HMD100中启动并执行应用A。
[处理流程]
以下，按照图13说明本实施方式的信息处理系统500的应用协作处理的流程。对于与第一实施方式的应用协作处理相同的处理，标注相同标记，省略重复说明。
另外，本实施方式中判断HMD100与智能手机200是否处于协作状态并相应地决定执行设备的处理，可以使用第一～第三实施方式的任一方法。此处，将该处理称为执行设备决定处理。
智能手机200的协作控制部273在步骤S4400中实施执行设备决定处理，在执行设备被决定后相应地控制智能手机200的动作。
即，在执行设备被决定为HMD100的情况下，协作控制部273使收发部272将应用A的处理所需的数据传输至HMD100(步骤S5201)，结束处理。另一方面，在执行设备被决定为智能手机200的情况下，执行步骤S1208以后的处理。
另外，在HMD100一侧，在执行设备被决定为HMD100的情况下，在从智能手机200接收到数据时(步骤S5101)，协作判断部173使应用执行部174启动应用A(步骤S1107)，执行步骤S1108以后的处理。
如以上所说明，本实施方式的信息处理系统500中，智能手机200的协作控制部273在以协作工作模式工作的情况下，对HMD100发送执行应用所需的数据，在HMD100中使用从智能手机200接收到的数据执行应用。
这样，根据本实施方式的信息处理系统，与第一实施方式同样地，能够提供一种不增加用户501的负担地、能够流畅地进行HMD100与智能手机200的协作的易用性好的信息处理系统。
另外，本实施方式中，执行应用所需的数据保存在智能手机200中，不需要始终保存在期望减小存储器等存储容量的HMD100中。从而，在HMD100中能够在抑制存储容量的同时执行应用。
另外，在例如应用是音乐、图像文档等的播放(再现)应用的情况下，能够使用HMD100上安装的播放应用在HMD100中再现智能手机200中保存的数据。即，能够用更加贴身的装置再现这些数据，便利性更高。
另外，本实施方式以首先确定要执行的应用再传输其文件数据的情况为例进行了说明，但不限定于此。也可以不限定要执行的应用而仅传输文件数据。该情况下，在HMD100一侧确认接收到的文件数据，启动处理该文件数据的应用。
另外，在智能手机200和HMD100中保存了相同文件的情况下也可以构成为，不进行文件的数据传输而是仅发送文件的指定信息，在HMD100中再现HMD100内的文件。由此，能够防止数据传输引起的再现延迟，实现功耗降低。
＜＜第六实施方式＞＞
接着说明本发明的第六实施方式。本实施方式中，即使在协作状态时，也在智能手机200一侧执行应用，仅对HMD100发送执行结果。
以下，对于本实施方式，主要关注与第一实施方式不同的结构进行说明。
HMD100和智能手机200的硬件结构与第一实施方式相同。另外，功能结构也相同。但是，协作判断部173和协作控制部273的处理不同。
智能手机200的协作控制部273即使在协作状态下执行设备被决定为HMD100的情况下，也在智能手机200一侧执行应用A。但是，在HMD100为执行设备的情况下，不是将执行结果输出至自身装置(智能手机200)而是发送至HMD100。
HMD100的协作判断部173在输出设备被决定为HMD100的情况下，进行控制，使输出部175输出经由收发部172接收的应用A的执行结果(输出信息)。另外，在输出执行结果时，在需要应用A特有的画面、处理等的情况下，在HMD100中也启动应用A进行处理。
[处理流程]
以下，按照图14说明本实施方式的信息处理系统500的应用协作处理的流程。对于与第一实施方式的应用协作处理相同的处理，标注相同标记，省略重复说明。
另外，本实施方式中，判断HMD100与智能手机200是否处于协作状态并相应地决定应用A的输出目标即输出设备。该输出设备决定处理是与第一～第三实施方式的任一个中的决定执行设备的处理即执行设备决定处理相同的处理，其中，代替执行设备决定输出设备。
智能手机200的协作控制部273在步骤S6400中实施输出设备决定处理，在输出设备被决定后指示应用执行部274启动应用A。于是，应用执行部274启动应用A(步骤S1208)。接着，协作控制部273使应用执行部274执行应用A(步骤S1209)。
然后，在输出时，判断输出设备决定处理中决定的输出设备是智能手机200还是HMD100(步骤S6201)。然后，在输出设备是智能手机200的情况下，协作控制部273使输出部275直接对自身装置的显示器231、扬声器241等输出(步骤S6202)。该步骤S1209～S6202的处理持续至应用A结束，之后结束处理。
另一方面，在判断为输出设备是HMD100的情况下，在输出时，协作控制部273使收发部272将输出的信息即输出信息发送至HMD100(步骤S6203)。
在HMD100一侧，在输出设备被决定为智能手机200的情况下，直接结束处理(步骤S6101)，在被决定为HMD100的情况下，协作判断部173进行指示收发部172接收输出信息的输出信息接收准备(步骤S6102)。
然后，在从智能手机200接收到输出信息时(步骤S6103)，协作判断部173使输出部175输出接收到的输出信息(步骤S6104)。协作判断部173执行S6103和S6104的处理直到输出信息的接收结束(步骤S6105)，结束处理。另外，关于输出是否已结束，例如可以根据接收到输出信息结束信号、从不再能够接收输出信息后经过指定时间、与智能手机的通信中断等进行判断。
如以上所说明，本实施方式的信息处理系统500中，智能手机200的协作控制部273在使智能手机200以协作工作模式工作的情况下，执行选中的应用，对HMD100发送执行结果。
这样，根据本实施方式的信息处理系统，与第一实施方式同样地，能够提供一种不增加用户501的负担地、能够流畅地进行HMD100与智能手机200的协作的易用性好的信息处理系统。
特别是，根据本实施方式，例如在能够经由HMD100看到智能手机200这样的规定配置状态下，当用户501触摸了音乐应用的图标420时，在智能手机200中执行音乐软件，仅对HMD100发送声音播放信息，使得能够用HMD100的扬声器(耳机)聆听。因此，不需要在HMD100中搭载用于影像和音乐等大容量内容数据等的过剩的信息数据用存储器以及应用本身。即，能够在减小搭载容量的同时，以音乐等应用仿佛在HMD100中启动、播放的方式工作。
于是，能够减小HMD100一侧的存储容量，并且也能够减小所需的处理能力。由此，能够实现HMD100的小型化、轻量化。进而，根据本实施方式，即使在HMD100中执行，也能够用智能手机200操作，易用性好。
＜＜第七实施方式＞＞
接着说明本发明的第七实施方式。本实施方式的信息处理系统500如图15所示，包括第一信息终端、第二信息终端和第三信息终端，由这3个信息终端协作地执行应用。
以下，对于本实施方式，以第一信息终端是智能手表(SW300)、第二信息终端是智能手机200、第三信息终端是HMD100的情况为例进行说明。
本实施方式中，利用HMD100判断智能手机200与SW300是否处于能够协作的配置状态。然后，根据该结果，智能手机200决定是将选中的应用A在自身装置中执行还是在SW300中执行，即是以协作工作模式工作还是以单独工作模式工作。另外，在智能手机200决定工作模式时，向SW300确认SW300中是否预先安装了选中的应用A。
以下说明本实施方式的各装置的结构。HMD100和智能手机200的硬件结构与第一实施方式相同。另外，功能结构也相同。但是，协作判断部173和协作控制部273的处理不同。
本实施方式的HMD100和智能手机200的硬件结构和功能模块基本上与第一实施方式相同。但是，协作判断部173和协作控制部273的处理不同。
本实施方式的HMD100作为第三信息终端，仅进行是否处于能够协作的配置状态的判断。即，本实施方式的协作判断部173判断智能手机200与SW300是否处于能够协作的配置状态。
具体而言，如图16的(a)所示，在智能手机200的显示了图标420的画面和SW300这双方均存在于显示器131的协作视野101a内的配置状态的情况下，判断为智能手机200与SW300处于能够协作的状态。然后，在SW300中安装有与图标420对应的应用的程序的情况下，如图16的(b)所示，在SW300中执行选中的应用。
图17表示本实施方式的SW300的硬件结构。如该图所示，本实施方式的SW300包括主处理器311、系统总线312、存储装置310、操作接受装置320、图像处理装置330、声音处理装置340、传感器350、通信装置360、扩展接口(I/F)部305、计时器306和振动发生装置307。
各装置的细节与HMD100的同名部分基本相同。不过，SW300还包括触摸面板323作为操作接受装置320。触摸面板323具有与显示器331重叠配置的触摸面板323。
[功能模块]
接着，图18表示SW300的功能模块。如该图所示，包括主控制部370、接受部371、收发部372、协作控制部373、应用执行部374、输出部375、图标数据存储部377和应用程序存储部376。
各功能模块具有与HMD100的同名结构相同的功能。另外，SW300的协作控制部373与智能手机200的协作控制部273同样地，判断SW300是否以与其他信息终端一同协作执行应用的协作工作模式工作。在判断为协作工作模式的情况下，按照来自其他信息终端的启动指示，相应地使应用执行部374启动应用。
[处理流程]
以下，说明本实施方式的信息处理系统500的应用协作处理的流程。图19是本实施方式的应用协作处理的处理流程。对于与第一实施方式相同的处理标注相同标记，省略详细说明。
HMD100与智能手机200以及SW300与智能手机200首先彼此建立通信(步骤S1101、S1201、S1301)。与第一实施方式同样，各收发部172、272、372进行数据通信，建立通信。
智能手机200接受应用A的选择指示(步骤S1202)。
智能手机200对HMD100和SW300通知应用A的选择信息(步骤S1203)。
HMD100的协作判断部173通过上述方法判断智能手机200与SW300是否处于能够协作的配置状态(步骤S7101)，将判断结果发送至智能手机200(步骤S7102)。另外，可以在HMD100与SW300之间也建立通信，也对SW300发送判断结果。
从智能手机200接收到应用A选择信息的通知的SW300的协作控制部373判断自身装置中是否安装了应用A，将其结果作为应用A信息发送至智能手机200(步骤S7303)。
从HMD100接收了配置状态的判断结果、从SW300接收了应用A信息(步骤S7201)的智能手机200的协作控制部273使用这些信息判断自身装置与SW300是否处于协作状态，并决定要执行应用A的执行设备(步骤S7202)。本实施方式中，在处于能够协作的配置状态、并且得到SW300中已安装有应用A的信息的情况下，将执行设备决定为SW300。其他情况下将执行设备决定为智能手机200。
智能手机200的协作控制部273对HMD100和SW300通知决定结果(步骤S7203)。HMD100在接收到决定结果后，结束处理。
之后，智能手机200执行步骤S1207以后的处理。
SW300在执行设备被决定为SW300的情况下(步骤S7305)，启动SW300内的应用A(步骤S7306)，并执行应用A直到应用A结束(步骤S7307、S7308)，再结束处理。
另一方面，在执行设备没有被决定为SW300的情况下，直接结束处理。
如以上所说明，本实施方式的信息处理系统500包括HMD100、智能手机200和SW300作为多个终端。HMD100判断智能手机200是否处于能够以协作工作模式工作的状态即协作状态。然后，智能手机200在判断为协作状态时以协作工作状态工作，对SW300发送选中的应用的启动指示。SW300中，接受启动指示，启动、执行应用。
如以上所说明，根据本实施方式，能够使用操作性好的智能手机200来启动SW300中的应用。另外，通过经由第三信息终端即HMD100的视野来判断双方的位置关系，由此实现双方的协作。在SW300中执行应用时能够提高操作性。即，本实施方式能够实现一种没有用户501的负担的、便利性高的信息终端的协作技术。
另外，根据本实施方式，在应用启动时，使用操作性好的智能手机200，如果处于可以经由HMD100的视野看见智能手机200的图标和SW300这样的配置状态，则通过在该状态下触摸智能手机200的图标，能够在SW300中启动要求的应用。因此，SW300的显示部和操作部可以是简易的。即，能够使SW300的结构简化。
另外，本实施方式中，在智能手机200是位于HMD100的协作视野101a内的规定配置状态、但SW300不是位于HMD100的协作视野101a内的配置状态的情况下，可以与第一实施方式同样地，将执行设备决定为HMD100。该情况下，从智能手机200对HMD100发送启动指示，在HMD100内启动应用A。
另外，本实施方式中，第一信息终端不限定于SW300。可以是能够启动应用、能够轻松地使其使用位置为最佳状态的信息终端，例如可以是平板、PC、与第二信息终端不同的其他智能手机200等。
另外，本实施方式中，在SW300中也可以如上述第四实施方式那样，在智能手机200中与SW300同步地执行应用，通过智能手机200来接受操作。另外，也可以如第五实施方式那样，SW300在执行应用前从智能手机200接收数据传输。进而，也可以如第六实施方式那样，构成为在智能手机200一侧执行应用，仅接收执行结果并输出。
通过将保存在智能手机200中的文件的数据传输至SW300，用SW300中搭载的文件再现用应用再现数据，不需要在SW300中始终保有全部文件数据，能够实现对于SW300这样的小型多功能的手表型信息终端而言重要的数据容量轻量化。
＜变形例1＞
上述各实施方式中，根据2个信息终端是否处于规定位置关系来判断2个信息终端之间是否处于规定配置状态。即，根据是否是在HMD100的协作视野101a内存在智能手机200的显示器231上的图标420的配置状态进行判断。但是，判断方法不限定于此。
例如，可以使用超宽带无线系统(Ultra Wide Band：UWB)检测信息终端之间的位置关系和方向，根据其结果识别和判断智能手机200与HMD100是否处于规定配置状态。另外，也可以根据智能手机200和HMD100中分别搭载的各种传感器150、250的输出信息判断各信息终端的运动，检测终端之间的位置关系和方向，用于识别和判断是否处于规定配置状态。
进而，是否处于规定配置状态例如也可以根据2个信息终端之间的距离来判断。例如，可以根据HMD100与智能手机200的距离来判断。即，在两者的距离小于预先决定的距离阈值的情况下，判断为规定配置状态。
两者之间的距离例如在第一、第二、第七实施方式中用HMD100的深度传感器155测量。在第三实施方式中用智能手机200的深度传感器255测量。
特别是，在根据两者之间的距离判断是否处于规定配置状态的情况下，处理较为简单。即，无需在意智能手机200是否位于HMD100的协作视野101a内，通过使用位于周围一定范围内的智能手机200进行图标触摸，就能够在HMD100中启动要求的应用。另外，通过刻意使智能手机200离开一定距离以上，能够在智能手机200一侧启动应用。因此，便利性进一步得到提高。另外，与使用协作视野101a进行判断的处理相比，能够减少想要离开视野但未能离开等误操作。
另外，也可以不决定协作视野101a而是检测用户501的视线方向，在智能手机200的图标420与显示器131上的包含与视线方向的交点的规定区域重合的情况下，视为处于规定配置状态。
该情况下，在佩戴了HMD100的状态下，即使能够在显示器131上看见智能手机200的图标420，只要用户501不使视线对准它，就不会在HMD100一侧启动应用。从而，能够提供一种操作性更高的装置。
进而也可以构成为，设定协作视野101a，在图标420位于协作视野101a的范围内、并且用户501使视线对准图标420的情况下，判断为规定配置状态。
＜变形例2＞
另外，上述实施方式中，在判断为处于协作状态的情况下，分别在预先决定的信息终端中启动应用。但是，应用的执行设备的决定方法不限定于此。
例如可以是，在判断为处于协作状态之后，按照对智能手机200上显示的图标进行的选择操作的操作方式，来决定要执行应用的设备。例如是，在单击图标420的情况下在智能手机200中启动，双击的情况下在HMD100中启动等。
另外，也可以用其他方法判断是否处于协作状态，仅对于执行设备根据用户501的视线方向决定。可以是，检测用户501的视线方向，在视线不位于图标420或智能手机200的显示器231上的情况下，即使处于协作状态也不在HMD100中启动应用。
由此，通过使智能手机200进入视野内同时使视线离开智能手机200并操作图标，能够刻意地不在HMD100中而是在智能手机200中启动应用。
另外，不仅根据视线方向，也可以根据用户501的眼睛的开闭来决定执行设备。该情况下，对内侧摄像头134取得的规定期间的图像进行分析，识别与眨眼不同的、能够判断是否故意闭眼的一定的指定时间中是否处于闭眼的状态。例如，在一定的指定时间中闭眼的状态下触摸图标420时，决定为在智能手机200中启动应用。
另外，也可以在轻击(tap)图标后使手指离开时故意闭眼的情况下，在智能手机200中启动。该情况对于在随时使用HMD100的状态下刻意明确地想要在智能手机200中启动的情况是有效的。
另外也可以是，如果一只眼闭着则在智能手机200中启动。该情况下，能够用另一只眼观看图标420，同时容易地进行要求的动作。
＜变形例3＞
上述各实施方式中，各信息终端之间的数据收发不限定于彼此直接的无线通信。例如，也可以如图20的(a)和图20的(b)所示经由服务器610。
同样，也可以将应用和文件、数据保存在服务器610上，根据来自智能手机200的指示，适当地对各信息终端通过通信传输并使用。也可以根据来自智能手机200的指示，在服务器610上启动应用并将再现信息传输至由各实施方式决定的信息终端而进行视听。
另外，服务器610只要能够与各信息终端经由通信连接并收发必要的信息即可，其形态任意，例如是本地服务器、云服务器、边缘服务器、网络服务等。
另外，除了从智能手机200对HMD100传输大容量内容数据的情况以外，也可以从云网络向HMD100下载内容数据。特别是，在处理高清影像等的图像应用的情况下，使用的数据量非常多。因此，HMD100中的容量减小效果较大。该情况下，作为数据通信如果使用5G(5thGeneration：第五代移动通信系统)、本地5G等高速大容量通信网，则能够进一步提高易用性。
＜变形例4＞
另外，在用户501触摸的图标420的显示画面内，也可以用表示能够在哪个信息终端中启动应用或文件的小图形，在规定位置附加终端标记(以下称为小图标)。图21的(a)～图21的(c)表示具有小图标的图标的例子。此处，作为一例，将音乐播放应用作为应用A示出其图标430。
图21的(a)是图标430在图标430内具有表示能够在HMD100中启动该应用的小图标431的情况的例子。另外，图21的(b)是图标430具有表示能够在SW300中启动该应用A的小图标432的情况的例子。
图21的(c)是仅能够在智能手机200中启动的应用的例子。此处，作为一例表示了表格制作应用的图标440。在电子表格应用的图标440内的规定位置不显示小图标。
由此，在智能手机200上进行图标触摸操作时，用户能够看到位于要触摸的图标内的如图21的(a)、图21的(b)、图21的(c)所示的小图标的包括其是否存在的状态，预先得知触摸该图标时能够在哪个信息终端中启动，能够容易地提高易用性。
另外，图21的(a)、图21的(b)、图21的(c)所说明的小图标与信息终端之间是否处于规定配置状态无关，而是表示若成为规定配置状态则能够启动的信息终端。
另外，本实施方式的协作控制部273在从HMD100或SW300接收到表示各信息终端具有应用A的信息的情况下，在图标430的规定位置显示小图标431。或者，也可以预先在HMD100、SW300与智能手机200之间交换是否安装了应用程序的信息，显示小图标431。
图21的(d)和图21的(e)表示小图标431的其他例子。小图标431能够显示成，在触摸了图标420时，能够识别协作的信息终端之间的要启动应用或文件的信息终端。即，可以根据是否处于协作状态，变更小图标431的显示方式。
例如，在智能手机200与HMD100处于协作状态，若触摸图标420将在HMD100中启动应用或文件的情况下，如图21的(d)所示，显示高亮(带有阴影线)的小图标432。另一方面，在不处于协作状态而是在智能手机200中启动应用的情况下，如图21的(e)所示显示没有高亮(阴影线)的小图标433。
这样，通过显示小图标431，用户501能够容易地了解能够启动的信息终端。由此，能够按用户501的意愿明确地选择要启动的信息终端。
另外，作为显示小图标431以外的识别通知方法，也可以将能够在哪个信息终端中启动应用转换为声音信息，用扬声器141(耳机)对用户501通知。
另外，HMD100也可以将能够在哪个信息终端中启动应用转换为通过振动的大小和种类等识别的振动信息，利用振动发生装置107对用户501通知。对于用户501而言能够得到更高的便利性。
另外，关于是否显示小图标，也可以作为初始设定按每个应用在该应用安装时指定。另外，也能够由用户501变更该初始设定。另外，也能够不是按应用单位、而是按终端单位，根据用户501的指示(通过由OS等控制而)一并切换关于全部应用的是否显示小图标的判断。
＜变形例5＞
另外，上述各实施方式和变形例中，作为图标触摸的检测方法，表示了用智能手机200的操作接受装置120检测图标触摸操作的方法。但是，不限定于此。例如，也可以用HMD100的外侧摄像头133拍摄智能手机200上的图标触摸操作，通过对拍摄图像进行分析而检测。另外，作为图标位置确定方法，也可以从HMD100向智能手机200发送由HMD100的外侧摄像头133拍摄的智能手机200的显示器231上的坐标，利用智能手机200确定位于该坐标的应用并对HMD100通知。
＜变形例6＞
另外，上述各实施方式中，作为信息终端举出了HMD100和智能手机200的例子，但只要是能够取得多个信息终端之间的配置信息的信息终端即可。例如，可以双方都是智能手机。该情况下可以是，对于显示图标420并接受触摸的智能手机200A，用其他智能手机200B的相机拍摄并同时触摸图标，由此在其他智能手机200B中启动应用。
另外，也可以在各信息终端之间使相同应用协作地工作。例如，在智能手机200和HMD100中使用相同地图应用时，在两个终端处于规定配置状态的情况下，能够使其协作地工作，例如在智能手机200中显示详细的地图、在HMD100中显示简化的地图，由此提高易用性。
＜变形例7＞
另外，在搭载相同应用或对应的应用时也可以同步地安装，例如，如果在一个信息终端上安装则在另一个信息终端上也安装等。在另一个信息终端上不存在与一个信息终端上选中的应用相同的应用或对应的应用的情况下，能够从服务器或其他信息终端内下载安装并使用。另外，也可以事先进行信息终端之间的绑定(配对、群组设定等)。在与未绑定的信息终端建立了通信的情况下，可以对用户501询问是否进行绑定，如果用户501表现出进行绑定的意愿则在此时进行绑定。
本发明不限定于上述实施例，包括各种变形例。例如，上述实施例中为了易于理解地说明本发明而进行了详细说明，但并不限定于必须具备所说明的全部结构。能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的结构。另外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。
上述各结构、功能、处理部、处理单元等，例如可以通过集成电路设计而由硬件实现其一部分或全部。另外，上述各结构、功能等也可以通过处理器解释、执行实现各功能的程序而由软件实现。实现各功能的程序、表、文件等信息，能够保存在存储器、硬盘、SSD(Solid StateDrive)等记录装置或者IC卡、SD卡、DVD等记录介质中。
另外，控制线和信息线表示了说明上必要的部分，并不一定表示了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。
附图标记说明
100：HMD，101a：协作视野，103：RAM，104：ROM，105：扩展接口部，106：计时器，107：振动发生装置，110：存储装置，111：主处理器，112：系统总线，113：RAM，114：ROM，120：操作接受装置，121：操作按键，122：触摸传感器，123：触摸面板，130：图像处理装置，131：显示器，131a：左眼用显示器，131b：右眼用显示器，133：外侧摄像头，134：内侧摄像头，140：声音处理装置，141：扬声器，143：麦克风，150：传感器，151：接收部，152：陀螺仪传感器，153：地磁传感器，154：加速度传感器，155：深度传感器，160：通信装置，161：LAN通信I/F，162：电话网通信I/F，163：BT通信I/F，170：主控制部，171：接受部，172：收发部，173：协作判断部，174：应用执行部，175：输出部，176：应用程序存储部，177：图标数据存储部，
200：智能手机，200A；智能手机，200B：智能手机，201：主处理器，201a：拍摄范围，202：系统总线，205：扩展接口部，206：计时器，207：振动发生装置，210：存储装置，211：主处理器，213：RAM，214：ROM，220：操作接受装置，223：触摸面板，230：图像处理装置，231：显示器，235：内侧摄像头，240：声音处理装置，241：扬声器，250：传感器，255：深度传感器，260：通信装置，263：BT通信I/F，270：主控制部，271：接受部，272：收发部，273：协作控制部，274：应用执行部，275：输出部，276：应用程序存储部，277：图标数据存储部，
300：智能手表，305：扩展接口部，306：计时器，307：振动发生装置，310：存储装置，311：主处理器，312：系统总线，320：操作接受装置，323：触摸面板，330：图像处理装置，331：显示器，340：声音处理装置，350：传感器，360：通信装置，370：主控制部，371：接受部，372：收发部，373：协作控制部，374：应用执行部，375：输出部，376：应用程序存储部，377：图标数据存储部，
411：图标，420：图标，421：图标，430：图标，431：小图标，432：小图标，433：小图标，440：图标，500：信息处理系统，501：用户，610：服务器

Claims (18)

1.一种信息处理系统，在多个终端之间协作来执行各终端共同具有的应用程序，其特征在于，
作为所述多个终端包括第一信息终端和第二信息终端，
所述第二信息终端包括：
接受部，其接受所述应用程序的启动指示；和
协作控制部，其使该第二信息终端以单独工作模式和协作工作模式中的任一个模式工作，
所述第一信息终端包括输出部，其输出所述协作工作模式时执行的所述应用程序的执行结果，
所述单独工作模式是由所述第二信息终端单独执行所述应用程序的工作模式，所述协作工作模式是由所述第一信息终端和所述第二信息终端协作执行所述应用程序的工作模式，
令所述第二信息终端能够以所述协作工作模式工作的状态为协作状态，所述协作状态是根据所述第一信息终端与所述第二信息终端的配置而决定的。
2.如权利要求1所述的信息处理系统，其特征在于，
所述第一信息终端还包括用于判断是否处于所述协作状态的协作判断部，
在所述协作判断部判断为处于所述协作状态的情况下，所述第二信息终端的所述协作控制部使所述第二信息终端以所述协作工作模式工作。
3.如权利要求1所述的信息处理系统，其特征在于，
所述第一信息终端还包括用于判断是否处于所述协作状态的协作判断部，
所述协作判断部在判断为处于所述协作状态的情况下，指示所述第二信息终端以所述协作工作模式工作。
4.如权利要求1所述的信息处理系统，其特征在于，
所述第二信息终端的所述协作控制部判断该第二信息终端是否处于所述协作状态，在判断为处于所述协作状态的情况下使所述第二信息终端以所述协作工作模式工作。
5.如权利要求1所述的信息处理系统，其特征在于，
作为所述多个终端还包括第三信息终端，
所述第三信息终端包括协作判断部，其判断所述第二信息终端是否处于能够以所述协作工作模式工作的配置状态，
在所述协作判断部判断为处于能够以所述协作工作模式工作的配置状态的情况下，所述第二信息终端的所述协作控制部使所述第二信息终端以所述协作工作模式工作。
6.如权利要求1所述的信息处理系统，其特征在于，
所述第二信息终端的所述协作控制部在使所述第二信息终端以所述协作工作模式工作的情况下，对所述第一信息终端发送所述应用程序的启动指示，
所述第一信息终端还包括应用程序执行部，其在从所述第二信息终端接收到所述应用程序的启动指示时，执行所述应用程序。
7.如权利要求6所述的信息处理系统，其特征在于，
所述第二信息终端还包括：
第二应用程序执行部，其在接收到所述启动指示时执行所述应用程序；和
显示器，其显示所述应用程序的执行状态，
所述第二应用程序执行部与所述应用程序执行部同步地执行所述应用程序。
8.如权利要求1所述的信息处理系统，其特征在于，
所述第二信息终端的所述协作控制部在使所述第二信息终端以所述协作工作模式工作的情况下，将执行所述应用程序所需的数据发送至所述第一信息终端，
所述第一信息终端包括应用程序执行部，其在从所述第二信息终端接收到执行所述应用程序所需的所述数据时，使用该数据执行所述应用程序。
9.如权利要求1所述的信息处理系统，其特征在于，
所述第二信息终端的所述协作控制部在使所述第二信息终端以所述协作工作模式工作的情况下，执行所述应用程序，将所述执行结果发送至所述第一信息终端。
10.如权利要求2、3和5中任意一项所述的信息处理系统，其特征在于，
所述接受部在所述第二信息终端具备的第二显示器上显示用于接受所述启动指示的图标，经由该图标接受所述启动指示，
所述协作判断部在所述第一信息终端的显示器的预先决定的协作视野内包含显示在所述第二显示器上的所述图标的情况下，判断为处于所述协作状态。
11.如权利要求4所述的信息处理系统，其特征在于，
所述协作控制部在所述第一信息终端被显示在所述第二信息终端的显示器上的情况下，判断为处于所述协作状态。
12.如权利要求1所述的信息处理系统，其特征在于，
是否处于所述协作状态是根据所述第二信息终端与所述第一信息终端的距离判断的。
13.如权利要求1所述的信息处理系统，其特征在于，
所述接受部在所述第二信息终端具备的显示器上显示用于接受所述启动指示的图标，经由该图标接受所述启动指示，
所述图标具有终端标记，所述终端标记是用于确定能够启动与该图标关联的应用程序的所述终端的种类的信息。
14.如权利要求13所述的信息处理系统，其特征在于，
对于所述终端标记，在该应用程序被根据该终端标记所确定的所述终端执行的情况下，变更其显示方式。
15.一种信息处理系统，利用第一信息终端与第二信息终端协作执行应用程序，其特征在于，
所述第二信息终端包括：
接受部，其接受所述应用程序的启动指示；
协作控制部，其使该第二信息终端以单独工作模式和协作工作模式中的任一个模式工作；和
应用程序执行部，其执行所述应用程序，
所述第一信息终端包括输出部，其输出所述协作工作模式时执行的所述应用程序的结果，
令所述第二信息终端能够以所述协作工作模式工作的状态为协作状态，所述协作状态是根据所述第一信息终端与所述第二信息终端的配置而决定的，
所述第二信息终端的协作控制部在使所述第二信息终端以所述协作工作模式工作的情况下，将所述应用程序执行部执行的结果发送至所述第一信息终端。
16.一种信息处理方法，利用第一信息终端与第二信息终端协作执行所述第一信息终端和所述第二信息终端共同具有的应用程序，其特征在于，包括：
在所述第二信息终端中接受所述应用程序的启动指示的接受步骤；
根据所述第一信息终端与所述第二信息终端的配置，判断所述第一信息终端与所述第二信息终端是否处于协作状态的协作判断步骤；
决定要执行所述应用程序的终端即执行终端的终端决定步骤；
在通过所述终端决定步骤决定的所述执行终端中执行所述应用程序的步骤；和
在所述第一信息终端中输出所述应用程序的执行结果的输出步骤。
17.一种信息处理终端，与其他信息处理终端协作执行与该其他信息处理终端共同具有的应用程序，其特征在于，
包括输出部，其输出协作工作模式时执行的所述应用程序的执行结果，其中，所述协作工作模式是所述信息处理终端与所述其他信息处理终端协作执行所述应用程序的工作模式，并且所述协作工作模式是根据所述信息处理终端与该其他信息处理终端的位置关系决定的。
18.一种信息处理终端，与其他信息处理终端协作执行与该其他信息处理终端共同具有的应用程序，其特征在于，包括：
接受部，其接受所述应用程序的启动指示；和
协作控制部，其使所述其他信息处理终端以单独工作模式和协作工作模式中的任一个模式工作，
所述单独工作模式是由该信息处理终端单独执行所述应用程序的工作模式，所述协作工作模式是由该信息处理终端和所述其他信息处理终端协作执行所述应用程序的工作模式，
令所述其他信息处理终端能够以所述协作工作模式工作的状态为协作状态，所述协作状态是根据该信息处理终端与所述其他信息处理终端的配置而决定的。
CN202080101658.5A 2020-06-02 2020-06-02 信息处理系统、信息处理方法和信息处理终端 Pending CN115698967A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/021710 WO2021245773A1 (ja) 2020-06-02 2020-06-02 情報処理システム、情報処理方法および情報処理端末

Publications (1)

Publication Number Publication Date
CN115698967A true CN115698967A (zh) 2023-02-03

Family

ID=78830217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080101658.5A Pending CN115698967A (zh) 2020-06-02 2020-06-02 信息处理系统、信息处理方法和信息处理终端

Country Status (4)

Country Link
US (1) US20230297447A1 (zh)
JP (1) JP7453369B2 (zh)
CN (1) CN115698967A (zh)
WO (1) WO2021245773A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023119528A1 (ja) * 2021-12-22 2023-06-29 マクセル株式会社 ヘッドマウントディスプレイ装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012063395A1 (ja) * 2010-11-12 2012-05-18 パナソニック株式会社 サーバ、通信端末、およびそれらを備えた機器連携システム
JP2013152642A (ja) * 2012-01-25 2013-08-08 Sharp Corp 端末装置、表示システム、端末装置の制御方法、端末装置の制御プログラム、および、該制御プログラムを記録した記録媒体
JP5719325B2 (ja) 2012-03-30 2015-05-13 楽天株式会社 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体
JP6148170B2 (ja) * 2013-12-27 2017-06-14 日立マクセル株式会社 携帯情報端末
JP5915676B2 (ja) 2014-03-04 2016-05-11 コニカミノルタ株式会社 連携システム、画像形成装置、携帯情報装置、遠隔制御方法、遠隔操作方法、遠隔制御プログラムおよび遠隔操作プログラム
JP6455474B2 (ja) 2016-03-25 2019-01-23 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN116224593A (zh) 2018-06-25 2023-06-06 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法

Also Published As

Publication number Publication date
JPWO2021245773A1 (zh) 2021-12-09
JP7453369B2 (ja) 2024-03-19
WO2021245773A1 (ja) 2021-12-09
US20230297447A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
KR102316327B1 (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
KR101735484B1 (ko) 헤드 마운티드 디스플레이
KR20160113903A (ko) 이동 단말기 및 그것의 제어방법
KR102223728B1 (ko) 이동단말기 및 그 제어방법
KR20150133056A (ko) 이동 단말기 및 그것의 제어방법
KR20170126294A (ko) 이동 단말기 및 그 제어방법
KR20150146295A (ko) 헤드 마운티드 디스플레이 및 그것의 제어방법
EP3086216A1 (en) Mobile terminal and controlling method thereof
KR20150070874A (ko) 안경형 단말기 및 이의 제어방법
KR20170059760A (ko) 이동단말기 및 그 제어방법
CN114648623A (zh) 信息处理装置、信息处理方法以及计算机可读介质
KR20180103866A (ko) 이동 단말기 및 그 제어 방법
JP7453369B2 (ja) 情報処理システムおよび情報処理方法
KR20170055296A (ko) Hmd 및 그 hmd의 제어 방법
KR20170060473A (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
KR20160019279A (ko) 이동단말기 및 그 제어방법
KR20160070529A (ko) 웨어러블 디바이스
CN111415421A (zh) 虚拟物体控制方法、装置、存储介质及增强现实设备
KR20170073985A (ko) 이동 단말기 및 그 제어 방법
US20190287489A1 (en) Head-mounted display apparatus and method for controlling head-mounted display apparatus
KR20170058756A (ko) Hmd 및 그 hmd의 제어 방법
KR20160149066A (ko) 이동단말기 및 그 제어방법
KR20140147057A (ko) 안경형 단말기 및 안경형 단말기의 제어방법
KR20150089787A (ko) 이동 단말기 및 그것의 제어방법
KR102211476B1 (ko) 전자 디바이스 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination