CN115867890A - 信息处理系统和信息处理终端 - Google Patents

Abstract

本发明能够在多个信息处理终端之间简单且易用性良好地实现应用程序的联动。本发明的能够用多个信息处理终端联动地执行应用程序的信息处理系统，其特征在于：所述信息处理终端各自包括：检测预先决定的联动标记的部；和执行部，其将与检测出的所述联动标记关联的应用程序作为联动应用，与检测出相同的所述联动标记的其他的所述信息处理终端联动地执行该联动应用。

Description

信息处理系统和信息处理终端

技术领域

本发明涉及对于在多个信息处理终端之间联动地执行应用程序(以下称为应用)进行辅助的技术。

背景技术

在多个信息终端之间联动地执行应用程序的情况正在增加。作为选择与联动发起设备联动的最优的联动目标设备的技术，例如在专利文献1中，公开了“具有：联动发起设备；能够与联动发起设备连接的多个联动目标设备；和控制联动发起设备和多个联动目标设备中分别登记的应用的联动的应用联动装置，应用联动装置包括：第一管理部，其管理包括为了与联动目标设备连接而使用的信息和关于该联动目标设备中登记的应用所使用的数据的信息的设备信息；第二管理部，其对于来自联动发起设备的联动请求，参照所述设备信息来获取表示能够联动的联动目标设备和应用的联动候选；和联动控制部，其启动所述联动候选所示的应用，将进行联动的设备和该设备中登记的能够联动的应用确定为联动目标(摘自摘要)”的信息处理系统。

另外，存在基于多个设备拍摄到的图像的相同性的判断、进行多个设备的联动控制的技术。例如在专利文献2中，公开了“包括：与拍摄时刻一同获取用第一设备拍摄到的第一图像的第一获取部；与拍摄时刻一同获取用第二设备拍摄到的第二图像的第二获取部；判断部，其基于第一图像和第二图像各自的拍摄图像和拍摄时刻，判断第一图像与第二图像的拍摄位置的相同性；输出部，其将判断结果输出至第一设备或第二设备(摘自摘要)”的判断装置。

现有技术文献

专利文献

专利文献1：日本特开2017-142693号公报

专利文献2：日本特开2016-174253号公报

发明内容

发明要解决的课题

在佩戴了头戴式显示器(Head Mounted Display：HMD)等信息终端的用户之间形成群组，来共享地执行信息终端中搭载的应用的情况正在增加。

专利文献1中，虽然记载了建立联动通信并在能够启动应用的全部信息终端中启动应用，但关于选择信息终端启动的观点并没有任何暗示。因此，难以实现在用户之间形成群组并共享应用。

另外，专利文献2中，虽然记载了基于拍摄到的图像的相同性使设备之间联动，但关于应用的启动和应用的联动并没有任何公开。

本发明是鉴于上述情况而得出的，目的在于提供一种在多个信息处理终端之间简单且易用性良好地实现应用程序的联动的技术。

用于解决课题的技术方案

本发明是一种能够用多个信息处理终端联动地执行应用程序的信息处理系统，其特征在于：所述信息处理终端各自包括：检测预先决定的联动标记的检测部；和执行部，其将与检测出的所述联动标记关联的应用程序作为联动应用，与检测出相同的所述联动标记的其他的所述信息处理终端联动地执行该联动应用。

发明效果

根据本发明，能够在多个信息处理终端之间简单且易用性良好地实现应用程序的联动。上述以外的课题、结构和效果将通过以下实施方式的说明而说明。

附图说明

图1是用于说明第一实施方式的信息处理系统的概要的说明图。

图2是第一实施方式的信息处理系统的结构图。

图3是第一实施方式的HMD的硬件结构图。

图4的(a)是第一实施方式的HMD的功能框图，(b)是用于说明第一实施方式的应用列表的一例的说明图，(c)是用于说明第一实施方式的通知数据的一例的说明图，(d)是用于说明第一实施方式的联动群组列表的一例的说明图。

图5的(a)～(c)是用于说明第一实施方式的联动标记的检测的说明图。

图6是第一实施方式的联动处理的流程图。

图7是第二实施方式的信息处理系统的结构图。

图8的(a)是第二实施方式的服务器的功能框图，(b)是用于说明第二实施方式的联动群组列表的一例的说明图，(c)是第二实施方式的服务器的硬件结构图。

图9是第二实施方式的联动处理的流程图。

图10是第二实施方式的变形例的系统结构图。

图11是用于说明第三实施方式的系统结构的说明图。

图12的(a)和(b)是用于说明第三实施方式的检测部进行的联动标记的检测的说明图。

图13是第三实施方式的智能手机的硬件结构图。

图14的(a)是第三实施方式的智能手机的功能框图，(b)是用于说明第三实施方式的变形例的图标显示例的说明图。

图15是第三实施方式的联动处理的流程图。

具体实施方式

＜＜第一实施方式＞＞

以下，使用附图说明本发明的第一实施方式的例子。图1是用于说明本实施方式的信息处理系统的概要的说明图。

近年来，生成模拟现实的虚拟世界、能够体验仿佛身临其境的感觉的虚拟现实(Virtual Reality：VR)技术，和对现实世界附加数字信息而将用CG(Computer Graphics：计算机图形)等生成的虚拟空间(虚拟物体)反映至现实世界而进行扩展的增强现实(Augmented Reality：AR)技术，被使用于游戏和各种模拟。作为实现这些技术的信息处理终端，广泛使用将显示器和摄像机等佩戴在头部的头戴式显示器(Head Mounted Display：HMD)。然后，在佩戴了HMD等信息处理终端的用户之间形成群组，联动地执行信息终端中搭载的应用，在群组之间进行聊天和会议、游戏等。

要求这些应用的联动执行可以简单且安全地进行。本实施方式实现这一点。

本实施方式中，分别佩戴了头戴式显示器(HMD)100的多个用户900联动地执行各HMD100中搭载的共同的应用程序(应用)。各HMD100中搭载的应用是为了进行再现音乐、图像、创建文档等特定作业而使用的同一或同等的应用。

联动是通过用户900识别与所执行的应用对应的标记而实现的。标记例如是用于调用应用的启动等功能的图形，可以是在某处印刷或记载的，也可以是在信息处理终端等的画面上显示的。标记不限于几何图形，也可以是文字等。标记只要能够决定启动的应用即可，以下称为联动标记810。另外，通过识别联动标记810而在各HMD100中启动的应用不需要是同一应用。例如，在识别聊天的标记时启动的应用只要是能够相互联动地进行聊天的应用即可。

图1中，举例示出了在四名用户901、902、903、904的头部分别佩戴的HMD101、102、103、104、以及联动标记810。另外，在不需要区分的情况下，用HMD100、用户900代表。

各HMD100之间通过无线通信912、913、914、923、924、934进行信息的收发。另外，各HMD100之间的信息的收发可以不是经由相互的直接的无线通信，而是经由服务器等进行。

本图中，HMD101、102、103检测出用户901、902、903识别出了位于该用户901、902、903的各视线941、942、943的前方的联动标记810，将与该联动标记810对应的应用确定为联动地执行的应用(联动应用)。

另外，HMD101、102、103是检测出同一联动标记810的HMD100，被确定为经由无线通信912、913、923联动地执行联动应用的联动群组。然后，在被确定为联动群组的HMD101、102、103之间联动地执行联动应用。

例如，如图1所示，与联动标记810对应的联动应用是聊天应用。该情况下，HMD101、102、103联动地执行对应的聊天应用。在HMD101、102、103的显示器131上，显示表示各用户900的会话内容的聊天画面。

另一方面，视线944的前方并非朝向联动标记810的HMD104的用户904没有识别出联动标记810。即，HMD104没有检测出联动标记810。因此，HMD104不将与联动标记810对应的应用确定为联动应用。因此，HMD104不加入联动地执行联动应用的联动群组。因此，在HMD104的显示器131上，不显示表示各用户900的会话内容的聊天画面。

例如，聊天的应用等中，通常需要在启动应用之后选择聊天对象或者选择聊天的群组。但是，本实施方式中，想要参加的用户900只需观看与聊天应用关联的联动标记810，聊天应用就自动地启动，将观看同一联动标记810的用户900的HMD100识别为联动群组。这样，根据本实施方式，仅由在现场观看同一联动标记810的用户900佩戴的HMD100自动地形成联动地执行联动应用的联动群组。另外，只需佩戴HMD100的用户900识别(HMD100检测)联动标记810，就可以确定联动应用。因此，不需要选择联动群组的成员、或启动联动应用的麻烦。

另外，没有观看联动标记810的用户900的HMD100不加入联动群组的成员。因此，不会错误地将没有意愿的用户900的HMD100加入联动群组的成员。即，仅位于现场的用户900的HMD100参加联动群组。因此，不存在错误地对并非位于现场的用户900的HMD100发送信息的风险，能够安全地形成联动群组。另外，即使在用户900频繁地更替的状况下，也能够简单地管理联动群组的成员。

[系统结构]

以下，对于实现上述内容的本实施方式的信息处理系统700，首先，说明系统结构。图2是本实施方式的信息处理系统700的系统结构图。

如本图所示，本实施方式的信息处理系统700包括多个HMD100(101、102、103、104)和联动标记810。

HMD100是用户900在头部佩戴、将处理后的信息显示在显示器131上的装置。本实施方式的HMD100具有眼镜形状，在眼镜的镜片位置具有显示器131。显示器131可以是透射型的，也可以是非透射型的。

HMD100中，用户900能够隔着显示器131观察实际空间的状况。另外，显示器131能够显示增强现实的AR对象。从而，用户900能够同时观看显示器131上显示的AR对象和实际空间的状况两者。

联动标记810是如上所述通过被检测而作为确定联动应用和认定联动群组的成员的基准的标记。如上所述，例如使用联动应用的图标图形等。本实施方式中，例如固定在墙壁、柱、桌上等预先决定的位置。

[HMD]

接着，对于本实施方式的HMD100的硬件结构和功能模块，使用附图进行说明。

[硬件结构]

以下，对于实现上述处理的本实施方式的HMD100，说明硬件结构。图3是表示本实施方式的HMD100的结构例的框图。这些图中，对于与图1、图2所示的结构相同的部分附加同一附图标记。

如本图所示，本实施方式的HMD100包括主处理器111、系统总线112、存储装置110、操作接收装置120、图像处理装置130、声音处理装置140、传感器150、通信装置160、扩展接口(I/F)部171、计时器172和振动发生装置173。各构成部除了收发天线之外都分别经由系统总线112相互连接。

主处理器111是按照规定的程序控制HMD100整体的主控制部。主处理器111由CPU(Central Processor Unit：中央处理器)或微处理器单元(MPU)实现。主处理器111通过执行存储装置110中存储的操作系统(Operating System：OS)和各种动作控制用应用程序等程序，来进行HMD100整体的动作控制处理。另外，主处理器111控制各种应用的启动动作。主处理器111按照计时器172计测、输出的时钟信号进行处理。

系统总线112是用于在主处理器111与HMD100内的各部之间进行数据收发的数据信道。

存储装置110包括RAM113、ROM114和闪存115。在存储装置110中，存储操作系统和音乐、图像、文档等各种动作控制用应用等程序。另外，保存操作系统等进行的基本动作所需的基础数据和各种应用等中启动的文件数据等信息数据。例如，HMD100中搭载的音乐应用启动并选择音乐的文件数据时，在HMD100中再现选择的音乐的文件数据，能够聆听要求的音乐。

RAM113是基本动作程序和其他应用程序执行时的程序区域。另外，RAM113是在各种应用程序执行时根据需要暂时地保持数据的暂时存储区域。RAM113也可以与主处理器111是一体结构。

ROM114和闪存115存储用于实现HMD100的功能的各种程序、和动作设定值、包括来自后述的传感器150的检测值的传感器信息、虚拟物体和内容等各种显示用数据。

闪存115存储从网络300上下载的动作程序和用上述动作程序生成的各种数据等。对于闪存115中存储的各动作程序，能够通过从网络300上的各服务器装置进行下载处理而进行更新或功能扩展。

进而，闪存115能够存储从网络300上下载的动态影像和静止图像和声音等内容。另外，存储内侧摄像机134或外侧摄像机133拍摄的动态影像和静止图像等数据。

ROM114和闪存115是在没有对HMD100从外部供电的状态下也保持存储的信息的所谓非易失性存储。以下，在不需要特别区分ROM114和闪存115的情况下，将双方一并称为内置存储(Internal Memory Storage)。通过由主处理器111将内置存储中存储的新应用程序部署至RAM113并执行，HMD100能够实现多种功能。

内置存储需要在没有对HMD100供电的状态下也保持存储的信息。从而，作为内置存储，例如使用闪存ROM或SSD(Solid State Drive：固态硬盘)、HDD(Hard Disc Drive：硬盘驱动器)等设备。

内置存储存储操作系统和聊天、音乐、图像、文档等各种动作控制用应用等程序。另外，保存操作系统等进行的基本动作所需的基础数据和各种应用等中启动的文件数据等信息数据。

例如，HMD100中搭载的聊天应用启动并选择聊天对象和以前的聊天内容等聊天动作所需的各种文件数据时，在HMD100中能够使用所选择的聊天用文件数据与要求的聊天对象会话。另外，HMD100中搭载的音乐应用启动并选择音乐的文件数据时，在HMD100中再现选择的音乐的文件数据，能够聆听要求的音乐。

操作接收装置120接收对HMD100的操作指示的输入。本实施方式中具有操作按键121。操作按键121是电源按键、音量按键、主画面按键等。

另外，本实施方式的HMD100也可以不具有全部这些操作接收装置120。操作接收装置120在HMD100内以用户901易于进行输入操作的位置和方式设置即可。

另外，操作接收装置120也可以经由通过有线通信或无线通信连接的分体的信息处理终端设备接收HMD100的操作。该情况下，例如也可以具有键盘和按钮、触摸按键等形成的输入单元。另外，也可以利用用户901的视线。利用视线例如是在显示器131内显示输入操作画面，根据用后述的内侧摄像机134检测出的用户901的视线朝向的输入操作画面上的位置导入输入操作信息。也可以在输入操作画面上显示指针，操作指针而导入输入操作信息。另外，也可以由用户901发出表示输入操作的声音，用后述的麦克风143拾取而导入输入操作信息。另外，也可以使用外侧摄像机133和各种传感器150，检测用户901的手和身体的运动(姿态)，作为输入操作信息导入。

图像处理装置130是图像(视频)处理器，包括显示器131、外侧摄像机133和内侧摄像机134。

显示器131例如是液晶面板等显示设备(显示器)，对HMD100的使用者提示用图像信号处理部处理后的图像数据。显示器131包括左眼用显示器和右眼用显示器。显示器131可以是透射型(光学透射型)显示器或非透射型(视频透射型)显示器。

光学透射型显示器具有将启动应用生成的再现信息和对用户901的通知信息等各种信息投影的投影部和使所投影的各种信息在眼前成像显示的透明的半反射镜。另外，视频透射型显示器具有将用外侧摄像机133拍摄到的眼前的现实空间物体与各种信息一并显示的液晶面板等。通过显示器131，用户901在眼前的视野内的图像之外，也一并观看启动应用生成的聊天会话、音乐、图像、文档等的再现信息。

在显示器131显示电池容量的剩余量、各种警报、时刻等对用户的通知信息，并且在显示器131内显示启动的应用的图标。

另外，图像信号处理部是对从外侧摄像机133和内侧摄像机134输入的图像进行处理的图像(视频)信号处理器。另外，图像信号处理部将由主处理器111等生成的对象叠加在输入图像上并输出至显示器131。图像信号处理部可以用主处理器111实现，也可以在主处理器111之外具有图像专用的处理器而由其实现。

外侧摄像机133和内侧摄像机134是通过使用CCD(Charge Coupled Device：电荷耦合器件)和CMOS(Complementary Metal Oxide Semiconductor：互补型金属氧化物半导体)传感器等电子设备将从镜头输入的光变换为电信号来输入周围和对象物的图像数据的摄像机。

外侧摄像机133获取HMD100周围的图像。外侧摄像机133设置在HMD100的前面，拍摄前方的视野状态。另外，HMD100中，取决于显示器131的种类，存在光学透射型和视频透射型，但两者都拍摄导入用外侧摄像机133拍摄的眼前的视野状态。

内侧摄像机134获取与外侧摄像机133不同的区域的图像。例如，拍摄用户901的眼。另外，本实施方式中，内侧摄像机134与进行视线识别处理的处理部一起发挥视线检测传感器的功能。

视线检测传感器例如具有右眼视线检测部和左眼视线检测部，分别检测右眼、左眼的视线。另外，检测视线的处理，使用一般用作眼动追踪处理的周知技术即可。例如，在利用角膜反射的方法中，使红外线LED(Light Emitting Diode：发光二极管)对脸部照射，用红外线摄像机拍摄，将通过红外线LED照射而形成的反射光在角膜上的位置(角膜反射)作为基准点，基于与角膜反射的位置相对的瞳孔的位置检测视线。该情况下，具有红外线摄像机、红外线LED。

另外，作为操作接收装置120，也可以在显示器131的显示画面内显示输入操作画面，根据用右眼视线检测部、左眼视线检测部检测出的视线朝向的输入操作画面上的位置导入输入操作信息。也可以在输入操作画面上显示指针，用操作接收装置120操作指针而导入输入操作信息。

声音处理装置140是对声音进行处理的音频处理器。包括扬声器141和麦克风143。

扬声器141对外部输出用声音信号处理部处理后的声音信号。对外部输出声音而对用户告知通知信息和音乐等的声音。声音信号处理部是音频信号处理器。HMD100中，例如使用耳机等。

麦克风143拾取用户的声音等，变换为声音数据并输入。例如，可以具有外部环境音麦克风和语音麦克风。这些麦克风分别拾取来自外部的声音、用户901自身发出的声音。另外，也可以连接耳机。耳机佩戴在用户901的耳部而听到对用户901输出的声音。耳机能够用声音告知对用户900的通知信息。另外，作为操作接收装置120，也可以由用户900发出表示输入操作的声音，用麦克风143拾取而导入输入操作信息。

传感器150是用于检测HMD100的状态的传感器组。本实施方式中，具有GPS(GlobalPositioning System：全球定位系统)接收装置151、陀螺仪传感器152、地磁传感器153、加速度传感器154和深度传感器155。用该传感器组检测HMD100的位置、运动、倾斜、方位等。另外，深度传感器155获取从HMD100到对象物的距离信息。另外，也可以还具有其他传感器。

加速度传感器154是检测单位时间的速度变化即加速度的传感器，能够捕捉运动、振动、冲击等。另外，陀螺仪传感器152是检测旋转方向的角速度的传感器，能够捕捉纵向、横向、斜向的姿态的状态。使用HMD100中搭载的加速度传感器154和陀螺仪传感器152，能够检测HMD100的运动。

地磁传感器153是检测地球的磁力的传感器，检测HMD100朝向的方向。通过使用在前后方向和左右方向之外也检测上下方向的地磁场的三轴型传感器，捕捉与HMD100的运动相对的地磁场变化，能够检测HMD100的运动。

深度传感器155是能够立体地捕捉人和物体等对象物的形状的传感器。使用对对象物照射红外线等激光、测定反射返回的散射光而分析检测与位于远距离的对象物之间的距离和该对象物的状态的LiDAR(Light Detection and Ranging：光探测和测距)、和按每个像素计测对被摄体照射的脉冲光的反射时间而进行测距的TOF(Time Of Flight：飞行时间)传感器、发射毫米波的无线电波并捕捉其反射波来检测与反射的对象物之间的距离和对象物的状态的毫米波雷达等。

通信装置160是通过近距离无线通信、无线LAN或基站通信与位于附近的其他信息终端进行无线通信的通信接口。在无线通信时经由收发天线进行数据的收发。本实施方式中，进行收集了参加应用的联动执行的各信息终端的全部ID的参加ID信息和应用启动指示信息、以及启动应用中再现的文件数据等的收发。

通信装置160具有LAN(Local Area Network：局域网)通信接口(I/F)161、电话网通信I/F162和近距离无线通信I/F163。

LAN通信I/F161经由无线接入点等与互联网等网络300连接，与网络300上的各服务器进行数据的收发。与无线接入点等的连接可以使用Wi-Fi(注册商标)和Bluetooth(注册商标)。

电话网通信I/F162使用移动电话通信网与通信网络连接，与通信网络上的服务器进行信息的收发。使用的通信方式中，例如有GSM(注册商标)(Global System for MobileCommunications：全球移动通信系统)方式、W-CDMA(Wideband Code Division MultipleAccess：宽带码分多址)方式和CDMA2000方式、UMTS(Universal MobileTelecommunications System：通用移动通讯系统)方式等第三代移动通信系统(以下记作“3G”)、或称为LTE(Long Term Evolution：长期演进)方式、第四代(4G)、第五代(5G)的通信方式等。

近距离无线通信I/F163是进行近距离无线通信的接口。近距离无线通信是在周围的HMD100之间直接进行数据的收发的通信方式。本实施方式中，例如使用电子标签进行。电子标签是使用了利用无线电波非接触地读写IC芯片中的数据的RFID(Radio FrequencyIdentification：射频识别)技术的通信方式。

但是，近距离无线通信不限定于此，只要是在HMD100位于其他信息终端附近的情况下至少能够无线通信的方式即可。例如，也可以是基于Bluetooth规格的通信、使用IrDA(Infrared Data Association：红外数据协会，注册商标)等的使用红外线的通信、使用Zigbee(注册商标)、HomeRF(Home Radio Frequency：家庭射频，注册商标)等的通信。或者，也可以使用Wi-Fi(注册商标)等无线LAN进行。另外，也可以使用超宽带无线系统(UltraWide Band：UWB)。

LAN通信I/F161、电话网通信I/F162、近距离无线通信I/F163各自具有编码电路和解码电路、天线等。

另外，通信装置160也可以使用基于光通信声波的通信等其他方法作为无线通信的手段。该情况下，代替收发天线地分别使用发光/受光部、声波输出/声波输入部。

另外，处理高清影像等的图像应用等情况下使用的数据量非常多，该情况下，作为无线通信可以使用5G(5th Generation：第五代移动通信系统)、本地5G等高速大容量通信网。由此，能够防止数据量增大引起的显示延迟、传输时的数据损失引起的品质降低等，能够提高易用性。

扩展接口部171是用于扩展HMD100的功能的接口组，本实施方式中，具有充电端子、影像/声音接口、USB(Universal Serial Bus：通用串行总线)接口、存储器接口等。影像/声音接口进行从外部影像/声音输出设备输入影像信号/声音信号、对外部影像/声音输入设备输出影像信号/声音信号等。USB接口进行USB设备的连接。存储器接口连接存储卡或其他存储介质而进行数据的收发。

振动发生装置173按照主处理器111的控制发生振动，将HMD中发出的对用户的通知信息变换为振动。振动发生装置173通过在密接佩戴的用户头部发生振动，能够对用户可靠地传达通知。

另外，图3所示的HMD100的结构例也包括对于本实施方式并非必要的结构，即使是不具有它们的结构也不损害本实施方式的效果。另外，也可以进一步追加数字广播接收功能和电子货币结算功能等未图示的结构。

[HMD的功能模块]

接着，对于本实施方式的HMD100的功能结构进行说明。图4的(a)是HMD100的本实施方式的结构的功能框图。如本图所示，HMD100具有主控制部210、检测部220、执行部230和联动部240。另外，作为处理中使用的数据，包括应用列表250、联动群组列表260、和应用/处理数据270。

主控制部210控制HMD100整体的动作。通过执行操作系统(Operating System：OS)和各种动作控制用应用等程序来进行HMD整体的动作控制，并且控制各种应用的启动、执行。

检测部220检测与应用程序关联的联动标记810。本实施方式中，检测部220如图5的(a)和图5的(b)所示，用外侧摄像机133拍摄HMD100的周围(视野范围)，对得到的图像(拍摄图像136)进行分析。然后，在拍摄图像内包括按规定比例符合在应用列表250内与应用关联地登记的图形的区域137的情况下，视为检测出联动标记810。

此处，对于应用列表250进行说明。应用列表250是与应用程序关联地存储联动标记810的数据(标记数据)的列表。本实施方式中，如图4的(b)所示，与识别应用程序的信息即应用识别信息(应用ID(identification)251)关联地登记标记数据252。标记数据252例如包括标记的形状数据253和识别标记的信息即标记识别信息(标记ID254)。

应用列表250例如在应用程序安装时登记。标记数据252例如可以是用于启动应用程序的图标数据。标记数据252可以在应用程序更新时更新(变更、追加)。标记数据272对于1个应用程序并不限定于1种。

检测部220在HMD100没有执行联动应用的情况下，按规定的时间间隔对拍摄图像136进行分析，判别拍摄图像136中是否包括与应用列表250中登记的形状数据253对应的区域137。拍摄图像136内是否存在与联动标记810对应的区域137(图形)的判断，通过模式匹配等进行。然后，在包括的情况下，判别为检测出联动标记810。另外，为了减少电力消耗、即使识别出联动标记810也不想进行联动等目的，检测部220中的检测动作也可以根据用户900的指示等开始。

检测出联动标记810的情况下，检测部220将与检测出的标记数据272关联地在应用列表250中登记的应用程序确定为联动地执行的应用程序(联动应用)。

另外，检测部220也可以以从用户900接收了标记检测指示为契机，进行上述分析。

另外，例如从拍摄图像136中提取出没有在应用列表250中作为标记数据272保存的标记的情况下，检测部220可以对网络上的服务器等进行询问，判别是否存在与该标记关联的应用程序。存在与该标记关联的应用程序的情况下，与该标记一同下载该应用程序，将标记与应用ID251关联地保存在应用列表250中。应用程序自身保存在应用程序/处理数据270中。

另外，在检测时，为了判断是与联动应用对应的联动标记810还是单纯的图形，也可以对于联动标记810预先设定例如大小、形状、框线种类等基准。

另外，也可以并非将外侧摄像机133的拍摄视野整体作为检测范围，而是如图5的(c)所示，根据拍摄视野内的规定区域(联动视野131a)中是否存在对应的联动标记810，来判别是否检测出。联动视野131a可以预先决定，例如也可以设为以用户900的视线方向与拍摄视野的交点为中心的规定范围。

执行部230启动、执行检测部220确定为联动应用的应用。另外，应用与检测部220确定的应用ID251关联地存储在应用/处理数据270中。应用执行时，与其他HMD100联动地执行。

另外，应用/处理数据270是应用和应用执行所需的各种文件数据。能够使用该数据，用执行部230启动、执行要求的联动应用。在联动地执行的期间中，执行部230在多个HMD100之间经由通信装置160进行信息的收发。

联动部240将检测出同一联动标记810的HMD100作为联动群组的成员管理。本实施方式中，管理近距离无线通信的通信范围内的、能够相互通信的HMD100中的对应的HMD100。

联动部240在HMD100中状态(status)发生了变更的情况下，生成通知该情况的通知数据，并发送至周围的HMD100。本实施方式中，例如联动部240检测出联动标记810的情况下，生成表示检测出的通知数据。另外，结束正在执行的联动应用的情况下，生成表示结束的通知数据。

此处，说明联动部240生成的通知数据280。通知数据280如图4的(c)所示，登记识别检测出的联动标记810的信息即标记ID281、识别HMD100自身的信息即终端识别信息(装置ID282)、该HMD100的地址283、识别联动应用的信息即应用ID284和表示状态的信息(此处是检测出或结束；状态285)。HMD100的各装置的装置ID262是预先设定的。地址283例如在经由LAN等网络进行联动应用的联动的情况下使用。也可以使用地址283作为装置ID282。

例如，检测部220检测出联动标记810时，生成、发送对状态285登记了“检测”的通知数据280(以后称为检测通知数据280a)。另一方面，结束联动应用时，生成、发送对状态28登记了“结束”的通知数据280(以后称为结束通知数据280b)。通知数据280例如用近距离无线通信发送。

另外，本实施方式中，检测通知数据280a兼用作询问是否检测出同一联动标记810的询问数据。联动部240在从其他HMD100接收了标记ID281与本装置检测出的联动标记810的标记ID254相同的检测通知数据280a的情况下，为了表示本装置也检测出同一联动标记810，而对发送源的HMD100回复检测通知数据280a。由此，在中途参加联动群组时，能够得到已参加群组的全部HMD100的信息。

另外，联动部240在检测出联动标记810时，生成、管理联动群组列表260。联动群组列表260如图4的(d)所示，是将联动地执行该联动应用的HMD100作为联动群组的成员管理的列表。联动群组列表260具有保存联动标记的标记ID的标记ID保存场所261和联动群组的HMD100的装置ID262、地址263。

检测出联动标记810时，联动部240首先生成联动群组列表260，将与检测出的联动标记810对应的标记ID(A)登记在联动群组列表260的标记ID保存场所261中。之后，联动部240在接收与联动群组列表260的标记ID保存场所261中登记的标记ID(A)相同的标记ID(A)的检测通知数据280a时，将该检测通知数据280a中包括的装置ID282和地址283登记在联动群组列表的装置ID262和地址263中。另外，接收与联动群组列表260的标记ID保存场所261中登记的标记ID(A)相同的标记ID(A)的结束通知数据280b时，从联动群组列表260删除具有该结束通知数据280b中包括的装置ID282和地址283的数据。

联动部240通过这样收发通知数据280，与其相应地更新联动群组列表260来管理属于联动群组的HMD100。本实施方式中，在检测出同一联动标记810、执行联动应用的全部HMD100中，同样地生成、管理联动群组列表260。由此，能够在各HMD100中共享联动群组列表260。

上述各功能是通过主处理器111将ROM114中存储的程序载入至RAM113并执行而实现的。另外，各列表、数据保存在存储装置110中。

通过以上结构，在HMD100中，用外侧摄像机133拍摄HMD100前方的视野，在拍摄视野内或联动视野131a内捕捉到图标等联动标记810的情况下，能够将与该联动标记810关联的应用程序作为联动应用联动地执行。

[联动处理]

接着，使用图6说明本实施方式的联动处理的流程。此处，说明1台HMD100中的处理。

检测部220在检测出联动标记810(步骤S1101)时，将与检测出的联动标记810关联地在应用列表250中登记的应用确定为联动应用(步骤S1102)。

联动部240生成联动群组列表260(步骤S1103)，对周围的HMD100用近距离无线通信发送检测通知数据280a(步骤S1104)。另外，对于生成联动群组列表260和发送检测通知数据280a，可以先进行任意一方。

执行部230启动联动应用，执行联动应用直到接收结束指示(步骤S1105、S1106)。

在联动应用执行中，从周围的HMD100接收检测通知数据280a时(步骤S1107)，联动部240在具有与自身检测出的联动标记810相同的标记ID281的情况下，更新联动群组列表260(步骤S1108)。此处，对联动群组列表260追加该检测通知数据280a的装置ID282和地址283。然后，之后基于更新后的联动群组列表260执行联动应用。

另外，接收联动应用的结束指示时，执行部230结束联动应用，联动部240对周围的HMD100发送结束通知数据(步骤S1109)，结束处理。

如以上所说明，本实施方式的信息处理系统700用多个信息处理终端即HMD100联动地执行应用程序。然后，HMD100分别具有检测预先决定的联动标记810的检测部220，和将与检测出的联动标记810关联的应用程序作为联动应用、与检测出同一联动标记810的其他HMD100联动地执行的执行部230。进而，本实施方式的HMD100分别具有将检测出同一联动标记810的其他HMD100作为联动地执行联动应用的联动群组的构成终端(成员)管理的联动部240。

这样，根据本实施方式，通过由用户900识别同一便携标记810，能够自动地进行确定多个HMD100中启动执行的联动应用和确定联动的HMD100。即，根据本实施方式，只需用各HMD100检测出同一联动标记810，就能够形成联动群组，联动地执行同一或同等的联动应用。例如，能够在佩戴了HMD100等信息终端的用户900之间形成群组，在群组之间简单且易用性良好地执行聊天和会议、游戏等。

另外，没有检测出联动标记810的HMD100不会加入联动群组。因此，不会与没有意愿的用户900的HMD100联动，是安全的。

以往，在初始设定时并非联动群组的成员的HMD100之后参加的情况下，需要重新构建联动群组。重新构建的情况下，联动群组的成员需要进行将之后参加的人加入群组的操作等麻烦。但是，根据本实施方式，因为能够用联动群组列表管理最新的成员，所以仅通过观看联动标记810的动作就能够将之后参加的人加入联动群组。从而，不需要以往需要的操作等，能够大幅提高易用性。

这样，根据本实施方式，在多个信息处理终端之间，能够简单且易用性良好地实现应用程序的联动。

另外，用本实施方式的方法启动联动应用的情况下，联动的对象的HMD100为了安全也可以限定为仅在局域网(LAN)、个人局域网(PAN)、虚拟专用网(VPN)等限定了连接的范围的本地网络内通信的。

＜变形例1＞

另外，上述实施方式中，各HMD100在确定联动应用之后，分别启动联动应用，但不限定于此。例如，也可以将最初检测出联动标记810的HMD100作为主装置，从作为主装置的HMD100对其他HMD100发送联动应用的启动指示，在其他HMD100中，在接收启动指示之后，启动联动应用。

该情况下，例如将最早检测出联动标记810的HMD100作为主装置。该情况下，联动部240确定联动应用、并且未接收检测通知数据280a的情况下，对周围的HMD100发送检测通知数据，并且设定将本装置作为主装置的标志。然后，主装置的联动部240生成联动群组列表260，在规定期间中，每当从周围的HMD100接收检测通知数据280a时，登记在联动群组列表260中，经过规定期间之后，联动部240对联动群组列表260中登记的HMD100输出应用启动指示。

主装置以外的HMD100的联动部240在检测出联动标记810之后，从周围的HMD100接收与联动标记810对应的标记ID(A)相同的标记ID(A)的检测通知数据280a时，作为其回复，生成本装置的检测通知数据280a，并发送至发送源的HMD100(主装置)。之后，接收应用启动指示时，执行部230启动、执行联动应用。

另外，设置主装置的情况下，联动群组列表260可以由联动群组的全部HMD100所具有，也可以仅由主装置具有。仅由主装置具有的情况下，在联动应用执行时，联动处理经由主装置进行。

另外，主装置不限于最早检测出联动标记810的HMD100。例如也可以预先决定。

另外，本变形例中，构成为从主装置发送检测通知数据280a时，反射式地从检测出同一联动标记810的HMD100作为回复接收检测通知数据280a，但不限定于此。例如，也可以构成为主装置对于预先决定的搜索范围的全部HMD100询问是否识别出联动标记810。然后，将接收了已检测的回答的HMD100登记在联动群组列表260中。

该情况下，将搜索范围限定为预先决定的规定范围内时检索时间缩短。例如，限定为上述LAN、PAN、VPN内的设备之间、能够通过近距离无线通信(Wi-fi(注册商标)、Bluetooth等)直接通信的HMD100之间、与同一接入点连接的HMD100之间、网络的跳数(数据在发送源与发送目标之间需要经过的中间网络设备的数量)在指定范围内的HMD100之间等。另外，也可以构成为在指定时间中断搜索。由此，跳数较大的HMD100必然被排除在搜索对象之外，所以能够达成同等的目的。

＜＜第二实施方式＞＞

接着，说明本发明的第二实施方式。第一实施方式中，仅用HMD100实现联动。另外，除了变形例之外，基本上各个HMD100分别管理联动群组。另一方面，本实施方式中，作为与HMD100不同的第二信息处理终端的服务器管理联动群组，实现联动。以下，对于本实施方式，主要关注与第一实施方式不同的结构进行说明。

本实施方式的信息处理系统701如图7所示，第一实施方式的信息处理系统700的结构中，还具有服务器400。多个HMD100能够相互通过近距离无线通信进行数据的收发。另外，多个HMD100分别能够与服务器400经由LAN等网络300进行信息的收发。HMD100例如经由无线路由器等与网络300连接。

本实施方式的HMD100的硬件结构与第一实施方式相同。本实施方式的HMD100的功能结构也基本上与第一实施方式相同。但是，联动部240和执行部230的结构不同。另外，存储装置110中存储的数据也不同。

本实施方式中，与第一实施方式同样，联动部240检测出联动标记810的情况下，向服务器400发送检测通知数据280a。另外，在结束联动应用时，向服务器400发送结束通知数据280b。另外，本实施方式中，检测通知数据280a中也可以包括HMD100的当前位置信息。

本实施方式中，服务器400将联动地执行联动应用的HMD100的组作为联动群组管理。

服务器400只要能够与各HMD100经由通信连接并收发必要的信息即可，例如是本地服务器、云服务器、边缘服务器、网络服务等，无论其方式如何。

图8的(a)是本实施方式的服务器400的、与本实施方式的处理相关的功能的框图。如本图所示，服务器400具有主控制部410、收发部420、联动控制部430和联动管理部440。另外，管理联动群组列表460。

收发部420从各HMD100接收通知数据280。

联动管理部440执行将联动地执行同一联动应用的HMD100的群组作为联动群组管理的联动管理处理。本实施方式中，用检测出同一联动标记810的HMD100的组生成1个联动群组列表460，用该列表管理联动群组。

联动群组列表460对于每个标记ID生成。各联动群组列表460具有基本上与第一实施方式的联动群组列表260相同的结构。即，如图8的(b)所示，对于识别联动标记810的每个标记ID，具有保存该标记ID的标记ID保存场所461、联动地执行该联动应用的HMD100的装置ID462和地址463。本实施方式中，从服务器400接收联动群组列表460时，将存储装置110中存储的联动群组列表260置换为最新的。

联动控制部430在经由服务器400进行联动应用的执行的情况下，控制多个HMD100之间的联动应用的执行。联动应用的执行是基于联动群组列表460控制的。例如，接收数据时，对于包括发送源的HMD100的装置ID的联动群组的、发送源的HMD100以外的HMD100，发送该数据。联动控制部430在后述的变形例中使用。

图8的(c)是服务器400的硬件结构图。本实施方式的服务器400具备CPU401、存储器402、存储装置403和通信接口404。上述各功能是通过CPU401将存储装置403中保存的程序载入至存储器402并执行而实现的。

通过上述结构，在本实施方式中，也能够在多个HMD100之间构成联动群组，联动地执行共通的应用。

[联动处理]

接着，沿着图9说明本实施方式的联动应用执行时的处理(联动应用执行处理)的流程。此处，举出与1个HMD100之间的数据的收发为例进行说明。与其他HMD100之间也是同样的。

HMD100的检测部220检测出联动标记810(步骤S1101)时，将与检测出的联动标记810关联地登记的应用确定为联动应用(步骤S1102)。

HMD100的联动部240生成检测通知数据280a，并发送至服务器400(步骤S2104)。

服务器400的联动管理部440接收检测通知数据280a时(步骤S2201)，通过将发送源的HMD100的数据保存在联动群组列表460中来更新联动群组列表460(步骤S2202)。此处，对标记ID保存场所461中保存了与检测通知数据280a的标记ID281对应的标记ID的联动群组列表460，追加装置ID282和地址283。另外，不存在标记ID保存场所461中保存了与检测通知数据280a的标记ID281对应的标记ID的联动群组列表460的情况下，新生成后进行追加。

然后，联动管理部440完成更新时，将表示对联动群组的参加处理已完成并且指示启动的数据(启动指示)回复至发送源的HMD100(步骤S2203)。另外，对于联动群组列表中登记的全部HMD100，发送联动群组列表。

HMD100的执行部230接收启动指示时，启动、执行联动应用(步骤S1105)。与第一实施方式同样，HMD100的执行部230持续执行该执行应用直到接收执行应用的结束指示(步骤S1106)。

在联动应用执行中，本实施方式中，执行部230与联动群组列表中登记的其他HMD100之间收发联动执行所需的数据(步骤S2108)。

HMD100的执行部230从用户900接收联动应用结束的指示时，结束联动应用，联动部240生成结束通知数据280b，并发送至服务器400(步骤S2109)，结束处理。另一方面，接收了结束通知数据280b(步骤S2205)的服务器400的联动管理部440通过从联动群组列表460删除发送源的HMD100来更新联动群组列表460(步骤S2206)。进而，对于更新后的联动群组列表460中登记的各HMD100，发送更新后的联动群组列表460。

另外，关于其他HMD100也同样地，在检测出联动标记810时，对服务器400发送检测通知数据280a。在服务器400中，接收检测通知数据280a或结束通知数据280b时，随时更新联动群组列表460，回复更新后的联动群组列表460。

如以上所说明，本实施方式的信息处理系统701用多个信息处理终端即HMD100联动地执行应用程序。然后，HMD100分别具有检测预先决定的联动标记810的检测部220，和将与检测出的联动标记810关联的应用程序作为联动应用、与检测出同一联动标记810的其他HMD100联动地执行的执行部230。进而，本实施方式的信息处理系统701还具有服务器400，其具有将检测出同一联动标记810的多个HMD100作为联动地执行联动应用的联动群组的成员管理的联动管理部440。联动管理部440将通过联动管理处理而得到的数据发送至其他HMD100，并且从其他HMD100接收通过联动管理处理而得到的数据。另一方面，HMD100的执行部230将通过联动应用的处理而得到的数据发送至其他HMD100，并且从其他HMD100接收通过联动应用的处理而得到的数据。

根据本实施方式，与第一实施方式同样，能够简单且安全且易用性良好地实现应用程序的联动。进而，根据本实施方式，用服务器400管理联动的HMD100。只要HMD100能够检测出同一联动标记810、并且能够与服务器400通信，HMD100的配置上就没有制约，能够实现自由度更高的系统。

＜变形例2＞

另外，本实施方式的HMD100中，从服务器400接收启动指示时启动联动应用。但是，不限定于此。例如，与第一实施方式同样，也可以在确定联动应用时，在HMD100一方独自启动联动应用。该情况下，也可以不从服务器400发送启动指示。

＜变形例3＞

另外，启动指示也可以一齐发送。例如，存在多个HMD100大致同时地辨认联动标记810、形成联动群组并执行联动应用等情况。该情况下，服务器400在规定期间内，对于具有同一标记ID281的检测通知数据280a的发送源的多个HMD100，同时发送允许参加数据。

＜变形例4＞

另外，服务器400中，对于检测出联动标记810的每个HMD100，作为联动群组管理。但是，联动群组的管理不限定于此。

例如，即使是检测出同一联动标记810的HMD100的组，也可以分为多个联动群组进行管理。该情况下，例如可以按发送检测通知数据280a的时刻划分。另外，也可以按HMD100的位置信息划分。

按时刻划分的情况下，联动管理部440例如如上所述，在规定期间内连续接收了包括同一标记ID281的检测通知数据280a的情况下，将这些检测通知数据280a的发送源的HMD100作为1个联动群组。之后，经过规定期间后，将发送了包括同一标记ID281的检测通知数据280a的HMD100的组作为别的联动群组。

例如，如图10所示，观看同一联动标记810，多个HMD100的群组在不同的时机分别开始聊天的情况下，联动管理部440按开始聊天的时机对各HMD100划分群组。然后，生成、管理各群组的联动群组列表460。此处，生成、管理联动群组1的联动群组列表460和联动群组2的联动群组列表460。另外，该情况下，用户900没有识别出联动标记810、即没有检测出联动标记810的HMD104不加入任何联动群组。

另外，按HMD100的位置信息划分的情况下，联动管理部440使用从HMD100发送的位置信息进行群组划分。群组划分的边界是预先决定的。

＜变形例5＞

另外，上述实施方式中，联动应用在联动群组的HMD100之间执行，但不限定于此。例如，也可以构成为经由服务器400执行。该情况下，上述联动控制部430控制联动应用的执行。另外，收发部420在多个HMD100联动地执行联动应用时，对HMD100之间的数据的收发进行中转。

该情况下，联动群组列表460可以仅在服务器400中管理。即，联动管理部440在步骤S2203和步骤S2206中，可以不将联动群组列表460发送至HMD100。

各HMD100中，在联动应用执行中，执行部230将联动执行所需的数据发送至服务器400。另外，在服务器400一方，联动控制部430参照联动群组列表460，从联动群组内的HMD100接收数据时，进行处理，并向联动群组内的其他HMD100发送。

另外，服务器400也可以将应用和文件、数据保存在服务器400上，适当地通过通信传输至各HMD100。也可以在服务器400上启动应用，将影像、画面显示、声音等的再现信息传输至作为联动群组的成员的HMD100。

＜＜第三实施方式＞＞

接着，说明本发明的第三实施方式。本实施方式中，在智能手机(以下称为智能手机)等信息处理终端的显示器上显示识别的联动标记。以下，假设该信息处理终端是智能手机说明本实施方式。

图11是用于说明本实施方式的信息处理系统702的概要的图。如本图所示，本实施方式的信息处理系统702包括多个HMD100(101、102、103、104)和智能手机500。

本实施方式中，各HMD100判别是否与智能手机500处于联动状态。然后，智能手机500将与自身处于联动状态的HMD100的组作为联动群组的成员管理。

本实施方式的信息处理系统702，本实施方式的信息处理系统700包括多个HMD100(101、102、103、104)和智能手机500。本实施方式中，联动标记820显示在智能手机500的显示器531上。

本实施方式的HMD100基本上与第一实施方式相同。但是，检测部220、联动部240的处理、保持的数据不同。

本实施方式的HMD100的检测部220首先判别智能手机500与HMD100是否处于预先决定的位置关系。即，智能手机500判断是否处于能够以后述的联动工作模式工作的状态即规定配置状态。本实施方式中，检测部220如图12的(a)所示，在显示器131上显示联动视野131a，并且对外侧摄像机133拍摄到的拍摄图像进行分析，根据其显示内容判断是否处于规定配置状态。

联动视野131a设定为用户900能够通过HMD100的开口部分(镜片部分)或显示器131的显示区域观看的视野范围的一部分区域。另外，也可以根据设备的结构、设定值的变更等而将用户900能够通过HMD100观看的视野范围全部作为联动视野131a。

检测部220如图12的(a)所示，在联动视野131a内存在智能手机500的显示器531上显示的规定应用的图标822的情况下，判断为规定配置状态。一般而言，在智能手机500的显示器531上，如图12的(a)所示，显示多个图标822、823、824。规定应用例如是用户900选择的应用的图标。

在联动视野131a内是否存在用户900选择的应用的图标822，是对拍摄图像136进行分析而判别的。例如，检测部220通过图像分析处理判别用户900的手指指示的状态、位置。

检测部220在判断为处于规定配置状态时，将规定应用的图标822检测为联动标记820。然后，将与检测出的联动标记820关联地在应用列表250内登记的应用确定为联动应用。另外，在应用列表250中没有登记的情况下，与第一实施方式同样，例如可以从服务器等外部装置获取应用程序，登记在应用列表250中。

另外，本实施方式中，作为应用列表250，也可以将自身中安装的应用程序的图标的形状数据作为标记数据252的形状数据253存储。

另外，检测部220如图12的(b)所示，在联动视野131a内没有配置智能手机500的显示器531上显示的规定图标822的情况下，即判别为HMD100与智能手机500并非处于规定配置状态，不进行之后的检测处理等。

联动部240在检测出联动标记820时，生成检测通知数据280a并发送至智能手机500。

执行部230从智能手机500接收启动指示时，启动并执行联动应用。另外，本实施方式中，在确定了联动应用的情况下，也可以无需来自智能手机500的启动指示地在HMD100中启动联动应用。

接着，对于本实施方式的智能手机500进行说明。

图13是智能手机500的硬件结构图，如本图所示，智能手机500具有主处理器511、存储装置510、操作接收装置520、图像处理装置530、声音处理装置540、传感器550、通信装置560、扩展接口部591、计时器592、振动发生装置593和将它们连接的内部总线512。另外，存储装置510包括RAM513、ROM514和闪存515。操作接收装置520包括操作按键521。图像处理装置530包括显示器531、外侧摄像机533、和内侧摄像机534。声音处理装置540包括扬声器541和麦克风543。传感器550包括CPU接收装置551、陀螺仪传感器552、地磁传感器553、加速度传感器554和深度传感器555。通信装置560包括LAN通信接口561、电话网通信接口562和近距离无线通信接口563。它们具有与HMD100的同名的结构同样的功能。

但是，智能手机500与HMD100相比显示器531的面积更大。因此，操作接收装置520还包括具有触摸传感器的触摸面板523。例如，也可以具有静电电容式等的触摸板方式的输入单元。该情况下，将手指或触控笔等进行的接近或接触操作(触摸操作)检测为操作输入。触摸板方式能够设定输入用户900想要输入的信息，或者用触摸操作容易地选择指定显示器131上的应用或文件的图标。触摸面板523与显示531重叠地配置。另外，也可以经由与扩展接口591连接的键盘等接收指示输入。

显示器531由液晶面板等构成，显示电池容量的剩余量、各种警报、时刻等对用户900的通知信息，并且在显示器531内显示启动的应用的图标和应用的执行状态等。操作接收装置520例如是静电电容式等的触摸板方式的输入单元，将手指或触控笔等进行的接近或接触操作(触摸操作)检测为操作输入。用户900设定输入想要输入的信息，或者用触摸操作容易地选择指定显示器531上的应用或文件的图标。

本实施方式的智能手机500在显示器531上显示接收启动应用的指示的图标。该图标是通过用户900的手指或触控笔等进行的接近或接触操作(此后称为触摸)而接收应用的指定、启动指示的标记。

接着，说明本实施方式的智能手机500的功能。图14的(a)是智能手机500的功能模块。

如本图所示，本实施方式的智能手机500具有主控制部570、接收部571、收发部572、联动管理部573、应用执行部574、输出部575、图标数据存储部577、应用程序存储部576和联动群组列表578。

主控制部570控制智能手机500的各部的动作。本实施方式中，还决定智能手机500的工作模式。本实施方式中，作为工作模式，包括智能手机500单独地执行应用的单独工作模式和与HMD100联动地执行应用的联动工作模式这2种。

主控制部570例如从建立了通信的HMD100接收检测通知数据280a时，将工作模式决定为联动工作模式。

接收部571接收用户900的指示。本实施方式中，通过由主处理器511使操作接收装置520工作而实现。本实施方式中，例如接收应用的启动指示等各种操作指示。

收发部572进行与外部装置之间的数据的收发。本实施方式中，通过由主处理器511使通信装置560工作而实现。本实施方式中，经由收发部572与HMD100之间进行数据的收发。

联动管理部573在智能手机500的工作模式被决定为联动工作模式时进行联动动作。联动管理部573将接收到的检测通知数据280a的标记ID281、装置ID282和地址283登记在联动群组列表578中。另外，从联动群组列表578中登记的HMD100接收结束通知数据280b时，删除对应的装置的数据。由此管理联动群组。联动群组列表578的结构与第一实施方式的联动群组列表260相同。

另外，联动管理部573控制作为各联动群组的成员的HMD100进行的联动应用的联动动作。例如，在正在使用的应用图标上显示使用中的符号，或者显示参加者数，使得易于得知哪个应用已启动。由此，之后参加的人能够在用显示确认有参加者的应用之后选择参加。

应用执行部574在单独工作模式时，在智能手机500上执行应用。单独工作模式是在从用户900接收应用的启动指示时在本装置中启动、执行应用的工作模式。执行的应用的程序存储于应用程序存储部576。

输出部575输出应用执行部574执行的应用的执行结果。本实施方式中，执行结果例如被输出至显示器531、扬声器541。

在应用程序存储部576中存储应用程序。在图标数据存储部577中存储接收各应用程序的执行指示的图标。图标与应用程序关联地存储。

上述各功能是通过主处理器511将ROM514中存储的程序载入RAM513中并执行而实现的。另外，应用程序存储部576和图标数据存储部577保存于存储装置510。

[联动处理]

对于本实施方式的联动处理，按图15进行说明。

首先，在HMD100与智能手机500之间建立通信(步骤S3101、S3201)。此处，在智能手机500与多个HMD100之间进行通信设定，使其成为可通信的状态。例如，如果HMD100进入智能手机500的通信范围内，则在两者之间自动或手动地建立通信。

之后，智能手机500显示图标822(步骤S3202)。另外，此处，显示通常的显示多个图标的画面。然后，对于用作联动标记820的图标822，用户900如上所述地进行选择指示。

之后的处理与第二实施方式的与服务器400的联动处理大致相同。即，HMD100的检测部220检测出联动标记820(步骤S1101)时，将与检测出的联动标记820关联地登记的应用确定为联动应用(步骤S1102)。

HMD100的联动部240生成检测通知数据280a，并发送至智能手机500(步骤S2104)。

智能手机500的联动管理部573接收检测通知数据280a时(步骤S3203)，通过将发送源的HMD100的数据保存在联动群组列表578中来更新联动群组列表578(步骤S3204)。

然后，联动管理部573完成更新时，将表示对联动群组的参加处理已完成并且指示启动的数据(启动指示)回复至发送源的HMD100(步骤S3205)。另外，对于联动群组列表578中登记的全部HMD100，发送联动群组列表。

HMD100的执行部230接收启动指示时，启动并执行联动应用(步骤S1105)。与第一实施方式同样，HMD100的执行部230持续执行该执行应用直到接收执行应用的结束指示(步骤S1106)。

在联动应用执行中，本实施方式中，执行部230与联动群组列表

578中登记的其他HMD100之间收发联动执行所需的数据(步骤

S2108)。

HMD100的执行部230从用户900接收联动应用结束的指示时，结束联动应用，联动部240生成结束通知数据280b，并发送至智能手机500(步骤S2109)，结束处理。另一方面，接收了结束通知数据280b的智能手机500的联动管理部573(步骤S3207)通过从联动群组列表578删除发送源的HMD100，来更新联动群组列表578(步骤S3208)。进而，对于更新后的联动群组列表578中登记的各HMD100，发送更新后的联动群组列表578。

另外，关于其他HMD100也同样地，在检测出联动标记810时，对智能手机500发送检测通知数据280a。在智能手机500中，接收检测通知数据280a或结束通知数据280b时，随时更新联动群组列表578，回复更新后的联动群组列表578。

另外，本实施方式中，是否处于规定配置状态的判别、与用户900对图标822的触摸之间存在时间差时，存在此时没有观看图标822的HMD100加入联动群组、或者此时正在观看图标822的HMD100没有加入联动群组的情况。因此，为了不在两者之间产生时间差，也可以缩短确认间隔(更新联动群组列表578的间隔)。或者，也可以用HMD100的外侧摄像机133识别触摸图标。该情况下，取决于观看的角度，存在接触的瞬间的时间的判断变化的可能性，所以也可以使触摸图标的判断期间具有一定程度时长。

如以上所说明，本实施方式的信息处理系统702用多个信息处理终端即HMD100联动地执行应用程序。然后，HMD100分别具有检测智能手机500的显示器531上显示的联动标记820的检测部220，和将与检测出的联动标记820关联的应用程序作为联动应用而与检测出同一联动标记820的其他HMD100联动地执行的执行部230。进而，本实施方式的信息处理系统701还包括智能手机500，其具有将检测出同一联动标记820的多个HMD100作为联动地执行联动应用的联动群组的成员管理的联动管理部440，执行部230将通过联动应用的处理而得到的数据发送至其他HMD100，并且从其他HMD100接收通过联动应用的处理而得到的数据。

根据本实施方式，与第一实施方式同样，能够简单且安全且易用性良好地实现应用程序的联动。进而，根据本实施方式，在智能手机500的显示器531上显示联动标记820。从而，在HMD100的联动视野131a内可以看见智能手机500的显示器531上显示的图标822这样的、HMD100与智能手机500处于规定配置状态的情况下，能够在与智能手机500的配置状态相同的HMD100之间构成联动群组，联动地执行联动应用。因此，根据本实施方式，能够简便且易用性良好地实现联动应用的确定和联动的HMD100的确定。

进而，根据本实施方式，在智能手机500的显示器531上显示联动标记820。与物理地印刷而不能容易地变更的联动标记不同，本实施方式中，能够在有限的面积内通过滚动等更换多个联动标记显示。因此，可以使用的联动标记的数量、选项增加。另外，能够移动联动标记820的配置位置。因此，对于HMD100的用户900而言，能够在易于观看的位置识别联动标记820，对于用户900而言，容易辨认联动标记820。即，HMD100易于检测联动标记820。

另外，在智能手机500一方，能够区分联动工作模式与单独工作模式。因此，用户900选择了显示器531上显示的图标822的情况下，能够自动地判断是使对应的应用在本装置中工作，还是进行联动动作的控制。

＜变形例6＞

上述实施方式中，越过多个HMD100的视野观看智能手机500的图标822。因此，在智能手机500的显示器531上显示了多个图标的情况下，在希望联动的HMD100检测为检测标记820的期间中，用户900需要总是选择图标822。但是，不限定于该方法。

例如，智能手机500最初接收检测通知数据280a，生成了联动群组列表578的情况下，也可以在显示器531上仅显示由用户900选择的图标822。之后，无需用户900进行选择指示，该图标822就发挥联动标记820的功能。

由此，在规定期间中，特定的图标822被作为联动标记820显示于显示器531，想要参加联动群组的HMD100易于参加。另一方面，即使这样构成，不想参加的用户900不观看智能手机500的显示器即可。

＜变形例7＞

上述实施方式中，智能手机500每当接收检测通知数据280a、并登记在联动群组列表578中时，对发送源的HMD100发送启动指示。但是，不限定于此。例如，也可以对发送了检测通知数据280a的HMD100一齐发送启动指示。

该情况下，例如联动管理部573每当接收检测通知数据280a时登记在联动群组列表578中。之后，接收了通过对作为联动标记820的图标822触摸等进行的启动指示的情况下，联动管理部573向联动群组列表578中登记的全部HMD100发送启动指示。各HMD100中，接收来自智能手机500的启动指示时，与其相应地启动联动应用。

＜变形例8＞

另外，本实施方式中，与第二实施方式的变形例同样，智能手机500可以控制联动应用的执行。该情况下，联动管理部573将从执行联动应用的各HMD100接收到的数据发送至其他HMD100。

该情况下，联动群组列表578可以仅在智能手机500中管理。即，联动管理部573在步骤S3205和步骤S3208中，可以不将联动群组列表578发送至HMD100。

各HMD100中，在联动应用执行中，执行部230将联动执行所需的数据发送至智能手机500。另外，在智能手机500一方，联动管理部573参照联动群组列表578，从联动群组内的HMD100接收数据时，进行处理，并向联动群组内的其他HMD100发送。

＜变形例9＞

另外，智能手机500也可以不是中转联动应用的数据，而是自身执行联动应用。该情况下，在联动群组列表578中，登记自身的装置ID和地址。然后，应用执行部574即使在联动工作模式下也执行联动应用。

＜变形例10＞

上述实施方式中，是否处于规定配置状态是使用由HMD100的外侧摄像机133拍摄到的图像来判别的。但是，不限定于此。例如，也可以使用来自智能手机500的传感器550的信息来判别智能手机500与HMD100是否处于规定配置状态。

例如，使用加速度传感器154、陀螺仪传感器152和地磁传感器153等来检测HMD100的姿态和位置，根据HMD100的姿态和智能手机500的姿态及位置的关系来进行判别。智能手机500的姿态及位置是根据智能手机500所具有的加速度传感器554、陀螺仪传感器552和地磁传感器553计算出的。智能手机500与HMD100的距离用深度传感器155等获取。

＜变形例11＞

上述实施方式中，在规定的联动视野131a内存在智能手机500等的显示器531上显示的、由用户900选择的图标822的情况下，判别为规定配置状态，将该图标822用作联动标记820。但是，不限定于此。例如，也可以从智能手机500的显示器531上显示的多个图标中，经由HMD100选择想要作为联动标记820的图标822。

＜变形例12＞

另外，智能手机500的显示器531上显示的联动标记820，也可以不是联动应用的图标822。例如，也可以是表示文件数据的图标。该情况下，作为应用列表250，与标记数据关联地存储再现该文件数据的应用。由此，能够在多个HMD100中启动该应用，共享文件数据。

另外，关于文件数据，存在不仅用同一应用、也能够用不同的应用再现文件数据的情况。从而，在各个HMD100中，也可以在应用列表250中关联不同的应用。由此，在搭载了不同的应用的HMD100之间也能够联动地再现文件数据。

进而，文件数据是AR对象的情况下，也可以通过以联动标记820为基准在各HMD100中将坐标系对齐，而在各HMD100中共享AR对象的坐标。

＜变形例13＞

另外，对于在智能手机500的显示器531上显示的特定的图标822，在用作联动标记820的期间中，也可以用可以得知的方式(联动显示)显示。用作联动标记820指的是与该图标822关联的联动应用正在被多个HMD100联动地执行。

联动显示例如是改变图标822的显示颜色、或者使其闪烁、或者如图14的(b)所示地对图标822附加点825等小标记、或者显示联动的HMD的数量等。由此，在显示了多个应用的图标的情况下，也可以得知与哪个图标对应的联动应用正在被联动地执行。

这样，通过对图标进行联动显示，在联动地执行联动应用的期间中，易于判别哪个应用正在被联动地执行。由此，对于中途参加者而言，易于判别要识别的图标。

＜变形例14＞

上述各实施方式和变形例中，也可以构成为在联动群组列表中登记、或者相反地从联动群组列表删除这样联动群组的成员发生了变化的情况下，各HMD100分别对用户900通知。通知例如通过在显示器131上显示、从扬声器141输出声音、使振动发生装置173振动等进行。由此，能够提高用户900的便利性。

＜变形例15＞

另外，也可以构成为在开始联动地执行联动应用之后，其他HMD100参加联动群组的情况下，获得已参加联动群组的全部HMD100或代表的HMD100的许可并参加。

例如，希望参加的HMD100发送检测通知数据280a时，各HMD100或代表的HMD100进行是否允许参加的确认。例如用认证处理等确认。然后，仅在允许的情况下，追加至联动群组列表。然后，对发送源的HMD100发送允许参加的通知。

＜变形例16＞

联动地执行联动应用的信息终端不限定于HMD100。例如也可以是智能手机500，也可以是个人计算机、平板等。这些信息终端也可以混合存在。只要是至少具有能够判别检测出联动标记810、820的结构和能够执行联动应用的结构的信息处理终端即可。

＜变形例17＞

另外，联动标记820也可以不是实际空间的标记。例如，也可以是VR(VirtualReality：虚拟现实)空间的标记。例如，在VR空间中，作为各用户900的分身的虚拟形象识别同一联动标记之后，在虚拟形象之间联动地执行与识别出的联动标记关联的联动应用。VR空间中的识别例如通过使虚拟形象在VR空间中进行对联动标记和联动标记的触摸(选择指示)而实现。由此，在VR空间中存在多个用户(虚拟形象)的情况下，也能够仅由对联动标记进行了选择指示的一部分用户的虚拟形象联动地执行应用。

＜应用例＞

上述第三实施方式中，显示联动标记820的设备不限定于智能手机500的显示器531。例如也可以是投影影像的屏幕。

例如，在会议室集合的用户900全员分别佩戴HMD100，越过其视野观看会议室的屏幕(显示器)上显示的联动标记。由此，HMD100检测出该联动标记。另外，该联动标记在各HMD100内中分别与联动应用关联。在各HMD100中，分别确定、启动对应的联动应用。另外，收发启动通知数据，管理联动群组。

由此，由在会议室集合的用户900的HMD100自动地形成会议的联动群组，能够联动地执行联动应用。

例如，通过使用具有仅在会议的联动群组内共享资料、或者记录参加者的发言、或者生成议事录等会议中的各种处理功能的联动应用，能够使会议的进行变得流畅，简单地提高效率。

另外，在会议中，也在屏幕的一端显示联动标记，由此中途参加的HMD100只需检测该联动标记，就能够启动联动应用，参加会议。特别是，在会议中，参加成员每次不同的情况较多。但是，在这样的状况下，根据本例，也只需在屏幕上显示联动应用的图标，就能够自动地形成联动群组，能够流畅地进行会议。由此，能够进一步提高便利性。

另外，上述第二实施方式能够应用于远程会议。例如，处于存在多个会议场所的状态。该情况下，在各会议场所中预先配备同一联动标记810。希望参加的HMD100只需检测该联动标记810，就能够自动地启动联动应用，能够在远程的HMD100之间形成联动群组。

经由服务器400，通过经由LAN等网络的通信，能够在作为联动群组登记的HMD100之间联动地执行联动应用。通过将联动应用设为实现会议的各种功能的应用，能够容易地进行远程会议。

该情况下，联动应用的启动可以按每个会议场所或每个图标设置场所通过图标触摸等触发一齐进行，也可以在各HMD100各自的时机进行。也可以在各会议场所形成了每个会议场所的联动群组之后，由服务器400将全部会议场所的联动群组合并。该情况下，也可以构成为经由各会议场所的联动群组的代表的HMD100与服务器400连接。

另外，本发明不限定于上述实施方式和变形例，包括各种变形例。例如，上述实施方式是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的全部结构。另外，能够将某个实施方式的结构的一部分置换为其他实施方式的结构，也能够在某个实施方式的结构上添加其他实施方式的结构。另外，对于各实施方式的结构的一部分，能够追加、删除、置换其他结构。

另外，对于上述各结构、功能、处理部、处理单元等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，上述各结构、功能等，也可以通过处理器解释、执行实现各功能的程序而用软件实现。实现各功能的程序、表、文件等信息，能够保存在存储器、硬盘、SSD(Solid State Drive：固态硬盘)等记录装置、或者IC卡、SD卡、DVD等记录介质中。

另外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。

附图标记说明

100：HMD，101：HMD，102：HMD，103：HMD，104：HMD，110：存储装置，111：主处理器，112：系统总线，113：RAM，114：ROM，115：闪存，120：操作接收装置，121：操作按键，130：图像处理装置，131：显示器，131a：联动视野，133：外侧摄像机，134：内侧摄像机，136：拍摄图像，137：区域，140：声音处理装置，141：扬声器，143：麦克风，150：传感器，151：GPS接收部，152：陀螺仪传感器，153：地磁传感器，154：加速度传感器，155：深度传感器，160：通信装置，161：LAN通信I/F，162：电话网通信I/F，163：近距离无线通信I/F，171：扩展接口部，172：计时器，173：振动发生装置，

210：主控制部，220：检测部，230：执行部，240：联动部，250：应用列表，251：应用ID，252：标记数据，253：形状数据，254：标记ID，260：联动群组列表，261：标记ID保存场所，262：装置ID，263：地址，270：处理数据，272：标记数据，280：通知数据，280a：检测通知数据，280b：结束通知数据，281：标记ID，282：装置ID，283：地址，284：应用ID，285：状态，

300：网络，

400：服务器，401：CPU，402：存储器，403：存储装置，404：通信接口，410：主控制部，420：收发部，430：联动控制部，440：联动管理部，460：联动群组列表，461：标记ID保存场所，462：装置ID，463：地址，

500：智能手机，510：存储装置，511：主处理器，512：内部总线，513：RAM，514：ROM，515：闪存，520：操作接收装置，521：操作按键，523：触摸面板，530：图像处理装置，531：显示器，533：外侧摄像机，534：内侧摄像机，540：声音处理装置，541：扬声器，543：麦克风，550：传感器，551：CPU接收装置，552：陀螺仪传感器，553：地磁传感器，554：加速度传感器，555：深度传感器，560：通信装置，561：LAN通信接口，562：电话网通信接口，563：近距离无线通信接口，570：主控制部，571：接收部，572：收发部，573：联动管理部，574：应用执行部，575：输出部，576：应用程序存储部，577：图标数据存储部，578：联动群组列表，591：扩展接口部，592：计时器，593：振动发生装置，

700：信息处理系统，701：信息处理系统，702：信息处理系统，

810：联动标记，820：联动标记，822：图标，823：图标，824：图标，825：点，

900：用户，901：用户，902：用户，903：用户，904：用户，912：无线通信，913：无线通信，914：无线通信，923：无线通信，924：无线通信，934：无线通信，941：视线，942：视线，943：视线，944：视线。

Claims (10)

1.一种能够用多个信息处理终端联动地执行应用程序的信息处理系统，其特征在于：

所述信息处理终端各自包括：

检测预先决定的联动标记的检测部；和

执行部，其将与检测出的所述联动标记关联的应用程序作为联动应用，与检测出相同的所述联动标记的其他的所述信息处理终端联动地执行该联动应用。

2.如权利要求1所述的信息处理系统，其特征在于：

所述信息处理终端各自还包括联动部，其将检测出相同的所述联动标记的其他的所述信息处理终端作为联动地执行所述联动应用的联动群组的构成终端进行管理。

3.如权利要求1所述的信息处理系统，其特征在于：

还包括第二信息处理终端，其具有将检测出相同的所述联动标记的多个所述信息处理终端作为联动地执行所述联动应用的联动群组的构成终端进行管理的联动管理部，

所述联动管理部将由联动管理处理得到的数据发送至其他的所述构成终端，并且从其他的所述构成终端接收由所述联动管理处理得到的数据。

4.如权利要求2所述的信息处理系统，其特征在于：

所述联动部，

在检测到所述联动标记时，将包含用于确定该联动标记的标记识别信息和用于确定本终端的终端识别信息的检测通知数据发送至周围的所述信息处理终端，

并在从其他的所述信息处理终端接收到所述检测通知数据时，在该检测通知数据中包含的所述标记识别信息与本终端检测出的所述联动标记的所述标记识别信息一致的情况下，将发送源的所述信息处理终端作为所述构成终端进行管理。

5.如权利要求3所述的信息处理系统，其特征在于：

所述信息处理终端具有联动部，其在检测到所述联动标记时，将包含用于确定该联动标记的标记识别信息和用于确定本终端的终端识别信息的检测通知数据发送至所述第二信息处理终端，

所述联动管理部在接收到所述检测通知数据时，将该检测通知数据中包含的所述标记识别信息一致的发送源的所述信息处理终端作为1个联动群组的构成终端进行管理。

6.如权利要求4所述的信息处理系统，其特征在于：

所述联动部，

在结束了所述联动应用时，将作为通知已结束该联动应用的情况的结束通知数据且是包含所述标记识别信息和所述终端识别信息的所述结束通知数据发送至周围的所述信息处理终端，

并在从其他的所述信息处理终端接收到所述结束通知数据时，将与该结束通知数据中包含的所述终端识别信息一致的所述信息处理终端从所述构成终端中排除。

7.如权利要求5所述的信息处理系统，其特征在于：

所述联动部在结束了所述联动应用时，将作为通知已结束该联动应用的情况的结束通知数据且是包含所述标记识别信息和所述终端识别信息的所述结束通知数据发送至周围的所述信息处理终端，

所述联动管理部在从其他的所述信息处理终端接收到所述结束通知数据时，从基于用该结束通知数据中包含的所述标记识别信息确定的所述联动标记来管理的所述联动群组中，排除与该结束通知数据中包含的所述终端识别信息一致的所述信息处理终端。

8.如权利要求3所述的信息处理系统，其特征在于：

所述联动标记显示于所述第二信息处理终端的显示器，

所述检测部在检测出所述第二信息处理终端处于预先决定的配置状态的情况下检测所述联动标记。

9.如权利要求8所述的信息处理系统，其特征在于：

所述第二信息处理终端也被作为联动地执行所述联动应用的联动群组的构成终端进行管理。

10.一种能够与其他的信息处理终端联动地执行应用程序的信息处理终端，其特征在于，包括：

检测预先决定的联动标记的检测部；

联动部，其将检测出相同的所述联动标记的其他的所述信息处理终端作为联动地执行所述应用程序的联动群组的构成终端进行管理；和

执行部，其与所述联动群组的所述构成终端联动地执行与检测出的所述联动标记关联的所述应用程序。

Images