CN109478342B - 图像显示装置及图像显示系统 - Google Patents

图像显示装置及图像显示系统 Download PDF

Info

Publication number
CN109478342B
CN109478342B CN201780043448.3A CN201780043448A CN109478342B CN 109478342 B CN109478342 B CN 109478342B CN 201780043448 A CN201780043448 A CN 201780043448A CN 109478342 B CN109478342 B CN 109478342B
Authority
CN
China
Prior art keywords
image display
display device
unit
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780043448.3A
Other languages
English (en)
Other versions
CN109478342A (zh
Inventor
多田英起
相宅玲志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nurve Inc
Original Assignee
Nurve Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nurve Inc filed Critical Nurve Inc
Publication of CN109478342A publication Critical patent/CN109478342A/zh
Application granted granted Critical
Publication of CN109478342B publication Critical patent/CN109478342B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Abstract

提供能够在通过独立的显示装置而观察图像的用户之间容易地进行通信的图像显示装置等。图像显示装置具备：介由通信网络从服务器获取数据的数据获取部；显示部；对该显示部中的图像显示进行控制的显示控制部；对该图像显示装置的位置的变化及朝向进行判定的位置及朝向判定部；基于该判定的结果来生成与位置及朝向有关的信息并将其发送的位置关联信息生成部；对从其他图像显示装置发送的与位置及朝向有关的信息进行获取的位置关联信息获取部，显示控制部基于从服务器获取的数据而将图像显示于显示部，并且基于位置及朝向判定部的判定结果而使上述图像变化，进一步地，基于从其他图像显示装置发送的与位置及朝向有关的信息、将与在该信息的发送源显示的图像有关的信息显示于显示部。

Description

图像显示装置及图像显示系统
技术领域
本发明涉及在通过通信网络而连接的多个图像显示装置间的图像显示技术。
背景技术
近年来，虚拟现实(virtual reality，以下记为“VR”)的显示技术已被利用于游戏、娱乐、学习支持，职业训练等多种领域中。在VR中，通常，使用被称为头戴式显示器(以下，也记为“HMD”)的眼镜型或护目镜型的显示装置。用户将HMD穿戴于头部，用双眼观察内置于HMD的画面，从而能够感知具有立体感的图像。在HMD中内置有陀螺仪传感器和/或加速度传感器，根据利用由这些传感器检测到的用户的头部的动作，在画面中显示的图像发生变化。由此，用户能够体验到仿佛置身于三维显示的图像(虚拟空间)之中。
作为与VR相关的技术，例如专利文献1公开了下述语言教育装置，其中，用互联网这样的线路将服务器、教育者用计算机、多个学习者用计算机连接，从服务器向学习者提供虚拟三维影像的人物影像及背景影像，将其以三维虚拟现实环境的形式播放，另外对于教育者而言，以与学习者同一视点，并且将学习者、教育者与计算机图形影像相关联地进行显示输出。在该专利文献1中，将头戴式显示器及带麦克风的头戴式耳机穿戴于教育者及学习者，从而将集体教室的三维影像进行再现，实现在具有现场感的气氛下进行学习。
现有技术文献
专利文献
专利文献1：日本特开2004－61783号公报
发明内容
发明要解决的课题
最近，进行了下述尝试，即不是单单使用户独立地体验VR，而是使多个用户在相同现实空间中同时进行体验，由此，穿戴VR一同共享现场的气氛。具体而言，可举出下述例子：在实体的直播会场对VR的音乐会进行欣赏；在实体的体育场观战VR的运动；利用VR使到访房地产经纪人的家庭成员预览房产财物；等等。在这些情况下，通过在同伴者、身处同一会场的用户彼此间共享现场的气氛，可期进一步提高VR的真实感。
但是，用户在穿戴着HMD等独立的显示装置的期间，由于针对现实空间的视野被遮挡，因此，用户几乎无法对处于相同现实空间的其他用户的位置、面部的朝向进行掌握。因此，例如，尽管多个用户同时观察着相同虚拟空间，仍难以掌握其他用户关注着虚拟空间内的什么。由此产生虽身处相同现实空间，但在相邻座位落座的用户彼此的谈话不相符、即使相邻用户发出惊叫却不知其为何而惊叫、无法共享话题等与其他用户难以进行交流的问题。结果，眼前所展现的虚拟空间的情景、与现实空间中与他人之间的交流之间产生间隔，反而可能减轻在VR中的沉浸感。
本发明是鉴于上述情况而做出的，其目的在于，提供能够与利用HMD等独立的显示装置而观看图像的用户之间容易地进行交流的图像显示装置及图像显示系统。
用于解决课题的手段
为解决上述课题，本发明的一个方式的图像显示装置为在具备服务器和多个图像显示装置的图像显示系统中使用的图像显示装置，所述服务器介由通信网络而对用于使所述多个图像显示装置显示图像的数据进行传送，其中，图像显示装置具备：
数据获取部，其从所述服务器获取所述数据；
显示部，其基于所述数据来显示图像；
显示控制部，其对所述显示部中的图像显示进行控制；
位置及朝向判定部，其对该图像显示装置的位置的变化及朝向进行判定；
位置关联信息生成部，其基于由所述位置及朝向判定部得到的判定结果来生成与该图像显示装置的位置及朝向相关的信息并将其发送；和
位置关联信息获取部，其对从所述多个图像显示装置之中除该图像显示装置以外的至少1个图像显示装置发送的、与该至少1个图像显示装置的位置及朝向相关的信息进行获取，
其中，所述显示控制部基于所述数据获取部所获取的所述数据来将图像显示于所述显示部，并且基于由所述位置及朝向判定部得到的判定结果来根据该图像显示装置的位置及朝向而使所述图像变化，进一步地，基于所述位置关联信息所获取的与所述位置及朝向相关的信息来将与在所述至少1个图像显示装置中显示着的图像相关的信息显示于所述显示部。
在上述图像显示装置中，也可以是，所述显示控制部使以根据该图像显示装置的位置及朝向而变化的方式显示的图像内的一部分区域中分别显示在所述至少1个图像显示装置中显示着的图像。
在上述图像显示装置中，也可以是，所述显示控制部使以根据该图像显示装置的位置及朝向而变化的方式显示的图像之中的与在所述至少1个图像显示装置中显示着的图像对应的区域附带特定的颜色或图案来进行显示。
在上述图像显示装置中，也可以是，所述显示控制部针对以根据该图像显示装置的位置及朝向而变化的方式显示的图像而显示下述对象(object)，所述对象表示与在所述至少1个图像显示装置中显示着的图像对应的区域。
在上述图像显示装置中，也可以是，所述数据包含用于在所述图像显示装置中显示二维图像的数据。
在上述图像显示装置中，也可以是，所述数据包含用于在所述图像显示装置中对三维虚拟空间进行再现的数据。
在上述图像显示装置中，也可以是，所述数据包含用于在所述图像显示装置中显示计算机图形的建模数据。
上述图像显示装置也可以还具备用于将该图像显示装置穿戴在用户的头部的固定器(holder)。
作为本发明其他方式的图像显示系统具备：
多个图像显示装置；和
服务器，其介由通信网络而对用于使所述多个图像显示装置进行图像显示的数据进行传送，
所述服务器具有：
存储所述数据的存储部；和
向所述多个图像显示装置的各自传送所述数据的数据传送部，
所述多个图像显示装置的各自具有：
从所述服务器获取所述数据的数据获取部；
基于所述数据来显示图像的显示部；
对所述显示部中的图像显示进行控制的显示控制部；
对该图像显示装置的位置的变化及朝向进行判定的位置及朝向判定部；
基于由所述位置及朝向判定部得到的判定结果来生成与该图像显示装置的位置及朝向相关的信息并将其发送的位置关联信息生成部；和
位置关联信息获取部，其对从所述多个图像显示装置之中该图像显示装置以外的至少1个图像显示装置发送的、与该至少1个图像显示装置的位置及朝向相关的信息进行获取，
其中，所述显示控制部基于所述数据获取部所获取的所述数据来将图像显示于所述显示部，并且基于由所述位置及朝向判定部得到的判定结果来根据该图像显示装置的位置及朝向而使所述图像变化，进一步地，基于所述位置关联信息所获取的与所述位置及朝向相关的信息来将与在所述至少1个图像显示装置中显示着的图像相关的信息显示于所述显示部。
上述图像显示系统中，也可以是，所述服务器还具有数据库，所述数据库对用于使所述多个图像显示装置协作的设定信息进行储存，
所述数据传送部基于所述设定信息而对所述多个图像显示装置之中的2个以上的图像显示装置来同步传送所述数据，
所述2个以上的图像显示装置的各自所具有的所述位置关联信息生成部在该2个以上的图像显示装置之间相互发送与所述位置及朝向相关的信息。
上述图像显示系统中，也可以是，其还具备介由所述通信网络而与所述服务器及所述多个图像显示装置之中的至少1个相连接的至少1个第2图像显示装置，
所述至少1个第2图像显示装置的各自具有：
从所述服务器获取所述数据的第2数据获取部；
基于所述数据来显示图像的第2显示部；
对所述第2显示部中的图像显示进行控制的第2显示控制部；和
第2位置关联信息获取部，其对从所述多个图像显示装置之中的至少1个图像显示装置发送的、与该至少1个图像显示装置的位置及朝向相关的信息进行获取，
其中，所述第2显示控制部基于所述第2数据获取部所获取的所述数据来将图像显示于所述第2显示部，并且基于所述第2位置关联信息获取部所获取的与所述位置及朝向相关的信息来将与在该信息的发送源的图像显示装置中显示着的图像相关的信息显示于所述第2显示部。
作为本发明的又一方式的图像显示系统具备：
至少1个第1图像显示装置；
不同于所述第1图像显示装置的至少1个第2图像显示装置；和
服务器，其介由通信网络而对用于使所述至少第1图像显示装置及第2图像显示装置进行图像显示的数据进行传送，
所述服务器具有：
存储所述数据的存储部；和
向所述至少第1图像显示装置及第2图像显示装置的各自传送所述数据的数据传送部，
其中，所述至少1个第1图像显示装置具有：
从所述服务器获取所述数据的第1数据获取部；
基于所述数据来显示图像的第1显示部；
对所述第1显示部中的图像显示进行控制的第1显示控制部；
对该第1图像显示装置的位置的变化及朝向进行判定的位置及朝向判定部；和
基于由所述位置及朝向判定部得到的判定结果来生成与该第1图像显示装置的位置及朝向相关的信息并将其发送的位置关联信息生成部，
所述至少1个第2图像显示装置具有：
从所述服务器获取所述数据的第2数据获取部；
基于所述数据来显示图像的第2显示部；
对所述第2显示部中的图像显示进行控制的第2显示控制部；和
位置关联信息获取部，其对从所述至少1个第1图像显示装置发送的、与所述位置及朝向相关的信息进行获取，
其中，所述第1显示控制部基于所述第1数据获取部所获取的所述数据来将图像显示于所述第1显示部，并且基于由所述位置及朝向判定部得到的判定结果来根据该第1图像显示装置的位置及朝向而使所述图像变化，
所述第2显示控制部基于所述第2数据获取部所获取的所述数据来将图像显示于所述第2显示部，并且基于所述位置关联信息获取部所获取的与所述位置及朝向相关的信息来将与在所述第1图像显示装置中显示着的图像相关的信息显示于所述第2显示部。
发明效果
根据本发明，在图像显示装置中显示图像，并且，针对该图像，基于从不同于该图像显示装置的其他图像显示装置发送的、与位置及朝向相关的信息来显示与在其他图像显示装置中显示着的图像相关的信息，该图像显示装置的用户能够对其他图像显示装置的用户所感知着的图像进行掌握。因而，能够实现与利用HMD等独立的显示装置而观看图像的用户之间容易地进行交流。
附图说明
图1：为示出本发明的实施方式涉及的图像显示装置的概略构成的示意图。
图2：为示出图1所示服务器的概略构成的框图。
图3：为示出图1所示的VR显示装置的概略构成的框图。
图4：为示出多个用户穿戴着VR显示装置的状态的示意图。
图5：为对图3所示显示部中显示的画面进行示例的示意图。
图6：为对由图5所示图像所再现的虚拟空间进行示例的示意图。
图7：为示出图1所示显示装置的概略构成的框图。
图8：为示出图1所示VR显示装置及服务器的动作的流程图。
图9：为示出图8所示的图像的显示处理的详情的流程图。
图10：为示出在相互协作的2个VR显示装置的一者中再现的虚拟空间的例子的示意图。
图11：为示出在2相互协作的2个VR显示装置的另一者中再现的虚拟空间的例子的示意图。
图12：为对使3个VR显示装置协作的情况下的、图像的显示方法进行示例的示意图。
图13：为示出图1所示VR显示装置及显示装置中的显示处理的详情的流程图。
图14：为示出图1所示显示装置中显示的画面的例子的示意图。
具体实施方式
以下，参照附图，对本发明的实施方式涉及的显示装置进行说明。需要说明的是，并非由这些实施方式来限定本发明。另外，在各附图的记载中，对同一部分标注同一标记而示出。
(实施方式)
图1为示出本发明的一实施方式涉及的图像显示系统的概略构成的示意图。如图1所示，本实施方式涉及的图像显示系统1具备：对用于显示供用户视听的静止画面或动画(以下，将它们统称为内容(contents))的各种数据进行传送的服务器10；基于从服务器10接收到的数据来显示图像的virtual reality(虚拟现实，以下，记为“VR”)显示装置20a、20b，…及显示装置30。需要说明的是，图1中仅示出了1个显示装置30，但也可以设置多个显示装置30。上述服务器10、多个VR显示装置20、及显示装置30介由通信网络N而相互连接。以下，也将多个VR显示装置20a、20b，…统称地记为VR显示装置20。另外，有时也将VR显示装置20及显示装置30统称为显示终端。
作为通信网络N，例如使用互联网线路、电话线路、LAN、专用线路、移动通信网络、WiFi(Wireless Fidelity)、蓝牙(Bluetooth，注册商标)等通信线路，或它们的组合。通信网络N可以为有线、无线、或它们的组合中的任意。
图2为示出图1所示的服务器10的概略构成的框图。这里，服务器10并非一定由1台计算机构成，例如，也可以由连接于通信网络N的多台计算机来构成服务器10。如图2所示，服务器10具备通信部11、存储部12和运算部13。
通信部11为将服务器10连接于通信网络N、并与连接于通信网络N的其他设备之间进行通信的接口。通信部11可使用例如软调制解调器、电缆调制解调器、无线调制解调器、ADSL调制解调器等来构成。
存储部12例如为ROM、RAM等半导体存储器、硬盘等计算机可读取的存储介质，包括程序存储部121、内容数据存储部122、内容数据库(DB)123和用户信息数据库(DB)124。
程序存储部121除了存储操作系统程序及驱动程序以外，还存储执行各种功能的应用程序、在这些程序的执行中使用的各种参数等。具体而言，程序存储部121存储有下述程序，所述程序用于使运算部13执行下述一系列动作：对用于在多个VR显示装置20和/或显示装置30中显示图像的各种数据进行同步传送，由此在这些显示终端之间使VR同步显示。
内容数据存储部122存储有用于将对利用立体视觉形成的三维图像(虚拟空间)进行再现的VR、具有360度视角的动画等各种内容显示于VR显示装置20和/或显示装置30的数据。具体而言，可举出：用于对二维或三维的图像(静止画面或动画)进行显示的图像数据；用于构成计算机图形(以下，记为“CG”)的建模数据(例如，多边形数据(polygon data))；与图像、CG一同输出的效果音等声音数据等。这里，所谓多边形数据，是指在CG中对在利用三边形、四边形等多边形的组合来再现物体之时所使用的要素进行表示的数据。以下，将在VR显示装置20或显示装置30中的内容的再生所使用的图像数据、CG用的建模数据、声音数据等统称地称为内容数据。
内容数据库123储存用于对存储于内容数据存储部122中的内容数据进行管理的各种信息。具体而言，存储有用于对内容进行识别的标识符、对内容数据存储部122中的各种内容数据的存储区域进行示出的地址等。
用户信息数据库124储存与利用该图像显示系统1的用户有关的信息。具体而言，储存有用于对用户进行识别的用户ID及认证用的密码；用于对用户所使用的显示终端进行识别的终端信息等。
另外，用户信息数据库124储存用于使用户所使用的显示终端彼此协作的设定信息。这里，所谓协作，是指从服务器10对标识符共通的内容的内容数据同步地进行传送，由此，在多个显示终端间在相同时间点显示相同图像，并且，在显示图像的期间，在多个显示终端间使与彼此的位置、朝向等有关的信息共享。需要说明的是，本说明书中，所谓相同时间点或同时，包含传送内容数据时产生的延迟时间程度的误差。用户信息数据库124对要协作的多个终端装置的终端信息添加旗标(其表示使其协作的含义)，由此，进行这些终端装置的分组设定。
对于这些储存于内容数据库123的信息、储存于用户信息数据库124的信息而言，能够通过服务器10的管理者对服务器10进行操作、或者从其他计算机介由通信网络N而访问服务器10来随时地追加、变更、删除。另外，关于用于使显示终端彼此协作的设定信息，还能够从VR显示装置20侧进行变更。
运算部13使用例如CPU(Central Processing Unit)和/或GPU(GraphicsProcessing Unit)构成，通过对存储于程序存储部121的各种程序进行读取，从而总括地控制服务器10的各部，并且执行用于将内容数据传送至各VR显示装置20及显示装置30的各种控制。详细而言，运算部13具有终端信息获取部131、协作设定部132、和数据传送部133。
终端信息获取部131在显示终端(VR显示装置20、显示装置30)访问服务器10时，对用于识别这些各显示终端的终端信息进行获取。在本实施方式中，作为终端信息，对分配给各显示终端的互联网协议(IP)地址进行获取。
协作设定部132基于储存于用户信息数据库124中的信息来进行用于使多个显示终端协作的设定。详细而言，协作设定部132在从多个显示终端请求标识符共通的内容的情况下，将彼此的终端信息向这些显示终端之中、在用户信息数据库124中被设定为相同组的2个以上的显示终端进行发送。
在从显示终端请求内容的情况下，数据传送部133从内容数据存储部122读取出与所请求的内容对应的内容数据，并基于终端信息获取部131所获取的终端信息而向请求源的显示终端传送。需要说明的是，对于内容数据的传送方式而言，可以为流媒体方式，也可以为下载方式，还可以根据网络的状况来适当选择。
图3为示出图1所示VR显示装置20的概略构成的框图。VR显示装置20为基于从服务器10传送的内容数据来显示图像的图像显示装置，其具备：通信部21、存储部22、输入部23、显示部24、声音输出部25、动作检测部26和运算部27。
图4为作为一个例子而示出分别将VR显示装置20a、20b穿戴于2位用户2a、2b的情形的示意图。VR显示装置20也被称为头戴式显示器，如图4所示，以覆盖用户的左右眼的方式穿戴于用户2a、2b的头部来使用。在VR显示装置20的内部，在与用户的左右眼对应的位置配置有2个透镜，在这些透镜之前配置有显示部24。
图5为对显示部24中显示的图像进行示例的示意图。图6为对由图5所示图像所再现的虚拟空间进行示例的示意图。在对虚拟空间进行再现的情况下，如图5所示，显示部24的画面被分为2个区域24a、24b，在这些区域24a、24b中分别显示彼此设置有视差的2个图像。用户介由内置于VR显示装置20的2个透镜而用左右眼分别观看区域24a、24b，由此，能够三维地对图6所示的虚拟空间进行感知。
需要说明的是，VR显示装置20为能够实现利用立体视觉的三维图像的显示的装置，但在从服务器10传送了二维图像显示用数据作为内容数据的情况下，与一般的显示装置同样地，其在显示部24中显示二维图像。
再次参考图3，通信部21为将VR显示装置20连接于通信网络N、并与连接于通信网络N的其他设备之间进行通信的接口。通信部21使用例如软调制解调器、电缆调制解调器、无线调制解调器、ADSL调制解调器等来构成。
存储部22为例如ROM、RAM等半导体存储器等计算机可读取的存储介质。存储部22包含程序存储部221，程序存储部221除了存储操作系统程序及驱动程序以外、还对基于从服务器10传送的内容数据来显示图像的应用程序、在这些程序的执行中使用的各种参数等进行存储。需要说明的是，在用下载方式从服务器10传送内容数据的情况下，也可以将存储内容数据的内容数据存储部设置于存储部22。
输入部23为例如操作按钮、滑动开关、触摸传感器等输入装置，将与用户进行的输入操作相应的指示信号输入运算部27。需要说明的是，对于对VR显示装置20进行的输入操作而言，除了使用输入部23进行以外，还可以利用直接或者介由通信网络N而连接于VR显示装置20的计算机等来进行。
显示部24为例如包含由液晶或有机EL(有机电致发光)形成的显示面板及驱动部的显示器，在利用运算部27进行的控制之下显示图像。
声音输出部25基于在从服务器10传送的内容数据中包含的声音数据来输出效果音等。
动作检测部26例如包含GPS传感器、陀螺仪传感器、及加速度传感器等，输出表示VR显示装置20的动作(即，位置的变化、朝向)的检测信号。
运算部27使用例如CPU和/或GPU构成，通过对存储于程序存储部221的程序进行读取，从而总括地对VR显示装置20的各部进行控制，并且执行用于显示内容图像的各种运算处理。详细而言，运算部27具有：内容数据获取部271、位置及朝向判定部272、CG构成部273、协作判定部274、位置关联信息生成部275、位置关联信息获取部276、和显示控制部277。
内容数据获取部271按照对输入部23进行的输入操作(或，来自直接或间接地连接的计算机等的输入操作)，将与用户所期望的内容相对应的标识符发送至服务器10，由此请求内容数据，并对从服务器10传送的内容数据进行获取。
位置及朝向判定部272基于从动作检测部26输出的检测信号来对VR显示装置20的位置的变化及朝向进行判定。详细而言，位置及朝向判定部272基于动作检测部26所检测到的加速度的朝向及大小、以及角加速度的朝向及大小，来算出VR显示装置20的位移及朝向。由此，能够对相对于VR显示装置20的初始坐标而言的相对坐标及VR显示装置20的朝向(换言之，用户的位置、视线方向)进行确定。
CG构成部273使用在从服务器10传送的内容数据中所包含的建模数据(例如多边形数据)及由位置及朝向判定部272得到的判定结果，来进行用于构成与用户的位置、视线方向相应的CG的运算处理。
协作判定部274对是否使该VR显示装置20(例如VR显示装置20a)、与介由通信网络N而连接的其他显示终端(例如VR显示装置20b、显示装置30)协作进行判定。
位置关联信息生成部275基于由位置及朝向判定部272得到的判定结果来生成与该VR显示装置20(例如VR显示装置20a)的位置及朝向有关的信息(以下，也称为位置关联信息)，并将其向协作着的其他VR显示装置20(例如VR显示装置20b)、显示装置30进行发送。
位置关联信息获取部276对从协作着的其他VR显示装置20发送的位置关联信息进行接收，并将其输入显示控制部277。
显示控制部277基于从服务器10传送的内容数据而将图像显示于显示部24，并且基于由位置及朝向判定部272得到的判定结果，来进行用于使所显示的图像变化的控制。详细而言，显示控制部277使显示部24显示合成图像(其是针对基于内容数据中所含的图像数据的图像、而将对CG构成部273所构成的CG进行合成而得到的)，由此再现虚拟空间。另外，在利用位置及朝向判定部272进行判定的结果为判定为用户移动、或改变视线方向的情况下，显示控制部277对在显示部24中显示的图像的帧的位置、角度等进行变更，或者通过使区域24a、24b(参见图5)间的视差变化来对进深感进行变更。
显示控制部277包含本地画面控制部277a及共享画面控制部277b。本地画面控制部277a基于该VR显示装置20(例如VR显示装置20a)的位置及朝向的判定结果，来进行对从该VR显示装置20的用户(例如用户2a)的视点观察虚拟空间的情况下的图像进行显示的控制。
另一方面，共享画面控制部277b基于与该VR显示装置20协作着的其他VR显示装置20(例如VR显示装置20b)的位置及朝向的判定结果，来进行下述控制：将从其他VR显示装置20的用户(例如用户2b)的视点观察相同虚拟空间的情况下的图像显示在该VR显示装置20(VR显示装置20a)的显示部24的一部分。
需要说明的是，作为VR显示装置20，可以使用通用的显示装置，也可以使用VR专用的头戴式显示器，其中，该VR专用的头戴式显示器是在壳体内收纳图3所示的各功能部，且用于将VR显示装置20穿戴于用户的头部的固定器被一体化而得到。例如，也可将智能手机、便携式信息终端(PDA)、便携式游戏装置等通用的显示装置安装于头戴式显示器用的固定器，由此来构成VR显示装置20。
图7为示出图1所示显示装置30的概略构成的框图。显示装置30为例如设置有双向的通信功能的电视、具有大屏幕等中使用的大型的画面的第2图像显示装置，基于从服务器10传送的内容数据来显示图像。
如图7所示，显示装置30具备：通信部31、存储部32、输入部33、显示部34、声音输出部35和运算部36。
通信部31为将显示装置30连接于通信网络N、并与服务器10、其他设备之间进行通信的接口。
存储部32为例如ROM、RAM等半导体存储器等计算机可读取的存储介质，其包括程序存储部321，程序存储部321除了对操作系统程序及驱动程序进行存储以外，还对基于从服务器10传送的内容数据来显示图像的应用程序、在上述程序的执行中所使用的各种参数等进行存储。需要说明的是，在内容数据以下载方式从服务器10被传送的情况下，也可将对内容数据进行存储的内容数据存储部设置于存储部32。
输入部33为操作按钮、键盘、鼠标、触摸面板等输入装置，将与由用户进行的输入操作相应的指示信号输入运算部36。需要说明的是，对显示装置30进行的输入操作除了使用输入部33来进行以外，还可以利用直接或者介由通信网络N而连接于显示装置30的计算机等来进行。
显示部34为例如液晶显示器、有机EL显示器。
声音输出部35为基于内容数据中所含的声音数据来输出效果音等的扬声器。
运算部36使用例如CPU和/或GPU构成，通过对存储于程序存储部321的各种程序进行读取，从而总括地对显示装置30的各部进行控制。详细而言，运算部36具备：内容数据获取部361、CG构成部362、协作判定部363、位置关联信息获取部364和显示控制部365。
内容数据获取部361对从服务器10传送的内容数据进行获取。
CG构成部362进行用于使用在从服务器10传送的内容数据中所含的建模数据(例如多边形数据)来构成CG的运算处理。
协作判定部363对是否使该显示装置30、与介由通信网络N而连接的1个以上的VR显示装置20进行协作进行判定。
位置关联信息获取部364对从协作着的VR显示装置20发送的位置关联信息进行接收，并将其输入显示控制部365。
显示控制部365基于从服务器10传送的内容数据而将图像显示于显示部34，并且基于从协作着的VR显示装置20发送的位置关联信息来将图像显示于显示部34。显示控制部365包含主画面控制部365a及共享画面控制部365b。
主画面控制部365a将合成图像(其是针对基于内容数据中所含的图像数据的图像、而将对CG构成部362所构成的CG进行合成而得到的)显示于显示部34。显示于显示部34的图像既可以是用于使该显示装置30的观众佩戴3D观看用的偏光眼镜而使其产生立体视觉从而对虚拟空间进行再现的图像，也可以是将该虚拟空间投影至二维平面或曲面而得到的图像。
共享画面控制部365b基于与该显示装置30协作着的1个以上的VR显示装置20的位置及朝向的判定结果，来进行下述控制，即，将从各VR显示装置20的用户的视点观察上述虚拟空间的情况下的图像显示于显示部34的一部分。
接下来，针对本实施方式涉及的图像显示系统1的动作进行说明。图8为示出图像显示系统1之中服务器10及VR显示装置20的动作的流程图。需要说明的是，图8中，仅示出了1个VR显示装置20的动作，但多个VR显示装置20的各自按照图8所示的流程而并行地动作。以下，对在VR显示装置20中显示用于将三维虚拟空间再现的图像的情况进行说明，作为显示于VR显示装置20的图像，既可以为二维图像，也可以为动画或静止画面中的任意。
首先，在步骤S20中，若VR显示装置20访问服务器10、并发送用户ID及密码，则服务器10利用接收到的用户ID及密码进行认证(步骤S10)。若该认证成功，则服务器10对进行访问的VR终端装置20的终端信息(例如IP地址)进行获取(步骤S11)。
在步骤S21中，VR显示装置20对服务器10请求内容。详细而言，VR显示装置20按照由用户进行的操作输入、来发送包含用于对用户所期望的内容进行识别的标识符的请求信号。
在步骤S12中，服务器10接收内容的请求信号。在接着的步骤S13中，服务器10对是否从多个VR显示装置20请求了标识符共通的内容进行判定。
在存在标识符共通的内容的请求的情况下(步骤S13：是(Yes))，服务器10针对请求了共通的内容的多个VR显示装置20之中、协作的VR显示装置20发送彼此的终端信息(步骤S14)。即，将各终端信息发送至该终端信息的获取源的VR显示装置20以外的VR显示装置20。例如，在使图4所示VR显示装置20a、20b协作的情况下，服务器10向VR显示装置20a发送VR显示装置20b的终端信息、向VR显示装置20b发送VR显示装置20a的终端信息。
这里，协作的VR显示装置20可在服务器10中适当设定。作为一例，可以设定为下述例子：使请求了标识符共通的内容的多个VR显示装置20全部协作。另外，作为其他例子，也可以设定为下述例子：在请求了标识符共通的内容的多个VR显示装置20之中，使在用户信息数据库124(参见图2)中预先被设定为相同组的VR显示装置20协作。需要说明的是，如后文所述，即使在服务器10中进行了使其协作的设定，也仍能够在VR显示装置20侧对协作进行拒绝。
另一方面，在没有标识符共通的内容的请求的情况下(步骤S13：否(No))，服务器10的动作直接进入步骤S15。
VR显示装置20若接收到其他VR显示装置20的终端信息(步骤S22：是)，则对是否与该其他VR显示装置20协作进行选择(步骤S23)。该选择可按照由用户进行的操作输入来进行。
在选择了与其他VR显示装置20的协作的情况下(步骤S23：是)，在接着的步骤S24中，VR显示装置20将该其他VR显示装置20的终端信息作为协作目标进行保持。例如，在VR显示装置20a中选择了与VR显示装置20b协作的情况下，VR显示装置20a对VR显示装置20b的终端信息进行保持。需要说明的是，VR显示装置20中，也可以预先设定为无法对与其他VR显示装置20的协作进行拒绝，这种情况下，VR显示装置20的动作直接进入步骤S22的后步骤S24。
另一方面，在步骤S22中未接收到其他VR显示装置20的终端信息的情况下(步骤S22：否)、或者在步骤S23中未选择与其他VR显示装置20的协作的情况下(步骤S23：否)，VR显示装置20的动作直接进入步骤S25。
在步骤S15中，服务器10将所请求的内容的内容数据向请求源的VR显示装置20传送。此时，服务器10对相对于所协作的多个VR显示装置20而言共通的内容数据进行同步传送。与此相应地，VR显示装置20接收内容数据，基于接收到的内容数据来显示图像(步骤S25)。需要说明的是，在用流媒体方式传送内容数据的情况下，在VR显示装置20中，内容数据的接收与基于该内容数据的图像显示并行地进行。此后，服务器10及VR显示装置20的动作结束。
接下来，针对步骤S25中的显示处理详细地进行说明。
在步骤S23中未选择协作的情况下，即，在VR显示装置20(例如VR显示装置20a)未保持其他VR显示装置20(例如VR显示装置20b)的终端信息的情况下，这些VR显示装置20(VR显示装置20a、20b)基于从服务器10传送的内容数据来单独地进行图像显示。
与此相对，在步骤S23中选择了协作的情况下，VR显示装置20在与协作着的其他VR显示装置20之间共享信息的同时进行图像显示。图9为示出这种情况下的VR显示装置20的动作的流程图。以下，以所协作的2个VR显示装置20分别为VR显示装置(1)、VR显示装置(2)来进行说明。需要说明的是，在3个以上的VR显示装置协作的情况下，各VR显示装置的动作也与以下说明的VR显示装置(1)或(2)是同样的。
首先，若VR显示装置(1)与VR显示装置(2)协作，则VR显示装置(1)及VR显示装置(2)相互对位置信息及朝向信息进行发送、接收(步骤S30、S40)。即，发送自身的位置信息及朝向信息，并且接收对方的位置信息及朝向信息。这里的位置信息是表示虚拟空间中的位置的信息，各VR显示装置(1)、(2)按照由用户进行的输入操作而将在虚拟空间中设定的坐标轴中的坐标设定为自身的初始坐标。另外，关于朝向信息，能够使用加速度传感器及陀螺仪传感器等来进行获取。VR显示装置(1)、(2)对以这种方式设定及获取的位置信息及朝向信息相互地进行发送、接收。需要说明的是，位置信息及朝向信息的送受信既可以介由通信网络N而在VR显示装置(1)与VR显示装置(2)之间直接进行，也可以介由服务器10而间接地进行。
当开始从服务器10传送内容数据时，则VR显示装置(1)、(2)基于接收到的内容数据而开始图像显示(步骤S31、S41)。图10示出利用VR显示装置(1)中的图像显示所再现的虚拟空间的例子、图11示出利用VR显示装置(2)中的图像显示所再现的虚拟空间的例子。
如图10所示，在VR显示装置(1)中再现的虚拟空间v1的一部分中，设置有窗口(图像显示区域)w1，该窗口w1显示在VR显示装置(2)中再现的虚拟空间v2的图像。在初始状态下，在该窗口w1中显示的图像基于从服务器10向VR显示装置(1)传送的内容数据、和在步骤S30中从VR显示装置(2)接收到的位置信息及朝向信息而生成。需要说明的是，在窗口w1中显示的图像既可以是用于将虚拟空间v2缩小并三维地再现的图像，也可以是将虚拟空间v2投影至平面而形成的二维图像。
另外，如图11所示，在VR显示装置(2)中再现的虚拟空间v2的一部分中，设置有窗口(图像显示区域)w2，窗口w2显示在VR显示装置(1)中再现的虚拟空间v1的图像。在初始状态下，在该窗口w2中显示的图像基于从服务器10向VR显示装置(2)传送的内容数据、和在步骤S40中从VR显示装置(1)接收到的位置信息及朝向信息而生成。需要说明的是，在窗口w2中显示的图像可以是用于将虚拟空间v1并三维地再现的图像，也可以是将虚拟空间v1投影至平面而形成的二维图像。
在步骤S32中，VR显示装置(1)的位置及朝向判定部272(参见图3)对自身的位置或朝向是否存在变化进行判定。即，对穿戴了VR显示装置(1)的用户是否进行了移动、是否使视线方向发生变化进行判定。
在位置或朝向存在变化的情况下(步骤S32：是)，VR显示装置(1)根据位置或朝向的变化而对显示于显示部24的图像(本地画面)进行变更来显示(步骤S33)。详细而言，位置及朝向判定部272将动作检测部26(例如，GPS传感器、加速度传感器、陀螺仪传感器等)检测到的与VR显示装置(1)在现实空间中的动作有关的信息(位置坐标、加速度的朝向、大小等)换算为与在虚拟空间中的动作有关的信息(同上)，并且本地画面控制部277a以根据换算而得的与在虚拟空间中的动作有关的信息而使得图10所示虚拟空间v1内的对象的帧、朝向、进深感等变化的方式，使显示于显示部24的图像变化。
在接着的步骤S34中，VR显示装置(1)基于步骤S32中的判定结果而生成与VR显示装置(1)的位置及朝向有关的信息(位置关联信息)并将其发送至VR显示装置(2)(步骤S34)。详细而言，位置关联信息生成部275将由位置及朝向判定部272得到的与VR显示装置(1)在虚拟空间中的动作有关的信息作为位置关联信息而向VR显示装置(2)发送。另一方面，在步骤S32中，在判定为位置及朝向中的任意均没有变化的情况下(步骤S32：否)，VR显示装置(1)的动作直接进入步骤S35。
VR显示装置(2)若从VR显示装置(1)接收位置关联信息(步骤S42：是)，则基于接收到的位置关联信息，而对图11所示窗口w2(共享画面)内的图像进行变更来显示(步骤S43)。在变更后的窗口w2中显示的图像基于从服务器10向VR显示装置(2)传送的内容数据、和从VR显示装置(1)发送的位置关联信息而生成。由此，穿戴VR显示装置(1)的用户的移动、视线方向的变化反映在窗口w2中。需要说明的是，在步骤S42中未接收位置关联信息的情况下(步骤S42：否)，VR显示装置(2)的动作直接进入步骤S44。
在步骤S44中，VR显示装置(2)的位置及朝向判定部272对自身的位置或朝向是否存在变化进行判定。即，对穿戴了VR显示装置(2)的用户是否进行了移动、是否使视线方向发生变化进行判定。在位置或朝向存在变化的情况下(步骤S44：是)，VR显示装置(2)根据位置或朝向的变化而以使得图11所示虚拟空间v2发生变化的方式，将显示于显示部24的图像(本地画面)进行变更来显示(步骤S45)。需要说明的是，显示部24的变更显示动作的详情与步骤S33相同。
在接着的步骤S46中，VR显示装置(2)基于步骤S44中的判定结果而将VR显示装置(2)的位置关联信息向VR显示装置(1)发送(步骤S46)。需要说明的是，位置关联信息的发送动作的详情与步骤S34相同。另外，在步骤S44中，当判定为位置及朝向中的任意均没有发生变化的情况下(步骤S44：否)，VR显示装置(2)的动作直接进入步骤S47。
VR显示装置(1)若从VR显示装置(2)接收位置关联信息(步骤S35：是)，则基于接收到的位置关联信息而对图10所示窗口w1(共享画面)内的图像进行变更来显示(步骤S36)。在变更后的窗口w1中显示的图像基于从服务器10向VR显示装置(1)传送的内容数据、和从VR显示装置(2)发送的位置关联信息而生成。由此，穿戴VR显示装置(2)的用户的移动、视线方向的变化反映在窗口w1。需要说明的是，在步骤S35中未接收位置关联信息的情况下(步骤S35：否)，VR显示装置(1)的动作直接进入步骤S38。
当从服务器10的内容数据的传送结束(步骤S37：是，S47：是)时，则VR显示装置(1)、(2)将图像的显示结束(步骤S38，S48)。另一方面，当从服务器10的内容数据的传送未结束的情况下(步骤S37：否，S47：否)，VR显示装置(1)、(2)的动作分别返回至步骤S32，S42。
这里，上述实施方式中，对使2个VR显示装置(1)、(2)协作的情况进行了说明，但在使3个以上的VR显示装置协作的情况下，也同样对对图像进行显示即可。例如图12为对使3个VR显示装置协作的情况下的图像的显示方法进行示例的示意图。这种情况下，在各VR显示装置中再现的虚拟空间v3中，设置显示在自身以外的VR显示装置中再现的虚拟空间的图像的窗口w3、w4即可。
接下来，针对使VR显示装置20与显示装置30协作的情况下的图像的显示处理进行说明。图13为示出VR显示装置20及显示装置30中的图像的显示处理的详情的流程图。这里，图13中，仅示出了1个VR显示装置20的动作，但多个VR显示装置20与显示装置30的情况下，也按照图13所示的流程而使得各VR显示装置20并行对动作。需要说明的是，在多个VR显示装置20间，执行图9所示的动作。
在图像显示之前，显示装置30与图8所示VR显示装置同样地访问服务器10，对内容请求，并且对协作的VR显示装置20的终端信息进行获取。
若VR显示装置20与显示装置30协作，则VR显示装置20向显示装置30发送位置信息及朝向信息(步骤S50)。VR显示装置20所发送的位置信息及朝向信息的详情与步骤S30、S40相同。接着的步骤S51～S54的动作与图9所示的步骤S31～S34相同。
在步骤S60中，显示装置30从VR显示装置20接收位置信息及朝向信息。接下来，若从服务器10的、内容数据的传送开始，则显示装置30基于接收到的内容数据而开始图像显示(步骤S61)。图14为示出在显示装置30中显示的画面的例子的示意图。如图14所示，在显示装置30中显示的画面的一部分中，设置有显示在协作着的1个以上(图14中为4个)的VR显示装置20中再现的虚拟空间的图像的窗口w5～w8。在初始状态下，在这些窗口w5～w8中显示的图像基于从服务器10向显示装置30传送的内容数据、和从协作着的各VR显示装置20发送的位置信息及朝向信息而生成。
显示装置30若从VR显示装置20接收位置关联信息(步骤S62：是)，则基于接收到的位置关联信息而将图14所示的窗口w5～w8(共享画面)内的图像进行变更来显示(步骤S63)。在变更后的窗口w5～w8中显示的图像基于从服务器10向显示装置30传送的内容数据、和从VR显示装置20发送的位置关联信息而生成。由此，穿戴VR显示装置20的用户的移动、视线方向的变化反映在窗口w5～w8中。需要说明的是，在步骤S62中未接收位置关联信息的情况下(步骤S62：否)，显示装置30的动作直接进入步骤S64。
若从服务器10的内容数据的传送结束(步骤S55：是，步骤S64：是)，则VR显示装置20及显示装置30将图像的显示结束(步骤S56，S65)。另一方面，在从服务器10的内容数据的传送未结束的情况下(步骤S55：否，步骤S64：否)，VR显示装置20及显示装置30的动作返回到步骤S52、S62。
如以上说明的那样，根据本实施方式，在协作的多个VR显示装置20之间，在各VR显示装置20中再现的虚拟空间的图像相互显示，因此，穿戴VR显示装置20的各用户能够对在虚拟空间中其他用户现在视线朝向何处、正看着什么进行掌握。因而，用户即使在因头戴式显示器而使得相对于现实空间的视野被遮挡的情况下，也能够对其他用户视线朝向何处、关注着什么进行掌握，能够理解彼此的状况，能够彼此进行交流。
另外，根据本实施方式，使VR显示装置20与显示装置30协作、将在VR显示装置20中再现的虚拟空间的图像显示于显示装置30，因此，显示装置30的观众能够对穿戴VR显示装置20的用户现在视线朝向何处、正关注着什么进行掌握。
由此，能够实现穿戴VR显示装置20的用户彼此进行的一对一的交流、多个用户间的交流。另外，还能够实现穿戴VR显示装置20的1人或多个用户、与观看显示装置30的多位观众之间的交流。由此，易于在欣赏相同VR的内容的用户彼此、与以大画面等欣赏相同内容的观众之间共享现场的气氛，能够提高一体感、能够增加真实的感觉。
另外，根据本实施方式，在VR显示装置20彼此之间、在VR显示装置20与显示装置30之间，仅对位置关联信息进行发送、接收，因此，与对内容数据本身进行发送、接收的情况相比较，能够大幅抑制数据转送量，能够实现共享画面(窗口w1～w8)的实时的显示。
这里，在上述实施方式中，针对在VR显示装置20中、显示用于对三维虚拟空间进行再现的图像进行显示的情况进行了说明，但在VR显示装置20中显示的图像不限于此。例如，也可以将具有360度的视角的图像(动画或静止画面)的一部分显示于显示部24，根据VR显示装置20的动作而对显示于显示部24的图像的帧、角度进行变更。
(变形例1)
在上述实施方式中，构成为：在VR显示装置20及显示装置30的画面内设置窗口w1～w8，在这些窗口w1～w8中显示在协作目标的VR显示装置20中再现的虚拟空间的图像。但是，也可以构成为通过除此以外的其他方法来对在协作目标的VR显示装置20中再现的虚拟空间进行示出。例如，在VR显示装置20a与VR显示装置20b协作的情况下，也可以针对在一个VR显示装置20a中再现的虚拟空间、而基于从其他VR显示装置20b发送的位置关联信息、将在该VR显示装置20b中再现的虚拟空间(换言之，用户的视线所朝向的方向)的图像区域着色为特定的颜色、或者标注特定的图案并进行显示。或者，也可以用框将该图像区域包围，用箭头指示该图像区域等来对表示该图像区域的对象进行显示。由此，VR显示装置20a、20b的用户能够彼此将对方在虚拟空间内关注着什么等信息进行共享。
(变形例2)
在上述实施方式中，构成为：在协作的显示终端彼此(VR显示装置20彼此，或VR显示装置20与显示装置30)之间介由通信网络N而直接进行位置关联信息的发送、接收。但是，也可以构成为将在上述显示终端间的位置关联信息的发送、接收介由服务器10来进行。这种情况下，对于各显示终端而言，在自身的位置、朝向存在变化时，将位置关联信息向服务器10发送，服务器10将接收到的位置关联信息向协作的显示终端之中、位置关联信息的发送源的显示终端以外的显示终端发送。
(变形例3)
在上述实施方式中，构成为：在服务器10中对多个显示终端预先进行分组设定，在从被设定于相同组的多个显示终端请求标识符共通的内容的情况下，使这些显示终端协作。但是，多个显示终端的协作方法不限于此。例如，也可以在服务器10中预先进行设定，以使得将待协作的多个显示终端强制地协作。作为一例，通过对待协作的显示终端的IP范围进行指定，由此，还能够实现：在运动直播会场等中使到场者所使用大量VR显示装置20一下子协作；使供利用基于VR的不动产房产财物的预览服务的家庭成员使用的多个VR显示装置20随时协作。
(变形例4)
在上述实施方式中，构成为：通过VR显示装置20内置的动作检测部26来对VR显示装置20的动作(位置及朝向的变化)进行检测，但也可以使用通过在现实空间中配置的相机而对用户的动作进行检测的动作捕捉系统(例如KINECT(注册商标))。该情况下，将通过动作捕捉系统检测到的用户在现实空间中的实际的动作反映在虚拟空间中的位置信息、动作信息中。
(变形例5)
在上述实施方式中，构成为：通过服务器10、多个VR显示装置20、1个以上的显示装置30来构成图像显示系统1，但也可以仅由服务器10和多个VR显示装置20来构成图像显示系统。或者，也可以通过服务器10和1个VR显示装置20和显示装置30来构成图像显示系统。这种情况下，在VR显示装置20中也可以将位置关联信息获取部276省略。
本发明不限于上述实施方式以及变形例1～5，可以通过将上述实施方式以及变形例1～5中记载的多个构成要素进行适当组合，来形成各种发明。例如，也可以从实施方式以及变形例1～5所示全部构成要素中将若干构成要素除外来形成，也可以将实施方式以及变形例1～5所示的构成要素适当组合来形成。
附图标记说明
1 图像显示系统
2a、2b 用户
10 服务器
11、21、31 通信部
12、22、32 存储部
13、27、36 运算部
20、20a、20b VR显示装置
23、33 输入部
24、34 显示部
24a、24b 区域
25、35 声音输出部
26 动作检测部
30 显示装置
121、221、321 程序存储部
122 内容数据存储部
123 内容数据库(DB)
124 用户信息数据库(DB)
131 终端信息获取部
132 协作设定部
133 数据传送部
271、361 内容数据获取部
272 位置及朝向判定部
273、364 CG构成部
274、363 协作判定部
275 位置关联信息生成部
276、364 位置关联信息获取部
277、365 显示控制部
277a 本地画面控制部
277b、365b 共享画面控制部
365a 主画面控制部

Claims (14)

1.图像显示装置，其为在具备服务器和多个图像显示装置的图像显示系统中使用的图像显示装置，所述服务器介由通信网络而对用于使所述多个图像显示装置显示图像的数据进行传送，
所述服务器储存作为用于对所述多个图像显示装置的各自进行识别的信息的终端信息、和用于使所述多个图像显示装置之中的2个以上的图像显示装置协作的设定信息，并对基于所述设定信息而协作的所述2个以上的图像显示装置同步传送共通的数据，
其中，图像显示装置具备：
数据获取部，其从所述服务器获取同步传送的所述共通的数据；
显示部，其基于所述共通的数据来显示图像；
显示控制部，其对所述显示部中的图像显示进行控制；
位置及朝向判定部，其对该图像显示装置的位置的变化及朝向进行判定；
位置关联信息生成部，其基于由所述位置及朝向判定部得到的判定结果来生成与该图像显示装置的位置及朝向相关的信息并将其发送；和
位置关联信息获取部，其对从基于所述设定信息而协作的所述2个以上的图像显示装置之中除该图像显示装置以外的至少1个图像显示装置发送的、与该至少1个图像显示装置的位置及朝向相关的信息进行获取，
其中，所述显示控制部基于所述数据获取部所获取的所述共通的数据来将图像显示于所述显示部，并且基于由所述位置及朝向判定部得到的判定结果来根据该图像显示装置的位置及朝向而使所述图像变化，进一步地，基于所述位置关联信息获取部所获取的与所述位置及朝向相关的信息来将与在作为该信息的发送源的图像显示装置中显示着的图像相关的信息显示于所述显示部。
2.如权利要求1所述的图像显示装置，其中，所述显示控制部使以根据该图像显示装置的位置及朝向而变化的方式显示的图像内的一部分区域中分别显示在所述至少1个图像显示装置中显示着的图像。
3.如权利要求1所述的图像显示装置，其中，所述显示控制部使以根据该图像显示装置的位置及朝向而变化的方式显示的图像之中的与在所述至少1个图像显示装置中显示着的图像对应的区域附带特定的颜色或图案来进行显示。
4.如权利要求1所述的图像显示装置，其中，所述显示控制部针对以根据该图像显示装置的位置及朝向而变化的方式显示的图像而显示下述对象，所述对象表示与在所述至少1个图像显示装置中显示着的图像对应的区域。
5.如权利要求1～4中任一项所述的图像显示装置，其中，所述数据包含用于在所述图像显示装置中显示二维图像的数据。
6.如权利要求1～4中任一项所述的图像显示装置，其中，所述数据包含用于在所述图像显示装置中对三维虚拟空间进行再现的数据。
7.如权利要求1～4中任一项所述的图像显示装置，其中，所述数据包含用于在所述图像显示装置中显示计算机图形的建模数据。
8.如权利要求1～4中任一项所述的图像显示装置，其还具备用于将该图像显示装置穿戴在用户的头部的固定器。
9.如权利要求1所述的图像显示装置，其中，
所述服务器针对基于所述设定信息而协作的所述2个以上的图像显示装置的各自来发送该2个以上的图像显示装置之中除该图像显示装置以外的图像显示装置的终端信息，
所述位置关联信息生成部在不介由所述服务器的情况下，将所生成的与所述位置及朝向相关的信息向与从所述服务器接收的终端信息对应的图像显示装置发送。
10.图像显示系统，其具备：
多个图像显示装置；和
服务器，其介由通信网络而对用于使所述多个图像显示装置进行图像显示的数据进行传送，
所述服务器具有：
存储用于使所述多个图像显示装置进行图像显示的数据的存储部；
数据库，其储存作为用于对所述多个图像显示装置的各自进行识别的信息的终端信息、和用于使所述多个图像显示装置之中的2个以上的图像显示装置协作的设定信息；和
数据传送部，其向基于所述设定信息而协作的所述2个以上的图像显示装置同步传送所述存储部中存储的数据中的共通的数据，
所述多个图像显示装置的各自具有：
从所述服务器获取同步传送的所述共通的数据的数据获取部；
基于所述共通的数据来显示图像的显示部；
对所述显示部中的图像显示进行控制的显示控制部；
对该图像显示装置的位置的变化及朝向进行判定的位置及朝向判定部；
位置关联信息生成部，其基于由所述位置及朝向判定部得到的判定结果来生成与该图像显示装置的位置及朝向相关的信息并将其发送；和
位置关联信息获取部，其对从基于所述设定信息而协作的所述2个以上的图像显示装置之中除该图像显示装置以外的至少1个图像显示装置发送的、与该至少1个图像显示装置的位置及朝向相关的信息进行获取，
其中，所述显示控制部基于所述数据获取部所获取的所述共通的数据来将图像显示于所述显示部，并且基于由所述位置及朝向判定部得到的判定结果来根据该图像显示装置的位置及朝向而使所述图像变化，进一步地，基于所述位置关联信息获取部所获取的与所述位置及朝向相关的信息来将与在作为该信息的发送源的图像显示装置中显示着的图像相关的信息显示于所述显示部。
11.如权利要求10所述的图像显示系统，其中，
所述服务器还具有协作设定部，所述协作设定部针对基于所述设定信息而协作的所述2个以上的图像显示装置的各自来发送该2个以上的图像显示装置之中除该图像显示装置以外的图像显示装置的终端信息，
所述位置关联信息生成部在不介由所述服务器的情况下，将所生成的与所述位置及朝向相关的信息向与从所述服务器接收的终端信息对应的图像显示装置发送。
12.如权利要求10或11所述的图像显示系统，其还具备介由所述通信网络而与所述多个图像显示装置之中的至少1个及所述服务器相连接的至少1个第2图像显示装置，
所述服务器进一步储存作为用于对所述至少1个第2图像显示装置的各自进行识别的信息的终端信息，
所述设定信息包含用于进一步使所述至少1个第2图像显示装置与进行协作的所述2个以上的图像显示装置协作的信息，
所述至少1个第2图像显示装置的各自具有：
从所述服务器获取所述数据的第2数据获取部；
基于所述数据来显示图像的第2显示部；
对所述第2显示部中的图像显示进行控制的第2显示控制部；和
第2位置关联信息获取部，其对从基于所述设定信息而与该第2图像显示装置协作的至少1个图像显示装置发送的、与该至少1个图像显示装置的位置及朝向相关的信息进行获取，
其中，所述第2显示控制部基于所述第2数据获取部所获取的所述数据来将图像显示于所述第2显示部，并且基于所述第2位置关联信息获取部所获取的与所述位置及朝向相关的信息来将与在作为该信息的发送源的图像显示装置中显示着的图像相关的信息显示于所述第2显示部。
13.图像显示系统，其具备：
至少1个第1图像显示装置；
不同于所述第1图像显示装置的至少1个第2图像显示装置；和
服务器，其介由通信网络而对用于使所述至少1个第1图像显示装置及第2图像显示装置进行图像显示的数据进行传送，
所述服务器具有：
存储用于使所述至少1个第1图像显示装置及第2图像显示装置进行图像显示的数据的存储部；
数据库，其储存终端信息和设定信息，所述终端信息作为用于对所述至少1个第1图像显示装置及第2图像显示装置的各自进行识别的信息，所述设定信息用于使所述至少1个第1图像显示装置及第2图像显示装置之中、包括第1图像显示装置及第2图像显示装置至少各1个的2个以上的图像显示装置协作的设定信息；和
数据传送部，其向基于所述设定信息而协作的所述2个以上的图像显示装置同步传送所述存储部中存储的数据中的共通的数据，
其中，所述至少1个第1图像显示装置具有：
从所述服务器获取同步传送的所述共通的数据的第1数据获取部；
基于所述共通的数据来显示图像的第1显示部；
对所述第1显示部中的图像显示进行控制的第1显示控制部；
对该第1图像显示装置的位置的变化及朝向进行判定的位置及朝向判定部；和
位置关联信息生成部，其基于由所述位置及朝向判定部得到的判定结果来生成与该第1图像显示装置的位置及朝向相关的信息并将其发送，
所述至少1个第2图像显示装置具有：
从所述服务器获取同步传送的所述共通的数据的第2数据获取部；
基于所述共通的数据来显示图像的第2显示部；
对所述第2显示部中的图像显示进行控制的第2显示控制部；和
位置关联信息获取部，其对从基于所述设定信息而协作的所述2个以上的图像显示装置中包含的第1图像显示装置发送的、与该第1图像显示装置的位置及朝向相关的信息进行获取，
其中，所述第1显示控制部基于所述第1数据获取部所获取的所述共通的数据来将图像显示于所述第1显示部，并且基于由所述位置及朝向判定部得到的判定结果来根据该第1图像显示装置的位置及朝向而使所述图像变化，
所述第2显示控制部基于所述第2数据获取部所获取的所述共通的数据来将图像显示于所述第2显示部，并且基于所述位置关联信息获取部所获取的与所述位置及朝向相关的信息来将与在作为该信息的发送源的第1图像显示装置中显示着的图像相关的信息显示于所述第2显示部。
14.如权利要求13所述的图像显示系统，其中，
所述服务器还具有协作设定部，所述协作设定部针对基于所述设定信息而协作的所述2个以上的图像显示装置的各自来发送该2个以上的图像显示装置之中除该图像显示装置以外的图像显示装置的终端信息，
所述位置关联信息生成部在不介由所述服务器的情况下，将所生成的与所述位置及朝向相关的信息向与从所述服务器接收的终端信息对应的图像显示装置发送。
CN201780043448.3A 2016-07-15 2017-07-14 图像显示装置及图像显示系统 Expired - Fee Related CN109478342B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-140751 2016-07-15
JP2016140751 2016-07-15
PCT/JP2017/025785 WO2018012628A1 (ja) 2016-07-15 2017-07-14 画像表示装置及び画像表示システム

Publications (2)

Publication Number Publication Date
CN109478342A CN109478342A (zh) 2019-03-15
CN109478342B true CN109478342B (zh) 2020-03-10

Family

ID=60952388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780043448.3A Expired - Fee Related CN109478342B (zh) 2016-07-15 2017-07-14 图像显示装置及图像显示系统

Country Status (5)

Country Link
US (1) US10493360B2 (zh)
EP (1) EP3496044A4 (zh)
JP (1) JP6400879B2 (zh)
CN (1) CN109478342B (zh)
WO (1) WO2018012628A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
JP7167949B2 (ja) * 2018-02-06 2022-11-09 ソニーグループ株式会社 画像処理装置、画像処理方法、および画像提供システム
JP7057197B2 (ja) * 2018-04-12 2022-04-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7275480B2 (ja) * 2018-05-31 2023-05-18 凸版印刷株式会社 Ｖｒにおける多人数同時操作システム、方法、およびプログラム
EP3857291A4 (en) * 2018-09-25 2021-11-24 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR EXTENDED REALITY

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149581A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 複数のユーザによる仮想空間共有システム
WO2006043473A1 (ja) * 2004-10-21 2006-04-27 Mediaseek Inc. 同期通信方法および同期通信装置
CN104007946A (zh) * 2014-05-12 2014-08-27 可牛网络技术（北京）有限公司 多个用户的显示画面的展示方法和装置
CN104168315A (zh) * 2014-08-08 2014-11-26 三星电子（中国）研发中心 一种全视角平滑的沉浸式显示方法和系统
CN104470599A (zh) * 2012-05-25 2015-03-25 科乐美数码娱乐株式会社 游戏系统、用于该游戏系统的控制方法以及计算机程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6514083B1 (en) * 1998-01-07 2003-02-04 Electric Planet, Inc. Method and apparatus for providing interactive karaoke entertainment
JP2004061783A (ja) 2002-07-29 2004-02-26 Fujitsu Ltd 語学教育装置
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149581A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 複数のユーザによる仮想空間共有システム
WO2006043473A1 (ja) * 2004-10-21 2006-04-27 Mediaseek Inc. 同期通信方法および同期通信装置
CN104470599A (zh) * 2012-05-25 2015-03-25 科乐美数码娱乐株式会社 游戏系统、用于该游戏系统的控制方法以及计算机程序
CN104007946A (zh) * 2014-05-12 2014-08-27 可牛网络技术（北京）有限公司 多个用户的显示画面的展示方法和装置
CN104168315A (zh) * 2014-08-08 2014-11-26 三星电子（中国）研发中心 一种全视角平滑的沉浸式显示方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大規模仮想環境における共同注意を支援する視覚化手法の提案;湯本貢司 等;《電子情報通信学会技術研究報告》;20080925;第108卷(第226期);第80-83页 *

Also Published As

Publication number Publication date
JP6400879B2 (ja) 2018-10-03
CN109478342A (zh) 2019-03-15
WO2018012628A1 (ja) 2018-01-18
US10493360B2 (en) 2019-12-03
EP3496044A1 (en) 2019-06-12
JPWO2018012628A1 (ja) 2018-12-06
US20190143211A1 (en) 2019-05-16
EP3496044A4 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
CN109478342B (zh) 图像显示装置及图像显示系统
US10515485B2 (en) Scanning display system in head-mounted display for virtual reality
CN110300909B (zh) 用于显示交互式增强现实展示的系统、方法和介质
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
WO2020090786A1 (ja) 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム
US20200349751A1 (en) Presentation interface and immersion platform
US20220264068A1 (en) Telepresence system and method
KR20160124479A (ko) 서버, 사용자 단말 장치 및 그 제어 방법
US20230128659A1 (en) Three-Dimensional Modeling Inside a Virtual Video Conferencing Environment with a Navigable Avatar, and Applications Thereof
US10359988B2 (en) Shared experience of virtual environments
JP6739611B1 (ja) 授業システム、視聴端末、情報処理方法及びプログラム
WO2019039378A1 (ja) 情報処理装置および画像表示方法
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
JPWO2018225218A1 (ja) 情報処理装置および画像生成方法
KR20220160699A (ko) 내비게이션 가능한 아바타들이 있는 웹 기반 화상 회의 가상 환경 및 그 응용들
US11295511B1 (en) Multi-user data presentation in AR/VR
CN109996060B (zh) 一种虚拟现实影院系统及信息处理方法
JP2020102782A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
US20200288202A1 (en) Video display system, information processing apparatus, and video display method
KR20200069004A (ko) 다시점 360도 vr 컨텐츠 제공 시스템
KR20200012265A (ko) Vr 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법
JP7465737B2 (ja) 授業システム、視聴端末、情報処理方法及びプログラム
WO2023233849A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN116069974A (zh) 一种虚拟现实设备及视频播放方法
JP2004303253A (ja) 情報提示方法及び情報提示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200310

Termination date: 20200714

CF01 Termination of patent right due to non-payment of annual fee