CN115428032A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN115428032A
CN115428032A CN202180029667.2A CN202180029667A CN115428032A CN 115428032 A CN115428032 A CN 115428032A CN 202180029667 A CN202180029667 A CN 202180029667A CN 115428032 A CN115428032 A CN 115428032A
Authority
CN
China
Prior art keywords
viewing
experiencer
viewers
viewer
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180029667.2A
Other languages
English (en)
Inventor
清水孝悌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115428032A publication Critical patent/CN115428032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技术涉及使得可以获得虚拟世界中的优点而不损坏真实感的信息处理装置、信息处理方法和程序。在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置所述至少一个观看者作为体验者观看内容的观看位置,并且设置内容的分发位置,使得体验者的观看位置与分发位置之间的相对位置关系是针对体验者确定的位置关系。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及信息处理装置、信息处理方法和程序,具体涉及能够在不损坏真实感的情况下获得虚拟世界的优点的信息处理装置、信息处理方法和程序。
背景技术
专利文献1公开了将当前正在执行的各种活动的影像分发到多个用户穿戴的头戴式显示器的技术。
[引用列表]
[专利文献]
[专利文献1]
JP 2019-139673A
发明内容
[技术问题]
在使用虚拟世界进行真实世界中的诸如音乐会和演奏会的活动的情况下,可能存在这样的情况:如果试图忠实地再现真实世界,则可能无法充分获得虚拟世界的优点。
本技术是鉴于这样的情况而作出的,本技术的目的是能够在不损坏真实感的情况下获得虚拟世界的优点。
[问题的解决方案]
根据本技术的信息处理装置或程序是如下的信息处理装置或程序:该信息处理装置包括处理单元,其在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置至少一个观看者作为体验者观看内容的观看位置,并且设置分发位置,使得观看位置与分发位置之间的相对位置关系是针对体验者确定的位置关系;该程序使计算机用作这样的信息处理装置。
根据本技术的信息处理方法是如下的信息处理方法,该信息处理方法包括:由包括处理单元的信息处理装置的处理单元在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置至少一个观看者作为体验者观看内容的观看位置,并且设置分发位置,使得观看位置与分发位置之间的相对位置关系是针对体验者确定的位置关系。
根据本技术,在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置至少一个观看者作为体验者观看内容的观看位置,并且设置分发位置,使得观看位置与分发位置之间的相对位置关系是针对体验者确定的位置关系。
附图说明
[图1]
图1是作为示例示出应用本技术的娱乐系统的总体配置的概况的框图。
[图2]
图2是作为示例示出与图1中的服务器系统和客户端系统的场地布局的设置有关的功能配置的框图。
[图3]
图3是作为示例示出分发者(实景化身)和观看者(化身)被布置在构成活动场地的虚拟空间中的状态的图。
[图4]
图4是用于说明场地布局的第一设置形式的示例1的图。
[图5]
图5是用于说明场地布局的第一设置形式的示例2的图。
[图6]
图6是用于说明场地布局的第二设置形式的示例1的图。
[图7]
图7是用于说明场地布局的第二设置形式的示例2的图。
[图8]
图8是用于说明场地布局的第二设置形式的示例3的图。
[图9]
图9是用于说明场地布局的第二设置形式的示例4的图。
[图10]
图10是用于说明场地布局的第二设置形式的示例5的图。
[图11]
图11是用于说明场地布局的第三设置形式的示例1的图。
[图12]
图12是用于说明场地布局的第三设置形式的示例2的图。
[图13]
图13是用于说明场地布局的第四设置形式的示例1的图。
[图14]
图14是用于说明在图15至图25中描述的第五至第九设置形式中使用的场地布局的配置的图。
[图15]
图15是用于说明场地布局的第五设置形式的示例1的图。
[图16]
图16是用于说明场地布局的第五设置形式的示例2的图。
[图17]
图17是用于说明场地布局的第六设置形式的示例1的图。
[图18]
图18是用于说明场地布局的第六设置形式的示例2的图。
[图19]
图19是用于说明场地布局的第六设置形式的示例3的图。
[图20]
图20是用于说明场地布局的第六设置形式的示例4的图。
[图21]
图21是用于说明场地布局的第七设置形式的示例1的图。
[图22]
图22是用于说明场地布局的第八设置形式的示例1的图。
[图23]
图23是用于说明场地布局的第八设置形式的示例2的图。
[图24]
图24是用于说明场地布局的第九设置形式的示例1的图。
[图25]
图25是用于说明场地布局的第九设置形式的示例2的图。
[图26]
图26是作为示例示出与图1中的服务器系统的内容分发有关的功能配置的框图。
[图27]
图27是用于说明多视点摄像装置和传感器的图。
[图28]
图28是示出在工作室中对分发者进行成像的状态的图。
[图29]
图29是作为示例示出与图1中的客户端系统的内容接收等有关的功能配置的框图。
[图30]
图30是用于说明由3D对象控制单元执行的对象控制的第一形式的图。
[图31]
图31是用于说明由3D对象控制单元执行的对象控制的第一形式的图。
[图32]
图32是示出由3D对象控制单元执行的对象控制的第一形式的处理过程的流程图。
[图33]
图33是用于说明由3D对象控制单元执行的对象控制的第二形式的图。
[图34]
图34是用于说明由3D对象控制单元执行的对象控制的第二形式的图。
[图35]
图35是用于说明由3D对象控制单元执行的对象控制的第二形式的图。
[图36]
图36是用于说明图33至图35中的化身布局的修改例的图。
[图37]
图37是示出由3D对象控制单元执行的对象控制的第二形式的处理过程的流程图。
[图38]
图38是示出通过程序执行一系列处理的计算机的硬件的配置示例的框图。
具体实施方式
在下文中,将参照附图描述本技术的实施方式。
<<应用本技术的娱乐系统11>>
<总体配置的概述>
图1是作为示例示出应用本技术的娱乐系统11的总体配置的概况的框图。
图1中的娱乐系统11是使用虚拟现实(VR)技术举办诸如音乐会和演奏会的活动(现场表演活动等)的系统。娱乐系统11包括服务器系统21、多个客户端系统22和网络23。
服务器系统21生成包括分发者分发给参加预定活动的多个观看者的内容(自己的影像和音频)的分发数据,并且将分发数据提供给客户端系统22,该客户端系统22经由网络23通信连接到服务器系统21。注意,在本说明书中,术语“观看”可以用于仅指示看或听的情况。
客户端系统22是参加由服务器系统21举办的活动的每个观看者使用的系统。虽然多个观看者可以使用一个客户端系统22,但是在本实施方式中假设一个观看者使用一个客户端系统22。因此,客户端系统22的数目对应于观看者的数目。注意,客户端系统22的数目不限于特定数目。
每个客户端系统22基于从客户端系统22提供的分发数据来生成其中舞台、分发者的实景影像(例如,使用实景影像的实景化身)以及诸如作为观看者的副本的化身的各种对象(3D对象)被布置在构成活动场地的虚拟空间中的影像和音频,并且将影像和音频呈现给观看者。
此外,客户端系统22将与使用客户端系统22本身的观看者的位置、姿势、动作和化身有关的数据提供给其他客户端系统22。另外,客户端系统22经由网络23获取关于正在使用其他客户端系统22的其他观看者的位置、姿势、动作和化身的数据。注意,可以经由服务器系统21或者经由另一服务器在客户端系统22之间交换各种数据。
客户端系统22基于与从其他客户端系统22获取的其他观看者的位置、姿势、动作、化身有关的数据,控制要布置在虚拟空间中的其他观看者的化身的位置、姿势和动作等。
此外,在观看者之间进行语音聊天或文本聊天的情况下,客户端系统22将使用客户端系统22本身的观看者的音频或者由观看者输入的文本经由网络23提供给进行语音聊天或文本聊天的对方的客户端系统22。此外,客户端系统22经由网络23获取对方的客户端系统22的观看者的音频或者从对方的客户端系统22的观看者输入的文本,并且将音频或文本呈现给客户端系统22本身的观看者。
网络23是连接服务器系统21和信息处理装置61,使得服务器系统21和信息处理装置61可以彼此通信的通信网络。例如,网络23可以包括诸如广域网(WAN)(包括因特网)、局域网(LAN)、公共线路网络或者移动通信网络的任意通信网络。
(服务器系统21)
在图1中,服务器系统21包括例如分发服务器41和多视点摄像装置42。
分发服务器41控制经由网络23与客户端系统22的通信。例如,分发服务器41与已适当申请参加活动的客户端系统22建立通信连接,并且将分发数据提供给客户端系统22。
此外,分发服务器41生成要分发给客户端系统22的分发者的实景影像和音频作为用于传输的数据(影像流数据和音频流数据),并且将该数据提供给客户端系统22。
例如,分发服务器41通过多视点摄像装置42获取通过从多个视点对以绿色屏幕为背景的分发者进行成像而获得的影像。作为多视点摄像装置42,多个摄像装置布置在分发者的周围,并且由摄像装置从不同位置对分发者进行成像。
分发服务器41通过从由多视点摄像装置42获取的多视点影像中去除除分发者以外的不必要对象的影像来生成多视点影像。然后,分发服务器41将通过对多视点影像进行编码而获得的数据作为包括在分发数据中的影像流数据提供给客户端系统22。
此外,分发服务器41获取已经由布置在分发者周围的多个麦克风或者环绕声麦克风(未示出)立体地收集的分发者的音频。分发服务器41将通过对获取的音频进行编码而获得的数据作为包括在分发数据中的音频流数据提供给客户端系统22。
此外,分发服务器41将表示布置在构成活动场地的虚拟空间中的各种对象的形状、纹理、位置等的对象数据作为包括在分发数据中的元数据提供给客户端系统22。元数据包括场地布局数据,该场地布局数据指示使用实景影像作为分发者的副本的实景化身被布置在虚拟空间中的位置以及作为参加活动观看者的副本的化身(任意创建的角色的化身)被布置的位置。分发者的实景化身被布置在虚拟空间中的位置是分发者分发内容的分发位置,并且观看者的化身被布置的位置是观看者观看由分发者分发的内容的观看位置。
(客户端系统22)
客户端系统22包括例如信息处理装置61、头戴式显示器62(在下文中称为HMD 62)和手控制器63。
HMD 62和手控制器63经由连接外围装置的通信接口连接到信息处理装置61。
信息处理装置61是例如控制HMD 62的显示和音频的固定型游戏装置。然而,信息处理装置61可以是个人计算机、平板终端、智能手机、便携式游戏装置等。此外,信息处理装置61可以并入HMD 62中。
信息处理装置61经由网络23控制服务器系统21中的分发服务器41与另一客户端系统22的信息处理装置61之间的通信。
例如,信息处理装置61基于由手控制器63检测到的用户操作,登录到服务器系统21的分发服务器41并且申请参加由服务器系统21举办的活动。一旦参加活动被接受,关于活动的分发数据就从分发服务器41提供给信息处理装置61。
手控制器63包括例如操作按钮和运动传感器。运动传感器检测手控制器63在三个正交轴方向上的平行移动和绕三个正交轴的旋转移动,并且检测手控制器63的六自由度(6DoF)的位置、姿势和动作。手控制器63将操作按钮的操作或者手控制器63的位置、姿势和动作检测为用户操作,并且将用户操作提供给信息处理装置61。
此外,信息处理装置61生成使HMD 62显示的影像以及使可以附接到HMD 62并且可以与HMD 62分离的耳机输出的音频,并且将该影像和音频提供给HMD 62。
信息处理装置61基于来自分发服务器41的分发数据等,创建构成活动场地的虚拟空间中的各种对象的3D模型,并且生成其中从预定位置处的视点以预定视线方向对虚拟空间(中的各种对象)进行成像(渲染)的影像。以预定周期重复执行各种对象的创建和渲染。
渲染时的视点是使用连接到信息处理装置61的HMD 62的观看者观看分发者的内容的观看位置。渲染时的视线方向是HMD 62的视线方向。信息处理装置61将通过渲染生成的影像提供给HMD 62并且使HMD 62显示该影像。注意,通过渲染生成的影像包括例如具有视差的用于右眼的影像和用于左眼的影像,并且是3D影像。然而,影像可以是2D影像,并且显示影像的显示装置可以不是HMD 62。
此外,信息处理装置61基于作为来自分发服务器41的分发数据中包括的分发者的音频的音频流数据,在虚拟空间中在使用HMD 62的观看者的观看位置处观看从分发者的内容的分发位置分发的音频的情况下生成立体声音频,并且将立体声音频提供给HMD 62。
HMD 62包括附接到用户(观看者)的头部并且显示影像的显示单元、可以附接/可以拆卸并且输出音频的耳机等。HMD 62不限于特定形状。
此外,HMD 62包括运动传感器。运动传感器检测HMD 62在三个正交轴方向上的平行移动和围绕三个正交轴方向的旋转移动,并且检测HMD 62的6DoF的位置、姿势和动作。
信息处理装置61基于由HMD 62的运动传感器检测到的HMD 62的位置、姿势和动作,在将与HMD 62在实际空间中的正面方向对应的虚拟空间中的方向定义为渲染时的视线方向的情况下渲染虚拟空间。此外,信息处理装置61通过虚拟空间的渲染来生成可以显示在HMD 62的显示单元上的视野范围(在下文中称为HMD 62的视野范围)内的影像。
<对象的布局>
此处,作为布置在虚拟空间中的各种对象,存在活动场地中的在状态上没有变化的固定对象,例如舞台,座位等以及分发者的实景化身(例如,立体影像)、观看者的化身等的在状态(位置、姿势和动作)上有变化的移动对象。
对于固定对象,信息处理装置61从包括在来自分发服务器41的分发数据中的元数据中获取指示形状、纹理、位置等的对象数据,在虚拟空间中创建固定对象的3D模型,并且在渲染时将纹理映射到3D模型上。
对于作为移动对象的每个观看者的化身,信息处理装置61从包括在来自分发服务器41的分发数据中的元数据(场地布局的数据)中获取每个观看者的观看位置,并且从另一客户端系统22的信息处理装置61获取形状、纹理、位置、姿势和动作。每个客户端系统22的信息处理装置61将化身数据——指示使用信息处理装置61本身的观看者的化身的基本形状和纹理——以及6DoF数据——指示观看者的位置、姿势和动作(头部和手部的位置、姿势和动作)——作为元数据提供给另一客户端系统22的信息处理装置61。指示观看者的头部和手部的位置、姿势和动作的6DoF数据由HMD 62和手控制器63中的每一个的运动传感器检测。
信息处理装置61从来自每个观看者使用的客户端系统22的信息处理装置61的元数据(化身数据和6DoF数据)获取每个观看者的化身的形状、纹理、位置、姿势和动作。
信息处理装置61基于从来自分发服务器41的元数据获取的每个观看者的化身的位置(观看位置)以及从来自每个客户端系统22的信息处理装置61的元数据(化身数据和6DoF数据)获取的每个观看者的化身的形状、纹理、位置、姿势和动作,在虚拟空间中创建每个观看者的化身的3D模型,并且在渲染时将纹理映射到3D模型上。以这种方式,生成与每个观看者的实景动作对应地运动的每个观看者的化身的影像。
对于作为移动对象的分发者的实景化身,信息处理装置61从包括在来自分发服务器41的分发数据中的元数据(场地布局的数据)中获取位置(分发位置)。此外,信息处理装置61从包括在来自分发服务器41的分发数据中的影像流数据中获取分发者的多视点影像,并且根据多视点影像生成分发者的3D形状数据和纹理。然后,信息处理装置61根据实景化身的位置和3D形状数据在虚拟空间中创建分发者的3D模型,并且在渲染时将根据实景影像生成的纹理映射到分发者的3D模型上。以这种方式,生成在分发者的分发位置处的包括作为分发者的副本的分发者的实景影像的影像。
注意,信息处理装置61不限于生成分发者的实景化身的方法,并且例如,可以根据从分发服务器41获取的多视点影像创建从渲染时的视点位置观看分发位置时的分发者的实景影像,并且将实景影像布置在分发位置处。将分发者的实景影像作为分发者的副本布置在分发位置的方法不限于特定方法。此外,分发者的副本可以是不使用实景影像的化身。
另外,在本实施方式中,假设布置了实景化身的分发者的分发位置和布置了每个观看者的化身的每个观看者的观看位置被固定到预定位置。然而,在观看者的头部的平行移动等于或大于特定量的情况下,例如,可以确定观看者已整体移动,并且观看者的化身的观看位置可能被移动。
此外,在使用信息处理装置61本身所属的客户端系统22的观看者在参加活动期间与使用另一客户端系统22的观看者进行语音聊天或文本聊天的情况下,信息处理装置61基于在参加活动时在手控制器63等上执行的用户操作,将作为聊天(对话)的对方的观看者或组指定给分发服务器41。
分发服务器41基于来自信息处理装置61的聊天的对方的指定,使一起进行聊天的观看者使用的客户端系统22的信息处理装置61设置聊天模式,并且使信息处理装置61在其间建立通信连接。
处于聊天模式的每个信息处理装置61通过设置在与信息处理装置61本身连接的HMD 62等中的麦克风获取观看者的音频,或者通过在与信息处理装置61本身连接的手控制器63等上执行的用户操作获取文本输入。然后,处于聊天模式的信息处理装置61对获取的音频或文本进行编码,并且将其作为音频流数据或者文本数据提供给作为聊天的对方的信息处理装置61。
处于聊天模式的信息处理装置61解码从作为聊天的对方的信息处理装置61提供的音频流数据或者文本数据,使HMD 62的耳机输出经解码的音频,并且使HMD 62的显示单元显示经解码的文本。为了指示此时从虚拟空间中的观看者中的哪个观看者发送了音频或文本,信息处理装置61可以使言语气球图像显示在作为聊天的发送源的观看者的化身的位置处,并且在文本聊天的情况下,可以使通过聊天发送的文本显示在言语气球图像中。
<场地布局的设置>
接下来,将描述场地布局的设置,场地布局表示在构成活动场地的虚拟空间中每个观看者的观看位置(观看内容的观看位置)和分发者的分发位置(内容的分发位置)。
图2是作为示例示出与图1中的服务器系统21和客户端系统22的场地布局的设置有关的功能配置的框图。注意,在附图中,相同的附图标记被应用于与图1中的娱乐系统11中的部件对应的部件,并且将省略其描述。此外,在图2中示出了图1中的多个客户端系统22中的任意一个客户端系统22的信息处理装置61。
此外,可以存在这样的情况:针对每个观看者设置场地布局并且场地布局针对每个观看者不同。在下面的描述中,针对其应用了设置的场地布局的观看者将被称为体验者。因此,由场地布局针对体验者自己设置的他们的观看位置是体验者通过HMD 62实际经历体验的观看位置。另一方面,由场地布局针对除预定观看者以外的观看者(体验者)设置的预定观看者的观看位置可以与观看者实际经历体验的观看位置不同。另外,将在假设针对使用图2所示的信息处理装置61的观看者设置场地布局的情况的情况下提供图2的描述,因此使用图2中的信息处理装置61的观看者是体验者。
在图2中,服务器系统21的分发服务器41包括通信单元81、场地信息发送单元82、用户信息获取单元83、场地布局设置单元84、布局信息发送单元85和用户状态存储单元86。
通信单元81控制经由网络23与信息处理装置61的通信。
场地信息发送单元82经由通信单元81向信息处理装置61发送关于要举办的活动的活动场地的信息(活动场地信息)。
图3是作为示例示出分发者(实景化身)和观看者(化身)被布置在构成活动场地的虚拟空间中的状态的图。
在图3的虚拟空间中,分发者T1的实景化身被布置成正面朝向纸面方向的正面,并且多个观看者U的化身被布置成正面朝向分发者T1的方向。
由场地信息发送单元82向信息处理装置61发送的活动场地信息是表示在如图3所示的构成活动场地的虚拟空间中可以被设置(可以被选择)为分发者T1的分发位置和观看者U的观看位置的位置的信息。
在图2中,用户信息获取单元83从信息处理装置61获取关于用户(观看者)的用户信息。用户信息包括最佳观看位置信息、伙伴组信息和用户状态信息。
最佳观看位置信息表示体验者的观看位置与分发者T1的分发位置之间的相对位置关系,并且是由体验者指定(确定)为用于观看内容的最优观看位置(最佳观看位置)的位置关系。例如,可以设置的观看位置中距离分发者的分发位置为最短距离的观看位置通常是分发者的正面,这被认为是最优观看位置。在体验者指定这样的观看位置的情况下,指定体验者的观看位置与分发者T1的分发位置之间的相对位置关系具有最短距离的位置关系(观看位置)。
此外,关于体验者的观看位置与分发者T1的分发位置之间的相对位置关系,体验者能够指定任意位置关系,例如具有以预定角度与分发者T1的分发位置倾斜地隔开预定距离的观看位置的位置关系(的观看位置)。另外,可以预先准备体验者可以指定的多个类型的位置关系,并且体验者能够从准备好的位置关系中选择针对体验者的最优位置关系。此外,可以存在这样的情况:体验者从可以设置(可以选择)的观看位置中直接指定任何观看位置。这种情况也对应于体验者指定体验者的观看位置与分发者T1的分发位置之间的相对位置关系的情况。
此外,体验者的观看位置与分发者T1的分发位置之间的相对位置关系可以被自动设置为在它们之间可以获得最短距离的位置关系或者预先确定为最优观看位置——在该最优观看位置处,例如可以获得针对分发位置的最优观看环境——的位置关系。
注意,在下面的描述中,指定体验者的观看位置与分发者T1的分发位置之间的相对位置关系使得体验者的观看位置是最优观看位置也将被简称为指定体验者(观看者)的最优观看位置。
伙伴组信息是与体验者所属的伙伴组(的成员)有关的信息。例如,在参加活动期间聊天的观看者或组被自动设置为伙伴组。然而,伙伴组能够与聊天组分开指定。此外,可以将已为其指定伙伴组的观看者的信息处理装置61自动设置为可以进行聊天的聊天模式。
用户状态信息是关于体验者的位置、姿势和动作(头部和手部的位置、姿势和动作)的信息。尽管在本实施方式中假设观看者的观看位置是固定的,但是在观看位置随着观看者的移动而改变的情况下,关于体验者的位置的信息被包括在用户状态信息中。
用户信息获取单元83将从信息处理装置61获取的用户信息提供给场地布局设置单元84,并且将用户状态信息提供给用户状态存储单元86。
场地布局设置单元84基于来自信息处理装置61的用户信息,针对体验者设置场地布局。场地布局的设置存在一些形式,稍后将描述其细节。场地布局设置单元84将关于设置的场地布局的信息(布局信息)提供给布局信息发送单元85。
布局信息发送单元85将来自场地布局设置单元84的关于场地布局的信息提供给通信单元81,并且经由通信单元81将该信息作为关于上述场地布局的数据发送给信息处理装置61。
用户状态存储单元86存储来自用户信息获取单元83的用户状态信息中的最新信息。参考存储在用户状态存储单元86中的用户状态信息,例如,以使得即使在切换每个场景——场景包括在分发者T1开始分发内容之前(现场表演前)的待机场景、分发内容时(现场表演中)的内容分发场景以及分发内容结束之后(现场表演后)的停留场景——时暂时断开通信的情况下,也在场景切换之前和之后保持虚拟空间中的每个观看者U的化身的状态(位置、姿势、动作和观看位置)。
在图2中,客户端系统22包括通信单元101、场地信息获取单元102、最佳观看位置指定单元103、伙伴组指定单元104、用户状态获取单元105、用户信息发送单元106和布局信息获取单元107。
通信单元101控制信息处理装置61中经由网络23与分发服务器41的通信。
场地信息获取单元102经由信息处理装置61中的通信单元101获取从分发服务器41的场地信息发送单元82发送的活动场地信息。活动场地信息是表示在如图3所示的构成活动场地的虚拟空间中可以被设置(可以被选择)为分发者T1的分发位置和观看者U的观看位置的位置的信息。
由场地信息获取单元102获取的活动场地信息例如显示在HMD 62的显示单元上,并且在体验者指定观看位置(体验者的观看位置与分发者T1的分发位置之间的相对位置关系)的情况下被参考。
例如,最佳观看位置指定单元103由信息处理装置61和手控制器63构成。最佳观看位置指定单元103允许体验者使用手控制器63等进行指定。由于如上针对分发服务器41中的用户信息获取单元83描述了体验者的最优观看位置的指定,所以这里将省略其描述。
由最佳观看位置指定单元103指定的体验者的观看位置与分发者T1的分发位置之间的相对位置关系作为最佳观看位置信息被提供给用户信息发送单元106。
例如,伙伴组指定单元104由信息处理装置61和手控制器63构成。伙伴组指定单元104使用手控制器63指定体验者希望作为成员参加的伙伴组。创建伙伴组的方法不限于特定方法。例如,关于由任意观看者创建的伙伴组的信息可以从分发服务器41提供给每个客户端系统22,并且能够使用伙伴组指定单元104来指定观看者作为成员参加的伙伴组。替选地,例如,可以在伙伴组中自动设置在参加活动期间进行聊天的观看者或组。关于由伙伴组指定单元104指定的伙伴组的信息作为伙伴组信息被提供给用户信息发送单元106。
用户状态获取单元105例如由信息处理装置61和HMD 62构成。用户状态获取单元105使用HMD 62的运动传感器获取体验者的位置、姿势、动作等(头部和手部的位置、姿势和动作)。关于由用户状态获取单元105获取的体验者的位置、姿势、动作等的信息被提供给用户信息发送单元106。
用户信息发送单元106将分别从最佳观看位置指定单元103、伙伴组指定单元104和用户状态获取单元105提供的最佳观看位置信息、伙伴组信息和用户状态信息作为用户信息提供给通信单元101,并且经由通信单元101将最佳观看位置信息、伙伴组信息和用户状态信息提供给分发服务器41。
布局信息获取单元107经由通信单元101获取从分发服务器41的布局信息发送单元85发送的关于场地布局的数据。关于场地布局的数据表示由分发服务器41的场地布局设置单元84设置的针对体验者的场地布局,并且表示虚拟空间中的分发者T1的分发位置、体验者的观看位置、以及除体验者以外的观看者的观看位置。
信息处理装置61根据由布局信息获取单元107获取的与场地布局有关的数据,在构成活动场地的虚拟空间中,将实景化身(3D模型)布置在分发者T1的分发位置处,并且将每个观看者的化身(3D模型)布置在每个观看者的观看位置处。注意,在体验者的观看位置处,可以不布置体验者的化身或者可以仅布置头部下方的身体部位的化身。
此外,信息处理装置61将渲染虚拟空间时的视点设置为体验者的视点位置。
注意,针对参加活动并且同时观看内容的每个观看者执行由分发服务器41的处理单元(通信单元81、场地信息发送单元82、用户信息获取单元83、场地布局设置单元84、布局信息发送单元85和用户状态存储单元86)执行的场地布局的设置,并且在假设每个观看者是体验者的情况下针对每个观看者设置场地布局。然后,关于每个观看者的场地布局的数据被提供给由每个观看者使用的客户端系统22的信息处理装置61。然而,对于每个观看者的场地布局的设置可以不由分发服务器41执行,并且由每个观看者使用的客户端系统22的信息处理装置61可以设置与每个观看者对应的场地布局。此外,场地布局的设置可以由除分发服务器41以外的服务器来执行。
<场地布局的设置(场地布局设置单元84的处理)>
接下来,将描述由图2中的场地布局设置单元84实现的场地布局的设置形式。作为场地布局的设置形式,将例示第一至第九设置形式。第一至第九设置形式都是下述形式:体验者的观看位置和分发位置被设置成使得体验者的观看位置与分发者的分发位置之间的相对位置关系是通过针对体验者的最优观看位置的指定等确定的位置关系。另外,第一至第四设置形式是在体验者的观看位置和分发者的分发位置中优先设置分发者的分发位置的形式,而第五至第八设置形式是优先设置体验者的观看位置的形式。第九设置形式是与第一至第八设置形式中的任何一种都不同的形式。
<场地布局第一设置形式>
(示例1)
图4是用于说明场地布局的第一设置形式的示例1的图。注意,图4表示构成活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。
场地布局的第一设置形式是分发者的分发位置被固定在预定位置的示例情况。
图4示出了针对预定观看者U1设置场地布局的情况以及观看者U1是体验者V的情况。
此外,假设观看者U1已经使用观看者U1自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将观看者的观看位置与分发者的分发位置之间的距离为最短距离的观看位置指定为最优观看位置。在以下没有关于指定最优观看位置的描述的情况下,假设观看者的观看位置与分发者的分发位置之间的距离为最短距离的观看位置(或者分发位置)已被指定为最优观看位置。另外,不仅可以在假设观看者的观看位置与分发者的分发位置之间的距离是最短距离的情况下,而且可以在假设该位置位于布置在分发位置处的分发者的实景化身正面的情况下设置最优观看位置。
在图4的虚拟空间中,观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、……表示可以被设置为观看者的观看位置的位置(在下文中,所有观看可能位置将被表示为DP)。
在场地布局的第一设置形式中,分发者T1的分发位置P(T1)被设置在预定位置P0处。
此外,作为体验者V的观看者U1的观看位置P(U1)被设置在距分发者T1的分发位置P(T1)最短距离处的正面的观看可能位置DP(m,n)处。换言之,在观看者U1的观看位置P(U1)变为观看可能位置DP中的每个位置的情况下,观看者U1的观看位置P(U1)被设置在观看可能位置DP(m,n)处,观看可能位置DP(m,n)是当从分发位置P(T1)朝向观看者U1的观看位置P(U1)的矢量BP(U1,T1)是具有最小尺寸的矢量BP0时的观看位置P(U1)。
(第一设置形式的示例1中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者U1的最佳观看位置信息。观看者U1的最佳观看位置信息是关于由观看者U1使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。此外,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者U1的观看位置P(U1),使得满足由观看者U1的最佳观看位置信息指定的条件。
因此,场地布局设置单元84将分发者T1的分发位置P(T1)设置在例如与舞台中心对应的位置P0处。注意,分发者T1的分发位置P(T1)可以是在向观看者提供内容的一侧指定的位置,或者可以是由体验者V指定的位置。在体验者V指定分发位置P(T1)的情况下,分发位置P(T1)可以针对每个体验者(每个观看者)而不同。此外,在存在多个分发者的情况下,体验者V能够选择体验者V希望在最优观看位置处观看分发者中的哪一个。在这种情况下,由体验者V选择的分发者和分发者的分发位置被定义为图4中的分发者T1和分发位置P(T1)。这同样适用于在下面描述的第一至第三设置形式中的分发者T1的分发位置P(T1)。
此外,场地布局设置单元84将作为体验者V的观看者U1的观看位置P(U1)设置在观看可能位置DP中的距分发者T1的分发位置P(T1)最短距离处的作为最优观看位置的观看可能位置DP(m,n)处。
注意,在场地布局的第一设置形式中,除体验者V以外的观看者的观看位置是通过任意方法设置的。
这里,从分发者T1的分发位置P(T1)朝向观看者U1的观看位置P(U1)的矢量BP(U1,T1)表示观看位置P(U1)与分发位置P(T1)之间的相对位置关系。
在第一设置形式中,假设了最佳观看位置指定单元103(参见图2)将观看者(体验者)的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置的情况(指定最优观看位置与分发位置之间的距离最短的相对位置关系(的条件)的情况)。本发明不限于这种情况,并且场地布局设置单元84在由最佳观看位置指定单元103指定的任意条件(位置关系)下执行以下处理。在观看者U1的观看位置P(U1)在可以设置的位置(观看可能位置DP)的范围内变化的情况下,场地布局设置单元84将当从分发者T1的分发位置P(T1)朝向观看者U1的观看位置P(U1)的矢量BP(U1,T1)与由最佳观看位置指定单元103(最佳观看位置信息)指定的位置关系最佳匹配时的观看位置P(U1)检测为最优观看位置。然后,场地布局设置单元84将观看者U1的观看位置P(U1)设置在检测到的最优观看位置处。
在图4中,在将观看者U1的观看位置P(U1)变为观看可能位置DP中的每个位置的情况下,观看者U1的观看位置P(U1)被设置在观看可能位置DP(m,n)处,观看可能位置DP(m,n)是当从分发位置P(T1)朝向观看位置P(U1)的矢量是具有最小尺寸的矢量BP0时的观看位置P(U1)。
此外,虽然最优观看位置是指获得最优观看环境的观看位置,但最优观看环境还取决于观看者的偏好,因此取而代之的是,可以说最优观看位置是通过由观看者(体验者)、系统等的指定而确定的观看位置。
具体地,作为指定最优观看位置的方法,存在从观看可能位置中直接指定最优观看位置的第一指定方法。作为另一种方法,存在指定最优观看位置与分发者T1的分发位置P(T1)之间的相对位置关系(本身)的第二指定方法。
另一方面,作为不同于真实世界的虚拟世界的优点,还可以针对每个观看者改变分发者T1的分发位置P(T1)。换言之,可以通过改变分发者T1的分发位置P(T1)将固定观看位置定义为最优观看位置,并且可以通过改变观看位置和分发者T1的分发位置P(T1)二者来将观看位置定义为最优观看位置。
作为在分发者T1的分发位置P(T1)不固定的情况下指定最优观看位置的方法,除第二指定方法以外,还存在相对于固定观看位置直接指定分发者T1的分发位置P(T1)的第三指定方法。
在本说明书中,在提及指定最优观看位置(或者观看位置)的情况下,在提及指定最优观看位置(或者观看位置)与分发者T1的分发位置P(T1)之间的相对位置关系的情况下,在提及指定分发者T1的分发位置P(T1)的情况下,或者在描述与其对应的指示的情况下,无论是直接指定还是间接指定,都可以采用第一至第三指定方法中的任意方法作为具体指定方法。另外,这不仅同样适用于指定最优观看位置(观看位置)、相对位置关系和分发位置P(T1),而且同样适用于其确定、设置等。
(示例2)
图5是用于说明场地布局的第一设置形式的示例2的图。注意,图5表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。
图5示出了已经针对不同于图4中的观看者U1的观看者U2设置了场地布局的情况,并且示出了将观看者U2定义为体验者V的情况。
在场地布局的第一设置形式中,在图5的虚拟空间中,分发者T1的分发位置P(T1)与图4的情况类似地设置在预定位置P0处。
此外,以与当图4中的观看者U1是体验者V时观看者U1的观看位置P(U1)相同的方式,作为体验者V的观看者U2的观看位置P(U2)被设置在距分发者T1的分发位置P(T1)最短距离处的正面的观看可能位置DP(m,n)处。
换言之,在观看者U2的观看位置P(U2)变为观看可能位置DP中的每个位置的情况下,观看者U2的观看位置P(U2)被设置在观看可能位置DP(m,n)处,观看可能位置DP(m,n)是当从分发者T1的分发位置P(T1)朝向观看者U2的观看位置P(U2)的矢量BP(U2,T1)是具有最小尺寸的矢量BP0时的观看位置P(U2)。
(第一设置形式的示例2中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者U2的最佳观看位置信息。观看者U2的最佳观看位置信息是关于由观看者U2使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者U2的观看位置P(U2),使得满足由观看者U2的最佳观看位置信息指定的条件。
注意,由场地布局设置单元84执行的设置分发者T1的分发位置P(T1)和作为体验者V的观看者U2的观看位置P(U2)的处理与图4的情况相同,因此将省略其描述。
根据前述的场地布局的第一设置形式,即使在多个观看者在同一空间中同时观看由分发者T1分发的内容的情况下,每个观看者也可以在每个最优观看位置处观看由分发者T1分发的内容。
<场地布局第二设置形式>
(示例1)
图6是用于说明场地布局的第二设置形式的示例1的图。注意,图6表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图6中的虚拟空间中的分发者T1的分发位置P(T1)和观看可能位置DP与图4中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
场地布局的第二设置形式是分发者的分发位置固定在预定位置的示例情况。
图6示出了已经针对伙伴组G1中的预定观看者G1-U1设置了场地布局的情况,并且示出了将观看者G1-U1定义为体验者V的情况。
此外,假设属于伙伴组G1的观看者G1-U1已经由观看者G1-U1自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。另外,假设观看者G1-U1至G1-U6属于伙伴组G1。
在场地布局的第二设置形式中,在图6的虚拟空间中,分发者T1的分发位置P(T1)与图4的情况类似地设置在预定位置P0处。
另外,作为体验者V的观看者G1-U1的观看位置P(G1-U1)被设置在距分发者T1的分发位置P(T1)最短距离处的正面的观看可能位置DP(m,n)处。
换言之,在观看者G1-U1的观看位置P(G1-U1)变为观看可能位置DP中的每个位置的情况下,观看者G1-U1的观看位置P(G1-U1)被设置在观看可能位置DP(m,n)处,观看可能位置DP(m,n)是当从分发者T1的分发位置P(T1)朝向观看者G1-U1的观看位置P(G1-U1)的矢量BP(G1-U1,T1)是具有最小尺寸的矢量BP0时的观看位置P(G1-U1)。
另外,作为观看者G1-U1所属的伙伴组G1的成员的观看者G1-U2至G1-U6的观看位置被设置在观看者G1-U1的观看位置P(G1-U1)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4)。
(第二设置形式的示例1中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者G1-U1的最佳观看位置信息。观看者G1-U1的最佳观看位置信息是关于由观看者G1-U1使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者G1-U1的观看位置P(G1-U1),使得满足由观看者G1-U1的最佳观看位置信息指定的条件。
因此,场地布局设置单元84将分发者T1的分发位置P(T1)设置在例如与舞台中心对应的位置P0处。
此外,场地布局设置单元84将作为体验者V的观看者G1-U1的观看位置P(G1-U1)设置在观看可能位置DP中的距分发者T1的分发位置P(T1)最短距离处的作为最优观看位置的观看可能位置DP(m,n)处。
换言之,在观看者G1-U1的观看位置P(G1-U1)变为观看可能位置DP中的每个位置的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看位置P(G1-U1)的矢量BP(G1-U1,T1)与由最佳观看位置指定单元103(最佳观看位置信息)指定的位置关系最佳匹配时的观看位置P(G1-U1)检测为最优观看位置。然后,场地布局设置单元84将观看者G1-U1的观看位置P(G1-U1)设置在检测到的最优观看位置处。
此外,场地布局设置单元84从用户信息获取单元83(参见图2)获取作为体验者V的观看者G1-U1的伙伴组信息。观看者G1-U1的伙伴组信息是关于由观看者G1-U1使用的客户端系统22的伙伴组指定单元104(参照图2)指定的伙伴组的信息。场地布局设置单元84基于获取的观看者G1-U1的伙伴组信息,检测作为体验者V的观看者G1-U1所属的伙伴组及其成员。然后,场地布局设置单元84设置检测到的伙伴组中的除体验者V以外的成员的观看位置。
此时,将检测到的伙伴组中的每个成员的观看位置设置为与这些观看位置中的任一个相邻。此外,可以设置每个成员的观看位置,使得在伙伴组的每个成员的观看位置中分开最大的观看位置之间的距离最短。
注意,为了满足上述条件,预先确定伙伴组中的成员之间的观看位置的布局(位置关系)。例如,作为用于确定伙伴组中的成员之间的观看位置的布局的方法,布局可以由伙伴组中的成员确定,可以随机确定,或者可以确定为使得按照登录发服务器41的顺序(按照申请参加活动的顺序)从与分发者T1的分发位置最接近的位置开始布置观看位置。
在图6的示例中,作为体验者V的观看者G1-U1所属的伙伴组是伙伴组G1,并且伙伴组G1的成员是观看者G1-U1至G1-U6。
在这种情况下,场地布局设置单元84根据伙伴组G1的成员之间的观看位置的布局来设置观看者G1-U1至G1-U6的观看位置,观看者G1-U1至G1-U6是作为体验者V的观看者G1-U1所属的伙伴组G1的成员。然而,作为体验者V的观看者G1-U1的观看位置P(G1-U1)被设置在如上所述定义为最优观看位置的观看可能位置DP(m,n)处。
根据图6中的示例,伙伴组G1的成员之间的观看位置的布局已经确定为分开的两排,即前排和后排。作为体验者V的观看者G1-U1被布置在前排的中央,观看者G1-U2被布置在前排的右侧,并且观看者G1-U3被布置在前排的左侧。另外,观看者G1-U4被布置在后排的中央,观看者G1-U5被布置在后排的右侧,并且观看者G1-U6被布置在后排的左侧。
场地布局设置单元84以这种方式根据伙伴组G1的成员之间的观看位置的布局设置伙伴组G1中的除观看者G1-U1以外的成员的观看位置,使得作为体验者V的观看者G1-U1的观看位置P(G1-U1)是作为最优观看位置的观看可能位置DP(m,n)。
以这种方式,属于伙伴组G1的观看者G1-U1至G1-U6的观看位置被分别设置为观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4),如图6所示。
注意,除伙伴组G1的成员以外的观看者的观看位置是通过任意方法设置的。
(示例2)
图7是用于说明场地布局的第二设置形式的示例2的图。注意,图7表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图7中的虚拟空间中的分发者T1的分发位置P(T1)和观看可能位置DP与图4中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图7示出了已经针对与图6中的观看者G1-U1不同并且属于与图6相同的伙伴组G1的观看者G1-U2设置了场地布局的情况以及观看者G1-U2被定义为体验者V的情况。
此外,假设属于伙伴组G1的观看者G1-U2已经由观看者G1-U1自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。此外,与图6中的情况类似,假设观看者G1-U1至G1-U6属于伙伴组G1。
此外,假设观看者G1-U2已经通过观看者G1-U2自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将当观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第二设置形式中,在图7中的虚拟空间中,与图6的情况类似,分发者T1的分发位置P(T1)被设置在预定位置P0处。
另外,作为体验者V的观看者G1-U2的观看位置P(G1-U2)被设置在距分发者T1的分发位置P(T1)最短距离处的正面的观看可能位置DP(m,n)处。
换言之,在观看者G1-U2的观看位置P(G1-U2)变为观看可能位置DP中的每个位置的情况下,观看者G1-U2的观看位置P(G1-U2)被设置在观看可能位置DP(m,n)处,观看可能位置DP(m,n)是当从分发者T1的分发位置P(T1)朝向观看者G1-U2的观看位置P(G1-U2)的矢量BP(G1-U2,T1)是具有最小尺寸的矢量BP0时的观看位置P(G1-U2)。
另外,作为观看者G1-U2所属的伙伴组G1的成员的观看者G1-U1以及G1-U3至G1-U6的观看位置被设置在观看者G1-U2的观看位置P(G1-U2)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n-1)、DP(m,n)、DP(m,n-2)、DP(m+1,n-1)、DP(m+1,n)和DP(m+1,n-2)(参见图4)。
(第二设置形式的示例2中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者G1-U2的最佳观看位置信息。观看者G1-U2的最佳观看位置信息是关于由观看者G1-U2使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者G1-U2的观看位置P(G1-U2),使得满足由观看者G1-U2的最佳观看位置信息指定的条件。
因此,场地布局设置单元84类似于图6将分发者T1的分发位置P(T1)设置在位置P0处。
此外,场地布局设置单元84将作为体验者V的观看者G1-U2的观看位置P(G1-U2)设置在观看可能位置DP中的距分发者T1的分发位置P(T1)最短距离处的作为最优观看位置的观看可能位置DP(m,n)处。
换言之,在观看者G1-U2的观看位置P(G1-U2)变为观看可能位置DP中的每个位置的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看位置P(G1-U2)的矢量BP(G1-U2,T1)与由最佳观看位置指定单元103(最佳观看位置信息)指定的位置关系最佳匹配时的观看位置P(G1-U2)检测为最优观看位置。然后,场地布局设置单元84将观看者G1-U2的观看位置P(G1-U2)设置在检测到的最优观看位置处。
此外,场地布局设置单元84从用户信息获取单元83(参见图2)获取作为体验者V的观看者G1-U2的伙伴组信息。观看者G1-U2的伙伴组信息是关于由观看者G1-U2使用的客户端系统22的伙伴组指定单元104(参见图2)指定的伙伴组的信息。场地布局设置单元84基于获得的观看者G1-U2的伙伴组信息,检测作为体验者V的观看者G1-U2所属的伙伴组及其成员。然后,场地布局设置单元84设置检测到的伙伴组中的除体验者V以外的成员的观看位置。
在图7的示例中,作为体验者V的观看者G1-U2所属的伙伴组是伙伴组G1,并且伙伴组G1的成员是观看者G1-U1至G1-U6。
在这种情况下,场地布局设置单元84根据预先确定的伙伴组G1的成员之间的观看位置的布局,设置观看者G1-U1至G1-U6的观看位置,观看者G1-U1至G1-U6是作为体验者V的观看者G1-U2所属的伙伴组G1的成员。然而,作为体验者V的观看者G1-U2的观看位置P(G1-U2)被设置在如上所述定义为最优观看位置的观看可能位置DP(m,n)处。
如图6所示预先确定伙伴组G1的成员之间的观看位置的布局。
场地布局设置单元84根据如上所述预先确定的伙伴组G1的成员之间的观看位置的布局进行设置,使得作为体验者V的观看者G1-U2的观看位置P(G1-U2)是作为最优观看位置的观看可能位置DP(m,n)。以这种方式,属于伙伴组G1的观看者G1-U1至G1-U6的观看位置分别被设置为观看可能位置DP(m,n-1)、DP(m,n)、DP(m,n-2)、DP(m+1,n-1)、DP(m+1,n)和DP(m+1,n-2)(参见图4),如图7所示。
注意,除伙伴组G1的成员以外的观看者的观看位置是通过任意方法设置的。
图7中的观看者G1-U1至G1-U6的观看位置的布局是通过相对于图6中的观看者G1-U1至G1-U6的布局整体向左侧移动与一排对应的量来实现的。据此,无论体验者V对应于伙伴组G1的成员中的哪个,伙伴组G1的成员中的观看者G1-U1至G1-U6的观看位置的布局(相对位置关系)都被设置为相同。
(示例3)
图8是用于说明场地布局的第二设置形式的示例3的图。注意,图8表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图8中的虚拟空间中的分发者T1的分发位置P(T1)和观看可能位置DP与图4中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
在图8中,由观看者G1-U2使用观看者G1-U2自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)指定的最优观看位置与图7的情况不同,并且其他条件与图7的情况相同。
假设作为体验者V的观看者G1-U2使用观看者G1-U2自己使用的客户端系统22的最佳观看位置指定单元103已经指定观看可能位置DP(m+1,n+2),在观看可能位置DP(m+1,n+2)处,观看者的观看位置位于倾斜于分发者的分发位置的方向上。然而,最优观看位置的指定不限于直接指定观看可能位置DP(m+1,n+2)的情况。
在场地布局的第二设置形式中,在图8的虚拟空间中,与图6的情况类似,分发者T1的分发位置P(T1)被设置在预定位置P0处。
此外,作为体验者V的观看者G1-U2的观看位置P(G1-U2)被设置在倾斜于分发者T1的分发位置P(T1)的方向上的观看可能位置DP(m+1,n+2)处。
换言之,在观看者G1-U2的观看位置P(G1-U2)变为观看可能位置DP中的每个位置的情况下,观看者G1-U2的观看位置P(G1-U2)被设置在观看可能位置DP(m+1,n+2)处,观看可能位置DP(m+1,n+2)是当从分发者T1的分发位置P(T1)朝向观看者G1-U2的观看位置P(G1-U2)的矢量BP(G1-U2,T1)与由作为体验者V的观看者G1-U2指定的最优观看位置的条件最佳匹配时的观看位置P(G1-U2)。
另外,作为观看者G1-U2所属的伙伴组G1的成员的观看者G1-U1以及G1-U3至G1-U6的观看位置被设置在观看者G1-U2的观看位置P(G1-U2)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m+1,n+1)、DP(m+1,n+2)、DP(m,n)、DP(m+2,n+1)、DP(m+2,n+2)和DP(m+2,n)(参见图4)。
(第二设置形式的示例3中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者G1-U2的最佳观看位置信息。观看者G1-U2的最佳观看位置信息是关于由观看者G1-U2使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者G1-U2的观看位置P(G1-U2),使得满足由观看者G1-U2的最佳观看位置信息指定的条件。
因此,场地布局设置单元84类似于图6将分发者T1的分发位置P(T1)设置在位置P0处。
此外,在观看者G1-U2的观看位置P(G1-U2)变为观看可能位置DP中的每个位置的情况下,场地布局设置单元84将当获得矢量BP(G1-U2,T1)中的与由最佳观看位置指定单元103(最佳观看位置信息)指定的位置关系最佳匹配的矢量时的观看位置P(G1-U2)检测为最优观看位置。然后,场地布局设置单元84将观看者G1-U2的观看位置P(G1-U2)设置在检测到的最优观看位置处。在图8的示例中,观看可能位置DP(m+1,n+2)被检测为最优观看位置。
此外,场地布局设置单元84从用户信息获取单元83(参见图2)获取作为体验者V的观看者G1-U2的伙伴组信息。观看者G1-U2的伙伴组信息是关于由观看者G1-U2使用的客户端系统22的伙伴组指定单元104(参见图2)指定的伙伴组的信息。场地布局设置单元84使用获取的观看者G1-U2的伙伴组信息,检测作为体验者V的观看者G1-U2所属的伙伴组G1和作为其成员的观看者G1-U1至G1-U6。
场地布局设置单元84根据伙伴组G1的成员之间的观看位置的布局,设置观看者G1-U1以及G1-U3至G1-U6的观看位置,观看者G1-U1以及G1-U3至G1-U6是伙伴组G1中的除观看者G1-U2以外的检测到的成员。如图6所示预先确定伙伴组G1的成员之间的观看位置的布局。
以这种方式,属于伙伴组G1的观看者G1-U1至G1-U6的观看位置分别被设置为观看可能位置DP(m+1,n+1)、DP(m+1,n+2)、DP(m+1,n)、DP(m+2,n+1)、DP(m+2,n+2)和DP(m+2,n)(参见图4),如图8所示。
注意,除伙伴组G1的成员以外的观看者的观看位置是通过任意方法设置的。
图8中的观看者G1-U1至G1-U6的观看位置的布局是通过相对于图6中的观看者G1-U1至G1-U6的观看位置的布局整体向右侧移动与两排对应的量以及向后侧移动与一排对应的量来实现的。据此,无论体验者V对应于伙伴组G1的成员中的哪个以及由体验者V指定的最优观看位置是哪个位置,伙伴组G1的成员中的观看者G1-U1至G1-U6的观看位置的布局(相对位置关系)都被设置为相同。
(示例4)
图9是用于说明场地布局的第二设置形式的示例4的图。注意,图9表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图9中的虚拟空间中的分发者T1的分发位置P(T1)和观看可能位置DP与图4中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图9示出了针对与图6中的观看者G1-U1不同并且属于与图6中的伙伴组不同的伙伴组G2的观看者G2-U1设置场地布局的情况,并且示出了将观看者G2-U1定义为体验者V的情况。
此外,假设属于伙伴组G2的观看者G2-U1已经由观看者G2-U1自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。另外,假设观看者G2-U1至G2-U6属于伙伴组G2。
在场地布局的第二设置形式中,在图9的虚拟空间中,与图6的情况类似,分发者T1的分发位置P(T1)被设置在预定位置P0处。
另外,作为体验者V的观看者G2-U1的观看位置P(G2-U1)被设置在距分发者T1的分发位置P(T1)最短距离处的正面的观看可能位置DP(m,n)处。
换言之,在观看者G2-U1的观看位置P(G2-U1)变为观看可能位置DP中的每个位置的情况下,观看者G2-U1的观看位置P(G2-U1)被设置在观看可能位置DP(m,n)处,观看可能位置DP(m,n)是当从分发者T1的分发位置P(T1)朝向观看者G2-U1的观看位置P(G2-U1)的矢量BP(G2-U1,T1)是具有最小尺寸的矢量BP0时的观看位置P(G2-U1)。
另外,作为观看者G2-U1所属的伙伴组G2的成员的观看者G2-U2至G2-U6的观看位置被设置在观看者G2-U1的观看位置P(G2-U1)附近。观看者G2-U1至G2-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4)。
(第二设置形式的示例4中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者G2-U1的最佳观看位置信息。观看者G2-U1的最佳观看位置信息是关于由观看者G2-U1使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者G2-U1的观看位置P(G2-U1),使得满足由观看者G2-U1的最佳观看位置信息指定的条件。
因此,类似于图6,场地布局设置单元84将分发者T1的分发位置P(T1)设置在位置P0处。
此外,场地布局设置单元84将作为体验者V的观看者G2-U1的观看位置P(G2-U1)设置在观看可能位置DP中的距分发者T1的分发位置P(T1)最短距离处的作为最优观看位置的观看可能位置DP(m,n)处。
换言之,在观看者G2-U1的观看位置P(G2-U1)变为观看可能位置DP中的每个位置的情况下,场地布局设置单元84将当获得矢量BP(G2-U1,T1)中的与由最佳观看位置指定单元103(最佳观看位置信息)指定的位置关系最佳匹配的矢量时的观看位置P(G2-U1)检测为最优观看位置。然后,场地布局设置单元84将观看者G2-U1的观看位置P(G2-U1)设置在检测到的最优观看位置处。
此外,场地布局设置单元84从用户信息获取单元83(参见图2)获取作为体验者V的观看者G2-U1的伙伴组信息。观看者G2-U1的伙伴组信息是关于由观看者G2-U1使用的客户端系统22的伙伴组指定单元104(参照图2)指定的伙伴组的信息。场地布局设置单元84基于获取的观看者G2-U1的伙伴组信息,检测作为体验者V的观看者G2-U1所属的伙伴组G2和作为其成员的观看者G2-U1至G2-U6。
场地布局设置单元84根据预先确定的伙伴组G2的成员之间的观看位置的布局,设置观看者G2-U2至G2-U6的观看位置,观看者G2-U2至G2-U6是检测到的伙伴组G2中的除观看者G2-U1以外的成员。
根据图9中的示例,伙伴组G2的成员之间的观看位置的布局已经确定为分开的两排,即前排和后排。作为体验者V的观看者G2-U1被布置在前排的中央,观看者G2-U2被布置在前排的右侧,并且观看者G2-U3被布置在前排的左侧。另外,观看者G2-U4被布置在后排的中央,观看者G2-U5被布置在后排的右侧,并且观看者G2-U6被布置在后排的左侧。
场地布局设置单元84以这种方式根据伙伴组G2的成员之间的观看位置的布局进行设置,使得作为体验者V的观看者G2-U1的观看位置P(G2-U1)是作为最优观看位置的观看可能位置DP(m,n)。
以这种方式,属于伙伴组G2的观看者G2-U1至G2-U6的观看位置分别被设置为观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4),如图9所示。
注意,除伙伴组G2的成员以外的观看者的观看位置是通过任意方法设置的。
对比图9和图6,体验者V的周围部分中的观看者用体验者V所属的整个伙伴组切换。
(示例5)
图10是用于说明场地布局的第二设置形式的示例5的图。注意,图10表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图10中的虚拟空间中的分发者T1的分发位置P(T1)和观看可能位置DP与图4中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图10示出了针对与图9中的观看者G2-U1不同并且属于与图9中的伙伴组相同的伙伴组G2的观看者G2-U2设置场地布局的情况,并且示出了观看者G2-U2被定义为体验者V的情况。
此外,假设属于伙伴组G2的观看者G2-U2已经由观看者G2-U2自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。此外,与图9的情况类似,假设观看者G2-U1至G2-U6属于伙伴组G2。
此外,假设观看者G2-U2已经通过观看者G2-U2自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将当观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第二设置形式中,在图10的虚拟空间中,与图6的情况类似,分发者T1的分发位置P(T1)被设置在预定位置P0处。
此外,作为体验者V的观看者G2-U2的观看位置P(G2-U2)被设置在距分发者T1的分发位置P(T1)最短距离处的正面的观看可能位置DP(m,n)处。
换言之,在观看者G2-U2的观看位置P(G2-U2)变为观看可能位置DP中的每个位置的情况下,观看者G2-U2的观看位置P(G2-U2)被设置在观看可能位置DP(m,n)处,观看可能位置DP(m,n)是当从分发者T1的分发位置P(T1)朝向观看者G2-U2的观看位置P(G2-U2)的矢量BP(G2-U2,T1)是具有最小尺寸的矢量BP0时的观看位置P(G2-U2)。
另外,作为观看者G2-U2所属的伙伴组G2的成员的观看者G2-U1以及G2-U3至G2-U6的观看位置被设置在观看者G2-U2的观看位置P(G2-U2)附近。观看者G2-U1至G2-U6的观看位置分别是观看可能位置DP(m,n-1)、DP(m,n)、DP(m,n-2)、DP(m+1,n-1)、DP(m+1,n)和DP(m+1,n-2)(参见图4)。
(第二设置形式的示例5中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者G2-U2的最佳观看位置信息。观看者G2-U2的最佳观看位置信息是关于由观看者G2-U2使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者G2-U2的观看位置P(G2-U2),使得满足由观看者G2-U2的最佳观看位置信息指定的条件。
因此,类似于图6,场地布局设置单元84将分发者T1的分发位置P(T1)设置在位置P0处。
此外,场地布局设置单元84将作为体验者V的观看者G2-U2的观看位置P(G2-U2)设置在观看可能位置DP中的距分发者T1的分发位置P(T1)最短距离处的作为最优观看位置的观看可能位置DP(m,n)处。
换言之,在观看者G2-U2的观看位置P(G2-U2)变为观看可能位置DP中的每个位置的情况下,场地布局设置单元84将当获得矢量BP(G2-U2,T1)中的与由最佳观看位置指定单元103(最佳观看位置信息)指定的位置关系最佳匹配的矢量时的观看位置P(G2-U2)检测为最优观看位置。然后,场地布局设置单元84将观看者G2-U2的观看位置P(G2-U2)设置在检测到的最优观看位置处。
此外,场地布局设置单元84从用户信息获取单元83(参见图2)获取作为体验者V的观看者G2-U2的伙伴组信息。观看者G2-U2的伙伴组信息是关于由观看者G2-U2使用的客户端系统22的伙伴组指定单元104(参照图2)指定的伙伴组的信息。场地布局设置单元84使用获取的观看者G2-U2的伙伴组信息,检测作为体验者V的观看者G2-U2所属的伙伴组G2和作为其成员的观看者G2-U1至G2-U6。
场地布局设置单元84根据伙伴组G2的成员之间的观看位置的布局,设置观看者G2-U1以及G2-U3至G2-U6的观看位置,观看者G2-U1以及G2-U3至G2-U6是伙伴组G2中的除观看者G2-U2以外的检测到的成员。伙伴组G2的成员之间的观看位置的布局是如图9所示预先确定的。
以这种方式,属于伙伴组G2的观看者G2-U1至G2-U6的观看位置分别被设置为观看可能位置DP(m,n-1)、DP(m,n)、DP(m,n-2)、DP(m+1,n-1)、DP(m+1,n)和DP(m+1,n-2)(参见图4),如图10所示。
注意,除伙伴组G2的成员以外的观看者的观看位置是通过任意方法设置的。
图10中的观看者G2-U1至G2-U6的观看位置的布局是通过相对于图9中的观看者G2-U1至G2-U6的观看位置的布局整体向左侧移动与一排对应的量来实现的。据此,无论体验者V对应于伙伴组G2的哪个成员,伙伴组G2的成员中的观看者G2-U1至G2-U6的观看位置的布局(相对位置关系)都被设置为相同。
根据如上所述的场地布局的第二设置形式,即使在多个观看者在同一空间中同时观看由分发者分发的内容的情况下,每个观看者也可以在每个最优观看位置处观看由分发者分发的内容。
此外,在设置诸如伙伴组的组的情况下,作为伙伴的观看者被布置在体验者附近。因此,体验者在参加活动期间可以容易地了解伙伴的状态,并且有实际会面的感觉。此外,在可以在伙伴组中进行语音聊天或文本聊天的情况下,或者在将一起聊天的观看者或组定义为伙伴组的情况下,即使在参加活动期间,也可以容易地进行聊天。
另外,无论体验者是属于伙伴组的观看者中的哪一个,伙伴组的成员之间(成员之间)的观看位置的布局都是相同的。因此,不会发生例如属于同一伙伴组的两个观看者识别出对方在自己右侧的情况。例如,不会发生当他们想面对面聊天等时他们面对彼此相反的侧的情况。
<场地布局第三设置形式>
(示例1)
图11是用于说明场地布局的第三设置形式的示例1的图。注意,图11表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图11中的虚拟空间中的分发者T1的分发位置P(T1)和观看可能位置DP与图4中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
场地布局的第三设置形式是分发者的分发位置固定在预定位置的示例情况。
图11示出了设置针对属于伙伴组G1的观看者G1-U1至G1-U6中的任意观看者的场地布局的情况,并且示出了针对观看者G1-U1至G1-U6中的所有观看者的场地布局都相同的情况。
此外,假设在伙伴组G1中确定了代表,并且该代表已经使用该代表自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将伙伴组G1的位置与分发者的分发位置之间的距离是最短距离的观看位置指定为最优观看位置。注意,稍后将描述伙伴组G1的位置与分发者的分发位置之间的相对位置关系的指定。
在场地布局的第三设置形式中,在图11的虚拟空间中,与图4的情况类似,分发者T1的分发位置P(T1)被设置在预定位置P0处。
另外,伙伴组G1的位置(稍后将描述)被设置在距分发者T1的分发位置P(T1)最短距离处的正面位置处。
换言之,在伙伴组G1的位置在可以设置的位置范围内改变的情况下,当从分发者T1的分发位置P(T1)朝向伙伴组G1的位置的矢量BP(G1,T1)是具有最小尺寸的矢量时的伙伴组G1的位置被检测为最优观看位置。然后,伙伴组G1的位置被设置在检测到的最优观看位置处。
在图11的示例中,观看者G1-U1的观看位置P(G1-U1)被设置为伙伴组G1的位置,并且观看者G1-U1的观看位置P(G1-U1)被设置在观看可能位置DP(m,n)处。
另外,作为观看者G1-U1所属的伙伴组G1的成员的观看者G1-U2至G1-U6的观看位置被设置在观看者G1-U1的观看位置P(G1-U1)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4)。
(第三设置形式的示例1中的处理)
当设置针对属于伙伴组G1的任意观看者(体验者V)的场地布局时,图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取体验者V的伙伴组信息。体验者V的伙伴组信息是关于由体验者V使用的客户端系统22的伙伴组指定单元104(参见图2)指定的伙伴组的信息。场地布局设置单元84基于获取的体验者V的伙伴组信息,检测体验者V所属的伙伴组G1以及作为其成员的观看者G1-U1至G1-U6。
此外,场地布局设置单元84从用户信息获取单元83获取体验者V所属的伙伴组G1的最佳观看位置信息。伙伴组G1的最佳观看位置信息是关于伙伴组G1的最优观看位置的信息,是由伙伴组G1的代表使用的客户端系统22的最佳观看位置指定单元103指定的,并且由用户信息获取单元83获取。假设预先确定了伙伴组G1的代表。
这里,(整个)伙伴组的位置是指伙伴组的成员在虚拟空间中整体布置的观看位置。具体地,例如,与第二设置形式类似,根据预先确定的伙伴组G1的成员之间的观看位置的布局,将伙伴组G1的成员布置在观看可能位置DP处。此时,通过参照参考观看者的观看位置,确定要将属于伙伴组G1的预定观看者的观看位置设置在观看可能位置DP中的哪个位置,来确定伙伴组G1的所有成员的观看位置。假设参考观看者的观看位置表示伙伴组G1的位置。
例如,假设伙伴组的位置是布置在伙伴组的成员之间的观看位置的布局中的最前侧的中央的观看者的观看位置。
注意,伙伴组的参考位置可以不是预定观看者的观看位置,并且可以是例如包括伙伴组的成员的观看位置的区域的中心位置等。
在图11的示例中,与图6的情况类似地预先确定伙伴组G1的成员中的作为伙伴组G1的成员的观看者G1-U1至G1-U6的观看位置中的每一个的布局。然后,将布置在伙伴组G1的成员之间的观看位置的布局中的最前侧的中央处的观看者G1-U1的观看位置P(G1-U1)设置在伙伴组G1的位置处。
此外,假设伙伴组G1的代表已经通过该代表自己使用的客户端系统22的最佳观看位置指定单元103预先针对伙伴组G1的位置指定了最优观看位置。
在图11的示例中,假设伙伴组G1的代表已经指定了作为伙伴组G1的位置的观看者G1-U1的观看位置P(G1-U1)的最优观看位置。在下文中,假设伙伴组G1的代表已经将当观看者G1-U1的观看位置P(G1-U1)与分发者T1的分发位置P(T1)之间的距离为最短距离时的观看位置指定为作为伙伴组G1的位置的观看者G1-U1的观看位置P(G1-U1)的最优观看位置。
例如,类似于图4的情况,场地布局设置单元84将分发者T1的分发位置P(T1)设置在与舞台中心对应的位置P0处。
此外,场地布局设置单元84将观看可能位置DP中的距分发者T1的分发位置P(T1)的距离是最短距离的观看可能位置DP(m,n)处的作为伙伴组G1的位置的观看者G1-U1的观看位置P(G1-U1)设置为最优观看位置。
换言之,在作为伙伴组G1的位置的观看者G1-U1的观看位置P(G1-U1)变为观看可能位置DP中的每个位置的情况下,场地布局设置单元84将从分发位置P(T1)朝向伙伴组G1的矢量BP(G1,T1)与由最佳观看位置指定单元103(最佳观看位置信息)指定的位置关系最佳匹配的观看位置P(G1-U1)(=P(G1-U1,T1)检测为最优观看位置。另外,场地布局设置单元84将观看者G1-U1的观看位置P(G1-U1)设置在检测到的最优观看位置处。
此外,场地布局设置单元84还根据伙伴组G1的成员之间的观看位置的布局,设置伙伴组G1中的除观看者G1-U1以外的成员的观看位置,使得作为伙伴组G1的位置的观看者G1-U1的观看位置P(G1-U1)是观看可能位置DP(m,n)。
以这种方式,属于伙伴组G1的观看者G1-U1至G1-U6的观看位置分别被设置为观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4),如图11所示。
注意,除伙伴组G1的成员以外的观看者的观看位置是通过任意方法设置的。
根据场地布局的第三设置形式,如果体验者V是伙伴组G1的成员中的任一成员,则设置图11中的场地布局。因此,场地布局对于作为伙伴组G1的成员的所有观看者G1-U1至G1-U6是相同的。换言之,在场地布局的第三设置形式中,场地布局是以伙伴组为单位来设置的。
(示例2)
图12是用于说明场地布局的第三设置形式的示例2的图。注意,图12表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图12中的虚拟空间中的分发者T1的分发位置P(T1)和观看可能位置DP与图4中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图12示出了设置针对属于与图11中的伙伴组G1不同的伙伴组G2的观看者G2-U1至G2-U6中的任意观看者的场地布局的情况,并且示出了针对观看者G2-U1至G2-U6中的所有观看者的场地布局都相同的情况。
另外,假设在伙伴组G2中确定了代表,并且该代表已经使用该代表自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将伙伴组G2的位置与分发者的分发位置之间的距离是最短距离的观看位置指定为最优观看位置。
在场地布局的第三设置形式中,在图12的虚拟空间中,与图11的情况类似,分发者T1的分发位置P(T1)被设置在预定位置P0处。
此外,伙伴组G2的位置被设置在距分发者T1的分发位置P(T1)最短距离处的正面位置处。
换言之,在伙伴组G2的位置在可以设置的位置范围内改变的情况下,当从分发者T1的分发位置P(T1)朝向伙伴组G2的位置的矢量BP(G2,T1)是具有最小尺寸的矢量时的伙伴组G2的位置被检测为最优观看位置。然后,将伙伴组G2的位置设置在检测到的最优观看位置处。
在图12的示例中,观看者G2-U1的观看位置P(G2-U1)被设置为伙伴组G2的位置,并且观看者G2-U1的观看位置P(G2-U1)被设置在观看可能位置DP(m,n)处。
另外,作为观看者G2-U1所属的伙伴组G2的成员的观看者G2-U2至G2-U6的观看位置被设置在观看者G2-U1的观看位置P(G2-U1)附近。观看者G2-U1至G2-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4)。
注意,除伙伴组G2的成员以外的观看者的观看位置是通过任意方法设置的。
由于用于设置图12中的场地布局的处理与图11的情况相同,因此将省略其描述。
根据如上所述的场地布局的第三设置形式,即使在多个观看者在同一空间中同时观看由分发者分发的内容的情况下,每个观看者也可以在以伙伴组为单位最优的观看位置处观看由分发者分发的内容。
此外,在设置诸如伙伴组的组的情况下,作为伙伴的观看者被布置在体验者附近。因此,体验者在参加活动期间可以容易地了解伙伴的状态,并且有实际会面的感觉。此外,在可以在伙伴组中进行语音聊天或文本聊天的情况下,或者在将一起聊天的观看者或组定义为伙伴组的情况下,即使在参加活动期间,也可以容易地进行聊天。
另外,无论体验者是属于伙伴组的观看者中的哪一个,伙伴组的成员之间(成员之间)的观看位置的布局都是相同的。因此,不会发生例如属于同一伙伴组的两个观看者识别出对方在自己右侧的情况。例如,不会发生当他们想面对面聊天等时他们面对彼此相反的侧的情况。
<场地布局的第四设置形式>
(示例1)
图13是用于说明场地布局的第四设置形式的示例1的图。注意,图13表示构成与图4相同的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图13中的虚拟空间中的分发者T1的分发位置P(T1)和观看可能位置DP与图4中的情况相同,并且用附图标记示出了观看可能位置DP中的一些。
场地布局的第四设置形式是图11和图12中的第三设置形式的修改例,并且是改变分发者的分发位置的示例情况。
图13示出了针对属于伙伴组G2的观看者G2-U2设置场地布局的情况,并且示出了将观看者G2-U2定义为体验者V的情况。
此外,假设属于伙伴组G2的观看者G2-U2已经由观看者G2-U2自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。另外,假设观看者G2-U1至G2-U6属于伙伴组G2。
此外,假设观看者G2-U2已经使用观看者G2-U2自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将观看者(体验者)的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
另外,假设在伙伴组G2中确定了代表,并且该代表已经使用该代表自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将伙伴组G2的位置与分发者的分发位置之间的距离是最短距离时的观看位置指定为最优观看位置。
根据场地布局的第四设置形式,伙伴组G2在图13的虚拟空间中的位置被设置在距初始设置分发者T1的分发位置P(T1)的预定固定位置P0最短距离处的正面位置处,与图12完全类似。
换言之,在伙伴组G2的位置在可以设置的位置范围内变化的情况下,当从位置P0朝向伙伴组G2的位置的矢量是具有最小尺寸的矢量时的伙伴组G2的位置被检测为最优观看位置。然后,将伙伴组G2的位置设置在检测到的最优观看位置处。
在图13的示例中,观看者G2-U1的观看位置P(G2-U1)被设置为伙伴组G2的位置,并且观看者G2-U1的观看位置P(G2-U1)被设置在观看可能位置DP(m,n)处,类似于图12。
另外,作为观看者G2-U1所属的伙伴组G2的成员的观看者G2-U2至G2-U6的观看位置被设置在观看者G2-U1的观看位置P(G2-U1)附近。观看者G2-U1至G2-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4)。
注意,除伙伴组G2的成员以外的观看者的观看位置是通过任意方法设置的。
另一方面,分发者T1的分发位置P(T1)被设置在与图12的情况下的位置P0不同的位置P1处。位置P1是距作为体验者V的观看者G2-U2的观看位置P(G2-U2)的观看可能位置DP(m,n+1)最短距离处的正面位置。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,分发位置P(T1)被设置在位置P1处,位置P1是当从分发者T1的分发位置P(T1)朝向观看者G2-U2的观看位置P(G2-U2)的矢量BP(G2-U2,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)。
(第四设置形式的示例1中的处理)
当针对作为体验者V的观看者G2-U2设置场地布局时,图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取观看者G2-U2的伙伴组信息。观看者G2-U2的伙伴组信息是关于由观看者G2-U2使用的客户端系统22的伙伴组指定单元104(参照图2)指定的伙伴组的信息。场地布局设置单元84使用获取的观看者G2-U2的伙伴组信息,检测作为体验者V的观看者G2-U2所属的伙伴组G2和作为其成员的观看者G2-U1至G2-U6。
此外,场地布局设置单元84从用户信息获取单元83获取体验者V所属的伙伴组G2的最佳观看位置信息。伙伴组G2的最佳观看位置信息是关于伙伴组G2的最优观看位置的信息,由伙伴组G2的代表使用的客户端系统22的最佳观看位置指定单元103指定,并且由用户信息获取单元83获取。假设伙伴组G2的代表是预先确定的。
在图13的示例中,与图12的情况类似地预先确定伙伴组G2的成员中的作为伙伴组G2的成员的观看者G2-U1至G2-U6的观看位置中的每一个的布局。另外,将布置在伙伴组G2的成员之间的观看位置的布局中的最前侧的中央处的观看者G2-U1的观看位置P(G2-U1)设置为伙伴组G2的位置。
此外,假设伙伴组G2的代表已经通过该代表自己使用的客户端系统22的最佳观看位置指定单元103预先指定了针对伙伴组G2的位置的最优观看位置。
在图13的示例中,假设伙伴组G2的代表已经指定了作为伙伴组G2的位置的观看者G2-U1的观看位置P(G2-U1)的最优观看位置。在下文中,假设伙伴组G2的代表已经将当观看者G2-U1的观看位置P(G2-U1)与分发者T1的分发位置P(T1)之间的距离为最短距离时的观看位置指定为作为伙伴组G2的位置的观看者G2-U1的观看位置P(G2-U1)的最优观看位置。
例如,类似于图12的情况,场地布局设置单元84将分发者T1的分发位置P(T1)临时设置在与舞台中心对应的位置P0处。注意,临时设置分发者T1的分发位置P(T1)的位置P0可以不是与第一设置形式中的分发者T1的分发位置P(T1)类似的位置P0。
此外,场地布局设置单元84将观看可能位置DP中的距分发者T1的分发位置P(T1)的距离是最短距离的观看可能位置DP(m,n)处的作为伙伴组G2的位置的观看者G2-U1的观看位置P(G2-U1)设置为最优观看位置。
换言之,在作为伙伴组G2的位置的观看者G2-U1的观看位置P(G2-U1)变为观看可能位置DP中的每个位置的情况下,场地布局设置单元84将当从分发位置P(T1)(临时设置的位置P0)朝向观看位置P(G2-U1)的矢量与由最佳观看位置指定单元103(最佳观看位置信息)指定的位置关系最佳匹配时的观看位置P(G2-U1)检测为最优观看位置。然后,场地布局设置单元84将观看者G2-U1的观看位置P(G2-U1)设置在检测到的最优观看位置处。
此外,场地布局设置单元84根据伙伴组G2的成员之间的观看位置的布局,设置伙伴组G2中的除观看者G2-U1以外的成员的观看位置,使得作为伙伴组G2的位置的观看者G2-U1的观看位置是观看可能位置DP(m,n)。
以这种方式,属于伙伴组G1的观看者G2-U1至G2-U6的观看位置分别被设置为观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图4),如图13所示。
注意,除伙伴组G2的成员以外的观看者的观看位置是通过任意方法设置的。
在这个阶段中,分发者T1的分发位置P(T1)和作为伙伴组G2的成员的观看者G2-U1至G2-U6的观看位置的布局与图12的情况相同。
在场地布局的第四设置形式中,场地布局设置单元84进一步将分发位置P(T1)设置在可以设置为分发者T1的分发位置P(T1)的位置中的分发者T1的分发位置P(T1)与作为体验者V的观看者G2-U2的观看位置P(G2-U2)之间的距离最短的位置处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看位置P(G2-U2)的矢量BP(G1-U2,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)检测为最优观看位置(观看位置P(G2-U2)被定义为最优观看位置的分发位置P(T1);在下文中,称为最优位置)。注意,在图13的示例中,位置P1被检测为最优位置。
然后,场地布局设置单元84将分发者T1的分发位置P(T1)设置在检测到的最优位置P1处。
根据如上所述的场地布局的第四设置形式,即使在多个观看者在同一空间中同时观看由分发者分发的内容的情况下,每个观看者也可以在最优观看位置处观看由分发者分发的内容。
此外,在设置诸如伙伴组的组的情况下,作为伙伴的观看者被布置在体验者附近。因此,体验者在参加活动期间可以容易地了解伙伴的状态,并且有实际会面的感觉。此外,在可以在伙伴组中进行语音聊天或文本聊天的情况下,或者在将一起聊天的观看者或组定义为伙伴组的情况下,即使在参加活动期间,也可以容易地进行聊天。
另外,无论体验者是属于伙伴组的观看者中的哪一个,伙伴组的成员之间(成员之间)的观看位置的布局都是相同的。因此,不会发生例如属于同一伙伴组的两个观看者识别出对方在自己右侧的情况。例如,不会发生当他们想面对面聊天等时他们面对彼此相反的侧的情况。
另外,由于分发者的分发位置没有太大变化,因此可以抑制与分发者的背景(例如舞台)的不一致。
<第五至第九设置形式的场地布局的配置>
图14是用于说明在图15至图25中描述的场地布局的第五至第九设置形式中使用的场地布局的配置的图。注意,图14表示构成活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。
在场地布局的第五设置形式至第九设置形式中,对于被定义为体验者的每个观看者,观看位置被设置在不同的位置处。
在图14的虚拟空间中,观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、……以及观看可能位置DP(m,n+r)、DP(m,n+r+1)、DP(m,n+r-1)、DP(m+1,n+r)、……表示可以设置为观看者的观看位置的位置(在下文中,所有观看可能位置将被称为DP)。
在以下的说明中,观看者U1、U2是作为体验者要关注的观看者。在观看者U1被定义为体验者的情况下,观看者U1的观看位置P(U1)被设置在观看可能位置DP(m,n)处。在观看者U2被定义为体验者的情况下,观看者U2的观看位置P(U2)被设置在观看可能位置DP(m,n+r)处。
此外,与真实世界中的情况类似,预先确定当每个观看者是体验者时的观看位置,使得其不被设置在同一观看可能位置DP处。因此,只有观看者U1作为体验者时的观看位置被设置在观看可能位置DP(m,n)处,并且只有观看者U2作为体验者时的观看位置被设置在观看可能位置DP(m,n+r)处。注意,作为体验者时的观看位置是作为体验者的观看者在虚拟空间中进行观看的位置。
另外,例如,当位置P0被设置在活动场地的舞台的中央时,分发者T1的分发位置P(T1)被指示在位置P0处。然而,分发者T1的分发位置P(T1)根据作为体验者的观看者的观看位置而适当地改变。
<场地布局的第五设置形式>
(示例1)
图15是用于说明场地布局的第五设置形式的示例1的图。注意,图15表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图15中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图15示出了针对图14中的观看者U1设置场地布局的情况,并且示出了将观看者U1定义为体验者V的情况。
另外,假设观看者U1已经通过由观看者U1自己使用的客户端系统22的最佳观看位置单元103(参见图2)将当观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第五设置形式中,在图15的虚拟空间中,作为体验者V的观看者U1的观看位置P(U1)被设置在预先确定的观看可能位置DP(m,n)处。
此外,分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者U1的观看位置P(U1)(=DP(m,n))最短距离处的正面位置P2处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内改变的情况下,分发位置P(T1)被设置在作为最优观看位置(最优位置)的位置P2处,位置P2是当从分发者T1的分发位置P(T1)朝向观看者U1的观看位置P(U1)的矢量BP(U1,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)。这里描述的最优观看位置(最优位置)是指当作为体验者V的观看者U1的观看位置P(U1)是最优观看位置(观看环境)时分发者T1的分发位置P(T1)。
(第五设置形式的示例1中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者U1的最佳观看位置信息。观看者U1的最佳观看位置信息是关于由观看者U1使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者U1的观看位置P(U1),使得满足由观看者U1的最佳观看位置信息指定的条件。
因此,场地布局设置单元84将作为体验者V的观看者U1的观看位置P(U1)设置在预先确定的观看可能位置DP(m,n)处。例如,场地布局设置单元84可以允许参加活动的观看者按照观看者登录分发服务器41或者申请参加活动的顺序从观看可能位置DP中选择尚未被其他观看者选择的任何位置作为他们作为体验者V时的观看位置。
此外,场地布局设置单元84可以将观看可能位置DP中的任何一个自动分配给参加该活动的观看者中的每一个,使得该观看位置不与其他观看者的观看位置交叠。
此外,场地布局设置单元84将分发者T1的分发位置P(T1)设置在可以设置为分发者T1的分发位置P(T1)的位置中的距设置作为体验者V的观看者U1的观看位置P(U1)的观看可能位置DP(m,n)的距离是最短距离的位置处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看者U1的观看位置P(U1)的矢量BP(U1,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)检测为最优位置。然后,场地布局设置单元84将分发者T1的分发位置P(T1)设置在检测到的最优位置处。
在第五设置形式中,假设了最佳观看位置指定单元103(参见图2)已经将当观看者(体验者)的观看位置与分发者的分发位置之间的距离是最短距离时的观看位置指定为最优观看位置的情况(观看位置与分发位置之间的相对位置关系(的条件)被指定为具有最短距离的情况)。本发明不限于这种情况,并且场地布局设置单元84在由最佳观看位置指定单元103指定的任意条件(位置关系)下执行如下处理。在分发位置P(T1)在可以设置的位置范围内改变的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看位置P(U1)的矢量BP(U1,T1)与由最佳观看位置单元103(最佳观看位置信息)指定的位置关系(条件)最佳匹配时的分发位置P(T1)检测为最优位置。然后,场地布局设置单元84将分发者T1的分发位置P(T1)设置在检测到的最优位置处。在第六至第八设置形式中,也以类似的方式检测与由最佳观看位置指定单元103(最佳观看位置信息)指定的任意条件相匹配的最优位置。
注意,除作为体验者V的观看者U1以外的观看者的观看位置是通过任意方法设置的。例如,除作为体验者V的观看者U1以外的观看者的观看位置可以设置在当观看者作为体验者时的观看位置处的预先分配给观看者的观看可能位置DP处。
(示例2)
图16是用于说明场地布局的第五设置形式的示例2的图。注意,图16表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图16中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图16示出了针对图14中的观看者U2设置场地布局的情况,并且示出了将观看者U2定义为体验者V的情况。
另外,假设观看者U1已经通过观看者U1自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将当观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第六设置形式中,在图16中的虚拟空间中,作为体验者V的观看者U2的观看位置P(U2)被设置在预先确定的观看可能位置DP(m,n+r)处。
此外,分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者U2的观看位置P(U1)(=DP(m,n+r))最短距离处的正面位置P3处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内改变的情况下,分发位置P(T1)被设置在作为最优位置的位置P3处,位置P3是当从分发者T1的分发位置P(T1)朝向观看者U2的观看位置P(U2)的矢量BP(U2,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)。
注意,由于设置图16中的场地布局的处理类似于图15中的情况,因此将省略其描述。
根据上述场地布局的第五设置形式,即使在多个观看者在同一空间中同时观看由分发者T1分发的内容的情况下,每个观看者也可以在每个最优观看位置处观看由分发者T1分发的内容。
<场地布局的第六设置形式>
(示例1)
图17是用于说明场地布局的第六设置形式的示例1的图。注意,图17表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图17中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图17示出了在图14中的观看者U1是伙伴组G1中的观看者G1-U1的情况下针对观看者G1-U1设置场地布局的情况,并且示出了观看者G1-U1被定义为体验者V的情况。
此外,假设属于伙伴组G1的观看者G1-U1已经由观看者G1-U1自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。另外,假设观看者G1-U1至G1-U6属于伙伴组G1。
此外,假设观看者G1-U1已经通过由观看者G1-U1自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将当观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第六设置形式中,在图17中的虚拟空间中,将作为体验者V的观看者G1-U1(图14中的观看者U1)的观看位置P(G1-U1)设置在预先确定的观看可能位置DP(m,n)处。
此外,分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者G1-U1的观看位置P(G1-U1)(=DP(m,n))最短距离的正面位置P2处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,分发位置P(T1)被设置在位置P2处,位置P2是当从分发者T1的分发位置P(T1)朝向观看者G1-U1的观看位置P(G1-U1)的矢量BP(G1-U1,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)。
另外,作为观看者G1-U1所属的伙伴组G1的成员的观看者G1-U2至G1-U6的观看位置被设置在观看者G1-U1的观看位置P(G1-U1)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图14)。
(第六设置形式的示例1中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者G1-U1的最佳观看位置信息。观看者G1-U1的最佳观看位置信息是关于由观看者G1-U1使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者G1-U1的观看位置P(G1-U1),使得满足由观看者G1-U1的的最佳观看位置信息指定的条件。
因此,场地布局设置单元84将作为体验者V的观看者G1-U1的观看位置P(G1-U1)设置在预先确定的观看可能位置DP(m,n)处。
此外,场地布局设置单元84将分发者T1的分发位置P(T1)设置在可以设置为分发者T1的分发位置P(T1)的位置中的距设置作为体验者V的观看者G1-U1的观看位置P(G1-U1)的观看可能位置DP(m,n)的距离为最短距离的位置处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看者G1-U1的观看位置P(G1-U1)的矢量BP(G1-U1,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)检测为最优位置。然后,场地布局设置单元84将分发者T1的分发位置P(T1)设置在检测到的最优位置处。
此外,场地布局设置单元84从用户信息获取单元83(参见图2)获取作为体验者V的观看者G1-U1的伙伴组信息。观看者G1-U1的伙伴组信息是关于由观看者G1-U1使用的客户端系统22的伙伴组指定单元104(参照图2)指定的伙伴组的信息。场地布局设置单元84基于获取的观看者G1-U1的伙伴组信息,检测作为体验者V的观看者G1-U1所属的伙伴组G1和作为其成员的观看者G1-U1至G1-U6。
场地布局设置单元84根据伙伴组G1的成员之间的观看位置的布局,设置作为伙伴组G1中的除观看者G1-U1以外的成员的检测到的观看者G1-U2至G1-U6的观看位置。
注意,由于与伙伴组G1的成员之间的观看位置的布局有关的条件等与图6中的场地布局的第二设置形式中的情况等相同,因此将省略其描述。
以这种方式,属于伙伴组G1的观看者G1-U1至G1-U6的观看位置被分别设置为观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图14),如图17所示。
注意,除伙伴组G1的成员以外的观看者的观看位置是通过任意方法设置的。
(示例2)
图18是用于说明场地布局的第六设置形式的示例2的图。注意,图18表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图18中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图18示出了在图14中的观看者U2是图17中的伙伴组G1的观看者G1-U2的情况下针对观看者G1-U2设置场地布局的情况,并且示出了观看者G1-U2被定义为体验者V的情况。
此外,假设属于伙伴组G1的观看者G1-U2已经由观看者G1-U2自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。另外,假设观看者G1-U1至G1-U6属于伙伴组G1。
此外,假设观看者G1-U2已经通过观看者G1-U2自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将当观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第六设置形式中,在图18中的虚拟空间中,将作为体验者V的观看者G1-U2(图14中的观看者U2)的观看位置P(G1-U2)设置在预先确定的观看可能位置(m,n+1)处,而不是观看可能位置DP(m,n+r)处。
观看可能位置(m,n+1)是在图17中的观看者G1-U1(图14中的观看者U1)被定义为体验者V的情况下针对观看者G1-U1设置的场地布局中的观看者G1-U2的观看位置。
换言之,在第六设置形式中,属于同一伙伴组G1的观看者G1-U1至观看者G1-U6中的每一个在作为体验者V时的观看位置被设置在与伙伴组G1的成员之间的观看位置的布局对应的观看可能位置DP处。
注意,由于在稍后将描述的场地布局的第七设置形式中也参考了图17,所以未示出将属于同一伙伴组的观看者在作为体验者时的观看位置设置在与伙伴组G1的成员之间的观看位置的布局对应的观看可能位置DP处。
此外,分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者G1-U2的观看位置P(G1-U2)(=DP(m+1,n))最短距离处的正面位置P4处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,分发位置P(T1)被设置在位置P4处,位置P4是当从分发者T1的分发位置P(T1)朝向观看者G1-U2的观看位置P(G1-U2)的矢量BP(G1-U2,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)。
此外,作为观看者G1-U2所属的伙伴组G1的成员的观看者G1-U1以及G1-U3至G1-U6的观看位置被设置在观看者G1-U2的观看位置P(G1-U2)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图14),这些观看可能位置中每一个与图17中的相同。
(第六设置形式的示例2中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者G1-U2的最佳观看位置信息。观看者G1-U2的最佳观看位置信息是关于由观看者G1-U2使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者G1-U2的观看位置P(G1-U2),使得满足由观看者G1-U2的最佳观看位置信息指定的条件。
场地布局设置单元84将作为体验者V的观看者G1-U1的观看位置P(G1-U2)设置在预先确定的观看可能位置DP(m+1,n)处。这将在后面描述。
此外,场地布局设置单元84将分发者T1的分发位置P(T1)设置在可以设置为分发者T1的分发位置P(T1)的位置中的距设置作为体验者V的观看者G1-U2的观看位置P(G1-U2)的观看可能位置DP(m,n+1)的距离是最短距离的位置处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看者G1-U2的观看位置P(G1-U2)的矢量BP(G1-U2,T1)是最小尺寸的矢量BP0时的分发位置P(T1)检测为最优位置。然后,场地布局设置单元84将分发者T1的分发位置P(T1)设置在检测到的最优位置处。
此外,场地布局设置单元84在针对每个观看者的场地布局被设置之前,针对每个伙伴组设置每个观看者在作为体验者时的观看位置。
场地布局设置单元84从用户信息获取单元83获取与由每个观看者使用的客户端系统22的伙伴组指定单元104(参见图2)指定的伙伴组有关的伙伴组信息,并且从伙伴组信息中识别每个伙伴组的成员配置等。如果伙伴组G1被关注,则场地布局设置单元84从伙伴组信息中检测伙伴组G1的成员。
图17和图18中的伙伴组G1的成员是观看者G1-U1至G1-U6。
场地布局设置单元84根据预先确定的伙伴组G1的成员之间的观看位置的布局,设置作为伙伴组G1的成员的观看者G1-U1至G1-U6在作为体验者时的观看位置。
另外,场地布局设置单元84根据预先确定的成员之间的观看位置的布局,设置除伙伴组G1以外的伙伴组的成员在作为体验者时的观看位置。此时,场地布局设置单元84不将多个观看者的观看位置(他们作为体验者时的观看位置)交叠地设置在一个可设置位置处。
此外,当设置作为体验者V的观看者G1-U2的场地布局时,场地布局设置单元84从用户信息获取单元83(参见图2)获取观看者G1-U2的伙伴组信息。观看者G1-U2的伙伴组信息是关于由观看者G1-U2使用的客户端系统22的伙伴组指定单元104(参见图2)指定的伙伴组的信息。场地布局设置单元84使用获取的观看者G1-U2的伙伴组信息,检测作为体验者V的观看者G1-U2所属的伙伴组G1和作为其成员的观看者G1-U1至G1-U6。
场地布局设置单元84根据伙伴组G1的成员之间的观看位置的布局,设置观看者G1-U1和G1-U3至G1-U6的观看位置,观看者G1-U1和G1-U3至G1-U6是伙伴组G1中的除观看者G1-U2以外的检测到的成员。然而,由于场地布局设置单元84根据伙伴组G1的成员之间的观看位置的布局将观看者G1-U1和G1-U3至G1-U6的观看位置设置为当他们作为体验者时的观看位置,因此观看者G1-U1和G1-U3至G1-U6在作为体验者时的观看位置可以直接应用于场地布局的设置。
以这种方式,属于伙伴组G1的观看者G1-U1至G1-U6的观看位置分别被设置为观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图14),如图18所示,并且设置为彼此靠近的位置。
(示例3)
图19是用于说明场地布局的第六设置形式的示例3的图。注意,图19表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图19中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图19示出了当图14中的观看者U2是与图17中的伙伴组G1不同的伙伴组G2的观看者G2-U1时针对观看者G2-U1设置场地布局的情况,并且示出了观看者G2-U1被定义为体验者V1情况。
此外,假设属于伙伴组G2的观看者G2-U1已经由观看者G2-U1自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。另外,假设观看者G2-U1至G2-U6属于伙伴组G2。
此外,假设观看者G2-U1已经通过观看者G2-U1自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第六设置形式中,在图19的虚拟空间中,将作为体验者V的观看者G2-U1(图14中的观看者U2)的观看位置P(G2-U1)设置在预先确定的观看可能位置DP(m,n+r)处。
此外,分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者G2-U1的观看位置P(G2-U1)(=DP(m,n+r))最短距离处的正面位置P3处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,分发者T1的分发位置P(T1)被设置在位置P3处,位置P3是当从分发者T1的分发位置P(T1)朝向观看者G2-U1的观看位置P(G2-U1)的矢量BP(G2-U1,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)。
另外,作为观看者G2-U1所属的伙伴组G2的成员的观看者G2-U2至G1-U6的观看位置被设置在观看者G2-U1的观看位置P(G2-U1)附近。观看者G2-U1至G2-U6的观看位置分别是观看可能位置DP(m,n+r)、DP(m,n+r+1)、DP(m,n+r-1)、DP(m+1,n+r)、DP(m+1,n+r+1)和DP(m+1,n+r-1)(参见图14)。
在此,与图18中的伙伴组G1类似,作为伙伴组G2的成员的观看者G2-U1至G2-U6在作为体验者时的观看位置是根据伙伴组G2的成员之间的观看位置的布局来设置的。
因此,图2中的分发服务器41的场地布局设置单元84可以通过将观看者G2-U1至G2-U6在作为体验者时的观看位置直接应用于针对观看者G2-U1的场地布局的设置来获得图19中的布局。
注意,由于图19中的场地布局的设置处理与图17和图18中的类似,因此将省略其描述。
(示例4)
图20是用于说明场地布局的第六设置形式的示例4的图。注意,图20表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图19中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图20示出了当图14中的观看者U2是不同于图17中的伙伴组G1的伙伴组G2的观看者G2-U2时针对观看者G2-U2设置场地布局的情况,并且示出了观看者G2-U2被定义为体验者V1的情况。
此外,假设属于伙伴组G2的观看者G2-U2已经由观看者G2-U2自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。另外,假设观看者G2-U1至G2-U6属于伙伴组G2。
此外,假设观看者G2-U2已经通过观看者G2-U2自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将当观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第六设置形式中,在图20中的虚拟空间中,作为体验者V的观看者G2-U2(图14中的观看者U2)的观看位置P(G2-U2)被设置在预先确定的观看可能位置DP(m,n+r)处。
此外,分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者G2-U2的观看位置P(G2-U2)(=DP(m,n+r))最短距离处的正面位置P3处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,分发位置P(T1)被设置在位置P3处,位置P3是当从分发者T1的分发位置P(T1)朝向观看者G2-U2的观看位置P(G2-U2)的矢量BP(G2-U2,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)。
另外,作为观看者G2-U2所属的伙伴组G2的成员的观看者G2-U1和G2-U3至G1-U6的观看位置被设置在观看者G2-U2的观看位置P(G2-U2)附近。观看者G2-U1至G2-U6的观看位置分别是观看可能位置DP(m,n+r-1)、DP(m,n+r)、DP(m,n+r-2)、DP(m+1,n+r-1)、DP(m+1,n+r)和DP(m+1,n+r-2)(参见图14)。
这里,在伙伴组G2的成员之间的观看位置的布局中,观看者G2-U2位于观看者G2-U1的旁边并且在其右侧。在观看者U2是图19中的观看者G2-U1的情况与观看者U2是图20中的观看者G2-U2的情况之间,作为体验者V的图14中的观看者U2的观看位置没有改变。因此,在图19和图20的比较中,在图20中,作为伙伴组G2的成员的观看者G2-U1至G2-U6的观看位置向左侧移动了与一排对应的量。
注意,由于设置图20中的场地布局的处理类似于图17至图19,因此将省略其描述。
根据上述场地布局的第六设置形式,即使在多个观看者在同一空间中同时观看由分发者分发的内容的情况下,每个观看者也可以在每个最优观看位置处观看由分发者分发的内容。
此外,在设置诸如伙伴组的组的情况下,作为伙伴的观看者被布置在体验者附近。因此,体验者在参加活动期间可以容易地了解伙伴的状态,并且有实际会面的感觉。此外,在可以在伙伴组中进行语音聊天或文本聊天的情况下,或者在将一起聊天的观看者或组定义为伙伴组的情况下,即使在参加活动期间,也可以容易地进行聊天。
另外,无论体验者是属于伙伴组的观看者中的哪一个,伙伴组的成员之间(成员之间)的观看位置的布局都是相同的。因此,不会发生例如属于同一伙伴组的两个观看者识别出对方在自己右侧的情况。例如,不会发生当他们想面对面聊天等时他们面对彼此相反的侧的情况。
<场地布局的第七设置形式>
(示例1)
图21是用于说明场地布局的第七设置形式的示例1的图。注意,图21表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图21中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图21示出了在图14中的观看者U2是图17中的伙伴组G1的观看者G1-U2的情况下针对观看者G1-U2设置场地布局的情况,并且示出了观看者G1-U2被定义为体验者V的情况。
此外,假设属于伙伴组G1的观看者G1-U2已经由观看者G1-U2自己使用的客户端系统22的伙伴组指定单元104(参见图2)指定。另外,假设观看者G1-U1至G1-U6属于伙伴组G1。
此外,假设观看者G1-U2已经通过观看者G1-U2自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将当观看者的观看位置与分发者的分发位置之间的距离为最短距离时的观看位置指定为最优观看位置。
在场地布局的第七设置形式中,在图21中的虚拟空间中,作为体验者V的观看者G1-U2(图14中的观看者U2)的观看位置P(G1-U2)被设置在预先确定的观看可能位置DP(m,n+r)处。
这里,与图18的情况不同,图21是指当观看者G1-U2是体验者时观看者G1-U2的观看位置没有被设置在作为同一伙伴组G1的成员的图17中的观看者G1-U1(图14中的观看者U1)附近。
此外,分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者G1-U2的观看位置P(G1-U2)(=DP(m,n+r))最短距离处的正面位置P3处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,分发位置P(T1)被设置在位置P3处,位置P3是当从分发者T1的分发位置P(T1)朝向观看者G1-U2的观看位置P(G1-U2)的矢量BP(G1-U2,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)。
此外,作为观看者G1-U2所属的伙伴组G1的成员的观看者G1-U1和G1-U3至G1-U6的观看位置被设置在观看者G1-U2的观看位置P(G1-U2)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n+r-1)、DP(m,n+r)、DP(m,n+r-2)、DP(m+1,n+r-1)、DP(m+1,n+r)和DP(m+1,n+r-2)(参见图14)。
(第七设置形式的示例1中的处理)
图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取作为体验者V的观看者G1-U2的最佳观看位置信息。观看者G1-U2的最佳观看位置信息是关于由观看者G1-U2使用的客户端系统22的最佳观看位置指定单元103指定的最优观看位置的信息。然后,场地布局设置单元84设置分发者T1的分发位置P(T1)和作为体验者V的观看者G1-U2的观看位置P(G1-U2),使得满足由观看者G1-U2的最佳观看位置信息指定的条件。
因此,场地布局设置单元84将作为体验者V的观看者G1-U2的观看位置P(G1-U2)设置在预先确定的观看可能位置DP(m,n+r)处。
此外,场地布局设置单元84将分发者T1的分发位置P(T1)设置在可以被设置为分发者T1的分发位置P(T1)的位置中的距设置作为体验者V的观看者G1-U2的观看位置P(G1-U2)的观看可能位置DP(m,n+r)的距离为最短距离的位置处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看者G1-U2的观看位置P(G1-U2)的矢量BP(G1-U2,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)检测为最优观看位置。然后,场地布局设置单元84将分发者T1的分发位置P(T1)设置在检测到的最优观看位置处。
此外,场地布局设置单元84从用户信息获取单元83(参见图2)获取作为体验者V的观看者G1-U2的伙伴组信息。观看者G1-U2的伙伴组信息是关于由观看者G1-U2使用的客户端系统22的伙伴组指定单元104(参见图2)指定的伙伴组的信息。场地布局设置单元84使用获取的观看者G1-U2的伙伴组信息,检测作为体验者V的观看者G1-U2所属的伙伴组G1和作为其成员的观看者G1-U1至G1-U6。
场地布局设置单元84根据伙伴组G1的成员之间的观看位置的布局,设置作为伙伴组G1中的除观看者G1-U2以外的成员的检测到的观看者G1-U1和G1-U3至G1-U6的观看位置。
注意,由于关于伙伴组G1的成员之间的观看位置的布局的条件等与图6中的场地布局的第二设置形式中的情况等相同,因此将省略其描述。
以这种方式,属于伙伴组G1的观看者G1-U1至G1-U6的观看位置分别被设置为观看可能位置DP(m,n+r-1)、DP(m,n+r)、DP(m,n+r-2)、DP(m+1,n+r-1)、DP(m+1,n+r)和DP(m+1,n+r-2),如图21所示。
注意,如果将第七设置形式中的设置处理应用于其中图14中的观看者U1是作为伙伴组G1的成员的观看者G1-U1的情况,则设置与图17中的类似的场地布局。因此,即使在同一伙伴组的成员在相互分离的观看位置处观看内容的情况下,伙伴组的成员也存在于每个虚拟空间中的靠近位置处。
根据上述场地布局的第七设置形式,即使在多个观看者在同一空间中同时观看由分发者分发的内容的情况下,每个观看者也可以在每个最优观看位置处观看由分发者分发的内容。
此外,在设置诸如伙伴组的组的情况下,作为伙伴的观看者被布置在体验者附近。因此,体验者在参加活动期间可以容易地了解伙伴的状态,并且有实际会面的感觉。此外,在可以在伙伴组中进行语音聊天或文本聊天的情况下,或者在将一起聊天的观看者或组定义为伙伴组的情况下,即使在参加活动期间,也可以容易地进行聊天。
另外,无论体验者是属于伙伴组的观看者中的哪一个,伙伴组的成员之间(成员之间)的观看位置的布局都是相同的。因此,不会发生例如属于同一伙伴组的两个观看者识别出对方在自己右侧的情况。例如,不会发生当他们想面对面聊天等时他们面对彼此相反的侧的情况。
<场地布局的第八设置形式>
(示例1)
图22是用于说明场地布局的第八设置形式的示例1的图。注意,图22表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图22中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图22示出了在图14中的观看者U1是伙伴组G1中的观看者G1-U1的情况下设置针对属于伙伴组G1的观看者G1-U1至G1-U6中的任意观看者的场地布局的情况,并且示出了针对观看者G1-U1至G1-U6中的所有观看者的场地布局都相同的情况。
此外,假设在伙伴组G1中确定了代表,并且该代表已经使用该代表自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将伙伴组G1的位置与分发者的分发位置之间的距离为最短距离的观看位置指定为最优观看位置。
在场地布局的第八设置形式中,在图22的虚拟空间中,观看者G1-U1(图14中的观看者U1)的观看位置被设置在预先确定的观看可能位置DP(m,n)处。
此外,根据预先确定的伙伴组G1的成员之间的观看位置的布局,作为观看者G1-U1所属的伙伴组G1的成员的观看者G1-U2至G1-U6的观看位置被设置在观看者G1-U1的观看位置附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图14)。
另外,在图22的示例中,观看者G1-U1的观看位置P(G1-U1)被设置为伙伴组G1的位置。分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者G1-U1的观看位置(G1-U1)(=DP(m,n))最短距离处的正面位置P2处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,分发位置P(T1)被设置在位置P2处,位置P2是当从分发者T1的分发位置P(T1)朝向伙伴组G1的位置(观看者G1-U1的观看位置P(G1-U1))的矢量BP(G1,T1)是具有最小尺寸的矢量时的分发位置P(T1)。
(第八设置形式的示例1中的处理)
在设置针对属于伙伴组G1的任意观看者(体验者V)的场地布局的情况下,图2中的分发服务器41的场地布局设置单元84从用户信息获取单元83获取体验者V的伙伴组信息。体验者V的伙伴组信息是关于由体验者V使用的客户端系统22的伙伴组指定单元104(参见图2)指定的伙伴组的信息。场地布局设置单元84基于获取的体验者V的伙伴组信息,检测体验者V所属的伙伴组G1和作为其成员的观看者G1-U1至G1-U6。
场地布局设置单元84将观看者G1-U1至G1-U6的观看位置设置在预先确定的观看可能位置DP处。由于观看者G1-U1至G1-U6的观看位置的布局的条件等与图6中的场地布局的第二设置形式中描述的伙伴组G1的成员之间的观看位置的布局的条件等相同,因此将省略其描述。
由于假设图22中的观看者G1-U1是图14中的观看者U1,因此将观看者G1-U1至G1-U6的观看位置分别设置为观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图14),使得观看者G1-U1的观看位置P(G1-U1)是观看可能位置DP(m,n)。
此外,场地布局设置单元84从用户信息获取单元83获取体验者V所属的伙伴组G1的最佳观看位置信息。伙伴组G1的最佳观看位置信息是关于伙伴组G1的最优观看位置的信息,由伙伴组G1的代表使用的客户端系统22的最佳观看位置指定单元103指定,并且由用户信息获取单元83获取。假设预先确定了伙伴组G1的代表。
尽管由于伙伴组G1的位置与场地布局的第三设置形式中的位置类似,因此省略其详细描述,但是伙伴组G1的位置表示在伙伴组G1的成员之间的观看位置的布局中作为参考的观看者的观看位置。例如,布置在伙伴组G1的成员之间的观看位置的布局的最前侧的中央处的观看者的观看位置被设置在伙伴组G1的位置处。
在图22的示例中,布置在伙伴组G1的成员之间的观看位置的最前侧的中央处的观看者G1-U1(图14中的观看者U1)的观看位置P(G1-U1)被设置为伙伴组G1的位置。注意,伙伴组G1的位置不限于此,并且可以设置为任意位置。
假设伙伴组G1的代表已经将观看者G1-U1的观看位置P(G1-U1)与分发者T1的分发位置P(T1)之间的距离是最短距离的观看位置指定为作为伙伴组G1的位置的观看者G1-U1的观看位置P(G1-U1)的最优观看位置。
场地布局设置单元84将分发者T1的分发位置P(T1)设置在可以设置为分发者T1的分发位置P(T1)的位置中的距设置作为伙伴组G1的位置的观看者G1-U1的观看位置P(G1-U1)的观看可能位置DP(m,n)的距离为最短距离的位置处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,场地布局设置单元84将当从分发位置P(T1)朝向观看者G1-U1的观看位置P(G1-U1)的矢量BP(G1-U1,T1)是具有最小尺寸的矢量BP0时的分发位置P(T1)检测为最优位置。然后,场地布局设置单元84将分发者T1的分发位置P(T1)设置在检测到的最优位置处。
在场地布局的第八设置形式中,如果体验者V是伙伴组G1的任何一个成员,则设置图22中的场地布局。因此,场地布局对于作为伙伴组G1的成员的所有观看者G1-U1至G1-U6都是相同的。也就是说,在场地布局的第八设置形式中,场地布局是以伙伴组为单位进行设置的。
(示例2)
图23是用于说明场地布局的第八设置形式的示例2的图。注意,图23表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图23中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图23示出了在图14中的观看者U2是伙伴组G2中的观看者G2-U1的情况下设置针对属于伙伴组G2的观看者G2-U1至G2-U6中的任意观看者的场地布局的情况,并且示出了针对观看者G2-U1至G2-U6中的所有观看者的场地布局都相同的情况。
另外,假设在伙伴组G2中确定了代表,并且该代表已经使用该代表自己使用的客户端系统22的最佳观看位置指定单元103(参见图2)将伙伴组G2的位置与分发者的分发位置之间的距离是最短距离的观看位置指定为最优观看位置。
在场地布局的第八设置形式中,在图23的虚拟空间中,观看者G2-U1(图14中的观看者U2)的观看位置被设置在预先确定的观看可能位置DP(m,n+r)处。
此外,根据预先确定的伙伴组G2的成员之间的观看位置的布局,作为观看者G2-U1所属的伙伴组G2的成员的观看者G2-U2至G2-U6的观看位置被设置在观看者G2-U1的观看位置附近。观看者G2-U1至G2-U6的观看位置分别是观看可能位置DP(m,n+r)、DP(m,n+r+1)、DP(m,n+r-1)、DP(m+1,n+r)、DP(m+1,n+r+1)和DP(m+1,n+r-1)(参见图14)。
另外,在图23的示例中,观看者G2-U1的观看位置P(G2-U1)被设置为伙伴组G2的位置。分发者T1的分发位置P(T1)被设置在可以设置的位置中的距作为体验者V的观看者G2-U1的观看位置(G2-U1)(=DP(m,n+r))最短距离的正面位置P3处。
换言之,在分发者T1的分发位置P(T1)在可以设置的位置范围内变化的情况下,分发位置P(T1)被设置在位置P3处,在位置P3处从分发者T1的分发位置P(T1)朝向伙伴组G2的位置(观看者G2-U1的观看位置P(G2-U1))的矢量BP(G2,T1)是具有最小尺寸的矢量。
由于设置图23中的场地布局的处理与图22中的情况类似,因此将省略其描述。
根据上述场地布局的第八设置形式,即使在多个观看者在同一空间中同时观看由分发者分发的内容的情况下,每个观看者也可以以伙伴组为单位在每个最优观看位置处观看由分发者分发的内容。
此外,在设置诸如伙伴组的组的情况下,作为伙伴的观看者被布置在体验者附近。因此,体验者在参加活动期间可以容易地了解伙伴的状态,并且有实际会面的感觉。此外,在可以在伙伴组中进行语音聊天或文本聊天的情况下,或者在将一起聊天的观看者或组定义为伙伴组的情况下,即使在参加活动期间,也可以容易地进行聊天。
另外,无论体验者是属于伙伴组的观看者中的哪一个,伙伴组的成员之间(成员之间)的观看位置的布局都是相同的。因此,不会发生例如属于同一伙伴组的两个观看者识别出对方在自己右侧的情况。例如,不会发生当他们想面对面聊天等时他们面对彼此相反的侧的情况。
<场地布局的第九设置形式>
(示例1)
图24是用于说明场地布局的第九设置形式的示例1的图。注意,图24表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图24中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图24示出了在图14中的观看者U1是伙伴组G1中的观看者G1-U1的情况下针对观看者G1-U1设置场地布局的情况,并且示出了观看者G1-U1被定义为体验者V的情况。
在场地布局的第九设置形式中,在图24中的虚拟空间中,作为体验者V的观看者G1-U1(图14中的观看者U1)的观看位置P(G1-U1)被设置在预先确定的观看可能位置DP(m,n)处。
此外,分发者T1的分发位置P(T1)被设置在预先确定的位置P0处。
另外,作为观看者G1-U1所属的伙伴组G1的成员的观看者G1-U2至G1-U6的观看位置被设置在观看者G1-U1的观看位置P(G1-U1)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图14)。
(第九设置形式的示例1中的处理)
图2中的分发服务器41的场地布局设置单元84将作为体验者V的观看者G1-U1的观看位置P(G1-U1)设置在预先确定的观看可能位置DP(m,n)处。
此外,场地布局设置单元84从用户信息获取单元83(参见图2)获取作为体验者V的观看者G1-U1的伙伴组信息。观看者G1-U1的伙伴组信息是关于由观看者G1-U1使用的客户端系统22的伙伴组指定单元104(参照图2)指定的伙伴组的信息。场地布局设置单元84基于获取的观看者G1-U1的伙伴组信息,检测作为体验者V的观看者G1-U1所属的伙伴组G1和作为其成员的观看者G1-U1至G1-U6。然后,场地布局设置单元84根据伙伴组G1的成员之间的观看位置的布局,设置作为除观看者G1-U1以外的伙伴组G1的成员的检测到的观看者G1-U2至G1-U6的观看位置。
注意,由于关于伙伴组G1的成员之间的观看位置的布局的条件等与图6中的场地布局的第二设置形式中的情况等相同,因此将省略其描述。
以这种方式,属于伙伴组G1的观看者G1-U1至G1-U6的观看位置分别被设置为观看可能位置DP(m,n)、DP(m,n+1)、DP(m,n-1)、DP(m+1,n)、DP(m+1,n+1)和DP(m+1,n-1)(参见图14),如图24所示。
注意,除伙伴组G1的成员以外的观看者的观看位置是通过任意方法设置的。
(示例2)
图25是用于说明场地布局的第九设置形式的示例2的图。注意,图25表示构成图14中的活动场地的虚拟空间,并且高度方向对应于垂直于纸面的方向。图25中的虚拟空间中的观看可能位置DP与图14中的情况相同,并且仅用附图标记示出了观看可能位置DP中的一些。
图25示出了在图14中的观看者U2是图24中的伙伴组G1的观看者G1-U2的情况下针对观看者G1-U2设置场地布局的情况,并且示出了观看者G1-U2被定义为体验者V的情况。
在场地布局的第九设置形式中,在图25中的虚拟空间中,作为体验者V的观看者G1-U2(图14中的观看者U2)的观看位置P(G1-U2)被设置在预先确定的观看可能位置DP(m,n+r)处。
此外,与图24类似,分发者T1的分发位置P(T1)被设置在预先确定的位置P0处。
此外,作为观看者G1-U2所属的伙伴组G1的成员的观看者G1-U1和G1-U3至G1-U6的观看位置被设置在观看者G1-U2的观看位置P(G1-U2)附近。观看者G1-U1至G1-U6的观看位置分别是观看可能位置DP(m,n+r-1)、DP(m,n+r)、DP(m,n+r-2)、DP(m+1,n+r-1)、DP(m+1,n+r)和DP(m+1,n+r-2)(参见图14)。
注意,由于设置图25中的场地布局的处理与图24中的情况类似,因此将省略其描述。
根据上述场地布局的第九设置形式,在设置了诸如伙伴组的组的情况下,作为伙伴的观看者被布置在体验者附近。因此,体验者在参加活动期间可以容易地了解伙伴的状态,并且有实际会面的感觉。此外,在可以在伙伴组中进行语音聊天或文本聊天的情况下,或者在将一起聊天的观看者或组定义为伙伴组的情况下,即使在参加活动期间,也可以容易地进行聊天。
另外,无论体验者是属于伙伴组的观看者中的哪一个,伙伴组的成员之间(成员之间)的观看位置的布局都是相同的。因此,不会发生例如属于同一伙伴组的两个观看者识别出对方在自己右侧的情况。例如,不会发生当他们想面对面聊天等时他们面对彼此相反的侧的情况。
<<娱乐系统11的详情>>
<服务器系统21>
图26是作为示例示出与图1中的服务器系统21的内容分发有关的功能配置的框图。
在图26中,服务器系统21包括分发服务器41、多视点摄像装置42和传感器43。
服务器系统21生成包括要由分发者分发给参加预定活动的多个观看者的内容(分发者自己的影像和音频)的分发数据,并且将分发数据提供给经由网络23(参见图1)通信地连接到服务器系统21的客户端系统22。
多视点摄像装置42例如通过多个摄像装置从多个视点对以绿色屏幕为背景的分发者进行成像,并且将获取的多视点影像提供给分发服务器41。
例如,传感器43是用于使用深度摄像装置、身体位置传感器或者使用红外摄像装置和反射标记的位置传感器来检测分发者的位置、姿势和动作的传感器。由传感器43获得的传感器信号被提供给分发服务器41。
图27是用于说明多视点摄像装置42和传感器43的图。
在图27中,分发者T1使用虚拟系统将诸如分发者T1自己的歌曲或舞蹈的内容分发给多个观看者。分发者T1在绿幕摄影棚等中进行唱歌、舞蹈等。
多视点摄像装置42包括多个成像摄像装置Cam1、Cam2、……、CamN(N是正整数)。在下文中,将多个成像摄像装置Cam1、Cam2、……、CamN中的每一个简称为成像摄像装置Cam。
多视点摄像装置42的每个成像摄像装置Cam被设置成包围分发者T1的周围,并且从多个方向对分发者T1进行成像。
深度摄像装置DC对分发者T1的深度图像进行成像。
红外摄像装置IRCam用红外线照射附接在分发者T1的身体上的反射标记IRM,并且对反射光进行成像。
身体位置传感器BPSR和BPSL附接到分发者T1的右手腕和左手腕,并且检测分发者T1的右手腕和左手腕的位置。除手腕以外,身体位置传感器还附接到检测分发者T1的位置、姿势、动作等所需的部位,例如身体、脚踝、膝盖等。
图28是示出在工作室中对分发者进行成像的状态的图。
在图28中,分发者T1在用绿布或者墙壁覆盖的空间中进行表演。多个支柱141A、141B、……(在下文中,称为支柱141)以大致相等的间隔设置在分发者T1周围的整个周边上。多视点摄像装置42的一个成像摄像装置Cam被安装在每个支柱141的上部和下部中的每个上。另外,用于对来自附接到分发者T1的身体的反射标记IRM的红外反射进行成像的红外摄像装置IRCam以及用于用包括可见光和红外光的照明光照射分发者T1的多个照明142被安装在每个支柱141上。三脚架143根据需要放置在支柱141与支柱141之间,并且深度摄像装置DC、未示出的立体摄像装置等由三脚架143支撑。身体位置传感器BPSR和BPSL附接到分发者T1的两个手腕。
注意,可以仅提供包括在图26中的传感器43中的深度摄像装置DC、红外摄像装置IRCam(反射标记IRM)以及身体位置传感器BPSR和BPSL中的任何一种,或者可以不提供传感器43本身。
在图26中,分发服务器41包括摄像装置影像输入单元121、摄像装置图像数据生成单元122、流处理单元123、感测输入单元124、身体位置信息生成单元125、3D模型位置信息生成单元126、内容数据生成单元127和网络传输单元128。
摄像装置影像输入单元121获取由多视点摄像装置42的每个成像摄像装置Cam成像的分发者T1等的影像以及由未示出的麦克风收集的音频。摄像装置影像输入单元121将获取的影像和音频转换为可编辑的信号格式,并且将其提供给摄像装置图像数据生成单元122。
摄像装置图像数据生成单元122执行必要的处理,例如从来自摄像装置影像输入单元121的多视点影像中去除不需要的对象图像。另外,摄像装置图像数据生成单元122执行必要的处理,例如从来自摄像装置影像输入单元121的音频中去除噪声。摄像装置图像数据生成单元122将处理后的多视点影像和音频提供给流处理单元123。
流处理单元123对来自摄像装置图像数据生成单元122的多视点影像和音频进行编码,并且将其作为影像流数据和音频流数据提供给内容数据生成单元127。
感测输入单元124从传感器43获取传感器信号并且将传感器信号提供给身体位置信息生成单元125。
身体位置信息生成单元125分析来自感测输入单元124的传感器信号并且生成表示分发者T1的骨骼的动作的所谓骨骼数据。身体位置信息生成单元125将生成的骨骼数据提供给3D模型位置信息生成单元126。
3D模型位置信息生成单元126基于来自身体位置信息生成单元125的骨骼数据,生成六自由度(6DoF)数据(6DoF数据),其是当分发者T1被3D建模时诸如头、手、腿等的部位中的每个部位的位置信息。3D模型位置信息生成单元126将生成的6DoF数据提供给内容数据生成单元127。
内容数据生成单元127将来自流处理单元123的影像流数据和音频数据流与来自3D模型位置信息生成单元126的6DoF数据合并为要分发给图1中的客户端系统22的内容数据(分发数据),并且将内容数据提供给网络传输单元128。
网络传输单元128控制经由图1中的网络23与客户端系统22的通信,并且将内容数据从内容数据生成单元127传输到客户端系统22的信息处理装置61。注意,要从分发服务器41分发到信息处理装置61的内容数据除这里描述的数据以外还包括与场地布局等有关的前述数据,并且该数据也被分发。
<客户端系统22>
图29是作为示例示出与图1中的客户端系统22的内容接收等有关的功能配置的框图。
作为示例,图29示出了图1中的客户端系统22的信息处理装置61、HMD 62和手控制器63中的每一个中的功能配置。
信息处理装置61包括网络传输输入单元151、内容输入数据分析单元152、分发者影像处理单元153、定时同步单元154、3D对象控制单元155、其他观看者输入数据分析单元156、定时同步单元157、3D对象碰撞检测单元158、定时同步单元159、体验者输出数据生成单元160和网络传输输出单元161。
网络传输输入单元151控制经由图1中的网络23与服务器系统21的分发服务器41的通信。此外,网络传输输入单元151控制与另一客户端系统22的信息处理装置61(其将被称为另一信息处理装置61)的通信。网络传输输入单元151将从分发服务器41传输的内容数据提供给内容输入数据分析单元152。此外,网络传输输入单元151将从另一信息处理装置61传输的数据(音频流数据和元数据)提供给其他观看者输入数据分析单元156。
内容输入数据分析单元152分析来自网络传输输入单元151的内容数据并且分离从分发服务器41分发的影像流数据、音频流数据和元数据。内容输入数据分析单元152将经分离的影像流提供给分发者影像处理单元153。此外,内容输入数据分析单元152将经分离的音频流数据和元数据提供给分发者影像处理单元153。
分发者影像处理单元153对来自内容输入数据分析单元152的影像流数据进行解码,并且执行必要的影像处理、帧缩减、格式转换等,以从自多视点影像作为自由视点而获得的多视点影像生成自由视点影像。分发者影像处理单元153将处理后的影像数据提供给定时同步单元154。
定时同步单元154通过减少时间偏差来同步来自分发者影像处理单元153的影像数据、来自内容输入数据分析单元152的音频流数据、以及分发者元数据。定时同步单元154将影像数据和元数据提供给3D对象控制单元155。
此外,定时同步单元154将音频流数据提供给HMD 62的耳机输出单元181。另外,定时同步单元154将影像数据和元数据提供给3D对象控制单元155。
3D对象控制单元155基于来自定时同步单元154的影像数据、元数据等,对使HMD62的VR空间显示单元182显示的虚拟空间中的3D对象进行控制。
其他观看者输入数据分析单元156分析来自网络传输输入单元151的来自其他信息处理装置61的数据,并且将该数据分离为音频流数据和元数据。其他观看者输入数据分析单元156将经分离的音频流数据和元数据提供给定时同步单元157。注意,来自其他信息处理装置61的音频流数据包括作为体验者主要进行语音聊天的对方的观看者的音频流数据。来自另一信息处理装置61的元数据包括其他观看者的身体(头部和手部)的6DoF数据以及由作为进行语音聊天的对方的观看者输入的文本数据。
定时同步单元157将来自其他观看者输入数据分析单元156的音频流数据和元数据进行同步,同时减少它们之间的时间偏差。定时同步单元157将经同步的音频流数据提供给HMD 62的耳机输出单元181,并且将经同步的元数据提供给3D对象控制单元155。
3D对象碰撞检测单元158响应于来自3D对象控制单元155的指令,使手控制器63的振动生成单元202生成振动。
定时同步单元159将来自HMD 62的HMD空间信息检测单元184(运动传感器)的指示头部的位置、姿势和动作的6DoF数据(元数据)与来自麦克风输入单元183(麦克风)的音频流数据进行同步,同时减少它们之间的时间偏差。定时同步单元159将经同步的音频流数据和元数据提供给体验者输出数据生成单元160。
体验者输出数据生成单元160将来自定时同步单元159的音频流数据和元数据合并以生成用于传输的数据并且将该数据提供给网络传输输出单元161。
网络传输输出单元161控制服务器系统21的分发服务器41与另一客户端系统22的信息处理装置61之间的通信。网络传输输出单元161经由网络23将来自体验者输出数据生成单元160的数据提供给分发服务器41或另一信息处理装置61。
HMD 62包括耳机输出单元181、VR空间显示单元182、麦克风输入单元183和HMD空间信息检测单元184。
耳机输出单元181使耳机将来自定时同步单元154的音频流数据作为音频输出。以这种方式,从分发服务器41分发的内容中的音频从HMD 62的耳机输出。
此外,耳机输出单元181使耳机将从定时同步单元157提供的音频流数据作为音频输出。以这种方式,从另一信息处理装置61提供的诸如语音聊天的语音从耳机输出。
麦克风输入单元183收集穿戴HMD 62的体验者的音频并且将该音频作为音频流数据提供给定时同步单元159。以这种方式,将体验者的音频提供给语音聊天的对方的信息处理装置61。
HMD空间信息检测单元184使用例如运动传感器检测HMD 62的位置、姿势和动作,并且将位置、姿势和动作作为6DoF数据(元数据)提供给3D对象控制单元155和定时同步单元159。HMD 62的位置、姿势和动作表示体验者的头部的位置、姿势和动作。3D对象控制单元155基于来自HMD空间信息检测单元184的6DoF数据检测HMD 62的视线方向(正面方向)。此外,从HMD空间信息检测单元184提供到定时同步单元159的6DoF数据被提供给另一信息处理装置61,并且反映为由其他观看者观看的体验者的化身的动作等。
手控制器63包括手空间信息检测单元201和振动生成单元202。
手空间信息检测单元201使用例如运动传感器检测手控制器63的位置、姿势和动作,并且将位置、姿势和动作作为6DoF数据(元数据)提供给3D对象控制单元155和HMD空间信息检测单元184。手控制器63的位置、姿势和动作表示抓握手控制器63的体验者的手(双手)的位置、姿势和动作。3D对象控制单元155基于来自手空间信息检测单元201的6DoF数据检测体验者的操作,并且将该操作反映为虚拟空间中的体验者的化身等的动作。此外,从手空间信息检测单元201提供给HMD空间信息检测单元184的6DoF数据经由定时同步单元159被提供给另一信息处理装置61,并且被反映为由另一观看者观看的体验者的化身的动作等。
振动生成单元202响应于来自3D对象碰撞检测单元158的指令使手控制器63振动。在体验者与虚拟空间等中的某个对象发生碰撞的情况下,生成振动的指令从3D对象控制单元155经由3D对象碰撞检测单元158提供给振动生成单元202。
<3D对象控制单元155>
3D对象控制单元155(显示控制单元)基于来自分发服务器41的分发数据(内容数据),创建构成活动场地的虚拟空间中的各种对象的3D模型,并且生成其中从预定位置处的视点以预定视线方向渲染虚拟空间中的各种对象的影像。以预定周期重复执行各种对象的创建和渲染。
渲染时的视点是使用HMD 62的体验者观看分发者的内容的观看位置,并且渲染时的视线方向是HMD 62的视线方向。3D对象控制单元155将通过渲染生成的影像提供给HMD62的VR空间显示单元182,并且使VR空间显示单元182显示该影像。
3D对象控制单元155基于由HMD空间信息检测单元184检测到的HMD 62的位置、姿势和动作,使用与实际空间中的HMD 62的正面方向对应的虚拟空间中的方向作为渲染时的视线方向来渲染虚拟空间。此外,3D对象控制单元155通过渲染虚拟空间,生成可以在VR空间显示单元182上显示的视野范围(在下文中,称为HMD 62的视野范围)内的影像。
3D对象控制单元155从来自分发服务器41的元数据获取指示布置在虚拟空间中的活动场地中的诸如舞台的固定对象的形状、纹理、位置等的对象数据,并且在虚拟空间中创建3D模型。此外,3D对象控制单元155在渲染时将纹理映射到3D模型上。
此外,3D对象控制单元155从来自分发服务器41的元数据(关于场地布局的数据)获取参加虚拟空间中的活动的观看者的观看位置,并且将化身布置在每个观看者的观看位置处。注意,由于还可以由3D对象控制单元155而不是分发服务器41通过获取参加活动的观看者的信息、关于伙伴组中的成员的信息等来执行场地布局的设置,因此假设3D对象控制单元155执行本实施方式中的设置。
3D对象控制单元155从由化身表示的观看者本人的信息处理装置61的元数据中获取指示化身的形状、纹理、位置、姿势和动作的对象数据(化身数据)。
换言之,3D对象控制单元155从其他信息处理装置61获取指示观看者的化身的基本形状和纹理的化身数据以及指示观看者的位置、姿势和动作的6DoF数据(头部和手部的位置、姿势和动作)。
3D对象控制单元155根据来自分发服务器41的元数据(场地布局数据)和来自每个信息处理装置61的元数据(化身数据和6DoF数据)在虚拟空间中创建每个观看者的化身的3D模型,并且在渲染时将纹理映射到3D模型上。以这种方式,与每个观看者的实景动作对应地运动的每个观看者的化身被布置在虚拟空间中。
此外,3D对象控制单元155确定例如在诸如舞台中心的预定位置处分发内容的分发者的分发位置,并且在分发位置处布置分发者的实景化身(例如,体积影像)。
3D对象控制单元155从来自分发服务器41的影像流数据(来自定时同步单元154的影像数据)获取分发的多视点影像,并且根据多视点影像生成分发者的3D形状数据和纹理。然后,3D对象控制单元155使用分发者的3D形状数据在虚拟空间中的分发位置处创建分发者的3D模型,并且在渲染时将根据实景影像生成的纹理映射到分发者的3D模型上。以这种方式,生成其中分发者的实景化身被布置在分发者的分发位置处的影像。
<对象控制的第一形式>
将描述由3D对象控制单元155执行的对象控制的第一形式。
关于虚拟空间中的活动场地中的分发者的分发位置的设置以及观看者的观看位置的设置,3D对象控制单元155可以采用上述的场地布局的第一至第九设置形式中的任意形式。
将描述在采用图6至图10中描述的场地布局的第二设置形式的情况下的对象控制的第一形式。此外,假设体验者的观看位置与分发者的分发位置之间的相对位置关系被设置为使得体验者的观看位置与分发者的分发位置之间的距离是最短距离。
图30是表示在分发者开始内容分发之前(现场表演前)处于待机状态的虚拟空间中的活动场地的状态的图。参加活动的多个观看者U的化身被布置在活动场地中,并且在左右方向上的中央的观看者G1-U1是体验者V,即观看由3D对象控制单元155生成的影像的观看者。
作为体验者V的观看者G1-U1属于伙伴组G1,并且作为伙伴组G1的成员的观看者G1-U2至G1-U6的化身被布置在观看者G1-U1的化身的周围。注意,关于分发者和观看者(包括体验者)的化身的位置以及化身之间的距离的描述可以被视为关于分发者的分发位置和观看者的观看位置的描述。
此外,在位于中心处的体验者V的观看位置周围描绘了具有预定半径的圆221。注意,圆221仅用于说明,而未实际描绘。布置在圆221内部的范围中的观看者G1-U2至G1-U6和观看者Ui的化身(观看位置)被认为位置靠近体验者V的化身(观看位置)。换言之,如果与体验者V的观看位置的距离等于或小于预定阈值,则认为化身位置靠近体验者V的化身。
另一方面,布置在圆221外部的范围中的观看者Uo的化身位置被认为不靠近体验者V的化身。换言之,如果与体验者的观看位置的距离大于预定阈值,则认为化身位置不靠近体验者V的化身。
位置靠近体验者V的化身的观看者G1-U2至G1-U6以及观看者Ui的化身被设置为能够执行实景动作的化身。实景动作是指执行与观看者的动作一致的动作的化身。
另一方面,位置不靠近体验者V的化身的观看者Uo的化身被生成为不执行实景动作的简化的人群化身或影子。
据此,由于位置不靠近体验者V的化身(观看位置)的观看者Uo的化身被描绘为不执行实景动作的简化的人群化身或影子,因此减少了用于描绘化身的描绘数据,并且减少了3D对象控制单元155用于建模、渲染等的处理负荷(描绘负荷等)。
注意,尽管3D对象控制单元155根据与体验者V的观看位置的距离,在处理负荷大的第一形式与处理负荷比第一形式小的第二形式之间改变要描绘的观看者的化身,但是本发明不限于此。例如,可以不改变化身的外观,并且可以在第一形式中采用执行实景动作的化身,而在第二形式中可以采用不执行实景动作的化身。此外,化身的形式在第一形式与第二形式之间变化的条件可以是根据信息处理装置61的通信和描绘的处理负荷的以第一形式描绘的化身的数目。例如,3D对象控制单元155可以按照从最接近体验者V的观看位置的位置开始的顺序采用第一形式作为化身的形式,并且可以在以第一形式描绘的化身的数目超过预定阈值的情况下采用第二形式作为剩余化身的形式。
此外,化身形式可以在具有不同处理负荷的三种或者更多种形式之间变化。例如,将距体验者V的观看位置等于或小于第一阈值的距离处的化身设置为可以执行实景动作的高清化身。将距体验者V的观看位置大于第一阈值并且等于或小于预定的第二阈值(>第一阈值)的距离处的化身设置为不能执行实景动作的高清化身。距体验者V的观看位置大于第二阈值的距离处的化身可以是不能执行实景动作的简化的化身。
此外,布置在体验者V的视野范围以外(即,在体验者V穿戴的HMD62的中心视野范围(在虚拟空间上的渲染范围)以外)的化身即使位置靠近体验者V的化身,也可以被设置为不执行实景动作的简化的化身。
图31是示出分发者T1在分发内容时(现场表演中)的内容分发状态下的虚拟空间中的活动场地的状态的图。注意,在附图中,相同的附图标记被应用于与图30中相同的部分,并且将省略其描述。
在图31中,分发者T1的实景化身被布置在作为体验者V的观看者G1-U1的化身的正面。换言之,体验者V的化身被布置在正面的最接近分发者T1的实景化身的位置处。因此,体验者V的化身可以在最优观看环境中观看内容。
此外,由于所有观看者在使用他们自己的HMD 62观看内容时都对应于体验者V,所以所有观看者都可以在最优观看环境中观看内容。
<处理过程>
图32是示出由3D对象控制单元155执行的对象控制的第一形式的处理过程的流程图。
在步骤S11中,3D对象控制单元155确定体验者所属的伙伴组的成员之间的布局。处理从步骤S11进行到步骤S12。
在步骤S12中,3D对象控制单元155确定活动场地内的伙伴组的布局。处理从步骤S12进行到步骤S13。
在步骤S13中,3D对象控制单元155将除伙伴组的成员以外的观看者的化身布置在除伙伴组的位置以外的位置处。处理从步骤S13进行到步骤S14。
在步骤S14中,3D对象控制单元155开始搜索除体验者以外的所有观看者(化身)。处理从步骤S14进行到步骤S15。
在步骤S15中,3D对象控制单元155确定搜索到的化身位置是否靠近体验者并且位于中心视野内。
在步骤S15中确定搜索到的化身位置靠近并且在中心视野内的情况下,处理进行到步骤S16,并且3D对象控制单元155将搜索到的化身设置为可以执行实景动作的化身。处理从步骤S16进行到步骤S18。
在步骤S15中确定搜索到的化身位置不靠近并且不在中心视野内的情况下,处理进行到步骤S17,并且3D对象控制单元155将搜索到的化身设置为影子或人群化身。处理从步骤S17进行到步骤S18。
在步骤S18中,3D对象控制单元155确定对除体验者以外的所有化身的搜索是否已经结束。
在步骤S18中确定对除体验者以外的所有化身的搜索没有结束的情况下,处理从步骤S18返回到步骤S15,并且重复从步骤S15开始的处理。
在步骤S18中确定对除体验者以外的所有化身的搜索已经结束的情况下,处理从步骤S18进行到步骤S19。
在步骤S19中,3D对象控制单元155执行将场景转变为“现场表演前”的处理。处理从步骤S19进行到步骤S20。
在步骤S20中,3D对象控制单元155确定是否满足“现场表演中”的场景开始条件。例如,确定在状态“现场表演前”下是否经过了特定时间,或者是否到了开始现场表演的时刻。
在步骤S20中确定不满足“现场表演中”的场景开始条件的情况下,重复步骤S20的处理。
在步骤S20中确定满足“现场表演中”的场景开始条件的情况下,处理从步骤S20进行到步骤S21。
在步骤S21中,3D对象控制单元155执行将场景转变为“现场表演中”的处理。处理从步骤S21进行到步骤S22。
在步骤S22中,3D对象控制单元155确定是否满足“现场表演后”的场景开始条件。例如,确定在状态“现场表演中”下是否经过了特定时间,或者是否到了结束现场表演的时刻。
在步骤S22中确定不满足“现场表演后”的场景开始条件的情况下,重复步骤S22的处理。
在步骤S22中确定满足“现场表演后”的场景开始条件的情况下,处理从步骤S22进行到步骤S23。
在步骤S23中,3D对象控制单元155执行用于将场景转变为“现场表演后”的处理。
在步骤S19至S23的上述处理期间,3D对象控制单元155接管体验者的化身与观看者的化身之间的位置关系,使得它们不会由于场景的切换等而变得不连续。例如,3D对象控制单元155使用列表数据等保持位置靠近体验者的每个观看者和伙伴组中的每个观看者的初始位置和当前位置,并且通过参考每次切换场景时的列表数据来接管观看者的位置关系。
根据上述对象控制的第一形式,即使在多个观看者在同一空间中同时观看由分发者分发的内容的情况下,每个观看者也可以在每个最优观看位置处观看由分发者分发的内容。
此外,由于仅允许位置靠近体验者的观看者的化身执行实景动作,因此减轻了信息处理装置61的处理负荷(化身描绘负荷等)。
此外,关于场地布局的设置,在通过采用图6至图10中描述的场地布局的第二设置形式等来设置伙伴组的情况下,被视为伙伴的观看者被布置在体验者附近。因此,体验者在参加活动期间可以容易地了解伙伴的状态,并且有实际会面的感觉。此外,在伙伴组中设置了启用语音聊天或文本聊天的情况下,或者在将进行聊天的观看者或组视为伙伴组的情况下,即使在参加活动期间也可以容易地进行聊天。
另外,无论体验者是属于伙伴组的观看者中的哪一个,伙伴组的成员之间(成员之间)的观看位置的布局都是相同的。因此,不会发生例如属于同一伙伴组的两个观看者识别出对方在自己右侧的情况。例如,不会发生当他们想面对面聊天等时他们面对彼此相反的侧的情况。
<对象控制的第二形式>
接下来,将描述由3D对象控制单元155执行的对象控制的第二形式。
在对象控制的第二形式中,将描述采用图15和图16中描述的场地布局的第五设置形式的情况。此外,假设体验者的观看位置与分发者的分发位置之间的相对位置关系被设置为使得体验者的观看位置与分发者的分发位置之间的距离是最短距离。
图33是示出当分发者分发内容时(现场表演中)的内容分发状态下的虚拟空间中的活动场地的状态的图。
在图33中,参加活动的多个观看者U的化身被布置在活动场地中,并且作为体验者V的观看者U1的化身(观看位置)被布置在左右方向上的中央。此外,分发者T1的实景化身被布置在体验者V的化身(观看位置)的正面,并且体验者V的化身(观看位置)被布置在正面的最靠近分发者T1的实景化身的位置处。
任意观看者U2至U8的化身被布置在位于作为体验者V的观看者U1的化身附近的范围内(在等于或小于预定距离的范围内)。观看者U1至U8的化身被设置为可以执行实景动作的化身。
此外,任意观看者Uo的化身被布置在除观看者U1至U8的观看位置以外的观看位置处。观看者Uo的化身被设置为不执行实景动作的简化的人群化身或影子。注意,由于化身的形式以及改变形式的条件等与对象控制的第一形式的情况类似,因此将省略其描述。
图34是示出当分发者分发内容时(现场表演中)的内容分发状态下的虚拟空间中的活动场地的状态的图,并且是示出体验者的观看位置与图33中的情况不同的情况的图。
在图34中,参加活动的多个观看者U的化身被布置在活动场地中,并且作为体验者V的观看者U1的化身被布置在整体观看者的左侧。此外,分发者T1的实景化身被布置在体验者V的化身的正面,并且体验者V的化身被布置在正面的最靠近分发者T1的实景化身的位置处。
任意观看者U2至U8的化身被布置在位于作为体验者V的观看者U1的化身附近的范围内(在等于或小于预定距离的范围内)。观看者U1至U8的化身被设置为可以执行实景动作的化身。
此外,任意观看者Uo的化身被布置在除观看者U1至U8的观看位置以外的观看位置处。观看者Uo的化身被设置为不执行实景动作的简化的人群化身或影子。
图35是示出当分发者分发内容时(现场表演中)的内容分发状态下的虚拟空间中的活动场地的状态的图,并且是示出体验者的观看位置与图33和图34中的情况不同的情况的图。
在图35中,参加活动的多个观看者U的化身被布置在活动场地中,并且作为体验者V的观看者U1的化身被布置在整体观看者的右侧。此外,分发者T1的实景化身被布置在体验者V的化身的正面,并且体验者V的化身被布置在正面的最靠近分发者T1的实景化身的位置处。
任意观看者U2至U8的化身被布置在位于作为体验者V的观看者U1的化身附近的范围内(在等于或小于预定距离的范围内)。观看者U1至U8的化身被设置为可以执行实景动作的化身。
此外,任意观看者Uo的化身被布置在除观看者U1至U8的观看位置以外的观看位置处。观看者U1至U8的化身被设置为可以执行实景动作的化身。观看者Uo的化身被设置为不执行实景动作的简化的人群化身或影子。
根据前述的对象控制的第二形式,无论体验者V的化身被布置在场地中的哪个位置,体验者V的化身都被布置在正面的最靠近分发者的实景化身的位置处(分发者的实景化身被布置在正面的最靠近体验者V的化身的位置处),因此体验者V可以始终在最优观看环境中观看内容。
此外,由于除体验者V周围的化身以外的化身被设置为简化的化身或者不执行实景动作的化身,因此减少了3D对象控制单元155用于建模、渲染等的处理负荷。
注意,在图33至图35中,所有观看者都作为体验者V观看在他们正面的分发者T1的实景化身,并且从其他观看者看时并不面向分发者T1的实景化身的方向,因此可能会出现他们可能感到不协调的情况。
图36是示出图33至图35中的化身布局的修改例的图。
在图36中,校正了所有观看者U1至U8和观看者Uo的化身的取向,并且将化身布置成正面朝向分发者T1的实景化身的方向。以这种方式,减少了观看者不面向分发者T1的方向的不协调性。注意,可以执行校正,使得仅存在于相对于体验者V的观看位置的预定距离范围内的化身的姿势的正面朝向分发者T1的实景化身的方向。此外,无论场地布局的设置形式是上述第一至第九设置形式中的哪一种,都可以应用使观看者的化身面向分发者T1的实景化身的方向的校正。
<处理过程>
图37是示出由3D对象控制单元155执行的对象控制的第二形式的处理过程的流程图。
在步骤S41中,3D对象控制单元155确定体验者和所有其他观看者的场地布局。处理从步骤S41进行到步骤S42。
在步骤S42中,3D对象控制单元155将分发者的舞台位置布置在体验者的正面。处理从步骤S42进行到步骤S43。
在步骤S43中,3D对象控制单元155开始搜索除体验者以外的所有观看者(化身)。处理从步骤S43进行到步骤S44。
在步骤S44中,3D对象控制单元155确定搜索到的化身位置是否靠近体验者并且位于中心视野内。
在步骤S44中确定搜索到的化身位置靠近并且在中心视野内的情况下,处理进行到步骤S45,并且3D对象控制单元155将搜索到的化身设置为可以执行实景动作的化身。处理从步骤S45进行到步骤S47。
在步骤S44中确定搜索到的化身位置不靠近并且不在中心视野内的情况下,处理进行到步骤S46,并且3D对象控制单元155将搜索到的化身设置为影子或人群化身。处理从步骤S46进行到步骤S47。
在步骤S47中,3D对象控制单元155确定对除体验者以外的所有化身的搜索是否已经结束。
在步骤S47中确定对除体验者以外的所有化身的搜索没有结束的情况下,处理从步骤S47返回到步骤S44,并且重复从步骤S44开始的处理。
在步骤S47中确定对除体验者以外的所有化身的搜索已经结束的情况下,处理从步骤S47进行到步骤S48。
在步骤S48中,3D对象控制单元155执行角度调整,使得体验者周围的化身(组)的姿势面向分发者(参见图36)。处理从步骤S48进行到步骤S49。
在步骤S49中,3D对象控制单元155执行将场景转变为“现场表演前”的处理。处理从步骤S49进行到步骤S50。
在步骤S50中,3D对象控制单元155确定是否满足“现场表演中”的场景开始条件。例如,确定在状态“现场表演前”下是否经过了特定时间,或者是否到了开始现场表演的时刻。
在步骤S50中确定不满足“现场表演中”的场景开始条件的情况下,重复步骤S50的处理。
在步骤S50中确定满足“现场表演中”的场景开始条件的情况下,处理从步骤S50进行到步骤S51。
在步骤S51中,3D对象控制单元155执行将场景转变为“现场表演中”的处理。处理从步骤S51进行到步骤S52。
在步骤S52中,3D对象控制单元155确定是否满足“现场表演后”的场景开始条件。例如,确定在状态“现场表演中”下是否经过了特定时间,或者是否到了结束现场表演的时刻。
在步骤S52中确定不满足“现场表演后”的场景开始条件的情况下,重复步骤S52中的处理。
在步骤S52中确定满足“现场表演后”的场景开始条件的情况下,处理从步骤S52进行到步骤S53。
在步骤S53中,3D对象控制单元155执行用于将场景转变为“现场表演后”的处理。
在步骤S49至S53的上述处理期间,3D对象控制单元155接管体验者的化身与观看者的化身之间的位置关系,使得它们不会由于场景的切换等而变得不连续。例如,3D对象控制单元155使用列表数据等保持位置靠近体验者的每个观看者或者伙伴组中的每个观看者的初始位置和当前位置,并且通过参考每次切换场景时的列表数据来接管观看者的位置关系。
根据前述的对象控制的第二形式,即使在多个观看者在同一空间中同时观看由分发者分发的内容的情况下,每个观看者也可以在每个最优观看位置处观看由分发者分发的内容。
此外,由于仅允许位置靠近体验者的观看者的化身执行实景动作,因此减轻了信息处理装置61的处理负荷(化身描绘负荷等)。
此外,由于体验者周围的化身的姿势被校正为使得其正面面向分发者的方向,所以提高了真实感。
本技术不仅可以应用于虚拟现实,而且还可以应用于通过将虚拟空间中的分发者的3D影像、观看者的化身等与真实世界中的三维空间(实际空间)进行结合来举办各种活动的情况。本技术可以应用于增强现实、复合现实、替代现实等。
此外,本技术可以应用于多人连接类型的诸如“体育现场表演”和“综艺节目”之类的用于娱乐的内容分发以及诸如“远程教育和课程”和“远程工作支持”以及“音乐现场表演”之类的用于应用的内容分发。此外,由于本技术可以是用于实现具有与同时参加活动的伙伴实际见面的感觉的语言/非语言交流的手段,因此可以将本技术应用于远程通信服务,并且从而促进了用于商务的远程通信服务的利用。
<程序>
分发服务器41、信息处理装置61等的上述一系列处理可以由硬件执行,也可以由软件执行。在通过软件执行一系列处理的情况下,构成该软件的程序被安装在计算机中。这里,计算机包括嵌入专用硬件的计算机,或者例如能够通过安装各种程序来执行各种功能的通用计算机。
图38是示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在计算机中,中央处理单元(CPU)401、只读存储器(ROM)402和随机存取存储器(RAM)403通过总线404互相连接。
输入/输出接口405也连接至总线404。输入单元406、输出单元407、存储单元408、通信单元409和驱动器410连接至输入/输出接口405。
输入单元406由键盘、鼠标、麦克风等构成。输出单元407由显示器、扬声器等构成。存储单元408是硬盘、非易失性存储器等。通信单元409是网络接口等。驱动器410驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质411。
在如上所述配置的计算机中,CPU 401通过例如经由输入/输出接口405和总线404将存储在存储单元408中的程序加载到RAM 403并且执行该程序来执行上述一系列处理。
由计算机(CPU 401)执行的程序可以记录在例如用作封装介质以便供应的可移除介质411上。程序可以经由有线或无线传输介质,例如局域网、因特网或数字卫星广播来提供。
在计算机中,通过将可移除介质411安装在驱动器410上,可以经由输入/输出接口405将程序安装在存储单元408中。程序可以由通信单元409经由有线或无线传输介质接收,并且可以被安装在存储单元408中。另外,该程序可以被预先安装在ROM 402或存储单元408中。
注意,由计算机执行的程序可以是按照本说明书中描述的顺序按时间顺序执行处理的程序,或者可以是并行地或在诸如调用时间的必要定时处执行处理的程序。
本技术可以配置如下。
(1)
一种信息处理装置,包括:
处理单元,其在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置所述至少一个观看者作为体验者观看所述内容的观看位置,并且设置所述分发位置,使得所述观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
(2)
根据以上(1)所述的信息处理装置,其中,所述处理单元设置观看所述内容的多个观看者中的每一个被视为所述体验者的情况下的、所述体验者的观看位置和所述分发位置。
(3)
根据以上(1)或(2)所述的信息处理装置,其中,所述多个观看者是同时观看所述内容的观看者。
(4)
根据以上(1)至(3)中任一项所述的信息处理装置,其中,所述处理单元使用由所述体验者指定的位置关系或者作为所述体验者相对于所述分发位置处于最优观看环境的最优观看位置而预先确定的相对位置关系,作为针对所述体验者确定的位置关系。
(5)
根据以上(4)所述的信息处理装置,其中,所述最优观看位置是所述体验者能够设置的观看位置中的距所述分发位置距离最短的观看位置。
(6)
根据以上(1)至(5)中任一项所述的信息处理装置,其中,所述处理单元设置由所述体验者识别的除所述体验者以外的观看者的观看位置。
(7)
根据以上(6)所述的信息处理装置,其中,所述处理单元预先设置由所述多个观看者中的多个观看者构成的组,并且在将所述组中的所述体验者所属的组定义为关注组的情况下,所述处理单元设置属于所述关注组的观看者的观看位置,使得无论所述体验者是属于所述关注组的观看者中的哪一个,属于所述关注组的观看者的观看位置的相对位置关系都相同。
(8)
根据以上(7)所述的信息处理装置,其中,所述处理单元将整个关注组的位置与所述分发位置之间的相对位置关系是针对所述关注组确定的相对位置的情况下的、所述体验者的观看位置与所述分发位置之间的相对位置关系定义为针对所述体验者确定的位置关系。
(9)
根据以上(7)或(8)所述的信息处理装置,其中,所述处理单元将属于所述关注组的观看者中的每一个的观看位置设置为与属于所述关注组的观看者的观看位置中的任一个相邻的位置。
(10)
根据以上(7)至(9)中任一项所述的信息处理装置,其中,所述处理单元将所述观看者进行交谈的伙伴设置为一个组。
(11)
根据以上(6)至(10)中任一项所述的信息处理装置,其中,除所述体验者以外的观看者的观看位置是表示所述观看者的副本被显示在每个体验者观看的所述虚拟空间或所述实际空间中的位置。
(12)
根据以上(11)所述的信息处理装置,其中,所述副本被布置成正面面对所述分发位置的方向。
(13)
根据以上(11)或(12)所述的信息处理装置,其中,在距所述体验者的观看位置的距离等于或小于预定阈值的情况下,除所述体验者以外的观看者的观看位置是显示与观看者的实景动作对应地运动的所述副本的位置,并且在距所述体验者的观看位置的距离大于所述阈值的情况下,除所述体验者以外的观看者的观看位置是显示不对应于所述观看者的实景动作的所述副本的位置。
(14)
根据以上(11)至(13)中任一项所述的信息处理装置,还包括:
显示控制单元,其生成所述副本的影像。
(15)
根据以上(1)至(14)中任一项所述的信息处理装置,其中,所述分发位置是显示所述分发者的实景影像的位置。
(16)
根据以上(15)所述的信息处理装置,其中,所述分发者的实景影像是根据通过从多个视点对所述分发者进行成像而获得的影像生成的体积影像。
(17)
根据以上(1)至(16)中任一项所述的信息处理装置,其中,无论将被定义为所述体验者的观看者如何,所述处理单元将所述分发位置设置在相同位置处,并且设置所述体验者的观看位置,使得所述体验者的观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
(18)
根据以上(1)至(16)中任一项所述的信息处理装置,其中,所述处理单元针对被定义为所述体验者的每个观看者将所述体验者的观看位置设置在不同的位置处,并且设置所述分发位置,使得所述体验者的观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
(19)
一种信息处理方法,包括:
由包括处理单元的信息处理装置的所述处理单元在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置所述至少一个观看者作为体验者观看所述内容的观看位置,并且设置所述分发位置,使得所述观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
(20)
一种程序,使计算机用作:
处理单元,其在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置所述至少一个观看者作为体验者观看所述内容的观看位置,并且设置所述分发位置,使得所述观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
[附图标记列表]
11 娱乐系统
21 服务器系统
22 客户端系统
41 分发服务器
42 多视点摄像装置
61 信息处理装置
62 HMD
84 场地布局设置单元
155 3D对象控制单元。

Claims (20)

1.一种信息处理装置,包括:
处理单元,其在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置所述至少一个观看者作为体验者观看所述内容的观看位置,并且设置所述分发位置,使得所述观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
2.根据权利要求1所述的信息处理装置,其中,所述处理单元设置观看所述内容的多个观看者中的每一个被视为所述体验者的情况下的、所述体验者的观看位置和所述分发位置。
3.根据权利要求1所述的信息处理装置,其中,所述多个观看者是同时观看所述内容的观看者。
4.根据权利要求1所述的信息处理装置,其中,所述处理单元使用由所述体验者指定的位置关系或者作为所述体验者相对于所述分发位置处于最优观看环境的最优观看位置而预先确定的相对位置关系,作为针对所述体验者确定的位置关系。
5.根据权利要求4所述的信息处理装置,其中,所述最优观看位置是所述体验者能够设置的观看位置中的距所述分发位置距离最短的观看位置。
6.根据权利要求1所述的信息处理装置,其中,所述处理单元设置由所述体验者识别的除所述体验者以外的观看者的观看位置。
7.根据权利要求6所述的信息处理装置,其中,所述处理单元预先设置由所述多个观看者中的多个观看者构成的组,并且在将所述组中的所述体验者所属的组定义为关注组的情况下,所述处理单元设置属于所述关注组的观看者的观看位置,使得无论所述体验者是属于所述关注组的观看者中的哪一个,属于所述关注组的观看者的观看位置的相对位置关系都相同。
8.根据权利要求7所述的信息处理装置,其中,所述处理单元将整个关注组的位置与所述分发位置之间的相对位置关系是针对所述关注组确定的相对位置的情况下的、所述体验者的观看位置与所述分发位置之间的相对位置关系定义为针对所述体验者确定的位置关系。
9.根据权利要求7所述的信息处理装置,其中,所述处理单元将属于所述关注组的观看者中的每一个的观看位置设置为与属于所述关注组的观看者的观看位置中的任一个相邻的位置。
10.根据权利要求7所述的信息处理装置,其中,所述处理单元将所述观看者进行交谈的伙伴设置为一个组。
11.根据权利要求6所述的信息处理装置,其中,除所述体验者以外的观看者的观看位置是表示所述观看者的副本被显示在每个体验者观看的所述虚拟空间或所述实际空间中的位置。
12.根据权利要求11所述的信息处理装置,其中,所述副本被布置成正面面对所述分发位置的方向。
13.根据权利要求11所述的信息处理装置,其中,在距所述体验者的观看位置的距离等于或小于预定阈值的情况下,除所述体验者以外的观看者的观看位置是显示与观看者的实景动作对应地运动的所述副本的位置,并且在距所述体验者的观看位置的距离大于所述阈值的情况下,除所述体验者以外的观看者的观看位置是显示不对应于所述观看者的实景动作的所述副本的位置。
14.根据权利要求11所述的信息处理装置,还包括:
显示控制单元,其生成所述副本的影像。
15.根据权利要求1所述的信息处理装置,其中,所述分发位置是显示所述分发者的实景影像的位置。
16.根据权利要求15所述的信息处理装置,其中,所述分发者的实景影像是根据通过从多个视点对所述分发者进行成像而获得的影像生成的体积影像。
17.根据权利要求1所述的信息处理装置,其中,无论将被定义为所述体验者的观看者如何,所述处理单元将所述分发位置设置在相同位置处,并且设置所述体验者的观看位置,使得所述体验者的观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
18.根据权利要求1所述的信息处理装置,其中,所述处理单元针对被定义为所述体验者的每个观看者将所述体验者的观看位置设置在不同的位置处,并且设置所述分发位置,使得所述体验者的观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
19.一种信息处理方法,包括:
由包括处理单元的信息处理装置的所述处理单元在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置所述至少一个观看者作为体验者观看所述内容的观看位置,并且设置所述分发位置,使得所述观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
20.一种程序,使计算机用作:
处理单元,其在虚拟空间或实际空间中,针对观看从虚拟地布置在预定分发位置处的分发者分发的内容的多个观看者中的至少一个观看者,设置所述至少一个观看者作为体验者观看所述内容的观看位置,并且设置所述分发位置,使得所述观看位置与所述分发位置之间的相对位置关系是针对所述体验者确定的位置关系。
CN202180029667.2A 2020-06-03 2021-05-20 信息处理装置、信息处理方法和程序 Pending CN115428032A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020097067 2020-06-03
JP2020-097067 2020-06-03
PCT/JP2021/019103 WO2021246183A1 (ja) 2020-06-03 2021-05-20 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
CN115428032A true CN115428032A (zh) 2022-12-02

Family

ID=78830252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180029667.2A Pending CN115428032A (zh) 2020-06-03 2021-05-20 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20230179756A1 (zh)
EP (1) EP4163876A4 (zh)
JP (1) JPWO2021246183A1 (zh)
CN (1) CN115428032A (zh)
WO (1) WO2021246183A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233849A1 (ja) * 2022-06-03 2023-12-07 ソニーグループ株式会社 情報処理装置、情報処理方法及び記録媒体
US12008701B2 (en) * 2022-06-13 2024-06-11 Lemon Inc. Computing system and method for rendering avatars
JP7495558B1 (ja) 2023-06-22 2024-06-04 カバー株式会社 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
JP6419916B1 (ja) * 2017-09-04 2018-11-07 株式会社コロプラ ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置
US10713834B2 (en) * 2018-04-27 2020-07-14 Colopl, Inc. information processing apparatus and method
JP6580748B1 (ja) * 2018-04-27 2019-09-25 株式会社コロプラ プログラム、情報処理装置、および方法
JP7256870B2 (ja) * 2019-04-17 2023-04-12 マクセル株式会社 映像表示装置及びその表示制御方法

Also Published As

Publication number Publication date
US20230179756A1 (en) 2023-06-08
JPWO2021246183A1 (zh) 2021-12-09
EP4163876A1 (en) 2023-04-12
EP4163876A4 (en) 2023-11-15
WO2021246183A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
US10691202B2 (en) Virtual reality system including social graph
EP3590097B1 (en) Virtual and real object recording in mixed reality device
US10666921B2 (en) Generating content for a virtual reality system
KR102077108B1 (ko) 콘텐츠 체험 서비스 제공 장치 및 그 방법
EP4376444A2 (en) Mixed reality system with spatialized audio
CN115428032A (zh) 信息处理装置、信息处理方法和程序
US10701426B1 (en) Virtual reality system including social graph
US20210092466A1 (en) Information processing apparatus, information processing method, and program
CN105163191A (zh) 一种将虚拟现实设备运用在ktv卡拉ok的系统和方法
WO2019039378A1 (ja) 情報処理装置および画像表示方法
US11354871B2 (en) Head-mountable apparatus and methods
JP6688378B1 (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置
JP2020530218A (ja) 没入型視聴覚コンテンツを投影する方法
KR20160136160A (ko) 가상현실 공연시스템 및 공연방법
JP2011109371A (ja) 3次元画像にコメントテキストを重畳して表示するサーバ、端末、プログラム及び方法
JP4330494B2 (ja) ブロードキャスト番組参加システム、及び方法
JP2020102236A (ja) コンテンツ配信システム、受信装置及びプログラム
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
JP2020102053A (ja) コンテンツ配信システム、受信装置及びプログラム
WO2023026519A1 (ja) 情報処理装置、情報処理端末、情報処理方法、および記憶媒体
NL2030186B1 (en) Autostereoscopic display device presenting 3d-view and 3d-sound
WO2023276252A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
Series Collection of usage scenarios of advanced immersive sensory media systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination