CN108141628B - 信息处理设备、其控制方法和计算机程序 - Google Patents

信息处理设备、其控制方法和计算机程序 Download PDF

Info

Publication number
CN108141628B
CN108141628B CN201680060704.5A CN201680060704A CN108141628B CN 108141628 B CN108141628 B CN 108141628B CN 201680060704 A CN201680060704 A CN 201680060704A CN 108141628 B CN108141628 B CN 108141628B
Authority
CN
China
Prior art keywords
information
video
information terminal
terminal device
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680060704.5A
Other languages
English (en)
Other versions
CN108141628A (zh
Inventor
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202110667744.9A priority Critical patent/CN113422968A/zh
Priority claimed from PCT/JP2016/078948 external-priority patent/WO2017068928A1/ja
Publication of CN108141628A publication Critical patent/CN108141628A/zh
Application granted granted Critical
Publication of CN108141628B publication Critical patent/CN108141628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1076—Screening of IP real time communications, e.g. spam over Internet telephony [SPIT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种提供内容信息的信息处理设备、其控制方法以及一种计算机程序。当所述信息处理设备已经从多个第二用户信息终端设备接收到直接或间接访问请求时，所述访问请求与和第一用户相关联的内容信息有关，如果满足与访问请求相关的规定条件(例如，通信带容量和访问请求数量等)，则所述信息处理设备基于为每个信息终端设备设置的优先顺序，控制向每个信息终端设备提供信息。

Description

信息处理设备、其控制方法和计算机程序
技术领域
本说明书中公开的技术涉及一种提供内容信息的信息处理设备、其控制方法以及一种计算机程序。
背景技术
已知允许用户访问来自除了用户以外的人或物体的视线(来自除了用户以外的移动物体的场景)的技术。
例如，已经提出了一种移动相机系统，其远程获取由安装在诸如车辆等移动物体上的移动相机拍摄的图像(例如，参见专利文献1)。另外，已经提出了一种图像处理系统，该图像处理系统为佩戴头戴式显示器的人提供了与佩戴其中设置了成像感测无线设备的眼镜的人所获取的视觉信息类似的信息(例如，参见专利文献2)。此外，已经提出了一种图像显示系统，其中，显示移动物体的拍摄图像的显示设备侧为移动主体的成像设备指定用于执行成像的视点位置和视线方向以及成像时的速度(例如，参见专利文献3)。
此外，还提出了远程呈现技术，该远程呈现技术通过诸如在远程位置处的机器人的视线的间隔来传输人感觉好像该人在场的感觉，并且提供用于在远程位置操作物体的界面(例如，参见专利文献4)。
引文列表
专利文献
专利文献1：JP 2006-186645A
专利文献2：JP 2004-222254A
专利文献3：JP2008-154192A
专利文献4：JP 2014-522053T
专利文献5：JP2014-104185A
专利文献6：JP 2005-302103A
发明内容
技术问题
本说明书中公开的技术的目的是提供一种提供内容信息的信息处理设备、其控制方法以及一种计算机程序。
解决问题的方法
考虑到上述问题，设计了本说明书中公开的技术，并且其第一方面是一种信息处理设备，包括：访问接收单元，被配置为从多个第二用户的信息终端设备接收直接或间接访问与第一用户相关联的内容信息的请求；以及控制单元，被配置为当满足关于所接收的访问请求的预定条件时，基于设置的优先级来控制向每个信息终端设备提供信息。
另外，本说明书中公开的技术的第二方面是一种用于信息处理设备的控制方法，该控制方法包括：访问接收步骤，用于从多个第二用户的信息终端设备接收直接或间接访问与第一用户相关联的内容信息的请求；以及控制步骤，用于当满足关于所接收的访问请求的预定条件时，基于设置的优先级来控制向每个信息终端设备提供信息。
另外，本说明书中公开的技术的第三方面是一种以计算机可读格式描述的计算机程序，所述计算机程序使计算机执行：访问接收步骤，用于从多个第二用户的信息终端设备接收直接或间接访问与第一用户相关联的内容信息的请求；以及控制步骤，用于当满足关于所接收的访问请求的预定条件时，基于设置的优先级来控制向每个信息终端设备提供信息。
发明的有益效果
根据在本说明书中公开的技术，可以提供一种提供内容信息的信息处理设备、其控制方法以及一种计算机程序。
注意，在本说明书中描述的有利效果仅仅是为了示例的目的，并且本发明的有益效果不限于此。此外，在一些情况下，除了上面给定的有利效果之外，本发明还可以显示出额外的有利效果。
将通过基于下文讨论的示例性实施例和附图的更详细的描述，来阐明本说明书中公开的技术的进一步目的、特征和优点。
附图说明
[图1]图1是示出了应用了本说明书中公开的技术的视觉信息共享系统100的概况的示图。
[图2]图2是示意性地示出了一对N网络拓扑的示图。
[图3]图3是示意性地示出了N对1网络拓扑的示图。
[图4]图4是示意性地示出了N对N网络拓扑的示图。
[图5]图5示出了图像提供设备101和图像显示设备102的功能配置示例。
[图6]图6是举例说明了限制在配额内执行JackIn到主体的幻影的数量的机制(FIFO方法)的示图。
[图7]图7是举例说明了限制在配额内执行JackIn到主体的幻影的数量的机制(LIFO方法)的示图。
[图8]图8是举例说明了限制在配额内执行JackIn到主体的幻影的数量的机制(优先级方法)的示图。
[图9]图9是示出将主体的过去的视频分配给超出配额的幻影的机制的示图。
[图10]图10是示出用于将第一人称视图分配给新近执行JackIn到主体的幻影的处理过程的流程图。
[图11]图11是示意性地示出了360°全圆顶被分成各自具有预定角度的区域、将全圆顶视频信道化并且分别安装信道服务器的示图。
[图12]图12是示出了信道服务器1101分配与相邻信道ch2和ch3的区域重叠的区域的视频的示图。
[图13]图13是示出了视线集中于全圆顶视频的一部分视角的示图。
[图14]图14是示出了用于将主体的全圆顶视频分配给幻影的处理过程的流程图。
具体实施方式
在下文中，将参照附图，详细描述本说明书中公开的技术的实施例。
A.系统的概况
图1示出应用了本说明书中公开的技术的视觉信息共享系统100的概况。所示的视觉信息共享系统100包括图像提供设备101和图像显示设备102的组合，该图像提供设备提供通过拍摄一个现场的图像而获得的图像，该图像显示设备显示从图像提供设备101提供的图像。图像提供设备101可以被视为信息处理设备或信息终端设备。
图像提供设备101具体包括安装在实际上在一个现场进行活动的观察者111的头部上的配有相机的透视头戴式显示器。此处的“透视”头戴式显示器可以基本上是光学透射式头戴式显示器，但也可以是视频透视头戴式显示器。安装在头戴式显示器上的相机提供通过基本上在观察者111的视线方向上执行成像而获得的视频。即，图像提供设备101可以被视为用户的便携式信息处理设备。注意，图像提供设备不限于戴在头上的设备。只要图像提供设备是能够获取关于观察者111周围的区域的成像信息的设备，该设备的配置就不受特别限制。
同时，假设图像显示设备102被设置为远离该现场(即，图像提供设备101)，并且图像提供设备101和图像显示设备102经由网络彼此通信。此处的术语“远离”不仅包括远程位置，还包括图像提供设备101和图像显示设备102在相同空间内彼此略微分开(例如，大约几米)的情况。另外，还假设经由服务器设备(未示出)在图像提供设备101和图像显示设备102之间交换数据。
例如，图像显示设备102是由不在该现场(捕捉的图像的观看者)112的人佩戴的头戴式显示器。通过使用用于图像显示设备102的沉浸式头戴式显示器，观看者112能够更真实地体验与观察者111的场景相同的场景。然而，透视头戴式显示器也可以用于图像显示设备102。
另外，图像显示设备102不限于头戴式显示器，例如，可以是手表式显示器。或者，图像显示设备102不必是可穿戴式终端，而可以是诸如智能电话或平板电脑的多功能信息终端、计算机屏幕、电视接收器等的通用监视显示器、游戏机、将图像投影在屏幕上的投影仪等。在本公开中，可以将这些终端或设备的类型视为外部信息处理设备(信息终端设备)的相关信息或属性信息。另外，外部信息处理设备的性能或输出格式也可以包括在信息处理设备的相关信息中。例如，外部信息处理设备的性能可以包括诸如分辨率、帧速率、传输速率或解码速率的参数。外部信息处理设备的输出格式可以包括声音输出、图像输出、触觉输出等。
观察者111实际上在现场并且用他或她的身体进行活动。因此，在下文中也将作为图像提供设备101(信息处理设备)的用户的观察者111(或图像提供设备101)称为“主体”。相反，观看者112未用他或她的身体在地点行动，而是能够通过观看从观察者111的视点拍摄的视频来意识到该地点。因此，也将作为图像显示设备102的用户的观看者112(或图像显示设备102)称为“幻影(Ghost)”。
主体将他或她的周围情况发送给幻影，并进一步与幻影共享该情况。幻影中的一个能够与主体进行通信，并从空间上分开的位置实现交互(例如，操作支持)。在下文中也称为“JackIn”，将幻影在视觉信息共享系统100中与从主体发送的视频交互。
视觉信息共享系统100具有将视频从主体发送到幻影以允许幻影侧观看和体验视频并在主体和幻影之间建立通信的基本功能。通过使用后面的通信功能，幻影是能够根据来自远程位置的干预与主体进行交互，例如，允许幻影干预主体视觉的“视觉干预”、允许幻影干预主体听觉的“听觉干预”、允许幻影移动或刺激主体的身体或主体的一部分的“身体干预”以及允许幻影在现场而不是主体上交谈的“替代对话”。也可以这样说，JackIn提供多种通信信道，例如，“视觉干预”、“听觉干预”、“身体干预”和“替代对话”。下面将描述“视觉干预、“听觉干预”、“身体干预”和“替代对话”。
幻影能够通过“视觉干预”、“听觉干预”、“身体干预”或“替代对话”来命令主体关于现场的行为。例如，视觉信息共享系统100可用于在各种工业领域(例如，包括手术等的医疗领域)中的操作支持、建筑工程等的施工现场、关于飞机和直升机的控制及其引导的说明、汽车驾驶员的导航、指导、在运动中的指令等。
例如，除了主体希望与另一个人共享他或她的视觉的情况之外，在主体希望(或已经)被另一个人帮助、指导、引导和导航关于主体目前正根据视力干预等进行的操作的情况下，主体主动用适当的幻影(主体主动开始)执行JackIn。
此外，除了幻影希望在不访问现场的情况下观看现场的视频的情况之外，在通过执行视力干预等，幻影希望(或已经)帮助、指导、引导和导航另一个人关于所述另一个人目前正在进行的操作的情况下，幻影主动用相应的主体(幻影主动开始)执行JackIn。
然而，当主体不受限制地受到视觉干预、听觉干预、身体干预或会话干预时，主体的行为被幻影打断，或主体的行为在某些情况下受到阻碍并处于危险之中，并且有时侵入隐私。同时，幻影也有幻影在某些情况下不想看的某个视频，或者在某些情况下，即使需要，幻影也无法向主体提供诸如适当的帮助、指导、引导和导航等服务。因此，可能会在一定的水平上限制幻影到主体的JackIn以及处于JackIn状态的幻影对主体的干预。
注意，为了简化起见，图1示出了仅存在一个图像提供设备101和一个图像显示设备102的主体和幻影的一对一网络拓扑。还假设：如图2所示的一对N网络拓扑，其中，一个主体和多个(N个)幻影同时执行JackIn；如图3所示，N对1网络拓扑，多个(N个)主体和一个幻影同时执行JackIn；以及如图4所示，N对N网络拓扑，其中，多个(N)主体和多个(N)幻影同时执行JackIn。
另外，还假设将一个设备从主体切换到幻影，将一个设备从幻影切换到主体，并同时为一个设备提供主体的角色和幻影的角色。还假设网络拓扑(未示出)，其中，一个设备对某个主体执行JackIn，作为幻影，同时用作另一个幻影的主体，以在三个或更多个设备之间建立菊花链连接。在任何网络拓扑中，服务器设备(未示出)有时插在主体和幻影之间。
B.功能配置
图5示出了图像提供设备101和图像显示设备102的功能配置示例。
图像提供设备101是由扮演主体的角色的用户(观看者112)使用的设备。在图5所示的示例中图像提供设备101包括成像单元501、图像处理单元502、用作输出单元的显示单元503、第一声音输出单元504、驱动单元505和第二声音输出单元506、位置检测单元507、通信单元508、控制单元509和设置单元510。图像提供设备101的这些部件501至510中的每一个直接或间接地提供给预定外壳，如图1所示。
成像单元501包括相机，并且例如附接到主体(即，观察者111)的头部，以便对观察者111的视线方向上的区域进行成像。或者，全圆顶相机可用于成像单元501，以提供示出主体周围区域的360°全圆顶图像。然而，全圆顶图像不一定必须是360°图像，而是视野可能部分缺失。此外，全圆顶图像可以是不包括包含很少信息的地板表面的半球型图像(这同样适用于以下)。注意，成像单元501仅需要获取拍摄的图像信息，例如，在存在主体(即，观察者111)的真实空间中，并且可以采用各种设备配置。
如下所述，也可以将主体(即，观察者111)存在的空间定义为虚拟空间，代替真实空间。如上所述，成像单元501仅需要获取存在观察者111的空间的信息，而不必直接提供给图像提供设备101。例如，可以从设置在存在观察者111的空间中的成像设备获取拍摄的图像信息。
图像处理单元502处理从成像单元501输出的图像信号。在由成像单元501拍摄的视频直接流式传输的情况下，主体随意环视或改变视线方向。因此，幻影不得不观看强烈摇晃的视频，并担心幻影不舒服。另外，幻影有时希望观看主体不聚焦的另一部分。然后，图像处理单元502基于由成像单元501拍摄的连续图像来模拟地构建周围空间。在一些情况下，“真实空间”下面将简称为“空间”。具体地，图像处理单元502对由成像单元501拍摄的视频(全圆顶图像)实时执行空间识别，并且将当前视频帧和过去的视频帧在空间上连接在一起，由此从由幻影控制的虚拟相机的视角来渲染视频。空间识别基于同时定位和映射(SLAM)识别技术等。在虚拟相机的视角渲染的视频是从模拟地超出主体的视角观看的视频，而不是从主体的视角观看的视频。因此，幻影侧能够独立于主体的运动观察主体周围的环境，从而可以稳定视频的晃动，以防止不舒服并查看主体不聚焦的另一部分。
声音输入单元521包括麦克风等，并且拾取在观察者111周围生成的声音。声音处理单元522对来自声音输入单元521的声音信号执行信号处理，并且根据需要，执行诸如高级音频编码(AAV)等音频编码处理。
显示单元503显示并输出从图像显示设备102发送的信息，由此允许幻影干预主体的视觉。在如上所述图像提供设备101被配置为透视头戴显示器的情况下，显示单元503在观察者111的视觉(即，真实世界的风景)上叠加并显示表达与主体共享体验的幻影的意识的增强现实(AR)图像。AR图像包括诸如指示器、注释等图像，显示例如由幻影指示的位置。因此，幻影能够通过与主体的沟通来干预主体的视觉，并且在现场与主体交互。
例如，第一声音输出单元504包括耳机、头戴式耳机等，并促使主体听取从图像显示设备102发送的信息，由此允许幻影干预主体的听觉。图像显示设备102传输关于与主体共享体验的幻影的意识的信息。图像提供设备101侧将接收到的信息转换为声音信号，并且从第一声音输出单元504输出声音，由此促使主体(即，观察者111)收听声音。或者，当前正在观看从主体发送的视频的幻影发出的声音信号按照原样从图像显示设备102传输。图像提供设备101侧用第一声音输出单元504以声音形式按照原样输出接收到的声音，从而促使主体(即，观察者111)收听声音。此外，可以适当地调整从第一声音输出单元504输出的声音的音量、音质、输出时间等。或者，可以将来自图像显示设备102的图像信息或字符信息(文本信息)转换成声音信号，并且以声音的形式从第一声音输出单元504输出。因此，幻影能够通过与主体的沟通来干预主体的听觉，并且在现场与主体交互。
驱动单元505移动或刺激主体的身体或主体的一部分，以允许幻影干预主体的身体。驱动单元505包括例如用于向观察者111的主体施加触觉刺激或电刺激的致动器(这是轻微的电刺激，因此不会对健康造成伤害)。或者，驱动单元505包括用于通过驱动佩戴在观察者111的手臂、手、腿等上的动力服或外骨骼来支撑或限制主体的运动的设备(例如，参见专利文献5)。因此，幻影能够通过与主体的沟通来干预主体，并且在现场与主体交互。
第二声音输出单元506包括例如主体穿戴的穿戴式扬声器等，并且将来自图像显示设备102的信息或声音信号以声音的形式输出到外部。从第二声音输出单元506输出的声音在现场发出声音，就好像主体自己说话一样。因此，幻影能够与在主体所在的地点的人交谈，或者用声音而不是主体发出指令(替代对话)。
位置检测单元507通过使用例如全球定位系统(GPS)信号来检测图像提供设备101(即，主体)的当前位置信息。检测到的位置信息例如用于幻影，以搜索处于幻影期望的地方的身处。
通信单元508经由网络相互连接到图像显示设备102，传输由成像单元501拍摄的视频和空间信息，并与图像显示设备102通信。通信单元508的通信方式可以是无线或有线通信方式，并且不限于特定的通信标准。另外，还假设通信单元508经由服务器设备(未示出)与图像显示设备102进行信息通信的情况。
设置单元510对经由网络连接到设置单元510的图像显示设备102(或者是其用户的幻影)执行认证处理，或者检查幻影的属性信息(相关信息)，以设置将要提供给图像显示设备102的信息范围，或者设置从图像显示设备102接收的信息之中的要从输出单元输出的信息的范围。此处，要从主体提供给幻影的各种信息可以被视为与主体相关联的内容信息。此外，在本公开中，要提供给幻影的信息的范围可以被定义为提供给幻影的信息量。例如，设置单元510基于幻影的属性信息，设置从成像单元501输入的视频和从声音输入单元521输入的声音信息中的一个或两个，作为要提供给图像显示设备102的信息的范围。这可以基于幻影的属性信息(相关信息)来限制从主体提供给幻影的信息量。例如，可以限制或抑制要从主体提供给幻影的声音信息、视频信息、触觉信息等中的至少一个。另外，设置单元510基于幻影的属性信息，设置在诸如要从图像显示设备102接收的声音信息、文本信息、图像信息等的信息信号之中的要由输出单元输出的信息的范围。这可以促使设置是否为从幻影到主体的“视觉干预”、“听觉干预”、“身体干预”、或“替代对话”进行输出，即，可以设置由各个输出单元输出的信息的范围。
另外，当满足关于从图像显示设备102接收到的访问请求的预定条件时，设置单元510根据向每个图像显示设备102提供哪个信息来设置优先级。在下面的某些情况下，访问请求将简称为“访问”。此处的预定条件例如是图像提供设备101和图像显示设备102之间的网络通信带的容量超过预定限制、接收访问的次数超过预定限制等的条件。更具体地，超过预定限制的接收访问的次数可被视为超过可访问设备的数量的需要实时访问从图像提供设备101提供的内容信息的图像显示设备102的数量(即，最大数量的设备)。然后，设置单元510基于包括用户的个人信息和图像显示设备102特有的信息的幻影的属性信息等来设置每个图像显示设备102的优先级。
控制单元509具有例如对应于中央处理单元(CPU)和图形处理单元(GPU)的功能。控制单元509基于根据设置单元510的认证结果设置的信息范围来控制来自输出单元的输出操作。此外，当满足关于从图像显示设备102接收的访问请求的预定条件时，控制单元509可以被认为基于由设置单元510设置的优先级，控制向每个图像显示设备102提供信息。
例如，在图像信息被设置为信息范围的情况下(换言之，作为认证处理的结果，允许图像显示设备102仅进行视觉干预)，控制单元509仅执行来自显示单元503的显示输出。另外，在声音信息也被设置为信息范围的情况下(换言之，允许图像显示设备102不仅进行视觉干预，而且还进行听觉干预)，控制单元509执行来自显示单元503的显示输出和来自第一声音输出单元504的声音输出。
要从图像提供设备101提供给图像显示设备102的信息的范围或要从图像显示设备102接收的信息的范围(换言之，主体允许幻影的干预的范围)被定义为许可级别。同时，幻影干预主体的范围被定义为任务级别(如下所述)。从幻影到主体的这种干预，即，为访问而发出的各种信号，可以被视为从幻影到主体的访问请求。例如，在图5中，接收从图像显示设备102发出的访问请求的服务器设备的部件可以被视为访问接收单元。或者，图像提供设备101的通信单元508、设置单元510和控制单元509中的至少一个可以被视为访问接收单元。然而，也可以配置视觉信息共享系统100，使得由设置单元510和控制单元509执行的上述处理不是由图像提供设备101执行，而是由插入在图像提供设备101和图像显示设备102之间的服务器(未示出)执行。在这种情况下，服务器设备可以被认为是本公开中的信息处理设备。注意，在图5中，图像提供设备101经由服务器设备间接地接收来自幻影的访问请求，即，直接从服务器设备接收。本公开的技术不限于此。图像提供设备101可以直接接收来自图像显示设备的访问请求。
另外，当满足关于发生的访问的规定条件时，例如，在通信带的容量超过限制，接收访问的次数超过限制等的情况下，控制单元509基于设置单元510设置的优先级，将信息(由成像单元501拍摄的视频、利用声音输入单元521输入的声音等)传输到图像显示设备102。
同时，图像显示设备102是由扮演幻影角色的用户(观看者112)使用的设备。在图5所示的示例中，图像显示设备102包括通信单元511、图像解码单元512、显示单元513、用户输入单元514和位置姿势检测单元515。
通信单元511经由网络与图像提供设备101相互连接，从图像提供设备101接收视频，并且与图像提供设备101通信。通信单元511的通信方式可以是无线或有线通信方式，并不限于特定的通信标准。然而，假设通信方式与图像提供设备101侧的通信单元508兼容。此外，还假设通信单元511经由服务器设备(未示出)与图像提供设备101进行信息通信的情况。
图像解码单元512对由通信单元511从图像提供设备101接收的图像信号执行解码处理。显示单元513显示并输出已经由图像解码单元512解码的全圆顶图像。注意，从主体的视点视频在主体的身体外渲染视点视频的处理(上述)可以不由图像提供设备101侧的图像处理单元502执行，而是可以由图像解码单元512执行。
位置姿势检测单元515检测观看者112的头部的位置和姿势。检测到的位置和姿势对应于幻影的当前视点位置和视线方向。可以基于位置姿势检测单元515检测到的观看者112的头部的位置和姿势，控制虚拟相机(如上所述)的视点位置和视线方向，以从主体的视点在主体的身体之外模拟地创建视点视频。
显示单元513例如包括由用作幻影的观看者112佩戴的头戴式显示器。通过将沉浸式头戴式显示器用于显示单元513，观看者112可以更真实地体验与观察者111的场景相同的场景。由观看者112观看的视频(即，幻影)不是主体的视点视频本身，而是从其连续图像模拟地构建的周围空间(模拟地在主体的身体之外的视点视频)(如上所述)。另外，可以控制虚拟相机对幻影执行头部追踪，即，遵循由位置姿势检测单元515检测到的观看者112的视点位置和视线方向，并移动显示单元513的显示视角。
诸如透视头戴式显示器或手表式显示器等穿戴式终端可以用作显示单元513，而不是沉浸式头戴式显示器。或者，显示单元513不必是穿戴式终端，也可以是诸如智能手机或平板电脑等多功能信息终端、诸如计算机屏幕或电视接收机等通用监视显示器、游戏机、在屏幕上投影图像的投影仪等。
用户输入单元514是用于响应于从主体发送的并显示在显示单元513上的视频的观察而允许用作幻影的观看者112输入幻影自己的意图或意识的装置。
用户输入单元514例如包括诸如触控面板、鼠标或操纵杆等坐标输入设备。通过鼠标上的触摸、点击操作等，幻影能够直接指示在显示从主体发送的视频的屏幕.上的幻影特别感兴趣的位置。幻影给出了幻影当前正在观看的视频的像素坐标。然而，主体侧的拍摄视频总是变化的，并且像素坐标上的指示是没有意义的。用户输入单元514然后通过执行图像分析等来识别与幻影通过在屏幕上触摸、执行点击操作等来指示的像素位置对应的三维空间中的位置信息，并将三维空间中的位置信息传输到图像提供设备101。因此，幻影能够执行不是在像素坐标上而是在空间中实现固定的指示。
另外，用户输入单元514可以通过使用由相机拍摄的幻影的面部的拍摄图像或眼睛电位来拍摄眼睛移动，计算幻影正在注视的位置，并且将用于识别该位置的信息传输到图像提供设备101。此时，用户输入单元514还通过执行图像分析等来识别与幻影正在注视的像素位置对应的三维空间中的位置信息，并将三维空间中的位置信息传输给图像提供设备101。因此，幻影能够执行不是在像素坐标上而是在空间中实现固定的指示。
另外，用户输入单元514包括诸如键盘等字符输入设备。当幻影观看发送的视频，以具有与主体的体验相同的体验时，幻影能够输入幻影想要让主体知道的意图、幻影所具有的意识等，作为字符信息。用户输入单元514可以将由幻影输入的字符信息按照原样传输到图像提供设备101，或者可以转换诸如声音信号等另一种信号格式的字符信息，并且然后将信号传输到图像提供设备101。
另外，用户输入单元514包括诸如麦克风等声音输入设备，并且将由幻影发出的声音输入到用户输入单元514中。用户输入单元414可以通过声音信号的形式将输入声音从通信单元511传输给图像提供设备101。或者，用户输入单元514还可以对输入声音执行声音识别，以将输入声音转换成字符信息，并且将输入声音传输到图像提供设备101，作为字符信息。从声音信息到字符信息的这种转换可以经由幻影生成的声音来抑制属性信息到主体的传输，即，幻影的个人信息。
假设幻影在观看从主体发送的视频时，通过使用诸如“那个”或“这个”等指示代词来指示物体。在这种情况下，用户输入单元514通过执行语言分析、图像分析等来识别在三维空间中由指示代词所指示的物体的位置信息，并且将该三维空间中的位置信息传输给图像提供设备101。因此，幻影能够执行不是在像素坐标上而是在空间中实现固定的指示。
另外，用户输入单元514可以是姿势输入设备，在该姿势输入设备内输入了幻影的主体姿势和手势。用于拍摄姿势的手段不受特别限制。例如，用户输入单元514可以包括对幻影的肢体的移动进行成像的相机以及处理拍摄图像的图像识别设备。此外，可以将标记附着到幻影的主体，以促进图像识别。或者，用户输入单元514包括附着到幻影的主体的陀螺仪传感器或加速度传感器，并检测幻影主体的运动。
例如，用户输入单元514可以将输入姿势从通信单元511传输给图像提供设备101，例如，作为用于干预主体的控制信号。此外，用户输入单元514可以将输入姿势转换成用于干预主体的视觉的图像信息(坐标信息、要叠加和显示的AR图像、字符信息等)或用于干预主体的听觉的声音信号，并且将图像信息或声音信号从通信单元511传输给图像提供设备101。另外，用户输入单元514通过执行图像分析等来识别与由幻影的姿势指示的像素位置对应的三维空间中的位置信息，并将三维空间中的位置信息传输给图像提供设备101。因此，幻影能够执行不是在像素坐标上而是在空间中实现固定的指示。
另外，用户输入单元514输入基于由相机成像的幻影的图像分析、附着于幻影的主体的陀螺传感器或加速度传感器的检测结果等获得的幻影的动作，作为在虚拟空间(VR空间)等中移动的指令。
称为JackIn并且在视觉信息共享系统100中开发的服务类似于从叠加和显示AR图像的角度看的一般AR技术。然而，人们认为JackIn与计算机执行的普通AR技术的不同之处在于，人类(幻影)增加了另一个人类(主体)。
另外，JackIn在某种程度上也类似于远程呈现(如上所述)。然而，普通远程呈现和JackIn的不同之处在于，普通远程呈现是从诸如机器人等机器的视点来看世界的界面，而在JackIn中，人类(幻影)从另一个人(主体)的视点来看世界。此外，远程呈现的前提是人类充当主人，机器充当奴隶，充当奴隶的机器确实再现了人类的运动。相反，在分类(幻影)对另一个人类(主体)执行JackIn的情况下，主体不一定根据幻影移动，并且是独立的界面。
在上述视觉信息共享系统100中，从图像提供设备101提供给图像显示设备102的视频不限于由主体现场观看的实时视频(即，由成像单元拍摄的实况视频)，可以是记录的过去的视频。例如，图像提供设备101包括记录过去的视频的大容量存储设备(未示出)，并且可以从图像提供设备101分配过去的视频。或者，由图像提供设备101记录的过去的视频可以累积在控制主体和幻影之间的JackIn的JackIn服务器(临时名称)或另一记录服务器上，并且过去的视频可以从这些服务器流式传输到幻影(图像显示设备102)。然而，在幻影观看过去的视频的情况下，包括视力干预和听觉干预在内的对主体的干预可能被认为是根本不允许的。这是因为幻影所观看的视频不是主体当前正在执行操作的地点的视频，并且基于过去的视频的干预妨碍了主体的当前操作。
注意，对于两个设备之间的视觉共享的细节，例如，还应该参见已经转让给本申请人的专利申请No.2013-78893的说明书。另外，对于在相同系统100中的视觉干预(AR图像的显示)的细节，例如，还应该参见已经转让给本申请人的专利申请2013-78892的说明书、专利申请2013-78894的说明书以及专利申请2013-191464的说明书。
C.任务-许可(主体和幻影之间的匹配)
JackIn提供了多个通信信道，例如，“视觉干预”、“听觉干预”、“身体干预”和“替代对话”。因此，通过开始与幻影的JackIn，主体能够与幻影共享主体的视觉，并且由幻影帮助、指导、引导和导航关于目前通过视觉干预等进行的操作。此外，通过开始与主体的JackIn，幻影能够具有与主体的体验相同的体验，无需访问该地点，并且通过视觉干预等帮助、指导、引导和导航主体关于其操作。
然而，当幻影无限制地干预主体自身的视觉、听觉或主体，或者进行可替换的对话时，主体的行为有时会被幻影打断，或者主体的行为有时会受到阻碍并受到危险，在某些情况下，也会入侵主体的隐私。同时，幻影也有在某些情况下幻影不希望看到的一些视频，即使主体要求，也不能提供适当的帮助、指导、引导和导航等服务。即，主体和幻影之间的不匹配是有问题的。
因此，在本实施例中，为了实现主体和幻影之间的适当匹配，定义了“许可”和“任务”。主体允许来自幻影的干预的范围被定义为“许可”，并且来自幻影的干预限于许可规定的范围。同时，幻影干预主体的操作范围被定义为“任务”，并且幻影能够干预主体的范围限于任务规定的范围。
C-1.许可
首先，将描述许可。如下文所举例说明的，各个主体可以适当地设置具有允许干预的不同级别的许可。
(级别1)仅允许视觉交换。在这种情况下，图像提供设备101仅传输成像单元501的拍摄图像，但根本不操作输出单元。
(级别2)只允许视觉交换，直到视觉干涉。在这种情况下，图像提供设备101仅传输成像单元501的拍摄图像，并且为显示单元503进行显示输出。
(级别3)进一步允许听觉干预。在这种情况下，图像提供设备101传输成像单元501的拍摄图像，对显示单元503进行显示输出，并且使得从第一声音输出单元504输出声音。
(级别4)允许包括身体干预和替代对话的各种干预。在这种情况下，图像提供设备101能够进一步驱动该驱动单元505并且从第二声音输出单元506向外部输出声音。
此外，每个主体可能不会提供所有幻影的统一许可，但可以对每个幻影提供单独的许可。
例如，主体可以根据幻影的用户属性设置许可。假设此处的用户属性不仅包括诸如年龄、性别、与主体的个人关系(亲属关系、友谊、老板和下属等)、出生地、职业和资格等个人信息，还包括对辅助目标操作技能的评价信息以及诸如幻影的过去性能(作为助理、指导员等)(幻影迄今为止经历了多少小时的操作)、对幻影的审查以及来自另一主体(如上所述)的幻影的声望(发帖、投票结果等)等信息。
此外，主体不根据属性设置许可，但可以单独设置许可(先生/女士A的许可、先生/女士B的许可...等)。换言之，可以为主体和幻影的每个组合设置许可。主体可以基于与主体的个人关系设置许可，或者基于主体亲自抓住的幻影的能力设置许可。此外，还有一种通过主体与幻影之间的一对一协商、调解等向幻影提供临时许可的方法(高级许可仅在预定时间段内提供给某个幻影，并且当该时间段过去时，该许可恢复到原始等级许可)。另外，主体可以设置被禁止对主体执行JackIn的用户。
下面显示了基于个人关系的许可设置的简单示例。
(示例1)只允许其他人共享视觉(级别1许可)。
(示例2)允许朋友进行视觉干预和听觉干预(级别2或级别3许可)。
(示例3)亲密的朋友或认证或合格的人是特别允许的身体干预(级别4许可)。或者，暂时允许替代对话。
许可设置的其他示例包括主体对JackIn作为服务进行收费(即，将其货币化)的情况。根据由幻影支付使用的收费，为幻影设置上述级别4许可的级别1许可，幻影能够与主体一起执行JackIn。
(示例4)支付5美元的幻影只允许共享视觉(级别1许可)。
(示例5)允许支付10美元的幻影进行视觉干预和听觉干预(级别2或级别3许可)。
(示例6)允许支付一百美元的幻影进行身体干预(级别4许可)。或者，暂时允许替代对话。
C-2.任务
接下来，将描述任务。在本实施例中，幻影干预主体的操作范围被定义为“任务”，并且幻影能够干预主体的范围限于由任务规定的范围。例如，幻影的任务设置在由幻影执行的任务或其能力的范围内。任务并非由每个幻影自由决定，但优选地，例如由权威机构或类似机构允许或认证任务。可以根据要由幻影执行的任务或职责、职业、资格、干预技能的评价信息、幻影(作为助理、指导员等)的过去的性能(作为幻影的体验时间)、来自主体的评论和声望(发帖、投票结果等)等，定义具有不同级别的任务，如下面所举例说明的。
(级别1)仅执行视觉交换。在这种情况下，图像显示设备102仅显示从图像提供设备101接收的图像。
(级别2)进行视觉交换和视觉干涉。在这种情况下，图像显示设备102显示从图像提供设备101接收的图像，并传输关于图像(要叠加和显示的并且干预视觉的图像)的信息，以在图像提供设备101侧显示。
(级别3)进一步执行听觉干预。在这种情况下，图像显示设备102进一步传输关于要由图像提供设备101输出的声音(应当促使主体听到的声音)的信息。
(级别4)执行包括身体干预和替代对话的各种干预。在这种情况下，图像显示设备102进一步向外面传输用于操作驱动单元505的信息和关于将从第二声音输出单元506输出的声音的信息。
在主体开始与幻影的JackIn的情况下，仅需要基于幻影的个人信息和属性信息进行过滤，并进一步将主体指定的许可与幻影具有的任务进行比较，从而判断JackIn是否是可能的以及可以在JackIn状态下进行干预的范围。例如，当Body通过针对未指定的大量幻影(大数目幻影)主动开始JackIn(主体主动开始)时，过滤处理有效。注意，在本说明书中，可以认为幻影的属性信息包括用户的个人信息和图像显示设备102特有的信息。在此处，图像显示设备102特有的信息可以包括信息关于每个图像显示设备102的ID、性能和信息输出格式的信息。
可以在主体侧(即，图像提供设备101)或通过控制大量主体和大量幻影之间的JackIn的JackIn服务器(临时名称)执行这种过滤处理。
通过为主体设置许可并为幻影设置任务，容易自动化在开始JackIn时选择幻影的处理以及决定幻影执行干预的范围的处理。例如，当未指定的大量幻影执行JackIn时，主体能够机械地确定每个幻影允许干预的级别，这很方便。毋庸置疑，不基于诸如预先设置的许可和任务等信息机械地确定，但是可以在现场确定是否有可能基于主体和幻影之间的一对一协商、调解等来执行JackIn或干预级别。
D.幻影的配额处理
如图2所示，假设多个幻影对一个主体进行JackIn的情况，即，将由一个图像提供设备101拍摄的(第一人称)视图同时分配给多个图像显示设备102的情况。考虑到幻影干预主体的视力、听觉等，幻影优选地实时观看主体的视频。
然而，当大量幻影同时执行JackIn时，由于通信带等的问题，视频传输中的延迟会出现问题。
主体然后可以对同时执行JackIn的幻影设置配额(上限)。当配额设置在能够执行JackIn的幻影上的情况下，幻影新执行超出配额的JackIn时，将驱逐超出配额的幻影，以限制实时视频在配额内分配到的幻影数量。
在此处，配额是例如根据通信带的容量的限制等来决定的数量。或者，配额可以是主体允许干预主体的幻影的数量。
D-1.选择要驱逐的幻影的方法
在能够进行JackIn的幻影上设置配额的情况下，需要执行选择在幻影超出配额对主体新执行JackIn时驱逐的幻影的处理。即，幻影可以被认为至少包括具有较高优先级的幻影和具有较低优先级的幻影。例如，可以使用以下方法。
(1)FIFO(先进先出)方法
(2)LIFO(后进先出)方法
(3)优先级方法
根据先进先出方法，先前执行了JackIn的幻影被逐一驱逐，并且新的幻影可以执行JackIn(参见图6)。因此，有利的是，每个幻影同样有机会具有与主体的第一人称体验相同的第一人称体验。
同时，根据LIFO方法，驱逐后来执行JackIn的幻影(参见图7)，在达到配额之后，没有机会让新的幻影执行JackIn。然而，有利的是，主体可以继续接收来自已经更早执行JackIn并且精通协助主体等的幻影的帮助、指导、引导和导航。
图8示出了在优先级方法内将对主体执行JackIn的幻影的数量保持在配额内的机制。图8表示层次优先级(深色的幻影具有更高的优先级)。当幻影新执行JackIn时，优先级比幻影低的幻影被逐一驱逐。
在采用优先级方法的情况下，有各种方法为每个幻影分配优先级。例如，可以根据与主体、职业、资质、过去的性能或评论、声望等的个人关系，将优先级分配给每个幻影。另外，在主体对JackIn作为服务进行收费(即，将其货币化)的情况下，根据由幻影支付的费用是轻还是重来分配优先级，使得更容易在经济上支持服务。毋庸置疑，分配给每个幻影的优先级可以动态地改变。
D-2.过去的视频分配给驱逐的幻影
因为幻影超出配额而被驱逐的幻影可能与主体的第一人称视图完全分开。然而，视频可能会以以下方法超过配额地分配给幻影，其中，不会对通信带施加过度负载(不会影响在配额内的对幻影的视频分配)。
作为示例，可以设想一种方法，其中，实时视频不从主体传输，而是提供，代替过去的视频。根据这种方法，也可以表达超出配额的幻影，不是被简单地驱逐，而是被“驱逐到过去”。
具体地，从主体(即，图像提供设备101)到幻影(在配额内)分配的实时视频由外部设备记录，而不是由主体记录，但外部设备将过去的视频分配给被驱逐的幻影(参见图9)。此处的外部设备例如是控制主体和幻影之间的JackIn的JackIn服务器(临时名称)或其他记录服务器。请求记录服务器将视频分配给超过配额的幻影，可以在主体(即，图像提供设备101)上共享负载。
从外部设备到达幻影的视频是由于诸如记录等处理而延迟的过去的视频，但不是实况视频。因此，可以认为不允许幻影干预主体，包括视力或听力。然而，及时接受延迟，幻影能够替代地具有主体的第一人称体验。
此外，假设在配额内可以包括(恢复)超出配额的幻影，因为驱逐配额内的幻影，并且配额(例如，通信带的容量限制)有空缺。在这种情况下，将从过去的视频分配到幻影的视频切换为实时视频，会导致幻影失去该时间差的视频信息。因此，当过去的视频的分配切换到实时视频的分配时，通过执行所谓的“追踪再现”或“时移再现”的处理，可以使由幻影观看的视频赶上来自过去的视频的实时视频(例如，参见专利文献6)。如果视频以X速度追逐再现(然而，X表示大于1的值)，例如，1.0倍速度，则幻影能够无需感到尴尬地观看追逐再现的视频，并通过无缝切换视频来观看实时视频。
图10以流程图的形式示出了将第一人称视图分配给新近对主体执行JackIn的幻影的处理过程。
当新的幻影对主体执行JackIn时(步骤S1001中，是)，主体检查已经执行JackIn的幻影总数是否仍小于或等于配额(步骤S1002)。
在此处，在即使添加了在步骤S1001中进行JackIn的幻影(步骤S1002中，否)，也不超过配额的情况下，主体开始向在步骤中执行JackIn的幻影分配实时的第一人称视图S1001(步骤S1003)。
同时，如果添加了在步骤S1001中执行JackIn的幻影(步骤S1002中，是)，超过主体的配额的情况下，主体执行确定在步骤S1001中执行JackIn的幻影是否落入配额内的配额确定处理(换言之，是否应该驱逐幻影)(步骤S1007)。例如，可以在上面描述的FIFO方法、LIFO方法和优先级方法中的任何一个中，确定是否应该驱逐幻影。
在步骤S1001中确定执行JackIn的幻影落入配额内的情况下(步骤S1008中，是)，主体开始将实时第一人称视图分配给幻影(步骤S1003)。
另外，在确定在步骤S1001中执行JackIn的幻影超过配额(即，应当被驱逐)的情况下(步骤S1008中，否)，过去的第一人称视图(例如，来自记录服务器)开始分配给幻影(步骤S1009)。不是主体(图像提供设备101)，而是记录服务器分配过去的第一人称视图，从而共享视频传输负载(如上所述)。
然后，当对主体执行JackIn的幻影的数量减少并且在过去的第一人称视图被分配(步骤S1009)给在步骤S1001中执行JackIn的幻影的同时在配额中存在空缺(步骤S1010中，是)时，主体执行确定在步骤S1001中执行JackIn的幻影是否应该包括在配额内的配额确定处理(步骤S1011)。例如，可以在上面描述的FIFO方法、LIFO方法和优先级方法中的任何一个中，确定幻影是否应该包括在配额中。
在确定在步骤S1001中执行JackIn的幻影不应包括在配额内(即，应该保持驱逐)的情况下(步骤S1012中，否)，主体连续地将过去的第一人称视图分配给幻影(来自记录服务器)(步骤S1009)。
另外，在确定在步骤S1001中执行JackIn的幻影应该包括在配额内的情况下(步骤S1012中，是)，主体从用于幻影的记录服务器执行追逐再现(如上所述)(步骤S1013)，然后，将追逐再现视频的分配切换到实时第一人称视图的分配(步骤S1003)。
另外，当对主体执行JackIn的幻影的数量增加并且在实时第一人称视图被分配给在步骤S1001中执行JackIn的幻影的同时(步骤S1003)超过配额(步骤S1010中，是)时，执行确定是否将幻影保持在配额内(换言之，是否驱逐幻影)的配额确定处理(步骤S1005)。例如，可以在上面描述的FIFO方法、LIFO方法和优先级方法中的任何一个中，确定幻影是否应该包括在配额内。
在确定将在步骤S1001中执行JackIn的幻影包括在该配额内(步骤S1006中，是)的情况下，主体连续地将实时第一人称视图分配给幻影(步骤S1003)。
另外，在确定应该驱逐在步骤S1001中执行JackIn的幻影的情况下(步骤S1006中，否)，主体将视频的分配切换到幻影的过去的第一人称视图的分配(例如，来自记录服务器)(步骤S1009)。
如果遵循图10中所示的处理过程，则为了共享主体(即，图像提供设备101)上的负载而驱逐的幻影可以例如以五分钟的时间延迟观看从记录服务器分配的视频。然后，当幻影从被驱逐状态恢复时，幻影不会立即观看实时视频，而是以1.05倍速度或类似速度追逐再现视频，并逐渐(即，无缝地)返回到当前时间的视频。
D-3.分配全圆顶视频时的配额问题的解决方法
在从主体分配的第一人称视图是360°全圆顶视频的情况下，将所有视频传输到幻影，会施加沉重的负载。同时，幻影也不能观察360°视频，即，幻影周围的所有区域的视频。幻影实际上能够观察到的所有物体都限于主要在视线方向上的预定视角内的区域。因此，一直分配360°全圆顶视频是没有用的。
因此，如图11所示，可以想到一种方法，其中，360°全圆顶被分成均具有预定角度的区域，全圆顶视频被信道化，并且安装分配相应信道(区域)的视频的信道服务器1101、1102、...，以共享分配全圆顶视频的负载。视频从对应于当前视线方向的信道服务器1101、1102、...分配给每个幻影。另外，当幻影侧改变视线方向时，切换信道服务器因此可以观看适应视线方向的视频。
优选地，将全圆顶分成多个区域的角度(中心角)足够大，以覆盖人类的视角。在图11所示的示例中，为了简化图，全圆顶以90°分为信道ch1、ch2、...的四个区域，并且从信道服务器1101、1102、...分配相应区域的视频。另外，最好产生每个信道的视频，使得相邻区域(信道)之间的边界的视频重叠，以在切换信道时，防止显示区域之间的边界或防止视频中断。图12示出了信道服务器1101分配与相邻信道ch2和ch3的区域重叠的区域的视频。
如上所述，通过使全圆顶视频信道化，以使得可以从不同信道服务器分配每个信道(区域)的视频，可以共享分配全圆顶视频的负载。
然而，假设幻影的视角集中在全圆顶的一部分上。例如，在分配正在欣赏或观看音乐会的主体的全圆顶视频的情况下，幻影的视角倾向于集中在舞台或特定的艺术家。
图13举例说明了观看主体的全圆顶视频的每个幻影的视角。在图13中，假设这种情况，其中，箭头表示从中心处的视点位置开始的视线方向。在所示的示例中，视角集中在信道ch1中，使得传输负载集中在信道服务器1101上。
为了避免这种情况，可以在每个信道服务器(换言之，用于全圆顶视频的每个区域)的可视幻影上设置一个配额，可以执行如D-1部分所述的驱逐幻影的处理。如上所述，可以通过使用FIFO方法、LIFO方法或优先级方法来选择要从该区域驱逐的幻影。
以这种方式，可以限制访问满足预定条件并且具有特定方向的视频的请求。特定的方向可以被认为是视角集中的方向，即，特定的观看方向。
此外，由于幻影超出配额而被驱逐的幻影可能与主体的第一人称视图完全分离。然而，视频可能会以以下方法超过配额地分配给幻影，其中，不会对通信带施加过度负载(不会影响在配额内的对幻影的视频分配)。
在上面的D-2部分中，通过将主体的过去的视频分配给超出配额的幻影，来尝试负载共享。在分配全圆顶视频的情况下，可以通过要求超过配额的幻影来观看相邻区域的视频(即，具有相邻视线方向的视频)，来在信道服务器上共享负载。另外，通过根据优先级控制要传输的视频的分辨率(例如，在具有较低分辨率的视频的程度上，传输到具有较低优先级的幻影)，可以降低信道服务器上的负载并尝试分配来自幻影所期望的信道服务器的视频。
此外，假设可以在配额内包括(恢复)超出配额的幻影，因为驱逐配额内的幻影，并且信道服务器的配额(例如，通信带的容量限制)有空缺。在这种情况下，当要分配给幻影的视频立即从具有相邻区域的视角的视频切换到具有原始视角的视频时，幻影最终在视角之间丢失视频的信息。视角然后可以不立即切换到原始视角，而是从相邻区域的视角逐渐切换。如果视角逐渐变化，则幻影能够通过无缝地切换视频而观看具有期望视角的视频，而不会感到尴尬。
图14以流程图的形式示出了用于向幻影分配主体的全圆顶视频的处理过程。
当已经对主体执行了JackIn的幻影改变视角(步骤S1401中，是)时，检查观看包括视角的区域(信道)的幻影的总数是否仍然小于或等于配额(步骤S1402)。在此处，假设“当幻影改变视角”时，包括新的幻影对主体执行JackIn的情况。
在此处，在不超过包括由幻影改变的视角的区域(信道)的配额的情况下(步骤S1402中，否)，主体开始以期望的视角向幻影分配视频(步骤S1403)。
同时，在超过包括由幻影改变的视角的区域(信道)的配额的情况下(步骤S1402中，是)，主体执行确定幻影是否落入该区域(信道)的配额内的配额确定处理(换言之，是否应该从区域(信道)中驱逐幻影)(步骤S1407)。例如，可以在上面描述的FIFO方法、LIFO方法和优先级方法中的任何一个中，确定是否应该驱逐幻影。
在确定在步骤S1401中改变视角的幻影落入区域(信道)的配额内的情况下(步骤S1408中，是)，主体开始以期望的视角向幻影分配视频(步骤S1403)。
另外，在确定在步骤S1401中改变视角的幻影超出了区域(信道)的配额(即，应该驱逐幻影)的情况下(步骤S1408中，否)，不是开始将具有改变的视角的区域(信道)的视频分配给幻影，而是开始将与其相邻的区域(信道)的视频分配给幻影(步骤S1409)。相邻区域的视频由不超过其配额的另一信道服务器分配，以便共享视频传输的负载(如上所述)。
然后，当观看包括原始视角(即，在步骤S1401中改变)的区域(信道)的幻影的数量减少，并且在相邻区域(信道)的视频被分配给在S1401中改变视角的幻影的同时，在配额中有空缺时(步骤S1409)(在步骤S1410中，是)，主体执行配额确定处理，确定在步骤S1401中改变视角的幻影是否应该包括在期望区域(信道)的配额内(步骤S1411)。例如，可以在上面描述的FIFO方法、LIFO方法和优先级方法中的任何一个中，确定幻影是否包括在配额内。
在确定在S1401中改变视角的幻影不应该包括在期望区域(信道)的配额内(即，应该保持驱逐)(步骤S1412中，否)的情况下，主体连续地将相邻区域(信道)的视频分配给幻影(步骤S1409)。
另外，在确定在步骤S1401中改变视角的幻影应该包括在期望区域(信道)的配额内的情况下(步骤S1412中，是)，主体执行幻影的视角偏移再现(步骤S1413)，然后，以期望的视角将视频的分配切换为视频的分配(步骤S1403)。
另外，当另一个幻影将视角改变为相同区域(信道)，并且期望区域(信道)的视频被分配给在步骤S1401中改变视角的幻影(步骤S1403)(在步骤S1404中为是)的同时，超过配额时，执行确定是否将幻影保持在配额内(换言之，是否驱逐幻影)的配额确定处理(步骤S1405)。例如，可以在上面描述的FIFO方法、LIFO方法和优先级方法中的任何一个中，确定幻影是否应该包括在配额内。
在确定将在步骤S1401中改变视角的幻影保持在配额内(步骤S1406中，是)的情况下，主体连续地将具有期望视角的视频分配给幻影(步骤S1403)。
另外，在确定应该驱逐在步骤S1401中改变视角的幻影的情况下(步骤S1406中，否)，主体通过切换视频来将相邻区域(信道)的视频分配给幻影(步骤S1409)。
根据图14所示的处理过程，可以允许为了共享信道服务器上的负载而驱逐的幻影观看相邻区域的视频。然后，当幻影从被驱逐状态恢复时，幻影不会立即再次观看具有期望视角的视频，而是执行视角偏移再现并且逐渐回到具有期望视角的视频。
工业适用性
上面参照具体实施例，详细描述了在本说明书中公开的技术。然而，显而易见的是，在不脱离本说明书中公开的技术的精神的情况下，本领域技术人员可以对这些实施例进行修改和替换。
在本说明书中公开的技术可用于在各种工业领域(例如，包括手术等的医疗领域)中的操作支持、建筑工程等的施工现场、飞机和直升机的控制、汽车驾驶员的导航、在运动中的指令等。
另外，在本说明书中，主要描述了将与主体共享与他/她的主体一起作用于一个地点的主体的第一人称图像的幻影干预主体的视力、听力等的系统的实施例。然而，本说明书中公开的技术的主旨不限于此。还可以将本说明书中公开的技术应用于各种信息处理设备，这些信息处理设备在某个人的视觉上显示有关来自另一个人的帮助、指导、引导和导航的信息。
总之，在本说明书中公开的技术已经通过示例进行了描述，并且本说明书的陈述内容不应该被解释为限制性的。应该考虑权利要求，来确定在本说明书中公开的技术的主旨。
另外，在本说明书中公开的技术也可以如下配置。
(1)一种可连接到成像单元和声音输入单元的信息终端设备，该信息终端设备包括：
控制单元；
通信单元；
访问接收单元，被配置为从外部信息处理设备接收访问；以及
设置单元，被配置为当访问接收单元从信息处理设备接收到超过预定条件的访问时，根据哪个信息提供给每个信息处理设备来设置优先级，其中，
控制单元基于由设置单元设置的优先级经由通信单元，将从成像单元输入的图像信息发送给信息处理设备。
(2)根据(1)所述的信息终端设备，其中，
当从信息处理设备接收到超过作为预定条件的针对通信单元的通信带的容量限制或接收访问的次数的限制的访问时，设置单元设置优先级。
(3)根据(1)所述的信息终端设备，其中，
控制单元改变顺序、再现时间、角度或分辨率，并且根据优先级从通信单元发送图像信息。
(4)根据(3)所述的信息终端设备，其中，
控制单元根据优先级，从通信单元向保持在预定条件下的信息处理设备发送当前视频，并且从通信单元向超过预定条件的信息处理设备发送过去的视频。
(5)根据(3)所述的信息终端设备，其中，
当对具有特定视线方向的视频的访问超过预定条件时，控制单元根据优先级，从通信单元向保持在预定条件下的信息处理设备发送具有特定视线方向的视频，并且从通信单元向超过预定条件的信息处理设备发送具有与特定视线方向不同的方向的视频。
(6)根据(3)所述的信息终端设备，其中，
控制单元根据优先级，从通信单元向保持预定条件的信息处理设备发送具有第一分辨率的视频，并且从通信单元向超过预定条件的信息处理设备发送具有比第一分辨率低的第二分辨率的视频。
(7)根据(1)所述的信息终端设备，其中，
设置单元基于信息处理设备特有的信息或关于信息处理设备的用户的属性的信息来设置每个信息处理设备的优先级。
(8)根据(1)所述的信息终端设备，其中，
设置单元基于访问接收单元的访问顺序来设置每个信息处理设备的优先级。
(9)一种用于可连接到成像单元和声音输入单元的信息终端设备的控制方法，该控制方法包括：
访问接收步骤，用于从外部信息处理设备接收访问；
设置步骤，用于当在访问接收步骤中从信息处理设备接收到超过预定条件的访问时，根据哪个信息提供给每个信息处理设备来设置优先级；以及
控制步骤，用于基于在设置步骤中设置的优先级，控制将从成像单元输入的图像信息发送给信息处理设备。
(10)一种访问能够连接成像单元和声音输入单元的信息终端设备的信息处理设备，信息处理设备包括：
控制单元；
通信单元；以及
访问传输单元，被配置为发送对信息终端设备的访问，其中，
在由访问传输单元访问的信息终端设备中超过预定条件的情况下，控制单元基于为信息处理设备设置的优先级，经由通信单元从信息终端设备接收从成像单元输入的图像信息。
(11)一种访问能够连接成像单元和声音输入单元的信息终端设备的信息处理设备的控制方法，该述控制方法包括：
访问传输步骤，用于发送对信息终端设备的访问；以及
信息接收步骤，用于在访问传输步骤中访问的信息终端设备中超过预定条件的情况下，基于为信息处理设备设置的优先级，经由通信单元从信息终端设备接收从成像单元输入的图像信息。
(12)一种服务器设备，插在可连接到成像单元和声音输入单元的信息终端设备与访问信息终端设备的信息处理设备之间，服务器设备包括：
访问接收单元，被配置为从信息处理设备接收对信息终端设备的访问；
设置单元，被配置为当访问接收单元从信息处理设备接收到超过预定条件的访问时，根据哪个信息提供给每个信息处理设备来设置优先级；以及
控制单元，其被配置为基于设置单元设置的优先级，控制将从成像单元输入的图像信息传输给信息处理设备。
(13)一种服务器设备的控制方法，服务器设备插在可连接到成像单元和声音输入单元的信息终端设备与访问信息终端设备的信息处理设备之间，控制方法包括：
访问接收步骤，用于从信息处理设备接收对信息终端设备的访问；
设置步骤，用于当在访问接收步骤中从信息处理设备接收到超过预定条件的访问时，根据哪个信息提供给每个信息处理设备来设置优先级；以及
控制步骤，用于基于在设置步骤中设置的优先级，控制将从成像单元输入的图像信息传输给信息处理设备。
(14)一种信息处理设备，包括：
访问接收单元，其被配置为从多个第二用户的信息终端设备接收直接或间接访问与第一用户相关联的内容信息的请求；以及
控制单元，其被配置为当满足关于所接收的访问请求的预定条件时，基于设置的优先级来控制向每个信息终端设备提供信息。
(15)根据(14)所述的信息处理设备，其中，
预定条件是关于所接收的访问请求的参数超过预定值的条件。
(16)根据(15)所述的信息处理设备，其中，
参数是用于通信单元的通信带的容量，通信单元通过将至少部分内容信息传输给信息终端设备来提供信息，并且
预定条件是通信带的容量超过限制值的条件。
(17)根据(15)所述的信息处理设备，其中，
参数是访问请求的数量，并且
预定条件是访问请求的数量超过限制值的条件。
(18)根据(17)所述的信息处理设备，其中，
限制值是能够实时访问内容信息的信息终端设备的最大数量。
(19)根据(14)至(18)中任一项所述的信息处理设备，其中，
控制单元根据所设置的优先级来区分关于提供信息的图像信息的参数。
(20)根据(19)所述的信息处理设备，其中，
图像信息的参数包括将信息提供给信息终端设备的顺序、再现时间、要提供的图像的角度或要提供的图像的分辨率中的至少一个。
(21)根据(14)至(20)中任一项所述的信息处理设备，其中，
信息终端设备至少包括具有较高优先级作为设置优先级的第一信息终端设备以及具有较低优先级作为设置优先级的第二信息终端设备。
(22)根据(21)所述的信息处理设备，其中，
当所接收的访问请求满足预定条件时，控制单元控制将当前视频的信息提供给第一信息终端设备，并控制将过去的视频的信息提供给第二信息终端设备。
(23)根据(21)所述的信息处理设备，其中，
当作为内容信息的具有特定方向的视频的访问请求满足预定条件时，控制单元控制向第一信息终端设备提供具有特定方向的视频的信息，并且控制向第二信息终端设备提供与具有特定方向的视频不同的视频的信息。
(24)根据(21)至(23)中任一项所述的信息处理设备，其中，
第一信息终端设备是比第二信息终端设备更早地请求访问内容信息的信息终端设备。
(25)根据(21)至(23)中任一项所述的信息处理设备，其中，
控制单元控制向第一信息终端设备提供具有第一分辨率的视频的信息，并且控制向第二信息终端设备提供具有比第一分辨率低的第二分辨率的视频的信息。
(26)根据(14)至(23)和(25)中任一项所述的信息处理设备，还包括：
设置单元，其被配置为基于信息终端设备的相关信息来设置每个信息终端设备的优先级。
(27)根据(26)所述的信息处理设备，其中，
信息终端设备的相关信息包括信息终端设备特有的信息。
(28)根据(26)所述的信息处理设备，其中，
信息终端设备的相关信息包括第二用户的属性信息。
(29)根据(14)至(28)中任一项所述的信息处理设备，还包括：
通信单元，其被配置为与用作外部设备的信息终端设备进行通信；以及
外壳，其被配置为允许第一用户携带设置单元、通信单元和访问接收单元，其中，
控制单元控制可连接到信息处理设备的成像单元或声音输入单元中的至少一个。
(30)根据(14)至(29)中任一项所述的信息处理设备，其中，
信息处理设备是网络上的服务器设备，服务器设备直接或间接连接第一用户的信息终端设备和第二用户的信息终端设备之间的通信。
(31)一种用于信息处理设备的控制方法，控制方法包括：
访问接收步骤，用于从多个第二用户的信息终端设备接收直接或间接访问与第一用户相关联的内容信息的请求；以及
控制步骤，用于当满足关于所接收的访问请求的预定条件时，基于设置的优先级来控制向每个信息终端设备提供信息。
(32)一种以计算机可读格式描述的计算机程序，计算机程序促使计算机执行：
访问接收步骤，用于从多个第二用户的信息终端设备接收直接或间接访问与第一用户相关联的内容信息的请求；以及
控制步骤，用于当满足关于所接收的访问请求的预定条件时，基于设置的优先级来控制向每个信息终端设备提供信息。
附图标记列表
100 视觉信息共享系统
101 图像提供设备
102 图像显示设备
501 成像单元
502 图像处理单元
503 显示单元
504 第一声音输出单元
505 驱动单元
506 第二声音输出单元
507 位置检测单元
508 通信单元
509控制单元
510 设置单位
511 通信单元
512 图像解码单元
513 显示单元
514 用户输入单元
515 位置姿势检测单元
521 声音输入单元
522 声音处理单元。

Claims (12)

1.一种信息处理设备，包括：
访问接收单元，被配置为从多个第二用户的信息终端设备接收直接或间接访问与第一用户相关联的内容信息的请求；其中，所述内容信息包括在存在第一用户的真实空间中获取的信息；
图像处理单元，被配置为实时地执行所获取的信息的空间识别；
控制单元，被配置为当满足关于所接收的访问请求的预定条件时，基于设置的优先级来控制向每个所述信息终端设备提供信息；
其中，
所述预定条件是关于所接收到的访问请求的参数超过预定值的条件，
所述参数是所述访问请求的数量，并且所述预定条件是以下条件：所述访问请求的所述数量超过限制值，其中，所述限制值是能够实时访问所述内容信息的所述信息终端设备的最大数量；或者，所述参数是通信单元的通信带的容量，所述通信单元通过将至少部分的所述内容信息发送给所述信息终端设备来提供所述信息，并且所述预定条件是以下条件：所述通信带的容量超过限制值；
所述信息终端设备至少包括具有作为所述设置的优先级的较高优先级的第一信息终端设备以及具有作为所述设置的优先级的较低优先级的第二信息终端设备；
当对作为内容信息的具有视角集中的方向的视频的访问请求满足所述预定条件时，所述控制单元控制向所述第一信息终端设备提供具有视角集中的方向的视频的信息并且控制向所述第二信息终端设备提供与所述具有视角集中的方向的视频不同的视频的信息。
2.根据权利要求1所述的信息处理设备，其中，
所述控制单元根据所述设置的优先级来区分与所述信息的提供有关的图像信息的参数。
3.根据权利要求2所述的信息处理设备，其中，
所述图像信息的参数包括以下各项中的至少一个：将所述信息提供给所述信息终端设备的顺序、再现时间、要提供的图像的角度或要提供的图像的分辨率。
4.根据权利要求1所述的信息处理设备，其中，
当所接收的所述访问请求满足所述预定条件时，所述控制单元控制将当前视频的信息提供给所述第一信息终端设备并控制将过去的视频的信息提供给所述第二信息终端设备。
5.根据权利要求1所述的信息处理设备，其中，
所述第一信息终端设备是比所述第二信息终端设备更早地请求访问所述内容信息的信息终端设备。
6.根据权利要求1所述的信息处理设备，其中，
所述控制单元控制向所述第一信息终端设备提供具有第一分辨率的视频的信息并且控制向所述第二信息终端设备提供具有比所述第一分辨率低的第二分辨率的视频的信息。
7.根据权利要求1所述的信息处理设备，进一步包括：
设置单元，被配置为基于所述信息终端设备的相关信息来设置每个所述信息终端设备的优先级。
8.根据权利要求7所述的信息处理设备，其中，
所述信息终端设备的所述相关信息包括所述信息终端设备特有的信息。
9.根据权利要求7所述的信息处理设备，其中，
所述信息终端设备的所述相关信息包括所述第二用户的属性信息。
10. 根据权利要求1所述的信息处理设备，进一步包括：
通信单元，被配置为与用作外部设备的所述信息终端设备进行通信；以及
外壳，被配置为允许所述第一用户携带设置单元、所述通信单元和所述访问接收单元，其中，
所述控制单元控制能够连接到所述信息处理设备的成像单元或声音输入单元中的至少一个。
11.根据权利要求1所述的信息处理设备，其中，
所述信息处理设备是网络上的服务器设备，所述服务器设备直接或间接连接所述第一用户的信息终端设备和所述第二用户的信息终端设备之间的通信。
12.一种用于信息处理设备的控制方法，所述控制方法包括以下步骤：
访问接收步骤，用于从多个第二用户的信息终端设备接收直接或间接访问与第一用户相关联的内容信息的请求，其中，所述内容信息包括在存在第一用户的真实空间中获取的信息；
图像处理步骤，实时地执行所获取的信息的空间识别；以及
控制步骤，用于当满足关于所接收的访问请求的预定条件时，基于设置的优先级来控制向每个所述信息终端设备提供信息；
其中，
所述预定条件是关于所接收到的访问请求的参数超过预定值的条件，
所述参数是所述访问请求的数量，并且所述预定条件是以下条件：所述访问请求的所述数量超过限制值；或者，所述参数是通信单元的通信带的容量，所述通信单元通过将至少部分的所述内容信息发送给所述信息终端设备来提供所述信息，并且所述预定条件是以下条件：所述通信带的容量超过限制值；
其中，所述限制值是能够实时访问所述内容信息的所述信息终端设备的最大数量；
所述信息终端设备至少包括具有作为所述设置的优先级的较高优先级的第一信息终端设备以及具有作为所述设置的优先级的较低优先级的第二信息终端设备；
当对作为内容信息的具有视角集中的方向的视频的访问请求满足所述预定条件时，所述控制步骤还包括：控制向所述第一信息终端设备提供具有视角集中的方向的视频的信息并且控制向所述第二信息终端设备提供与所述具有视角集中的方向的视频不同的视频的信息。
CN201680060704.5A 2015-10-21 2016-09-29 信息处理设备、其控制方法和计算机程序 Active CN108141628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110667744.9A CN113422968A (zh) 2015-10-21 2016-09-29 信息处理设备、信息处理方法和计算机可读存储介质

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015206950 2015-10-21
JP2015-206950 2015-10-21
JPPCT/JP2016/078737 2016-09-28
PCT/JP2016/078737 WO2017068926A1 (ja) 2015-10-21 2016-09-28 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
PCT/JP2016/078948 WO2017068928A1 (ja) 2015-10-21 2016-09-29 情報処理装置及びその制御方法、並びにコンピュータ・プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110667744.9A Division CN113422968A (zh) 2015-10-21 2016-09-29 信息处理设备、信息处理方法和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108141628A CN108141628A (zh) 2018-06-08
CN108141628B true CN108141628B (zh) 2021-07-02

Family

ID=58557288

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110667744.9A Pending CN113422968A (zh) 2015-10-21 2016-09-29 信息处理设备、信息处理方法和计算机可读存储介质
CN201680060704.5A Active CN108141628B (zh) 2015-10-21 2016-09-29 信息处理设备、其控制方法和计算机程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110667744.9A Pending CN113422968A (zh) 2015-10-21 2016-09-29 信息处理设备、信息处理方法和计算机可读存储介质

Country Status (5)

Country Link
US (1) US10986206B2 (zh)
EP (1) EP3367690A1 (zh)
JP (1) JP6919568B2 (zh)
CN (2) CN113422968A (zh)
WO (1) WO2017068926A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388209B2 (en) * 2020-03-19 2022-07-12 DTEN, Inc. Interactive broadcast
JP6828205B1 (ja) * 2020-05-14 2021-02-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔作業装置とそのプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453621A (zh) * 2007-12-03 2009-06-10 北大方正集团有限公司 视频服务器资源共享的方法、系统及装置
WO2009087550A2 (en) * 2007-12-31 2009-07-16 Alcatel Lucent Method and apparatus for distributing content
CN103477619A (zh) * 2011-04-19 2013-12-25 索尼公司 信息处理装置、无线通信装置、通信系统及信息处理方法
CN104394441A (zh) * 2014-11-27 2015-03-04 北京奇艺世纪科技有限公司 一种视频内容分发的调度方法、装置及系统

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729542A (en) * 1995-06-28 1998-03-17 Motorola, Inc. Method and apparatus for communication system access
US7738688B2 (en) * 2000-05-03 2010-06-15 Aperio Technologies, Inc. System and method for viewing virtual slides
JP4329264B2 (ja) * 2000-12-27 2009-09-09 セイコーエプソン株式会社 アクセス権限レベル制御装置及び方法
JP4232419B2 (ja) 2001-09-18 2009-03-04 ソニー株式会社 送信装置、送信方法、コンテンツ配信装置、コンテンツ配信方法、及びプログラム
US7437472B2 (en) * 2001-11-28 2008-10-14 Interactive Content Engines, Llc. Interactive broadband server system
JP2004222254A (ja) 2002-12-27 2004-08-05 Canon Inc 画像処理システム、方法及びプログラム
JP2005302103A (ja) 2004-04-08 2005-10-27 Sony Corp 追っかけ再生装置，テレビジョン受像機，および追っかけ再生方法
JP4926400B2 (ja) 2004-12-27 2012-05-09 京セラ株式会社 移動カメラシステム
US9715899B2 (en) * 2006-01-19 2017-07-25 Elizabeth T. Guckenberger Intellimarks universal parallel processes and devices for user controlled presentation customizations of content playback intervals, skips, sequencing, loops, rates, zooms, warpings, distortions, and synchronized fusions
CN101449543A (zh) * 2006-05-18 2009-06-03 Nxp股份有限公司 客户端-服务器系统内使用的移动电话
RU2398361C2 (ru) * 2006-06-16 2010-08-27 Эрикссон Аб Интеллектуальный способ, система и узел ограничения аудио
JP5245257B2 (ja) 2006-11-22 2013-07-24 ソニー株式会社 画像表示システム、表示装置、表示方法
US8154583B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Eye gazing imaging for video communications
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8897920B2 (en) * 2009-04-17 2014-11-25 Intouch Technologies, Inc. Tele-presence robot system with software modularity, projector and laser pointer
US20110063440A1 (en) * 2009-09-11 2011-03-17 Neustaedter Carman G Time shifted video communications
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
JP2012033141A (ja) * 2010-07-06 2012-02-16 Dowango:Kk 操作情報転送サーバ、操作情報転送システム、操作情報転送方法
JP5520190B2 (ja) * 2010-10-20 2014-06-11 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、画像処理方法、動画像送信装置、動画像受信装置、プログラム及び情報記憶媒体
US8856813B2 (en) * 2010-11-23 2014-10-07 Verizon Patent And Licensing Inc. Adaptive video quality substitution
US9282352B2 (en) * 2010-11-23 2016-03-08 Verizon Patent And Licensing Inc. Under-the-bottom time-shifted delivery of video content
EP2466852A1 (en) * 2010-12-17 2012-06-20 Swisscom AG Digital content management
EP3654147A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9015746B2 (en) * 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
US8761933B2 (en) * 2011-08-02 2014-06-24 Microsoft Corporation Finding a called party
US20180316948A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
US9260122B2 (en) * 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
US20180048750A1 (en) * 2012-06-15 2018-02-15 Muzik, Llc Audio/video wearable computer system with integrated projector
JP2014104185A (ja) 2012-11-28 2014-06-09 Sony Corp 運動補助装置及び運動補助方法
US9189288B2 (en) * 2012-12-06 2015-11-17 International Business Machines Corporation Executing a collective operation algorithm in a parallel computer
JP6280204B2 (ja) * 2013-03-12 2018-02-14 リバダ ネットワークス エルエルシーＲｉｖａｄａ Ｎｅｔｗｏｒｋｓ Ｌｌｃ 動的スペクトル仲裁のための方法およびシステム
US9538160B1 (en) * 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US20150032810A1 (en) * 2013-07-29 2015-01-29 Microsoft Corporation Content distribution using social relationships
US9766463B2 (en) * 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
CN105980962B (zh) 2014-02-17 2019-07-23 索尼公司 信息处理设备和信息处理方法
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
US10416666B2 (en) * 2014-03-26 2019-09-17 Unanimous A. I., Inc. Methods and systems for collaborative control of a remote vehicle
WO2016024288A1 (en) * 2014-08-14 2016-02-18 Vats Nitin Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
WO2016034670A1 (en) * 2014-09-03 2016-03-10 Agt International Gmbh Location-oriented team intercommunication
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
EP3335418A1 (en) * 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
US10491711B2 (en) * 2015-09-10 2019-11-26 EEVO, Inc. Adaptive streaming of virtual reality data
US10812755B2 (en) * 2015-10-14 2020-10-20 Utility Associates, Inc. Article of clothing with video recording device support
JP6124985B1 (ja) * 2015-12-24 2017-05-10 株式会社コロプラ 映像コンテンツ配信システム及びコンテンツ管理サーバ
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
US9928660B1 (en) * 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
CN117251053A (zh) * 2016-12-29 2023-12-19 奇跃公司 基于外部条件的可穿戴显示装置的自动控制
EP3612878B1 (en) * 2017-04-19 2023-06-28 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
AU2018308418A1 (en) * 2017-07-26 2020-01-16 Magic Leap, Inc. Training a neural network with representations of user interface devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453621A (zh) * 2007-12-03 2009-06-10 北大方正集团有限公司 视频服务器资源共享的方法、系统及装置
WO2009087550A2 (en) * 2007-12-31 2009-07-16 Alcatel Lucent Method and apparatus for distributing content
CN103477619A (zh) * 2011-04-19 2013-12-25 索尼公司 信息处理装置、无线通信装置、通信系统及信息处理方法
CN104394441A (zh) * 2014-11-27 2015-03-04 北京奇艺世纪科技有限公司 一种视频内容分发的调度方法、装置及系统

Also Published As

Publication number Publication date
JPWO2017068928A1 (ja) 2018-08-30
US20190068749A1 (en) 2019-02-28
EP3367690A4 (en) 2018-08-29
EP3367690A1 (en) 2018-08-29
WO2017068926A1 (ja) 2017-04-27
CN108141628A (zh) 2018-06-08
JP6919568B2 (ja) 2021-08-18
CN113422968A (zh) 2021-09-21
US10986206B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
US10009542B2 (en) Systems and methods for environment content sharing
US10771739B2 (en) Information processing device and information processing method
US20180068489A1 (en) Server, user terminal device, and control method therefor
KR102516096B1 (ko) 정보 처리 시스템 및 정보 처리 방법
JP6822413B2 (ja) サーバ装置及び情報処理方法、並びにコンピュータ・プログラム
CN113262465A (zh) 一种虚拟现实交互方法、设备及系统
US20190121515A1 (en) Information processing device and information processing method
CN108141628B (zh) 信息处理设备、其控制方法和计算机程序
WO2018075523A9 (en) Audio/video wearable computer system with integrated projector
KR102152595B1 (ko) 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템
CN116490249A (zh) 信息处理装置、信息处理系统、信息处理方法和信息处理终端
WO2017068928A1 (ja) 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
JP6999538B2 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
EP4325476A1 (en) Video display system, information processing method, and program
GB2566734A (en) Wearable device, system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant