CN108028964B - 信息处理装置以及信息处理方法 - Google Patents

信息处理装置以及信息处理方法 Download PDF

Info

Publication number
CN108028964B
CN108028964B CN201680051690.0A CN201680051690A CN108028964B CN 108028964 B CN108028964 B CN 108028964B CN 201680051690 A CN201680051690 A CN 201680051690A CN 108028964 B CN108028964 B CN 108028964B
Authority
CN
China
Prior art keywords
content
sub
window
display
free viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680051690.0A
Other languages
English (en)
Other versions
CN108028964A (zh
Inventor
增田彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108028964A publication Critical patent/CN108028964A/zh
Application granted granted Critical
Publication of CN108028964B publication Critical patent/CN108028964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的目的是切换自由视点视频内容的显示，从而不损伤真实性地减少对观众的健康损害。总窗口是通过结合所有窗口形成的窗口，从主内容通过总窗口窥看子内容，并且总窗口是通往每个子内容的自由视点空间的入口。观众可以在不同自由视点空间之间经由总窗口往返，并且响应于这种在空间内的探索操作切换自由视点视频。此外，可以给予总窗口转换观众的身体感知尺寸的功能。

Description

信息处理装置以及信息处理方法
技术领域
本文中公开的技术涉及信息处理装置以及信息处理方法，控制内容的显示并且更具体地，涉及切换自由视点视频内容的显示的信息处理装置以及信息处理方法。
背景技术
允许观众自由的选择视点位置和视线方向的自由视点视频技术的研究与开发正在进行。例如，诸如运动和音乐会广播的娱乐视频、无形文化财产以及教育性的内容等，可以作为自由视点视频技术的主要用途领域被引用。最近，自由视点视频技术开始被应用于虚拟地访问现实空间的服务。
自由视点视频可以使用例如由观众在他/她的头上佩带使用的头戴式显示器观察。通过在基于检测观众的头部的运动的结果改变视点位置和视线方向时显示自由视点视频，可以向观众呈现如同观众在实际地探索投射的虚拟空间的体验。
例如，已提出一种头部佩戴型显示系统，提供有图像拾取系统，拾取具有比实际显示的显示图像更广角的广角图像，其中要由用户观看的显示图像基于由旋转角传感器检测的用户头部的位置信息剪裁以被显示(例如，参考专利文献1)。同时，已提出一种头戴式显示器，以陀螺仪等检测用户头部的姿势变化并且计算要显示的视频的移动量(例如，参考专利文献2)。
在未来，随着自由视点视频技术的使用的扩张，希望多个自由视点视频内容被提供并且在观看一个自由视点视频时切换到另一自由视点视频的机会也增加。
在电视接收机中，通常，在屏幕上显示的节目是根据遥控器等的频道按钮的操作切换的。然而，如果自由视点视频是即时切换的，观众的视界将整体变化并且视觉刺激将过强。诸如明暗的视觉环境的突变可以对观众引起健康危害。
此外，在内容的技术领域中，用于切换显示内容的技术是被广泛的采用的。例如，已提出表示具有多个略图可视动态图像内容并且再生点击的动态图像内容的设备(例如，参考专利文献3)。
在自由视点视频中，也可以通过相似的技术切换内容。然而，当其它内容的略图在于头戴式显示器等上虚拟地体验自由视点视频的同时被显示时，会妨碍真实性。此外，如果自由视点视频根据略图的选择即时切换，视觉环境急剧改变并且存在对观众的健康危害的担忧(如上所述)。作为额外说明，也存在当切换显示至另一自由视点视频时，必须指定哪个视点位置和视线方向、以及再生时间被用于观看视频的问题。
引文列表
专利文献
专利文献1：日本特开平8-191419号公报
专利文献2：日本特开2013-225042号公报
专利文献3：日本特开2007-208340号公报
发明内容
本发明要解决的问题
本说明书公开的技术的目的是提供一种能够适当的控制自由视点视频内容的显示的优良的信息处理装置以及信息处理方法。
解决问题的方法
本描述中公开的技术针对以上问题制成，并且其第一方面是一种信息处理装置，包括：
总窗口显示控制单元，控制总窗口的显示，通过该总窗口从当前显示的主内容的自由视点空间观看子内容；以及
内容切换单元，响应于观众在所述自由视点空间内通过所述总窗口的运动切换所述子内容至所述主内容。
根据本描述中公开的技术的第二方面，根据所述第一方面的所述信息处理装置进一步包括子内容搜索单元，从当前显示的所述主内容选择所述子内容作为用于显示切换目标的候选项。
根据本描述中公开的技术的第三方面，根据所述第二方面的所述信息处理装置的所述子内容搜索单元被配置为使用根据在屏幕内的信息的过滤器、根据观众的过滤器、以及根据所述主内容的观看情况的过滤器中的至少一个作为过滤条件选择所述子内容。
根据本描述中公开的技术的第四方面，根据所述第一方面的所述信息处理装置进一步包括内部子内容显示位置确定单元，确定视点位置和视线方向、以及显示切换目标的所述子内容内的再生时间。
根据本描述中公开的技术的第五方面，根据所述第一方面的所述信息处理装置进一步包括总窗口显示位置确定单元，确定将在所述主内容上显示的所述总窗口的位置和尺寸。
根据本描述中公开的技术的第六方面，根据所述第五方面的所述信息处理设备的所述总窗口显示控制单元被配置为在所述主内容的所述自由视点空间内以通过所述总窗口显示位置确定单元确定的显示位置和显示尺寸设置所述总窗口，并且显示在通过在所述总窗口中的窗口观看时可观看的所述子内容的自由视点视频。
根据本描述中公开的技术所述的第七方面，根据所述第一方面的所述信息处理装置进一步包括总窗口显示更新单元，与观众在所述主内容的所述自由视点空间内的移动一致地更新所述总窗口的显示。
根据本描述中公开的技术的第八方面，根据所述第一方面的所述信息处理装置的所述内容切换单元被配置为当切换所述子内容至所述主内容时转换观众的感知尺寸。
此外，本描述中公开的技术的第九方面是一种信息处理方法，包括：
总窗口显示步骤，显示总窗口，通过所述总窗口从当前显示的主内容的自由视点空间观看子内容；以及
内容切换步骤，响应于观众在所述自由视点空间内通过所述总窗口的运动切换所述子内容至所述主内容。
本发明的效果
根据本描述中公开的技术，能提供一种能够适当的控制自由视点视频内容的显示的优良的信息处理装置以及信息处理方法。
应注意，在本说明书中描述的效果仅仅用作示例并且本发明的效果不解释为限制本发明。在本发明中也可以进一步获得除上述以外的额外效果。
并且，本描述中公开的技术的其他对象、功能和优势将基于以下提及的实施方式和附图通过更加详细的说明被阐明。
附图说明
图1是示意性地示出自由视点视频观看系统100的配置例的示图。
图2是示出自由视点视频观看系统100的配置例的示图。
图3是示出自由视点视频观看系统100的配置例的示图。
图4是用于解释用于观看自由视点视频的机制的示图。
图5是举例说明自由视点视频内容的示图。
图6是示出主内容显示在自由视点视频观看装置203上的状态的示图。
图7是示出总窗口710显示在主内容700内的示例的示图。
图8是示出自上俯瞰的观众正在通过在主内容内提供的总窗口观看后面的子内容的情况的状态的示图。
图9是示出自上俯瞰观众正在通过在主内容内提供的总窗口观看后面的子内容的情况的状态的示图。
图10是示出当观众在主内容的自由空间内进一步接近总窗口1010时的显示例的示图。
图11是示出观众在主内容的自由视点空间内移动视点位置以通过总窗口的窗框的状态的示图。
图12是示出显示已被在主内容和子内容之间切换的示例的示图。
图13是示出使用总窗口的自由视点视频内容的显示切换的屏幕转换例的示图。
图14是概念性地示出切换内容的显示的示例(与身高等长的情形)的示图，该内容使用提供有用于感知尺寸的转换功能的总窗口。
图15是概念性地示出切换内容的显示的示例(扩展感知尺寸的情形)的示图，该内容使用提供有用于感知尺寸的转换功能的总窗口。
图16是概念性地示出切换内容的显示的示例(缩小感知尺寸的情形)的示图，该内容使用提供有用于感知尺寸的转换功能的总窗口。
图17是示出自由视点视频内容的显示切换的屏幕转换例的示图，该自由视点视频内容使用用于观众的感知尺寸的转换功能。
图18是示出自由视点视频观看装置1800的功能配置例的示图，该自由视点视频观看装置1800实现使用总窗口的自由视点视频内容的显示切换。
图19是示出用于实现使用总窗口的自由视点视频内容的显示切换的处理过程的流程图。
图20是概括在选择子内容时的过滤条件的示图。
图21是示出用于在子内容内确定再生位置的处理过程的流程图。
具体实施方式
在下文中，将参考附图详细描述本描述中公开的技术的实施方式。
图1示意性地示出自由视点视频观看系统100的配置例。自由视点视频基于自具有不同视点位置和视线方向的多重观看点的视频产生。为了获得高现实感，自由视点视频使用通过以相机拍摄现实世界获得的实拍视频制作。此外，为了获得高质量的自由视点视频，需要拍摄具有紧密照相机间隔的场景。然而，实际上，照相机的数量是有限的并且照相机间隔也受设备尺寸的限制。因而，示出的自由视点视频观看系统100从自大量(假定为N个单位)的拍摄现实世界的照相机101-1、101-2、……、和101-N获取的多个视点视频通过视点视频内插法技术生成自由视点视频，并且输出以显示自观众期望的视点位置和视线方向的视频。
各照相机101-1、101-2、……、和101-N除定点照相机之外，还可以是放置在移动对象，诸如车辆和飞行物(能够远程操作的包括无人驾驶飞行器)上的照相机，以及个人携带的数字照相机。可替代地，至少一部分照相机101-1、101-2、……、和101-N可以是附接于拍摄外部的头戴式显示器的照相机。
视频输入单元103接受通过经由通信接口(IF)单元102安装在远隔位置的各照相机101-1、101-2、……、和101-N拍摄的视频，以及诸如视点位置和视线方向的拍摄位置信息以及拍摄时间的输入。然后，自由视点视频生成单元104在同步拍摄时间的同时，在由各照相机101-1，101-2，……，和101-N拍摄的视频上通过视点视频内插法技术执行视点内插法以生成自由视点视频。然而，本描述中公开的技术不受限于特定的视点视频内插法技术。
视频编码单元105编码并且压缩由自由视点视频生成单元104产生的自由视点视频，以在视频累积单元106中累积。视频累积单元106通过诸如硬盘的大量存储设备建立。
再生位置指示单元111指定再生位置，特别是视点位置和视线方向以及自由视点视频的拍摄时间，以由观众观看。再生位置指示单元111例如通过观众在用户界面(UI)单元112上的操作或者自观众的音频输入，指定再生位置信息。可替代地，再生位置指示单元111基于追踪观众头部的位置和姿势的头部运动追踪单元112的检测结果指定再生的视频的视点位置和视线方向。
视频读取单元114从视频累积单元106读取对应于由再生位置指示单元111指定的视点位置和视线方向以及时间的自由视点视频。视频解码单元115解码从视频累积单元106读取的压缩视频，并且视频显示单元116输出解码的视频以显示。
自由视点视频观看系统100配置为单一设备，但是此外也假定了通过三个种类的设备的组合，即自由视点视频制作设备201、视频服务器202、以及自由视点视频观看设备203建立自由视点视频观看系统100的情形，如图2所示。
此外，在实际的管理中，通过一个或多个视频制作公司制作的多件自由视点视频内容被保存在视频服务器301中，如图3所示，使得自由视点视频内容经由诸如通信传输线路和广播传输线的传输线路302从视频服务器301被分发到各观众的自由视点视频观看设备303-1、303-2、……、和303-N。自由视点视频观看设备303-1，……包括由观众佩戴在他/她的头上的头戴式显示器、诸如智能电话、游戏机、电视接收机的监控器/显示器的多功能信息终端等、以及投影仪。
包括诸如运动和音乐会广播的娱乐、无形的文化财产、以及教育的各种类型的自由视点视频内容被保存在视频服务器202或者301中。
自由视点视频是观众可以在自由移动视点位置和视线方向的同时观看的视频。图4简要地示出用于观看自由视点视频A的机制。假设观众401正在由参考数字402表示的路径移动视点位置。由观众401指定的当前视点位置始终布置在自由视点空间的中心C，使得从在中心C的视点位置403在视线方向404上可见的视野中的视频A1被显示在屏幕上。然后，当观众401改变视点位置和视线方向时，将显示在屏幕上的视频也随该改变而改变。
最近，多件自由视点视频内容正在通过各种诸如因特网的介质被提供。也假定了观众想在观看某个自由视点视频时切换到另一自由视点视频。
在电视接收机中，通常在屏幕上显示的节目是根据遥控器等的频道按钮的操作切换的。然而，如果自由视点视频是即时切换的，观众的视界将整个变化并且视觉刺激将过于强烈。诸如明暗的视觉环境中的突变可以对观众引起健康危害。
此外，在内容的技术领域中，用于切换显示内容的技术被广泛的采用。例如，已提出一种表示具有多个略图的可视动态图像内容并且再生点击的动态图像内容的设备(例如，参考专利文献3)。然而，如果内容通过也存在于自由视点视频中的相似的技术切换，自由视点视频的真实性被显示略图阻碍。此外，如果自由视点视频是根据略图的选择即时切换的，视觉环境急剧改变并且存在对观众的健康危害的担忧。此外，需要指定哪个视点位置和视线方向，以及再生时间被用于当切换显示至另一自由视点视频时观看视频。
因而，作为用于切换自由视点视频内容的显示，而不削弱真实性地减轻对观众的健康危害的技术，本描述提出结合窗口的“总窗口”，观众通过“总窗口”从观众当前所在的自由视点空间(即，当前正在被观看或显示的自由视点视频)观看所有其他自由视点空间(或观众当前所在的自由视点空间通过其与其它自由视点空间分离)。观众可以通过该总窗口在不同自由视点空间之间往返，并且自由视点视频是根据这种在空间内的探索运动切换的。
尽管假定存在无数多件在自由视点视频观察系统100中可视的自由视点视频内容，为了简化起见，这里将对在如图5(A)至5(C)所示的三个类型的内容之间使用总窗口的用于该内容的显示切换操作作出说明。
首先，假设如图6所示，与图5(A)相关的自由视点视频作为主内容600显示在自由视点视频观看装置203中。当由观众在该主内容600的显示期间指示切换至另一自由视点视频时，自由视点视频观看装置203执行对作为用于切换目标的候选的子内容的搜索。
这里，假设作为子内容找到了图5(B)和5(C)中的两个类型的自由视点视频内容。在显示被从主内容切换的情况下，自由视点视频观看装置203基于预先确定的算法(后述)对每个子内容确定在该子内容内的再生位置，即视点位置和视线方向、以及再生时间。
然后，一旦确定了总窗口的显示位置和显示尺寸，自由视点视频观看装置203在正在被显示的主内容内显示具有所确定的显示位置和尺寸的总窗口。
总窗口是结合了所有窗口的窗口，从主内容通过每个窗口观看每个子内容。图7示出总窗口710在主内容700内被显示的示例。假设该主内容700是与图5(A)相关联的自由视点视频。同时，假设该子内容是在图5(B)和5(C)中的两种类型的自由视点视频。总窗口710由一个或多个窗口711和712构成，从主内容700通过该总窗口710观看每个作为用于显示切换目标的候选分配的子内容。窗口711和712中的每一个也用作到每个子内容的自由视点空间的入口。应当注意，尽管图7示出了找到了两件子内容并且两个窗口711和712被显示的示例，在三件以上的子内容作为用于切换目标的候选被找到的情况下，该总窗口由三个以上的窗口构成，通过该总窗口观看每个子内容。
每个子内容的自由视点空间布置在主内容的自由视点空间后面。窗口711和712中的每一个显示当从上述确定的再生位置(即，视点位置和视线方向、以及再生时间)看到布置在后面的每个子内容的自由视点空间时的景物。
观众能通过窗口711和712中的每一个，以在另一自由视点空间中观看景物的感觉观察作为用于切换目的的候选项的子内容的视频。相应地，总窗口是打开的窗口以观看布置在主内容后面的子内容，并且与简单地粘贴在主内容700的显示画面上的子内容的略图不同。
图8示出自上俯瞰观众800正在通过在主内容的显示801内提供的总窗口802观看后面的子内容(自由视点空间)803的情况的状态。然而，为了简化该图，假设总窗口802仅由一个窗口和一件透过其观看的子内容803构成。如图所示，当在前方向810上向总窗口802外部观看时，观众800可以观察在前方向810上通过窗口802可见的子内容(自由视点空间)803的景物(通过虚线在图中包围的部分)。然而，假设子内容803的视频被设置在再生位置，即用于从主内容801显示切换的时间而确定的视点位置和视线方向、以及再生时间，并且该视线方向与前方向810吻合。此外，假设该子内容是活动图像并且在总窗口802外部可见的该景物随时改变。
同时，图9示出了自上俯瞰观众900正在通过总窗口902在对角线方向910上在从前方向图的右方移动的位置观看子后面的内容(自由视点空间)903的情况的状态。如图所示，当在对角线方向910上向总窗口902外部观看时，观众900可以在该再生位置，即用于从主内容901显示切换的情况确定的该视点位置和视线方向、以该及再生时间，作为通过总窗口902在对角线方向910上可见的该子内容(自由视点空间)903的景物(由点划线在图中包围的部分)观察子内容(自由视点空间)903。此外，假设子内容是活动图像并且在总窗口802外部可见的景物随时改变(如上所述)。
子内容903的视频与其前方的主内容901的视频(以及总窗口902)之间的相对位置是固定的。相应地，当观众的视点位置和视线方向改变时，通过总窗口902观察的景物也改变。例如，当观众的视点位置和视线方向如图8至图9所示地变化时，通过总窗口观察的景物从由虚线表示的位置向由点划线表示的位置移动。相应地，总窗口是打开的窗口以便观看布置在主内容后面的子内容，并且与简单地粘贴在主内容700的显示画面上的该子内容的略图不同。
图10示出了当观众在主内容的自由空间内进一步接近总窗口1010时的显示例。随着观众相比于图7所示的情况更近地进一步接近总窗口1010，各窗口1011和1012逐渐的在观众的视野中根据从观众的视点位置到各窗口1011和1012的距离而变得更大。然后，当观众1101在主内容的自由视点空间1100内移动视点位置以通过一个窗口的窗框，即窗口1011(参考图11)时，如图12所示，主内容的显示被切换至定位于该被通过的窗框前方的子内容(自由视点空间)。应当注意，尽管省去了图示，在另一窗口的窗框，即窗口1012，被通过的情况下主内容的显示也被类似地切换到对应的子内容(自由视点空间)。
图13概括了到目前为止描述的使用总窗口的自由视点视频内容的显示切换的屏幕转换例。
也可以对总窗口的窗框给予显示切换目标的内容(自由视点空间)中的观众的感知尺寸的转换功能。
图14概念上的示出在保持观众在与身高等大的尺寸的(或者在主内容中保持最初的原感知尺寸固定)同时切换该内容至下一个内容的总窗口的窗框1401。此外，图15概念上的示出在切换目标的内容(自由视点空间)中延伸观众的该感知尺寸的总窗口的窗框1501。在定位在这种被通过的窗框1501前方的自由视点空间中，因为观众的身体变得比之前更大，观众感知在切换的自由视点空间中的景物为相对小。此外，对比于在图15中示出的实例，图16概念上的示出减少在切换目标的内容(自由视点空间)中的观众的感知尺寸的总窗口的窗框1601。在定位在这种被通过的窗框1601前方的该自由视点空间中，因为观众的主体变得比之前更小，观众感知在切换的自由视点空间中的景物为相对大。
图17示出使用配有对观众的感知尺寸的转换功能的总窗口的自由视点视频内容的显示切换的屏幕转换例。与在图13中示出的屏幕转换例不同，观众在显示切换目标的自由视点空间中的感知尺寸被扩展，并且观众以相当于该扩展的量感知在自由视点空间中的景物为相对小。
用于感知尺寸的转换功能可以，例如，根据调节视点位置的高度和在自由视点空间中的观众的瞳孔间距离并且对自由视点视频执行渲染处理来实现。即，当感知尺寸如图15所示地被扩展时，通过以提高的视点位置和放大的瞳孔间距离渲染，获得由具有比之前更大的身体的观众看到的自由视点视频并且观众感知在自由视点空间中的景物为相对小。此外，当感知尺寸如图16所示地收缩时，通过以降低的视点位置和减少的瞳孔间距离渲染，获得由具有比之前更小的身体的观众看到的自由视点视频并且观众感知在自由视点空间中的景物为相对大。当然，实现用于感知尺寸的转换功能的方法不限于该方法并且可以使用另一方法。
用户界面单元(UI unit)112可以配备有诸如用于指定观众的感知尺寸的表盘的操作单元。可替代地，观众的感知尺寸可以基于从该观众的音频输入，诸如“更大！”或“更小！”而被指定。当然，该感知尺寸不仅可以在内容的显示切换的时候，而且也可以在内容的显示期间被转换。
图18示出实现使用总窗口的自由视点视频内容的显示切换自由视点视频观看装置1800的功能配置例。该自由视点视频观看装置1800配有各功能块，即，主内容显示控制单元1801、子内容搜索单元1802、子内容内部显示位置确定单元1803、总窗口显示位置确定单元1804、总窗口显示控制单元1805、总窗口显示更新单元1806、以及内容切换单元1807。每个功能块可以在软件或者硬件型式的任何一个中被实现。自由视点视频观看装置1800的实体被配置为，例如，头戴式显示器。
主内容显示控制单元1801输出当前设置为主内容的自由视点视频到视频显示单元116以在其上显示。即，主内容显示控制单元1801从视频累积单元106在对应于由再生位置指示单元111指定的视点位置和视线方向、以及时间再生位置读取主内容并且输出该主内容到视频显示单元116以在其上显示。
应注意，再生位置指示单元111通过观众在用户界面单元112或者上的操作或者自观众的音频输入指定再生位置信息，或者基于由头部运动追踪单元112对观众的头部的位置和姿势的检测结果指定再生位置信息(如前所述)。
当自观众指示切换至另一自由视点视频时(例如通过用户界面单元112)，子内容搜索单元1802从在视频累积单元106中积累的自由视点视频内容中进行对作为用于切换目标的候选的子内容的搜索。子内容搜索单元1802在视频累积单元106中基于预先确定的过滤条件过滤多件内容并且选择一个用于切换目标的候选作为子内容。将在后面进行对该过程的详细说明。
子内容内部显示位置确定单元1803基于显示被切换到每个由子内容搜索单元1802选定的子内容的假设，基于预先确定的算法确定子内容内部的再生位置，即，视点位置和视线方向、以及再生时间。将在后面进行用于确定在每个子内容中的再生位置的过程的详细说明。
总窗口显示位置确定单元1804确定要在当前正在显示的主内容上显示的总窗口的显示位置和显示尺寸。总窗口通过结合窗口来配置，通过该窗口观看每个子内容的自由视点空间(如前所述)。总窗口显示位置确定单元1804可以确定，例如，总窗口的显示位置和显示尺寸以避开在当前正在显示的主内容内的特征显示对象，或者可以使用观众当前的视线方向为参考确定显示位置和显示尺寸为固定位置和尺寸。
然后，总窗口显示控制单元1805在主内容的自由视点空间内以由总窗口显示位置确定单元1804确定的显示位置和显示尺寸设置总窗口并且在视频显示单元116上单独地通过在总窗口中的每个窗口显示子内容的自由视点视频(例如，参考图7)。这时，总窗口显示控制单元1805假定为以由子内容内部显示位置确定单元1803确定的再生位置(即，视点位置和视线方向、以及再生时间)在每个窗口中显示子内容。
每个子内容的自由视点空间布置在主内容的自由视点空间后面。此外，总窗口是结合了所有窗口的窗口，从主内容通过每个该窗口观看每个子内容。总窗口显示更新单元1806响应于观众在通过在主内容的自由视点空间内的总窗口观看时的位置的变化更新通过总窗口可见的每个子内容的视频(例如，参考图8和9)。此外，随着观众在自由视点空间内接近总窗口，总窗口显示更新单元1806根据从观众的视点位置到总窗口的距离逐渐使总窗口的显示更大(例如，参考图10)。
当观众通过总窗口中的一个窗口的窗框时，内容切换单元1807切换在通过之后位于前方的子内容(自由视点空间)至主内容。然后，主内容显示控制单元1801切换视频显示单元116上的显示至新设置为主内容的内容的自由视点空间的视频(例如，参考图13)。
此外，用于在显示切换目标的内容(自由视点空间)中的观众的感知尺寸的转换功能可被用于总窗口的窗框。在使用了用于感知尺寸的转换功能的情况下，当切换子内容至主内容时内容切换单元1807向主内容显示控制单元1801指示设定的感知尺寸(例如，视点位置的高度和瞳孔间距离)。然后，主内容显示控制单元1801基于设置的感知尺寸(例如，视点位置的高度和瞳孔间距离)执行切换目标的自由视点视频的渲染，并且将要被输出到视频显示单元116并在其上显示的自由视点空间调整至符合该感知尺寸的景物。
图19示出了在自由视点视频观看装置1800中用于实现使用总窗口的自由视点视频内容的显示切换的处理过程的流程图。自由视点视频观看装置1800在输出并显示当前设置为主内容的自由视点视频的同时执行该处理过程。
当由观众通过例如用户界面单元112(步骤S1901)执行操作时，检查该操作是否是切换到另一自由视点视频的指示(步骤S1902)。
然后，当指示切换到另一自由视点时(步骤S1902中的“是”)，子内容搜索单元1802从在视频累积单元106中的自由视点视频内容累积中进行对作为用于切换目标的候选项的子内容搜索。将在后面进行对选择子内容的过程的详细说明。
随后，子内容内部显示位置确定单元1803基于显示被切换至由子内容搜索单元1802选定的每个子内容的假设，基于预先确定的算法确定子内容内部的再生位置，即视点位置和视线方向、以及再生时间(步骤S1904)。将在后面进行用于确定在每个子内容中的再生位置的过程的详细说明。
此外，总窗口显示位置确定单元1804确定要在当前正在显示的主内容上显示的总窗口的显示位置和显示尺寸(步骤S1905)。总窗口显示位置确定单元1804可以确定，例如，总窗口的显示位置和显示尺寸以避开在当前正在显示的主内容内的特征显示对象，或者可以使用观众当前的视线方向为依据确定显示位置和显示尺寸为固定位置和尺寸。
然后，总窗口显示控制单元1805在所述主内容的所述自由视点空间内以由总窗口显示位置确定单元1804确定的显示位置和显示尺寸设置所述总窗口，并且通过每个在总窗口中的窗口单独地显示子内容的自由视点视频(步骤S1906)。这时，总窗口显示控制单元1805假定为以由子内容内部显示位置确定单元1803确定的再生位置(即，视点位置和视线方向、以及再生时间)在每个窗口中显示子内容。
在总窗口被显示的同时，内容切换单元1807持续的监控在主内容的自由视点空间内的观众的位置(步骤S1907)。此外，总窗口显示更新单元1806响应于观众在通过在主要内容的自由视点空间内的总窗口观看时的位置的变化更新通过总窗口可见的每个子内容的视频。例如，随着观众在自由视点空间内接近总窗口，总窗口显示更新单元1806根据从观众的视点位置到总窗口的距离逐渐使总窗口的显示更大(例如，参考图10)。
此外，当观众通过在总窗口中的一个窗口的窗框时(步骤S1908中的“是”)，内容切换单元1807切换在通过其之后位于前面的子内容(自由视点空间)至主内容。
当内容切换单元1807进行内容切换时，主内容显示控制单元1801切换显示至新设置为主内容内容的自由视点空间的视频。此外，在于总窗口的窗框中使用了用于在显示切换目标的内容(自由视点空间)中的观众的感知尺寸转换功能的情况下，当切换子内容至主内容时内容切换单元1807向主内容显示控制单元1801指示设置的感知尺寸(例如，视点位置的高度和瞳孔间距离)。然后，主内容显示控制单元1801基于设置的感知尺寸(例如，视点位置的高度和瞳孔间距离)执行切换目标的自由视点视频的渲染，并且调整自由视点空间至符合该感知尺寸的景物。
在图19中示出的流程图中的步骤S1903中的执行的用于子内容的搜索过程中，基于预先确定的过滤条件执行过滤，并且作为子内容选定用于切换目标的候选。图20概括了过滤条件。在所示出的实施例中，过滤条件被大致分类为三个类型的过滤条件，即，根据在屏幕内的信息过滤器、根据观众的过滤器、以及根据观看情形的过滤器。
根据在画面内的信息的过滤器相对于某个特征点或者对象(例如，一偶像组合中的成员A的脸)是否包括在画面中，确定是否选择为子内容。
根据观众的过滤器将当前观看主内容的观众自身的记录或者除该观众以外的某人的记录用作过滤器。可替代地，使用根据观众的属性的过滤器。这里提及的属性包括朋友、熟人、同伴者(社交图谱)/专家、诸如观看相似作品的观看历史、在该主内容中的观看记录(观看同样的对象的倾向)、其他、以及诸如年龄和性别的资料信息。
作为根据观看情形的过滤器举例为观看时隙、位置/区域、观看设备的分类和尺寸、及其类似物。
此外，图21以流程图的形式示出了在图19中示出的流程图中的步骤S1904中执行的，用于确定在子内容内的再生位置以及总窗口的显示位置和显示尺寸的处理过程。
首先，获取主内容的观看状态(步骤S2101)，并且临时确定要被使用在用于选择子内容的过滤中的信息和过滤器。
随后，基于在步骤S2101中临时确定的过滤器分析观众的自身观看历史以分析观众的过往观看历史(步骤S2102)，并且确定用于下一个分析的观看信息和过滤器。
随后，分析子内容上的观看信息(步骤S2103)以基于在步骤S2101中临时确定的过滤器分析与该内容有关的观看信息并且，如果该观看信息有效，确定过滤器和得分(权重)。
随后，基于在步骤S2103中确定的过滤器对于每个信息给出得分并且通过对单位时间、单位空间、以及单位视野的内容空间-时间增加得分(权重)执行投票(步骤S2104)。
随后，空间地和时间地估计步骤S2104中的投票结果的得分分布(步骤S2105)。
随后，结合约束条件和除记录以外的评估函数(步骤S2106)，并且执行用于抑制从主内容到子内容的急剧变化的合约和通过该评估函数的抑制。
随后，在步骤S2106中应用该约束后的最大得分组合，并且计算该情况下的参数(步骤S2107)。
然后，抽取具有最大得分的视野(视点位置和视线方向)和再生开始时间，并且根据观看方法确定总窗口的显示位置和显示尺寸(步骤S2108)。
工业实用性
至此已参考具体实施方式详细描述了本描述中公开的技术。然而，显而易见的是本领域中的技术人员可以作出实施方式的变形和替换而不偏离本描述中公开的技术的精神。
根据本描述中公开的技术，可以切换内容的显示从而不削弱使用总窗口的真实性地减轻对观众的健康危害。
本描述集中于具体实施方式的描述，其中本描述中公开的技术应用于自由视点视频的显示切换。然而，本描述中公开的技术的精神不限于此。本描述中公开的技术也可以类似地应用于切换广角视频内容或者普通的三维或者二维视频内容、以及全部相关类型的内容的显示的情形。
总之，已经以实例的形式描述本描述中公开的技术并且本描述中描述的内容不应当狭义地解释。为了判断本描述中公开的技术的精神，应当考虑权利要求。
此外，本描述中公开的技术可以如下配置。
(1)一种信息处理装置，包括：
总窗口显示控制单元，控制总窗口的显示，通过所述总窗口从当前显示的主内容的自由视点空间观看子内容；以及
内容切换单元，响应于观察者在自由视点空间内通过总窗口的运动切换子内容至主内容。
(2)根据以上(1)所述的信息处理装置，进一步包括子内容搜索单元，从当前显示的所述主内容选择所述子内容作为用于切换目的地的显示的候选项。
(3)根据以上(2)所述的信息处理装置，其中
所述子内容搜索单元使用至少一个根据在屏幕内的信息的过滤器、根据观察者的过滤器、和根据所述主内容的观察情况的过滤器作为过滤条件选择所述子内容。
(4)根据以上(1)至(3)中任一项所述的信息处理装置，进一步包括子内容内部显示位置确定单元，确定视点位置和视线方向，以及显示切换目标的所述子内容内部的再生时间。
(5)根据以上(1)至(4)中任一项所述的信息处理装置，进一步包括总窗口显示位置确定单元，确定要被显示在所述主内容上的所述总窗口的位置和尺寸。
(6)根据以上(5)所述的信息处理装置，其中
所述总窗口显示控制单元在所述主内容的所述自由视点空间内以通过所述总窗口显示位置确定单元确定的显示位置和显示尺寸设置所述总窗口，并且显示在被通过在所述总窗口中的窗口观看时能被观看的所述子内容的自由视点视频。
(7)根据以上(1)至(6)中任一项所述的信息处理装置，进一步包括总窗口显示更新单元，与观察者在所述主内容的所述自由视点空间内的移动一致地更新所述总窗口的显示。
(8)根据以上(1)至(7)中的任一项所述的信息处理装置，其中
在切换所述子内容至所述主内容时，所述内容切换单元转换观察者的感知尺寸。
(9)一种信息处理方法，包括：
显示总窗口的总窗口显示步骤，通过所述总窗口从当前显示的主内容的自由视点空间观看子内容；以及
内容切换步骤，响应于观察者在所述自由视点空间内通过所述总窗口的运动切换所述子内容至所述主内容。
附图标记列表
100 自由视点视频观看系统
101-1，101-2，……，101-N 照相机
102 通信接口
103 视频输入单元
104 自由视点视频生成单元
105 视频编码单元
106 视频累积单元
111 再生位置指示单元
112 用户界面(UI)单元
113 头部运动追踪单元
114 视频读取单元
115 视频解码单元
116 视频显示单元
201 自由视点视频制作设备
202 视频服务器
203 自由视点视频观看设备
301 视频服务器
302 传输线路
303 自由视点视频观看设备
1800 自由视点视频观看设备
1801 主内容显示控制单元
1802 子内容搜索单元
1803 子内容内部显示位置确定单元
1804 总窗口显示位置确定单元
1805 总窗口显示控制单元
1806 总窗口显示更新单元
1807 内容切换单元

Claims (8)

1.一种信息处理装置，包括：
总窗口显示控制单元，控制总窗口的显示，通过所述总窗口从当前显示的主内容的自由视点空间观看子内容；以及
内容切换单元，响应于观众在所述自由视点空间内通过所述总窗口的运动切换所述子内容至所述主内容，其中，当所述观众在所述主内容的自由视点空间内移动视点位置以通过所述总窗口的窗框时，所述主内容的显示被切换至定位于被通过的所述窗框前方的所述子内容，其中
在切换所述子内容至所述主内容时，所述内容切换单元转换观众的感知尺寸。
2.根据权利要求1所述的信息处理装置，还包括子内容搜索单元，所述子内容搜索单元从当前显示的所述主内容选择所述子内容作为用于显示切换目标的候选项。
3.根据权利要求2所述的信息处理装置，其中，
所述子内容搜索单元使用根据在屏幕内的信息的过滤器、根据观众的过滤器、以及根据所述主内容的观看情况的过滤器中的至少一个作为过滤条件选择所述子内容。
4.根据权利要求1所述的信息处理装置，还包括子内容内部显示位置确定单元，所述子内容内部显示位置确定单元确定在显示切换目标的所述子内容内的视点位置和视线方向、以及再生时间。
5.根据权利要求1所述的信息处理装置，还包括总窗口显示位置确定单元，所述总窗口显示位置确定单元确定要显示在所述主内容上的所述总窗口的位置和尺寸。
6.根据权利要求5所述的信息处理装置，其中，
所述总窗口显示控制单元在所述主内容的所述自由视点空间内以由所述总窗口显示位置确定单元确定的显示位置和显示尺寸设置所述总窗口，并且显示在通过所述总窗口中的窗口观看时能被观看的所述子内容的自由视点视频。
7.根据权利要求1所述的信息处理装置，还包括总窗口显示更新单元，所述总窗口显示更新单元与观众在所述主内容的所述自由视点空间内的移动一致地更新所述总窗口的显示。
8.一种信息处理方法，包括：
显示总窗口的总窗口显示步骤，通过所述总窗口从当前显示的主内容的自由视点空间观看子内容；以及
内容切换步骤，响应于观众在所述自由视点空间内通过所述总窗口的运动切换所述子内容至所述主内容，其中，当所述观众在所述主内容的自由视点空间内移动视点位置以通过所述总窗口的窗框时，所述主内容的显示被切换至定位于被通过的所述窗框前方的所述子内容，其中
在切换所述子内容至所述主内容时，转换观众的感知尺寸。
CN201680051690.0A 2015-09-14 2016-06-10 信息处理装置以及信息处理方法 Active CN108028964B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-181090 2015-09-14
JP2015181090 2015-09-14
PCT/JP2016/067432 WO2017047173A1 (ja) 2015-09-14 2016-06-10 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
CN108028964A CN108028964A (zh) 2018-05-11
CN108028964B true CN108028964B (zh) 2021-06-29

Family

ID=58288662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680051690.0A Active CN108028964B (zh) 2015-09-14 2016-06-10 信息处理装置以及信息处理方法

Country Status (4)

Country Link
US (2) US11132099B2 (zh)
JP (1) JP6753405B2 (zh)
CN (1) CN108028964B (zh)
WO (1) WO2017047173A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6849430B2 (ja) * 2016-12-27 2021-03-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JPWO2018216355A1 (ja) * 2017-05-24 2020-05-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10817129B2 (en) * 2017-07-17 2020-10-27 Google Llc Methods, systems, and media for presenting media content previews
JP6523493B1 (ja) * 2018-01-09 2019-06-05 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
JP7104539B2 (ja) * 2018-03-29 2022-07-21 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
CN110876051B (zh) * 2018-08-29 2023-04-11 中兴通讯股份有限公司 视频数据的处理，传输方法及装置，视频数据的处理系统
CN109561338B (zh) * 2018-12-28 2022-08-09 福建星网视易信息系统有限公司 一种点歌系统的界面无缝切换显示方法及存储介质
CN109819331B (zh) * 2019-01-21 2021-08-20 维沃移动通信有限公司 一种视频通话方法、装置、移动终端
WO2020186478A1 (en) * 2019-03-20 2020-09-24 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for transmitting viewpoint switching capabilities in a vr360 application
JP6785018B1 (ja) * 2019-07-25 2020-11-18 株式会社プロドローン 遠隔操縦システムおよびその操縦装置
WO2021044745A1 (ja) * 2019-09-03 2021-03-11 ソニー株式会社 表示処理装置、表示処理方法及び記録媒体
IL295170A (en) * 2020-01-30 2022-09-01 Amatelus Inc Apparatus, system, method and software for video distribution
EP4240019A4 (en) * 2020-10-27 2024-06-05 Amatelus Inc. VIDEO DISTRIBUTION DEVICE, VIDEO DISTRIBUTION SYSTEM, VIDEO DISTRIBUTION METHOD AND PROGRAM

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191419A (ja) 1995-01-10 1996-07-23 Yamaha Corp 頭部装着型表示システム
JP2005192057A (ja) * 2003-12-26 2005-07-14 D Link Corp 空間画像の切出し表示方法及び装置
CN1331359C (zh) * 2005-06-28 2007-08-08 清华大学 交互式多视点视频系统中视频流的传输方法
JP2007208340A (ja) 2006-01-30 2007-08-16 Makani Networks Co Ltd コンテンツ管理システム、管理サーバ、コンテンツ管理方法、およびプログラム
US9205330B2 (en) * 2007-12-21 2015-12-08 International Business Machines Corporation Temporal ranking in virtual worlds
JP5839220B2 (ja) * 2011-07-28 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP2600316A1 (en) * 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
JP5990998B2 (ja) 2012-04-23 2016-09-14 セイコーエプソン株式会社 虚像表示装置
JP2014127987A (ja) 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
US20150193446A1 (en) * 2014-01-07 2015-07-09 Microsoft Corporation Point(s) of interest exposure through visual interface
US20150234547A1 (en) * 2014-02-18 2015-08-20 Microsoft Technology Licensing, Llc Portals for visual interfaces
EP3145199A4 (en) * 2014-05-16 2018-04-25 Unimoto Incorporated 360-degree video-distributing system, 360-degree video distribution method, image-processing device, and communications terminal device, as well as control method therefor and control program therefor
JP5777185B1 (ja) 2014-05-16 2015-09-09 株式会社ユニモト 全周動画配信システム、全周動画配信方法、通信端末装置およびそれらの制御方法と制御プログラム
JP2014240961A (ja) * 2014-06-17 2014-12-25 独立行政法人理化学研究所 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
JP2016062486A (ja) * 2014-09-19 2016-04-25 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9865305B2 (en) * 2015-08-21 2018-01-09 Samsung Electronics Co., Ltd. System and method for interactive 360-degree video creation
US10559117B2 (en) * 2016-02-08 2020-02-11 Google Llc Interactions and scaling in virtual reality

Also Published As

Publication number Publication date
WO2017047173A1 (ja) 2017-03-23
CN108028964A (zh) 2018-05-11
JP6753405B2 (ja) 2020-09-09
US20180232108A1 (en) 2018-08-16
US20210389847A1 (en) 2021-12-16
JPWO2017047173A1 (ja) 2018-06-28
US11132099B2 (en) 2021-09-28

Similar Documents

Publication Publication Date Title
CN108028964B (zh) 信息处理装置以及信息处理方法
US10778951B2 (en) Camerawork generating method and video processing device
US10805592B2 (en) Apparatus and method for gaze tracking
US9565415B2 (en) Method of presenting three-dimensional content with disparity adjustments
US9774896B2 (en) Network synchronized camera settings
US11587292B2 (en) Triggered virtual reality and augmented reality events in video streams
EP3065049A2 (en) Interactive video display method, device, and system
US20160198140A1 (en) System and method for preemptive and adaptive 360 degree immersive video streaming
EP2850592B1 (en) Processing panoramic pictures
US20160037068A1 (en) System and method of stitching together video streams to generate a wide field video stream
WO2015025309A1 (en) System and method for real-time processing of ultra-high resolution digital video
KR101883018B1 (ko) 3ｄ 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치
KR20140068431A (ko) 스마트 글래스 기반 영상 처리 장치 및 방법
US10362266B2 (en) Video processing apparatus, video processing system, and video processing method
KR20150097609A (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
JP5599063B2 (ja) 表示制御装置、表示制御方法及びプログラム
US10388323B2 (en) Method and apparatus for displaying light field video data
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
JP2012173683A (ja) 表示制御装置、情報表示装置、及び表示制御方法
WO2016167160A1 (ja) データ生成装置および再生装置
KR20190136417A (ko) 3차원 360도 영상 데이터의 전송 방법, 그에 따른 디스플레이 장치, 및 그에 따른 영상 저장 장치
JP7385385B2 (ja) 画像配信システムおよび画像配信方法
WO2018004933A1 (en) Apparatus and method for gaze tracking
JP6244396B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant