CN115088268A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN115088268A
CN115088268A CN202180012801.8A CN202180012801A CN115088268A CN 115088268 A CN115088268 A CN 115088268A CN 202180012801 A CN202180012801 A CN 202180012801A CN 115088268 A CN115088268 A CN 115088268A
Authority
CN
China
Prior art keywords
movement amount
viewpoint
image
display
viewpoint position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180012801.8A
Other languages
English (en)
Inventor
小仓翔
山下裕也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115088268A publication Critical patent/CN115088268A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

作为该图像处理设备的一个示例的显示设备(10)包括将包括推荐视点信息的图像的一部分作为显示图像输出到显示单元的输出单元，以及基于与输出到显示单元的显示图像对应的视点位置和与推荐视点信息对应的视点位置之间的位置关系，使图像的显示区域转变的转变控制单元。输出单元基于转变后的显示区域将图像的一部分输出到显示单元。

Description

图像处理装置、图像处理方法和程序
技术领域
本发明涉及图像处理装置、图像处理方法和程序。
背景技术
MPEG-DASH(HTTP上的动态自适应流传输)的全向媒体应用格式(OMAF)标准定义了用于将推荐视点信息与具有360°或更小的视角的宽视角图像的数据一起发送的方法。此外，例如，专利文献1公开了推荐视点的显示。
引文列表
专利文件
专利文献1：日本专利申请特许公开No.2016-194784
发明内容
本发明要解决的问题
当显示推荐视点时，在宽视角图像中仅观看推荐视点。另一方面，如果用户可以自由地观看图像，那么用户不能看到推荐视点位置。在这种情况下，可以考虑用边框等来显示推荐视点，但图像中描绘的世界可能会在该部分处摇晃。
因此，本公开旨在提供一种使得能够组合使用推荐视点和自由视点而不用边框等显示推荐视点的位置的图像处理装置、图像处理方法和程序。
问题的解决方案
为了解决上述问题，根据本公开的实施例的图像处理装置包括：输出单元，将包括推荐视点信息的图像的一部分作为显示图像输出到显示单元；以及转变控制单元，基于与输出到显示单元的显示图像对应的视点位置和与推荐视点信息对应的视点位置之间的位置关系，使图像的显示范围改变。在该图像处理装置中，输出单元基于改变后的显示范围将图像的一部分输出到显示单元。
附图说明
图1是示出根据第一实施例的图像分发系统的示例配置的图。
图2A是示出与球形所捕获图像对应的示例球形表面的图。
图2B是示出投影图像的示例坐标系的示意图。
图2C是示出推荐视点信息的示例的图。
图3是示出根据第一实施例的显示装置的示例功能配置的框图。
图4A是示出示例投影图像的图。
图4B是示出示例显示范围的图。
图4C是示出示例显示图像的图。
图5是示出用于计算返回移动量的示例方法的曲线图。
图6是示出用于计算返回移动量的示例方法的曲线图。
图7是示出根据第一实施例的显示处理的过程的流程图。
图8是示出用于设置阈值的示例方法的曲线图。
图9是示出根据第一实施例的示例应用的显示处理的过程的流程图。
图10是示出根据第二实施例的显示装置的示例功能配置的框图。
图11是示出用于校正操作移动量的示例方法的曲线图。
图12是示出用于校正操作移动量的示例方法的曲线图。
图13是示出根据第二实施例的显示处理的过程的流程图。
图14是示出根据第三实施例的显示装置的示例功能配置的框图。
图15是示出根据第三实施例的显示处理的过程的流程图。
图16是示出根据第四实施例的显示装置的示例功能配置的框图。
图17是示出在分数计算中使用的距离的示例的图。
图18是示出在分数计算中使用的距离和权重的示例的图。
图19是示出根据第四实施例的显示处理的过程的流程图。
图20是示出计算机硬件的示例配置的框图。
具体实施方式
下面参考附图对本公开的实施例进行详细描述。注意的是，在下面描述的每个实施例中，相同的组件用相同的附图标记表示，并且将省略它们的重复说明。
此外，将按以下顺序解释本公开。
1.第一实施例
1-1.图像分发系统
1-2.分发侧装置
1-3.接收侧装置
1-3-1.接收单元
1-3-2.陀螺仪传感器
1-3-3.转变控制单元
1-3-4.视场渲染单元
1-3-5.显示单元
1-4.转变控制单元的细节
1-4-1.操作移动量计算单元
1-4-2.返回移动量计算单元
1-4-3.组合移动量计算单元
1-4-4.视点位置计算单元
1-5.显示装置要执行的处理过程
1-6.效果的一方面
1-7.第一实施例的示例应用
1-7-1.根据示例应用的处理中的过程
2.第二实施例
2-1.显示装置的示例功能配置
2-2.转变控制单元
2-2-1.校正单元
2-3.显示装置要执行的处理过程
2-4.效果的一方面
3.第三实施例
3-1.显示装置的示例功能配置
3-2.转变控制单元
3-3.显示装置要执行的处理过程
3-4.效果的一方面
4.第四实施例
4-1.显示装置的示例功能配置
4-2.转变控制单元
4-2-1.分数计算单元
4-2-2.推荐视点选择单元
4-3.显示装置要执行的处理过程
4-4.效果的一方面
5.变形例
5-1.视觉以外的反馈
5-2.引导感应控制的执行条件
5-3.实现功能的装置
5-4.其它变形例
6.硬件配置
<<1.第一实施例>>
<1-1.图像分发系统>
图1是示出根据第一实施例的图像分发系统的示例配置的图。如图1中所示，图像分发系统1包括分发侧装置和作为接收侧装置的显示装置10。显示装置10的安装示例包括头戴式显示器(HMD)、平板电脑等。
<1-2.分发侧装置>
分发侧装置包括多相机3、宽视角图像转换单元5、编码器7和分发服务器9。
多相机3获得球形捕获图像的图像数据。例如，多相机3以两个相机的背对背(back-to-back)方式进行成像，并且获得用鱼眼透镜作为球形捕获图像捕获的各自具有180°或更大的宽视角的正面图像和背面图像。
宽视角图像转换单元5对由多相机3获得的球形捕获图像进行平面封装，并获得矩形投影图像(投影图片)。该投影图像对应于具有360°或更小的视角的宽视角的图像。在这种情况下，例如，选择等量矩形等作为投影图像的格式类型。注意的是，宽视角图像转换单元5根据需要对投影图像进行缩放，以获得具有预定分辨率的投影图像。
编码器7例如对从宽视角图像转换单元5提供的投影图像的图像数据执行诸如HEVC的编码以获得经编码的图像数据，并且生成包括经编码的图像数据的视频流。这里，编码器7将推荐视点信息逐帧插入到视频流中。
例如，推荐视点(RVP)被自动设置在包括由位置传感器或通过图像识别估计的表演者的范围内，或者例如被设置在由导演手动指定的范围内。这里，推荐视点不一定只设置一个，而是可以设置多个推荐视点。
图2A示出了与球形捕获图像对应的球形表面。图2B示意性地示出了格式类型为等量矩形的情况下的矩形投影图像。该投影图像的中心为(0，0)。
推荐视点信息例如包括如图2C中所示的帧编号、中心角信息、方位角信息、仰角信息和推荐视点编号。中心角信息、方位角信息和仰角信息是球形捕获图像中的角度信息(参见图2A)。
返回参考图1，分发服务器9将由编码器7生成的视频流作为分发数据传输到显示装置10。注意的是，这种分发可以是广播或通信。
<1-3.接收侧装置>
图3是示出根据第一实施例的显示装置的示例功能配置的框图。图3示意性地示出了与显示装置10的功能对应的块。如图3中所示，显示装置10包括接收单元11、解码器12、视场渲染单元13、陀螺仪传感器14、转变控制单元15和显示单元16。注意的是，视场渲染单元13与输出单元的示例对应。
<1-3-1.接收单元>
接收单元11接收作为从传输侧装置传输的分发数据的视频流。解码器12对由接收单元11接收到的视频流进行解码，以获得投影图像(图像数据)。解码器12还获得为接收到的视频流中的每一帧插入的推荐视点信息。
<1-3-2.陀螺仪传感器>
陀螺仪传感器14检测其中包括陀螺仪传感器14的装置(在这种情况下，该装置是显示装置10)的旋转角度的变化。这样的检测输出可以对应于视线操作信息，诸如显示装置10的旋转角度的变化导致穿戴HMD的用户旋转颈部或导致用户旋转平板电脑。注意的是，本发明还可以应用于用户在触摸面板上执行诸如滑动的操作以生成视点操作的使用情况。在这种情况下，关于触摸面板上的操作的信息可以对应于视点操作信息。
<1-3-3.转变控制单元>
转变控制单元15基于来自解码器12的关于下一帧的推荐视点信息和来自陀螺仪传感器14的视点操作信息使投影图像中要显示在显示单元16上的显示图像的显示范围转变。在示例中，可以通过针对每一帧计算下一帧的视点位置来实现这种显示范围的转变。例如，以下一帧的视点位置作为光学中心，转变控制单元15可以将下一帧的显示范围确定为取决于水平视角和垂直视角或者取决于对角线视角(其中的每个都被设置为显示图像的尺寸)定义的视场。
<1-3-4.视场渲染单元>
视场渲染单元13从由解码器12获得的下一帧的投影图像数据中截取并渲染由转变控制单元15计算出的下一帧的显示范围的图像数据，并且获得与下一帧的视点位置对应的显示图像数据。
<1-3-5.显示单元>
显示单元16基于由视场渲染单元13针对每一帧获得的显示图像数据来显示图像。
图4A是示出示例投影图像的图。图4B是示出示例显示范围的图。图4C是示出示例显示图像的图。如图4B中所示，仅作为示例，与下一帧的视点位置对应的下一帧的显示范围设置在图4A中所示的投影图像上。在设置这样的显示范围的情况下，如图4C中所示，从投影图像中截取与显示范围对应的显示图像，然后将其显示在显示单元16上。
<1-4.转变控制单元的细节>
如图3中所示，转变控制单元15包括操作移动量计算单元15A、返回移动量计算单元15B、组合移动量计算单元15C以及视点位置计算单元15D。
<1-4-1.操作移动量计算单元>
操作移动量计算单元15A是根据基于视点操作信息的视点操作计算移动与显示图像对应的视点位置的移动量的处理单元。在下文中，根据视点操作移动与显示图像对应的视点位置的移动量在一些情况下也被称为“操作移动量”。
作为一个实施例，操作移动量计算单元15A基于由陀螺仪传感器14输出的视线操作信息，计算上述操作移动量。更具体而言，对于每一帧，俯仰、滚动和偏航的三个轴的角速度从陀螺仪传感器14被输入到操作移动量计算单元15A。根据这样的输入，操作移动量计算单元15A针对三个轴中的每个执行以下处理。即，操作移动量计算单元15A通过对从陀螺仪传感器14输出的角速度进行积分来计算旋转角度。通过以这种方式从当前帧中计算出的旋转角度减去前一帧中计算出的旋转角度，操作移动量计算单元15A计算下一帧的操作移动量。
<1-4-2.返回移动量计算单元>
返回移动量计算单元15B是计算将与显示图像对应的视点位置返回到与推荐视点信息对应的视点位置的移动量的处理单元。在下文中，将与显示图像对应的视点位置返回到推荐视点的移动量在一些情况下也被称为“返回移动量”。
作为一个实施例，返回移动量计算单元15B基于由解码器12输出的推荐视点信息计算上述返回移动量。更具体而言，返回移动量计算单元15B还针对俯仰、滚动和偏航的三个轴中的每个执行以下处理。即，返回移动量计算单元15B基于从推荐视点到当前帧的视点位置的视线方向的角度差来计算上述返回移动量。例如，随着从推荐视点到当前帧的视点位置的视线方向的角度差变大，返回移动量计算单元15B将视点位置返回到推荐视点的速度设置为更高。
图5和图6是各自示出用于计算返回移动量的示例方法的曲线图。图5和图6中所示的曲线图中的横坐标轴指示相对于推荐视点的角度，并且横坐标轴指示将视点位置返回到推荐视点的速度。这里提到的“速度”仅作为示例是指每帧的移动量，并且可以通过设置返回到推荐视点之前所需的帧数来确定。如图5中所示，上述返回移动量可以根据函数来计算，其中随着从推荐视点到当前帧的视点位置的视线方向的角度差变大，视点位置返回到推荐视点的速度线性地变高。在另一示例中，上述返回移动量也可以根据函数来计算，其中随着从推荐视点到当前帧的视点位置的视线方向的角度差变大，视点位置返回到推荐视点的速度单调地变高，并且单调增加比率变低。
由于将视点位置返回到推荐视点的引导控制以这种方式并入在显示范围的转变中，因此可以在不显示指示推荐视点的位置的诸如边框、箭头之类的各种标记的情况下，在视觉上反馈推荐视点。另外，由于可以通过根据图5和图6中所示的函数计算上述返回移动量来传输到推荐视点的距离感，因此可以减少VR不适并减少引导到推荐视点时的陌生感。另外，由于根据图6中所示的函数计算上述返回移动量，因此与图5中所示的情况相比，可以更平滑地传输到推荐视点的距离感。
注意的是，本文描述了对俯仰、滚动和偏航的三个轴使用相同函数的示例，但是可以对三个轴使用不同的函数。例如，对于滚动轴，可以将上述返回移动量设置为零，而不管从推荐视点到当前帧的视点位置的视线方向的角度差的大小。替代地，可以使用对三个相应轴乘以不同权重的函数。
此外，虽然图5和图6图示了用于确定返回移动量的示例函数，但是可以不一定根据函数来计算返回移动量。例如，代替函数，当然可以使用查找表等，其中视点位置返回到推荐视点的速度与从推荐视点到当前帧的视点位置的视线方向上的旋转角度的相应级别相关联。
<1-4-3.组合移动量计算单元>
组合移动量计算单元15C是通过组合操作移动量和返回移动量来计算组合移动量的处理单元。仅作为示例，组合移动量计算单元15C针对滚动和偏航的三个轴中的每个计算由操作移动量计算单元15A计算出的操作移动量和由返回移动量计算单元15B计算出的返回移动量的和。因此，可以计算通过组合操作移动量和返回移动量而获得的组合移动量。
<1-4-4.视点位置计算单元>
视点位置计算单元15D是根据组合移动量计算下一帧的视点位置的处理单元。仅作为示例，视点位置计算单元15D通过将与由组合移动量计算单元15C针对滚动和偏航的三个轴中的每个计算出的组合移动量对应的视线方向的角度与当前帧的视线方向相加来计算下一帧的视点位置。之后，以下一帧的视点位置为光学中心，视点位置计算单元15D可以将下一帧的显示范围确定为取决于水平视角和垂直视角，或者取决于对角线视角(其中的每个都被设置为显示图像的尺寸)定义的视场。以这种方式确定的下一帧的显示范围被输入到视场渲染单元13。
<1-5.显示装置要执行的处理过程>
图7是示出根据第一实施例的显示处理的过程的流程图。该处理仅作为示例响应于由用户执行的视频剪辑再现开始操作而开始。当以这种方式开始处理时，显示装置10将作为与RVP对应的范围(推荐范围)的推荐视点显示为显示范围，如图7中所示(步骤S101)。
之后，针对俯仰、滚动和偏航的三个轴中的每个执行随后的步骤S102到S104中的处理。
即，操作移动量计算单元15A基于由陀螺仪传感器14输出的视线操作信息，计算上述操作移动量(步骤S102)。此外，返回移动量计算单元15B基于由解码器12输出的推荐视点信息，计算上述返回移动量(步骤S103)。
之后，组合移动量计算单元15C通过将针对滚动和偏航的三个轴中的每个在步骤S102中计算出的操作移动量和在步骤S103中计算出的返回移动量相加，计算组合移动量(步骤S104)。
随后，视点位置计算单元15D通过将与在步骤S104中针对滚动和偏航的三个轴中的每个计算出的组合移动量对应的视线方向的角度与当前帧的视线方向相加来计算下一帧的视点位置(步骤S105)。
然后，视场渲染单元13使显示单元16显示显示图像，将与在步骤S105中计算出的下一帧的视点位置对应的视场设置为投影图像的显示范围(步骤S106)。
此后，重复上述步骤S102至S106中的处理直到视频再现或分发完成(步骤S107中的“否”)。之后，当视频再现或分发完成时(步骤S107中的“是”)，处理结束。
<1-6.效果的一个方面>
如上所述，本公开的显示装置10基于视线操作信息和推荐视点信息移动投影图像的显示范围，并在显示单元16上显示与所移动的显示范围对应的显示图像。因而，利用本公开的显示装置10，可以结合自由视点使用推荐视点，而不一定用边框等指示推荐视点的位置。
<1-7.第一实施例的示例应用>
从减少推荐视点附近的振动的方面来看，本公开的显示装置10可以在上述操作移动量等于或小于预定阈值的情况下执行关于不进行视线操作的阈值处理。图8是示出用于设置阈值的示例方法的曲线图。
图8中所示曲线图中的横坐标轴指示相对于推荐视点的角度，并且纵坐标轴指示用于确定不进行视线操作的阈值。如图8中所示，从推荐视点到当前帧的视点位置的视线方向的角度差越小，用于确定不进行视线操作的阈值被设置得越高。换句话说，从推荐视点到当前帧的视点位置的视线方向的角度差越大，用于确定不进行视线操作的阈值被设置得越低。通过设置这样的阈值，可以减少推荐视点附近的振动。
<1-7-1.根据示例应用的处理中的过程>
图9是示出根据第一实施例的示例应用的显示处理中的过程的流程图。在图9中所示的流程图中，对执行具有与图7中所示的流程图中的处理相同内容的处理的步骤指派相同的步骤编号，但对执行具有不同内容的处理的步骤指派不同的步骤编号。
图9中所示的显示处理与图7中所示的不同之处在于增加了步骤S201至S203中的处理。具体而言，仅作为示例，步骤S201可以在步骤S103中的处理之后执行。
例如，在步骤S201中，组合操作量计算单元15C确定在步骤S102中计算出的操作移动量是否超过预定阈值，诸如由从推荐视点到当前帧的视点位置的视线方向的角度差确定的阈值。
如果操作移动量在此超过阈值，或者如果操作移动量既不等于也不小于阈值(步骤S201中的“是”)，那么组合操作量计算单元15C通过将针对滚动和偏航的三个轴中的每个在步骤S102中计算出的操作移动量和在步骤S103中计算出的返回移动量相加来计算组合移动量(步骤S202)。
另一方面，如果操作移动量不超过阈值，或者如果操作移动量等于或小于阈值(步骤S201中的“否”)，那么组合操作量计算单元15C确定不进行视线操作，或者滚动和偏航的三个轴的操作移动量为零。即，组合操作量计算单元15C计算滚动和偏航的三个轴的返回移动量作为组合移动量(步骤S203)。
之后，基于在步骤S202或步骤S203中计算出的组合移动量，执行随后的步骤S105中的处理。
根据第一实施例的示例应用，可以减少推荐视点附近的振动。
<<2.第二实施例>>
在上述第一实施例的上述示例中，通过调整返回移动量来传输来自推荐视点的距离感。然而，不一定执行用于将视点位置返回到推荐视点的引导控制来传输来自推荐视点的距离感。鉴于此，现在将通过上述操作移动量的限制来传输来自推荐视点的距离感的示例情况作为第二实施例进行描述。
<2-1.显示装置的示例功能配置>
图10是示出根据第二实施例的显示装置的示例功能配置的框图。如图10中所示，显示装置20与图3中所示的显示装置10的不同之处在于包括执行与由转变控制单元15执行的处理在内容上部分不同的处理的转变控制单元21。
<2-2.转变控制单元>
转变控制单元21与图3中所示的转变控制单元15的不同之处在于不一定必须包括诸如返回移动量计算单元15B和组合移动量计算单元15C之类的功能单元，该功能单元与将视点位置返回到推荐视点的控制兼容。转变控制单元21与图3中所示的转变控制单元15的不同之处还在于包括执行校正以限制上述操作移动量的校正单元21A。
<2-2-1.校正单元>
校正单元21A是基于当前帧的视点位置与推荐视点之间的视线方向的角度差来校正上述操作移动量的处理单元。
图11和图12是各自示出用于校正操作移动量的示例方法的曲线图。图11和图12中所示曲线图中的横坐标轴指示相对于推荐视点的角度，并且横坐标轴指示操作移动量。另外，在图11和图12中，校正后的操作移动量由实线指示，而校正前的操作移动量由虚线指示。如图11中所示，可以使用其中随着相对于推荐视点的角度变大，使得校正后的操作移动量的单调增加的比率低于校正前的操作移动量的单调增加的比率的函数用于校正操作移动量。作为另一示例，在校正操作移动量时，可以使用其中校正前的操作移动量和校正后的操作移动量以相同斜率线性增加直到相对于推荐视点的角度增加到预定角度为止、并且当相当于推荐视点的角度变得等于或大于预定角度时，校正后的操作移动量线性增加的斜率变得比校正前的操作移动量线性增加的斜率平缓的函数，如图12中所示。
如上所述，用log表示的函数或用阈值表示的函数被用作随着来自推荐视点的角度变大而限制操作移动量增加的函数。利用这种布置，可以传输其中视点位置远离推荐视点，或者在推荐视点的范围之外的状态，其中对操作移动量增加的限制成为限制器。因而，可以在视觉上反馈推荐视点，而无需显示指示推荐视点的位置的诸如边框和箭头之类的各种标记。
注意的是，虽然图11和图12图示了用于确定校正前后的操作移动量的示例函数，但操作移动量不一定是根据函数计算出的。例如，代替函数，当然可以使用查找表等，其中校正前后的操作移动量与从推荐视点到当前帧的视点位置的视线方向上的旋转角度的相应级别相关联。
<2-3.显示装置要执行的处理过程>
图13是示出根据第二实施例的显示处理的过程的流程图。在图13中所示的流程图中，对执行具有与图7中所示的流程图中的处理相同内容的处理的步骤指派相同的步骤编号，但对执行具有不同内容的处理的步骤指派不同的步骤编号。
图13中所示的显示处理与图7中所示的显示处理的不同之处在于省略了图7中所示的步骤S103和S104中的处理，并且增加了步骤S301中的处理。具体而言，仅作为示例，步骤S301可以在步骤S102中的处理之后执行。例如，在步骤S301中，校正单元21A基于当前帧的视点位置与推荐视点之间的视线方向的角度差来校正在步骤S102中计算出的操作移动量。
此后，基于在步骤S301中校正的操作移动量，执行随后的步骤S105中的处理。
<2-4.效果的一个方面>
如上所述，本公开的显示装置20基于当前帧的视点位置与推荐视点之间的视线方向的角度差来校正上述操作移动量。因而，利用本公开的显示装置20，可以结合自由视点使用推荐视点，而不一定用边框等指示推荐视点的位置。
<<3.第三实施例>>
在第二实施例的上述示例中，从根据第一实施例的上述显示装置10省略了关于将视点位置返回到推荐视点的引导控制，并且将操作移动量的校正并入到显示装置10中。然而，上述第一实施例和上述第二实施例可以在没有任何改变的情况下组合。在以下作为第三实施例描述的示例情况下，上述第一实施例和第二实施例被组合而没有任何改变。
<3-1.显示装置的示例功能配置>
图14是示出根据第三实施例的显示装置的示例功能配置的框图。如图14中所示，显示装置30与图3中所示的显示装置10的不同之处在于包括执行与由转变控制单元15执行的处理在内容上部分不同的处理的转变控制单元31。
<3-2.转变控制单元>
转变控制单元31与图3中所示的转变控制单元15的不同之处在于，除了图3中所示的操作移动量计算单元15A、返回移动量计算单元15B、组合移动量计算单元15C，以及视点位置计算单元15D以外，还包括图10中所示的校正单元21A。
<3-3.显示装置要执行的处理过程>
图15是示出根据第三实施例的显示处理的过程的流程图。在图15中所示的流程图中，对执行具有与图7和图13中所示的流程图中的处理相同内容的处理的步骤指派相同的步骤编号，但对执行具有不同内容的处理的步骤指派不同的步骤编号。
仅作为示例，该处理也响应于由用户执行的视频剪辑再现开始操作而开始。当以这种方式开始处理时，显示装置10将作为与RVP对应的范围(推荐范围)的推荐视点显示为显示范围，如图15中所示(步骤S101)。
之后，针对俯仰、滚动和偏航的三个轴中的每个执行随后的步骤S102到S104中的处理。
即，操作移动量计算单元15A基于由陀螺仪传感器14输出的视线操作信息来计算上述操作移动量(步骤S102)。然后，校正单元21A基于当前帧的视点位置与推荐视点之间的视线方向的角度差来校正在步骤S102中计算出的操作移动量(步骤S301)。此外，返回移动量计算单元15B基于由解码器12输出的推荐视点信息来计算上述返回移动量(步骤S103)。
此后，组合移动量计算单元15C通过将针对滚动和偏航的三个轴中的每个在步骤S301中校正的操作移动量和在步骤S103中计算出的返回移动量相加来计算组合移动量(步骤S104)。
随后，视点位置计算单元15D通过将与在步骤S104中针对滚动和偏航的三个轴中的每个计算出的组合移动量对应的视线方向的角度与当前帧的视线方向相加来计算下一帧的视点位置(步骤S105)。
然后，视场渲染单元13使显示单元16显示显示图像，将与在步骤S105中计算出的下一帧的视点位置对应的视场设置为投影图像的显示范围(步骤S106)。
此后，重复上述步骤S102至S106中的处理直到视频再现或分发完成(步骤S107中的“否”)。之后，当视频再现或分发完成时(步骤S107中的“是”)，处理结束。
<3-4.效果的一个方面>
如上所述，利用本公开的显示装置30，可以实现根据上述第一实施例的显示装置10和根据上述第二实施例的显示装置20两者的效果。例如，利用本公开的显示装置30，可以传输到推荐视点的距离感、推荐视点的范围之外的位置等。
<<4.第四实施例>>
在上述第一实施例至第三实施例中的示例情况中，在处理中存在一个推荐观点。然而，可以存在多个推荐视点。在以下作为第四实施例描述的示例处理中，从多个推荐视点中选择一个推荐视点。
<4-1.显示装置的示例功能配置>
图16是示出根据第四实施例的显示装置的示例功能配置的框图。如图16中所示，显示装置40与图3中所示的显示装置10的不同之处在于包括执行与由转变控制单元15执行的处理在内容上部分不同的处理的转变控制单元41。
<4-2.转变控制单元>
转变控制单元41与图3中所示的转变控制单元15的不同之处在于还包括分数计算单元41A和推荐视点选择单元41B。
<4-2-1.分数计算单元>
分数计算单元41A是计算每个推荐视点的分数的处理单元。
仅作为示例，分数计算单元41A可以根据下面所示的表达式(1)根据当前帧的视点位置与推荐视点之间的距离计算推荐视点的分数。下面所示的表达式(1)中的“Si”表示第i个推荐视点的分数。同时，下面所示的表达式(1)中的“di”表示第i个推荐视点与当前帧的视点位置之间的距离。图17是示出在分数计算中使用的距离的示例的图。图17示出了三个推荐视点RVP1到RVP3以及当前帧在投影图像中的视点位置。在图17中所示的示例中，三个推荐视点RVP1至RVP3与当前帧的视点位置之间的距离d1、d2和d3之间的大小关系为“d1<d3<d2”。因而，推荐视点RVP1至RVP3的分数之间的大小关系为“S1>S3>S2”。
Si＝1/di...(1)
作为另一示例，分数计算单元41A可以通过根据下面所示的表达式(2)向当前帧的视点位置与推荐视点之间的距离分配预定权重来计算推荐视点的分数。下面所示的表达式(2)中的“Si”表示第i个推荐视点的分数。同时，下面所示的表达式(2)中的“di”表示第i个推荐视点与当前帧的视点位置之间的距离。另外，下面所示的表达式(2)中的“wi”表示第i个推荐视点的权重。例如，推荐视点的权重可以由诸如导演的分发源的用户，或者由作为观看者的终端用户设置。另外，可以通过参考多个观看者的分发数据的观看历史来为具有大量观看者的推荐视点自动设置更大的权重。
Si＝wi/di...(2)
图18是示出在分数计算中使用的距离和权重的示例的图。与图17一样，图18示出了三个推荐视点RVP1至RVP3以及当前帧在投影图像中的视点位置。另外，在图18中，推荐视点RVP1至RVP3的权重由圆圈尺寸表示。在图18中所示的示例中，三个推荐视点RVP1至RVP3与当前帧的视点位置之间的距离d1、d2和d3之间的大小关系为“d1<d3<d2”。另一方面，三个推荐视点RVP1至RVP3的权重之间的大小关系为“w1＝w2<w3”。在这种情况下，推荐视点RVP1至RVP3的分数之间的大小关系不一定是“S1>S3>S2”。即，取决于推荐视点RVP3的权重w3，在一些情况下，推荐视点RVP1至RVP3的分数之间的大小关系可以是“S3>S1>S2”，如图18中所示。
<4-2-2.推荐视点选择单元>
推荐视点选择单元41B是从多个推荐视点中选择一个推荐视点的处理单元。
仅作为示例，推荐视点选择单元41B选择在多个推荐视点中具有最高分数的推荐视点。例如，在图17中所示的示例中，从推荐视点RVP1至RVP3当中选择推荐视点RVP1，而在图18中所示的示例中，从推荐视点RVP1至RVP3当中选择推荐视点RVP3。
通过以这种方式选择具有最高分数的推荐视点，可以推荐最近的推荐视点或者推荐分发数据中最值得观看的推荐视点。
注意的是，在本文描述的示例中，具有较高优先级的分数是从具有较高分数值的推荐视点计算出的。然而，本公开不限于该示例。例如，可以从具有较低分数值的推荐视点计算具有较高优先级的分数。在这种情况下，只需要选择具有最低分数的推荐视点。
<4-3.显示装置要执行的处理过程>
图19是示出根据第四实施例的显示处理的过程的流程图。在图19中所示的流程图中，对执行具有与图7中所示的流程图中的处理相同内容的处理的步骤指派相同的步骤编号，但对执行具有不同内容的处理的步骤指派不同的步骤编号。
图19中所示的显示处理与图7中所示的显示处理的不同之处在于在图7中所示的步骤S101中的处理之后执行步骤S401和S402中的处理。具体而言，在步骤S401中，仅作为示例，分数计算单元41A计算每个推荐视点的分数。之后，推荐视点选择单元41B基于在步骤S401中计算出的分数从多个推荐视点中选择一个推荐视点(步骤S402)。
之后，对在步骤S402中选择的推荐视点执行步骤S102中的处理。
<4-4.效果的一个方面>
如上所述，本公开的显示装置40计算每个推荐视点的分数，并基于分数从多个推荐视点中选择一个推荐视点。因此，利用本公开的显示装置40，即使在存在多个推荐视点的情况下也可以选择一个推荐视点。
<<5.变形例>>
在下面的描述中，描述了第一实施例至第四实施例的变形例。
<5-1.非视觉反馈>
虽然在第一至第四实施例中已经描述了通过投影图像的显示范围的转变来执行推荐视点的位置的传输的示例，但是推荐视点的位置可以通过显示以外的方法来传输。例如，推荐视点的位置可以通过音频输出来传输。作为示例，可以通过随着与推荐视点的距离增加而降低音量，或者通过利用通过立体声将声像定位在推荐视点处来使用户感知到推荐视点方向上的声源的存在。除了这样的声音输出之外，当从推荐视点到当前帧或下一帧的视点位置的距离增加等于或大于预定值的量时，可以通过激活振动器等使用户感知振动，或者随着与推荐视点的距离增加使用户通过陀螺仪感知更重的重量。
<5-2.引导控制的执行条件>
在第一实施例、第三实施例和第四实施例中描述的示例中，针对每一帧执行用于将视点位置返回到推荐视点的引导控制。然而，也可以设置特定条件。例如，显示装置10、30或40可以仅在操作移动量为零或等于或小于预定阈值的情况下，或者在不进行视线操作的情况下，执行将视点位置返回到推荐视点的引导控制。例如，在操作移动量为零或等于或小于预定阈值的情况下，可以使返回移动量计算单元计算返回移动量。
<5-3.实现功能的装置>
在第一至第四实施例中描述的示例中，转变控制单元15、21、31和41安装在显示装置10、20、30和40中。然而，转变控制单元15、21、31和41可以安装在分发服务器9中。在这种情况下，只需要从显示装置10、20、30或40获取由陀螺仪传感器14生成的视线操作信息。如上所述，除了显示装置10、20、30和40之外，分发服务器9还可以对应于图像处理装置的示例。
<5-4.其它变形例>
另外，在上述实施例中描述的各个处理当中，被描述为自动执行的所有或部分处理可以手动执行，或者被描述为手动执行的所有或部分处理可以通过已知方法自动执行。除此之外，除非另有说明，否则可以适当地更改文件中以上提到的和附图中所示的处理过程、具体名称以及包括各种数据和参数的信息。例如，相应附图中所示的各种信息不限于附图中所示的信息。
另外，附图中所示的每个装置的每个组件在功能上都是概念性的，并且不需要如附图中所示物理地形成。即，每个装置的具体分布和集成的模式不限于附图中所示的模式，并且可以根据各种负载、使用条件等，它们中的全部或部分可以由适当的单元在功能上或物理上分布和集成。
此外，在本说明书中描述的相应实施例的有益效果仅仅是示例，并且本技术的有益效果不限于它们并且可以包括其它效果。
<<6.硬件配置>>
上述显示装置10、20、30或40中的系列处理可以通过硬件执行，或者也可以通过软件执行。在系列处理将由软件执行的情况下，形成软件的程序被安装到计算机中。这里，计算机可以是并入到专用硬件中的计算机，或者可以是例如可以执行各种功能，其中安装有各种程序的通用个人计算机等。
图20是示出计算机400的硬件的示例配置的框图。
在计算机400中，中央处理单元(CPU)401、只读存储器(ROM)402和随机存取存储器(RAM)403通过总线404相互连接。
输入/输出接口405进一步连接到总线404。输入单元406、输出单元407、记录单元408、通信单元409和驱动器410连接到输入/输出接口405。
输入单元406由输入开关、按钮、麦克风、成像元件等构成。输出单元407由显示器、扬声器等构成。记录单元408由硬盘、非易失性存储器等构成。通信单元409由网络接口等构成。驱动器410驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质411。
在具有上述配置的计算机400中，CPU 401例如将记录在记录单元408中的程序经由输入/输出接口405和总线404加载到RAM 403中，并执行该程序，使得执行上述系列处理。
例如，要由计算机400(CPU 401)执行的程序可以记录在作为要被提供的封装介质的可移动介质411上。替代地，可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机中，当可移动介质411安装在驱动器410上时，可以经由输入/输出接口405将程序安装到记录单元408中。程序还可以由通信单元409经由有线或无线传输介质接收，并且安装到记录单元408中。替代地，程序可以被预先安装到ROM 402或记录单元408中。
注意的是，要由计算机执行的程序可以是用于按照本说明书中描述的顺序按时间次序执行处理的程序，或者可以是用于并行执行处理或在必要时(诸如当有电话时)执行处理的程序。
注意的是，本技术也可以实施在下面描述的配置中。
(1)
一种图像处理装置，包括：
输出单元，将包括推荐视点信息的图像的一部分作为显示图像输出到显示单元；以及
转变控制单元，基于与输出到显示单元的显示图像对应的视点位置和与推荐视点信息对应的视点位置之间的位置关系，使图像的显示范围改变，其中
输出单元基于改变后的显示范围将图像的一部分输出到显示单元。
(2)
根据(1)所述的图像处理装置，其中
转变控制单元包括：
操作移动量计算单元，根据基于视点操作信息的视点操作计算用于移动与显示图像对应的视点位置的操作移动量；
返回移动量计算单元，计算用于将与显示图像对应的视点位置返回到与推荐视点信息对应的视点位置的返回移动量；以及
视点位置计算单元，基于操作移动量和返回移动量，计算要在输出到显示单元的显示图像的帧之后输出的下一帧的视点位置，以及
输出单元
基于从下一帧的视点位置确定的显示范围，将图像的一部分输出到显示单元。
(3)
根据(2)所述的图像处理装置，其中
返回移动量计算单元基于从与推荐视点信息对应的视点位置到与显示图像对应的视点位置的视线方向上的角度差来计算返回移动量。
(4)
根据(3)所述的图像处理装置，其中
随着视线方向上的角度差变大，返回移动量计算单元将返回到与推荐视点信息对应的视点位置的速度设置为更高。
(5)
根据(4)所述的图像处理装置，其中
随着视线方向上的角度差变大，返回移动量计算单元线性地增加返回到与推荐视点信息对应的视点位置的速度。
(6)
根据(4)所述的图像处理装置，其中
随着视线方向上的角度差变大，返回移动量计算单元单调地增加返回到与推荐视点信息对应的视点位置的速度，并且降低单调增加的比率。
(7)
根据(2)至(6)中的任一项所述的图像处理装置，其中
视点位置计算单元在操作移动量等于或小于预定阈值时基于返回移动量计算下一帧的视点位置，并在操作移动量既不等于也不小于所述阈值时基于操作移动量和返回移动量计算下一帧的视点位置。
(8)
根据(7)所述的图像处理装置，其中
所述阈值的值随着从与推荐视点信息对应的视点位置到与显示图像对应的视点位置的视线方向上的角度差变小而变大。
(9)
根据(1)至(8)中的任一项所述的图像处理装置，其中
转变控制单元包括：
操作移动量计算单元，根据基于视点操作信息的视点操作计算用于移动与显示图像对应的视点位置的操作移动量；
校正单元，基于从与推荐视点信息对应的视点位置到与显示图像对应的视点位置的视线方向上的角度差来校正操作移动量；以及
视点位置计算单元，基于校正后的操作移动量，计算要在输出到显示单元的显示图像的帧之后要输出的下一帧的视点位置，以及
输出单元
基于从下一帧的视点位置确定的显示范围，将图像的一部分输出到显示单元。
(10)
根据(9)所述的图像处理装置，其中
随着视线方向上的角度差变大，校正单元使校正后的操作移动量的单调增加的比率低于校正前的操作移动量的单调增加的比率。
(11)
根据(9)所述的图像处理装置，其中
校正单元以相同的斜率线性增加校正前的操作移动量和校正后的操作移动量，直到视线方向上的角度差增加到预定角度为止，并且，当视线方向上的角度差变为等于或大于所述预定角度时，校正单元以比校正单元线性增加校正前的操作移动量的斜率更平缓的斜率线性增加校正后的操作移动量。
(12)
根据(2)至(11)中的任一项所述的图像处理装置，还包括：
分数计算单元，针对推荐视点信息中包括的每个视点位置计算分数；以及
推荐视点选择单元，基于分数选择推荐视点信息中包括的视点位置之一，其中
返回移动量计算单元计算用于将与显示图像对应的视点位置返回到从推荐视点信息中包括的视点位置当中选择的视点位置的返回移动量。
(13)
根据(12)所述的图像处理装置，其中
分数计算单元基于推荐视点信息中包括的视点位置和与显示图像对应的视点位置之间的距离来计算分数。
(14)
根据(13)所述的图像处理装置，其中
随着所述距离变长，分数计算单元使分数的值变小。
(15)
根据(13)所述的图像处理装置，其中
分数计算单元通过对所述距离分配预定权重来计算分数。
(16)
根据(15)所述的图像处理装置，其中
分数计算单元使分数的值随着权重变大而更大，或者使分数的值随着权重变小而变小。
(17)
根据(16)所述的图像处理装置，其中
较大的值被指派给具有较大数量的观看者的推荐视点的权重。
(18)
根据(2)至(17)中的任一项所述的图像处理装置，其中
当操作移动量等于或小于预定阈值时，返回移动量计算单元计算返回移动量。
(19)
一种由计算机执行的图像处理方法，所述方法执行以下处理：
将包括推荐视点信息的图像的一部分作为显示图像输出到显示单元；以及
基于与输出到显示单元的显示图像对应的视点位置和与推荐视点信息对应的视点位置之间的位置关系，使图像的显示范围改变，其中
将图像的一部分输出到显示单元的处理包括基于改变后的显示范围将图像的一部分输出到显示单元。
(20)
一种程序，用于使计算机执行以下处理：
将包括推荐视点信息的图像的一部分作为显示图像输出到显示单元；以及
基于与输出到显示单元的显示图像对应的视点位置和与推荐视点信息对应的视点位置之间的位置关系，使图像的显示范围改变，其中
将图像的一部分输出到显示单元的处理包括基于改变后的显示范围将图像的一部分输出到显示单元。
参考符号列表
1 图像分发系统
3 多相机
5 宽视角图像转换单元
7 编码器
9 分发服务器
10 显示装置
11 接收单元
12 解码器
13 视场渲染单元
14 陀螺仪传感器
15 转变控制单元
15A 操作移动量计算单元
15B 返回移动量计算单元
15C 组合移动量计算单元
15D 视点位置计算单元
16 显示单元

Claims (20)

1.一种图像处理装置，包括：
输出单元，将包括推荐视点信息的图像的一部分作为显示图像输出到显示单元；以及
转变控制单元，基于与输出到显示单元的显示图像对应的视点位置和与推荐视点信息对应的视点位置之间的位置关系，使图像的显示范围改变，其中
输出单元基于改变后的显示范围将图像的一部分输出到显示单元。
2.根据权利要求1所述的图像处理装置，其中
转变控制单元包括：
操作移动量计算单元，根据基于视点操作信息的视点操作计算用于移动与显示图像对应的视点位置的操作移动量；
返回移动量计算单元，计算用于将与显示图像对应的视点位置返回到与推荐视点信息对应的视点位置的返回移动量；以及
视点位置计算单元，基于操作移动量和返回移动量，计算要在输出到显示单元的显示图像的帧之后输出的下一帧的视点位置，以及
输出单元
基于从下一帧的视点位置确定的显示范围，将图像的一部分输出到显示单元。
3.根据权利要求2所述的图像处理装置，其中
返回移动量计算单元基于从与推荐视点信息对应的视点位置到与显示图像对应的视点位置的视线方向上的角度差来计算返回移动量。
4.根据权利要求3所述的图像处理装置，其中
随着视线方向上的角度差变大，返回移动量计算单元将返回到与推荐视点信息对应的视点位置的速度设置为更高。
5.根据权利要求4所述的图像处理装置，其中
随着视线方向上的角度差变大，返回移动量计算单元线性地增加返回到与推荐视点信息对应的视点位置的速度。
6.根据权利要求4所述的图像处理装置，其中
随着视线方向上的角度差变大，返回移动量计算单元单调地增加返回到与推荐视点信息对应的视点位置的速度，并且降低单调增加的比率。
7.根据权利要求2所述的图像处理装置，其中
视点位置计算单元在操作移动量等于或小于预定阈值时基于返回移动量计算下一帧的视点位置，并在操作移动量既不等于也不小于所述阈值时基于操作移动量和返回移动量计算下一帧的视点位置。
8.根据权利要求7所述的图像处理装置，其中
所述阈值的值随着从与推荐视点信息对应的视点位置到与显示图像对应的视点位置的视线方向上的角度差变小而变大。
9.根据权利要求1所述的图像处理装置，其中
转变控制单元包括：
操作移动量计算单元，根据基于视点操作信息的视点操作计算用于移动与显示图像对应的视点位置的操作移动量；
校正单元，基于从与推荐视点信息对应的视点位置到与显示图像对应的视点位置的视线方向上的角度差来校正操作移动量；以及
视点位置计算单元，基于校正后的操作移动量，计算要在输出到显示单元的显示图像的帧之后输出的下一帧的视点位置，以及
输出单元
基于从下一帧的视点位置确定的显示范围，将图像的一部分输出到显示单元。
10.根据权利要求9所述的图像处理装置，其中
随着视线方向上的角度差变大，校正单元使校正后的操作移动量的单调增加的比率低于校正前的操作移动量的单调增加的比率。
11.根据权利要求9所述的图像处理装置，其中
校正单元以相同的斜率线性增加校正前的操作移动量和校正后的操作移动量，直到视线方向上的角度差增加到预定角度为止，并且，当视线方向上的角度差变为等于或大于所述预定角度时，校正单元以比校正前的操作移动量线性增加的斜率更平缓的斜率线性增加校正后的操作移动量。
12.根据权利要求2所述的图像处理装置，还包括：
分数计算单元，针对推荐视点信息中包括的每个视点位置计算分数；以及
推荐视点选择单元，基于分数选择推荐视点信息中包括的视点位置之一，其中
返回移动量计算单元计算用于将与显示图像对应的视点位置返回到从推荐视点信息中包括的视点位置当中选择的视点位置的返回移动量。
13.根据权利要求12所述的图像处理装置，其中
分数计算单元基于推荐视点信息中包括的视点位置和与显示图像对应的视点位置之间的距离来计算分数。
14.根据权利要求13所述的图像处理装置，其中
随着所述距离变长，分数计算单元使分数的值变小。
15.根据权利要求13所述的图像处理装置，其中
分数计算单元通过对所述距离分配预定权重来计算分数。
16.根据权利要求15所述的图像处理装置，其中
分数计算单元使分数的值随着权重变大而变大，或者使分数的值随着权重变小而变小。
17.根据权利要求16所述的图像处理装置，其中
较大的值被指派给具有较大数量的观看者的推荐视点的权重。
18.根据权利要求2所述的图像处理装置，其中
当操作移动量等于或小于预定阈值时，返回移动量计算单元计算返回移动量。
19.一种由计算机执行的图像处理方法，所述方法执行以下处理：
将包括推荐视点信息的图像的一部分作为显示图像输出到显示单元；以及
基于与输出到显示单元的显示图像对应的视点位置和与推荐视点信息对应的视点位置之间的位置关系，使图像的显示范围改变，其中
将图像的一部分输出到显示单元的处理包括基于改变后的显示范围将图像的一部分输出到显示单元。
20.一种程序，用于使计算机执行以下处理：
将包括推荐视点信息的图像的一部分作为显示图像输出到显示单元；以及
基于与输出到显示单元的显示图像对应的视点位置和与推荐视点信息对应的视点位置之间的位置关系，使图像的显示范围改变，其中
将图像的一部分输出到显示单元的处理包括基于改变后的显示范围将图像的一部分输出到显示单元。
CN202180012801.8A 2020-02-10 2021-01-26 图像处理装置、图像处理方法和程序 Pending CN115088268A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020020784 2020-02-10
JP2020-020784 2020-02-10
PCT/JP2021/002581 WO2021161774A1 (ja) 2020-02-10 2021-01-26 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN115088268A true CN115088268A (zh) 2022-09-20

Family

ID=77291553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180012801.8A Pending CN115088268A (zh) 2020-02-10 2021-01-26 图像处理装置、图像处理方法和程序

Country Status (5)

Country Link
US (1) US20230060691A1 (zh)
EP (1) EP4092662A4 (zh)
JP (1) JPWO2021161774A1 (zh)
CN (1) CN115088268A (zh)
WO (1) WO2021161774A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
SG188630A1 (en) * 2010-09-24 2013-04-30 Gnzo Inc Video bit stream transmission system
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US10140765B2 (en) * 2013-02-25 2018-11-27 Google Llc Staged camera traversal for three dimensional environment
JP2016194784A (ja) 2015-03-31 2016-11-17 株式会社リコー 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
US9631932B2 (en) * 2015-06-05 2017-04-25 Nokia Technologies Oy Crowd sourced interaction of browsing behavior in a 3D map
CN106412424A (zh) * 2016-09-20 2017-02-15 乐视控股（北京）有限公司 全景视频的视野调整方法及装置
WO2018079166A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US10614606B2 (en) * 2016-11-30 2020-04-07 Ricoh Company, Ltd. Information processing apparatus for creating an animation from a spherical image
EP3337154A1 (en) * 2016-12-14 2018-06-20 Thomson Licensing Method and device for determining points of interest in an immersive content
WO2018194273A1 (en) * 2017-04-21 2018-10-25 Samsung Electronics Co., Ltd. Image display apparatus and method
CN110519644A (zh) * 2019-09-05 2019-11-29 青岛一舍科技有限公司 结合推荐视角的全景视频视角调整方法和装置

Also Published As

Publication number Publication date
WO2021161774A1 (ja) 2021-08-19
EP4092662A1 (en) 2022-11-23
US20230060691A1 (en) 2023-03-02
EP4092662A4 (en) 2023-07-12
JPWO2021161774A1 (zh) 2021-08-19

Similar Documents

Publication Publication Date Title
EP3606082B1 (en) Panoramic video playback method and client terminal
EP3522542B1 (en) Switching between multidirectional and limited viewport video content
US11483629B2 (en) Providing virtual content based on user context
US11455974B2 (en) Image processing device, image processing method, and image provision system for the display of viewpoint images of a shared environment
WO2012043356A1 (ja) コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
US8654131B2 (en) Video image processing apparatus and video image processing method
US20120086779A1 (en) Image processing apparatus, image processing method, and program
EP3065413B1 (en) Media streaming system and control method thereof
US11523144B2 (en) Communication apparatus, communication method, and computer-readable storage medium
US10405010B2 (en) Methods, systems, and devices for adjusting streaming video field-of-view in accordance with client device commands
US11272224B2 (en) Information processing device and method
CN112261408B (zh) 用于头戴显示设备的图像处理方法、装置及电子设备
JP2010219872A (ja) カメラ装置、表示装置、画像処理システムおよび画像処理方法
CN115088268A (zh) 图像处理装置、图像处理方法和程序
GB2567136A (en) Moving between spatially limited video content and omnidirectional video content
US20110310127A1 (en) Image processing apparatus, image processing method and program
CN106973282B (zh) 一种全景视频沉浸感增强方法和系统
CN106791886B (zh) 一种基于视觉特性的全景视频分发方法和系统
EP4380149A1 (en) Virtual reality streaming system and method
US11930207B2 (en) Display device, signal processing device, and signal processing method
US20120154382A1 (en) Image processing apparatus and image processing method
WO2018178510A2 (en) Video streaming
US20230224431A1 (en) Techniques for enabling high fidelity magnification of video
GB2560923A (en) Video streaming
TWI634779B (zh) Viewing angle control system and method for playing surround image through set-top box

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination