CN110235447B - 图像传送装置 - Google Patents

图像传送装置 Download PDF

Info

Publication number
CN110235447B
CN110235447B CN201780083806.3A CN201780083806A CN110235447B CN 110235447 B CN110235447 B CN 110235447B CN 201780083806 A CN201780083806 A CN 201780083806A CN 110235447 B CN110235447 B CN 110235447B
Authority
CN
China
Prior art keywords
image
moving images
panoramic
information
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780083806.3A
Other languages
English (en)
Other versions
CN110235447A (zh
Inventor
大户友博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN110235447A publication Critical patent/CN110235447A/zh
Application granted granted Critical
Publication of CN110235447B publication Critical patent/CN110235447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/10—Program control for peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供一种图像传送装置，该图像传送装置被配置为将作为显示对象的移动图像传送到图像显示控制装置，所述图像显示控制装置被配置为显示移动图像以将所述移动图像呈现给用户。图像传送装置一次将可显示范围中可以高分辨率显示的部分彼此不同的多个移动图像中的任一个传送给所述图像显示控制装置，并获取所述可显示范围中关于所述用户的注视方向的信息，从而基于关于所述注视方向的所述信息选择所述多个移动图像的移动图像作为传送目标。

Description

图像传送装置
技术领域
本发明涉及图像传送装置、图像传送方法和用于传送移动图像的程序。
背景技术
迄今为止，已经存在经由通信网络实时传送移动图像以允许用户观看移动图像的公知的技术。
发明内容
[技术问题]
利用相关领域中的上述技术，如果通信网络没有足够的带宽，则很难传送高分辨率的移动图像。
本发明是针对上述情况而做出的，并且其目的在于提供一种能够降低所需的通信带宽、同时在用户观看的方向上实现相对高分辨率的显示的图像传送装置、图像传送方法和程序。
[问题解决方案]
根据本发明的图像传送装置是一种图像传送装置，其被配置为将作为显示对象的移动图像传送到图像显示控制装置，图像显示控制装置被配置为显示移动图像以将移动图像呈现给用户，图像传送装置包括：传送单元，其被配置为一次将可显示范围中可以高分辨率显示的部分彼此不同的多个移动图像中的任一个传送给图像显示控制装置；以及注视方向获取单元，其被配置为获取可显示范围中关于用户的注视方向的信息。传送单元基于关于注视方向的信息选择多个移动图像的移动图像作为传送目标。
根据本发明的图像传送方法是一种图像传送方法，其用于将作为显示对象的移动图像传送到图像显示控制装置，图像显示控制装置被配置为显示移动图像以将移动图像呈现给用户，图像传送方法包括：传送步骤，其一次将可显示范围中可以高分辨率显示的部分彼此不同的多个移动图像中的任一个传送给图像显示控制装置；以及注视方向获取步骤，其获取可显示范围中关于用户的注视方向的信息。在传送步骤中，基于关于注视方向的信息选择多个移动图像的移动图像作为传送目标。
根据本发明的程序是一种用于控制图像传送装置的程序，其被配置为将作为显示对象的移动图像传送到图像显示控制装置，图像显示控制装置被配置为显示移动图像以将移动图像呈现给用户，控制图像传送装置的程序用作：传送单元，其被配置为一次将可显示范围中可以高分辨率显示的部分彼此不同的多个移动图像中的任一个传送给图像显示控制装置；以及注视方向获取单元，其被配置为获取可显示范围中关于用户的注视方向的信息。传送单元基于关于注视方向的信息选择多个移动图像的移动图像作为传送目标。该程序可存储在提供的非易失性计算机可读信息存储介质中。
附图说明
图1是说明与整个天空场景相对应的虚拟球的图。
图2是说明在其上投影1/4球面的场景的投影面示例的图。
图3是说明投影面的主干线的示例的图。
图4是说明投影面的分支线的示例的图。
图5是说明通过转换投影在图2中的投影面上的场景而获得的全景图像的一部分的图。
图6是说明全景图像的示例的图。
图7是说明投影面的另一个示例的图。
图8是说明图像显示系统的配置的配置框图。
图9是说明图像显示系统的功能的功能框图。
图10是说明是传送目标的移动图像被切换的情况下的传送目标移动图像的示例的图。
具体实施方式
现在，参考附图详细描述本发明的实施例。
[全景图像的图像格式]
根据本实施例的图像生成装置生成全景图像，该全景图像包括从观测点看到的整个天空范围的全部或部分的场景。根据本实施例的由图像生成装置生成的全景图像在下文中称为“全景图像I”。全景图像I对应于包括整个天空范围的全部或部分的场景的二维(平面)图像数据。这里，整个天空是指从观测点的所有方向，即水平方向(左右方向)上的360度，以及从最高点到最低点的垂直方向(上下方向)上的180度。
现在，描述本实施例的全景图像I的图像格式的具体示例。从观测点看到的整个天空场景显示在以观测点位置为中心的虚拟球表面上。这里，与整个天空场景相对应的虚拟球称为“虚拟球S”。在下文中，使用坐标系来描述，坐标系包括x轴、y轴和z轴的三个轴，这些轴相互正交，对应于观测点的虚拟球S的中心点O作为原点。x轴和z轴在水平面上，而y轴在垂直方向上。
在本实施例中，整个天空中从观测点看到的方向被设置为特别重要的方向。这一重要方向在下文中称为“关注方向”。此处，关注方向设置为x轴正方向。关注方向是用户应该特别关注的方向，或者是已经生成全景图像I的人希望用户特别关注的方向。例如，关注方向可以是显示重要对象的方向。在本实施例中，生成全景图像I以便在虚拟球S上以更高的质量(更高的分辨率)显示更接近关注方向的区域。
虚拟球S被两个平面划分为四个部分，这两个平面穿过中心点O，并与关注方向平行且彼此正交，从而获得如图1所示的四个1/4球面S1到S4。在图1中，虚拟球S被xy平面(垂直平面)和xz平面(水平平面)两个平面划分为四个部分。这四个1/4球形表面各自具有穿过中心点O并且相对于平行于关注方向的平面对称的形状。具体地，1/4球面S1和1/4球面S3各自具有相对于由y＝z表示的平面对称的形状。同时，1/4球面S2和1/4球面S4各自具有相对于由y＝-z表示的平面对称的形状。
在下文中，以四个1/4球面的1/4球面S1为例，描述了一种生成全景图像I的一部分的方法，全景图像I包括与1/4球面S1对应的场景。与1/4球面S1对应的范围内的场景投影在投影面A1上，投影面A1包括多个相互连接的多边形(三角形和矩形)。图2是说明投影面A1的具体示例的透视图。沿着投影面A1的关注方向的中心线在下文中称为“主干线T”。如上所述，1/4球面S1具有关于与由y＝z表示的平面对称的形状，并且因此主干线T也放置在该平面上。主干线T所放置的平面(此处，以y＝z表示的平面)以下称为“中心平面”。主干线T表示在中心平面切割投影面A1得到的形状。
图3说明了中心平面上主干线T形状的具体示例。注意，作为示例，这里的投影面A1包括相互连接的六个多边形。因此，主干线T包括如图3所示的六个线段。此外，在下文中，中心平面中的位置由二维坐标系表示，该二维坐标系包括相互正交的X轴和Y轴。此处，X轴与三维空间中的X轴匹配，但Y轴从y轴向z轴倾斜45°。
现在，描述了一种确定主干线T的形状的方法。这里，主干线T的六个线段从与关注方向相反的一侧依次用T1、T2、T3、T4、T5和T6表示。此外，与主干线T的关注方向相反的方向(X轴负方向)侧上的端点称为“起点P1”，从靠近起点P1的一侧开始各线段的端点依次称为“中继点P2、P3、P4、P5和P6”。此外，主干线T关注方向(X轴正向)侧的终点称为“终点P7”。
中继点P2到P6被放置以使得由各线段T1到T6与中心点O形成的角(即，由各线段的两端和中心点O形成的角)彼此相等。具体地，在绘制五条辅助线以将角度P1OP7(＝180°)平均分为六份的情况下，将中继点P2至P6放置在这些辅助线上。简而言之，角度P1OP2、角度P2OP3、角度P3OP4、角度P4OP5、角度P5OP6和角度P6OP7彼此相等，并且都是30°(＝180°/6)。在下文中，这个角度(由每个线段和中心点O的形成的角度)被称为“对应角α”。当从中心点O看时，线段T1到T6每个都覆盖了对应角α的范围。
起点P1被设置在与关注方向相反的方向(X轴负方向)侧上距离中心点O预定距离的位置上。这里，起点P1在(x＝-1，y＝0)的位置坐标处。此外，中继点P2被设置在在其处穿过起点P1并垂直于直线OP1的直线和与最靠近起点P1的辅助线彼此相交的位置上。也就是说，确定中继点P2的位置，使得角度P1OP2满足α＝30°且角度OP1P2为90°。此处的角度OP1P2被称为“出射(exit)角β”。此外，确定中继点P3以使得角度P2OP3为30°，角度OP2P3为90°。依次确定剩余的中继点P4至P6和终点P7，使角度Pn-1OPn(对应角α)为30°，并且角度OPn-1Pn(出射角β)为90°。
随着以这种方式确定的位置处的以起点P1、中继点P2到P6、终点P7，中心平面内主干线T的形状被确定。这里，线段T1到T6具有彼此不同的长度。此外，越靠近关注方向的线段越长，并且越靠近与关注方向相反方向的线段越短。这意味着主干线T具有相对于穿过中心点O且垂直于关注方向的平面不对称的形状，并且与相反侧相比，在关注方向侧具有较长的部分。
现在，考虑用极坐标(r，θ)来表示中心平面上的位置坐标。此时，主干线T的形状由r＝f(θ)表示，r＝f(θ)是极坐标系中的单值函数。这里，r表示到中心点O的距离，并且θ表示X轴负方向为0°且逆时针方向为正方向的角度值，并且其值大于或等于0°且小于或等于180°。当由上述方法确定的主干线T由函数f表示时，该函数f是其中r随θ的增大而增大的单调递增的函数。这样，朝关注方向上每单位角度的主干线T变长。
确定了主干线T的形状，并且然后放置五条分支线F1至F5，以通过各个中继点P2至P6。在主干线T被视为脊椎(spine)的情况下，分支线F对应于肋骨(rib)，并且被放置使得从主干线T的延伸方向看时，分支线F延伸至两侧。具体地，此处，分支线F1至F5沿与中心平面正交的方向放置。此外，每个分支线F1至F5被放置以使分支线的中点与主干线T上的中继点相匹配。每条分支线F具有被确定与1/4球面S1相对应的长度。
以分支线F1为例，具体描述了分支线F1的放置。图4说明了包括中继点P2和分支线F1，并垂直于X轴的平面中的视图。当1/4球面S1被穿过中继点P2且与关注方向正交的平面切割时，获得具有中心角为90°的扇形。因此，确定分支线F1的长度，使得由分支线F1的两端与X轴上的点形成的角度为90°，如图4所示。这里，分支线F1的长度是中继点P2到X轴距离的两倍。注意，分支线F1的中点与中继点P2匹配，并且因此分支线F1相对于中心平面对称。与分支线F1类似，确定分支线F2到F5中的每一条的长度，使其为相应中继点到X轴距离的两倍。
用这种方法确定主干线T和分支线F1至F5的位置，并且从而确定投影面A1的整体形状。具体地，投影面A1具有通过连接主干线T的起点P1和终点P7以及分支线F中每一条的两端而获得的形状。1/4球面S1的场景投影在投影面A1上。分支线F1至F5中的每一条相对于中心平面对称，并且因此整个投影面A1相对于中心平面对称，类似于1/4球面S1。需要注意的是，在投影面A1上，除了分支线F1至F5之外，还设置了分支线Fd。分支线Fd是投影面A1上平行于其它分支线F1至F5的线段。稍后描述了确定分支线Fd的位置的方法。
投影在投影面A1上的场景被转换成平面形状，从而形成全景图像I的一部分。全景图像I中对应于投影面A1的区域在下文中被称为“图像部分Ip1”。在本实施例中，图像部分Ip1呈方形。图5说明了图像部分Ip1。图5说明了投影面A1中与主干线T和分支线F1至F5相对应的线段。
如图5所示，主干线T与图像部分Ip1的一条对角线相关联。这里，图像部分Ip1的右上顶点对应于起点P1，并且其左下顶点对应于终点P7。由P1P7表示的该对角线被划分为6个部分，并且该6个部分与主干线T的各条线段T1至T6相关联。图像部分Ip1中的线段长度取决于投影面A1中各条线段T1至T6的长度来确定。然而，六条线段不一定要转换为满足投影面A1上的长度比，并且可以转换为具有取决于中心平面中的位置而校正的长度。
描述了长度校正的具体示例。其中OP1具有在投影面A1中为1的长度，投影面A1中线段T1至T6的长度在下表1中取值。
表1
T1 T2 T3 T4 T5 T6
投影面A1中的长度 0.58 0.67 0.77 0.89 1.03 1.18
校正系数 1 1.15 1.33 1.54 1.77 2.05
校正长度 0.58 0.77 1.03 1.37 1.82 2.43
与主干线T的整个长度的比率 0.07 0.10 0.13 0.17 0.23 0.30
将每个线段的长度校正为通过乘以校正系数得到的值。使用第(n-1)个线段Tn-1(即在关注方向相反侧相邻的线段)的校正系数an-1、对应角α和出射角β，通过以下表达式计算第n个线段的校正系数an。
an＝an-1×sin(β)/sin(180°-α-β)
这里，所有线段的对应角α为30°，出射角β为90°，并且因此满足以下要求。
an＝an-1/sin60°
此外，线段T1不需要校正，并且因此满足a1＝1。因此，a2的计算如下，例如。
a2＝1/sin60°
这里，a2大约是1.15。线段T2至T6的校正系数以类似的方式按顺序计算。在表1中，指示出了由该表达式计算的各条线段的校正系数。每个线段的校正长度采用通过将投影面A1中的长度乘以该校正系数得到的值。
计算图像部分Ip1中每个线段的长度以匹配此校正长度。具体地，当线段T1至T6的校正长度的总值由Lt表示时，通过(校正长度)/Lt获得图像部分Ip1中每个线段的长度与主干线T的整个长度的比率。实际图像部分Ip1中每个线段的长度采用通过将该比率乘以图像部分Ip1的对角线长度获得的值。
这种校正减少了每单位角度主干线T的长度的不连续变化。在主干线T的形状由如上述极坐标系中的的单值函数r＝f(θ)表示的情况下，当θ增加时，相对于角度θ的单位量的主干线T的长度在线段之间的边界处不连续地变化。这种不连续变化导致对应于虚拟球S上的单位区域的图像部分Ip1中区域的宽度(即图像中的信息密度)的不连续变化，这并不是优选的。鉴于此，通过使用如上述的校正系数an进行校正，可以防止这种不连续性。需要注意的是，投影面A1上的每个线段上任何点的位置与图像部分Ip1中每个线段中的位置之间的对应关系可以通过插值(诸如，线性插值)来确定。
投影面A1中的分支线F1至F5每个转换为平行于与图像部分Ip1中的主干线T对应的对角线相交的对角线的线段。具体地，分支线F1至F5被转换为通过图像部分Ip1中的各个中继点P2至P6，如在投影面A1中。需要注意的是，这里图像部分Ip1是正方形，并且因此分支线F中的每一条都与主干线T正交。
此外，与主干线T本身对应的对角线相交的对角线也被设置为分支线F中的一个。这是上述分支线Fd。将投影面A1中的分支线Fd的位置设置为与图像部分Ip1中的对角线的位置相对应的位置。
通过这种方法确定主干线T与分支线F中的每一个之间的对应关系，将投影面A1中的位置转换为图像部分Ip1中的位置。具体地，分别将投影面A1中的由分支线F1和起点P1包围的三角形、以及由分支线F5和终点P7包围的三角形转换为图像部分Ip1中的右上角三角形和左下角三角形。此外，由F1至F5以及Fd的相邻的两条分支线F夹住的梯形被转换为在图像部分Ip1中的相同的两条分支线F夹住的梯形。
应当注意的是，在三角形到三角形的转换中，三角形内的点在转换后所处的位置是唯一确定的。另一方面，在矩形到矩形的转换中，矩形内的点在转换后所处的位置不是唯一确定的。因此，例如，矩形转换如下。具体地，首先，线性内插平行于主干线T的方向上的位置。然后，线性内插与主干线T相交的方向(即平行于分支线F的方向)上的位置。通过上述转换，投影面A1上的任何点都可以与图像部分Ip1中的位置相关联。
应当注意的是，转换矩形的方法不限于上述方法。例如，由投影面A1上的两条分支线F形成的梯形可以划分为两个三角形，并且每个三角形可在图像部分Ip1上转换。可替换地，投影面A1上的三角形或矩形可以通过运行细分处理进一步分割，并且可以每单位多边形(通过分割获得的)执行转换。使用这种转换方法，可以在一定程度上减少转换过程中发生的错误。此外，这种将多边形转换为多边形的处理(诸如细分)可以例如通过使用公知的计算机图形库轻松实现。
通过上述转换，将1/4球面S1中的场景转换为具有平面形状的图像部分Ip1。1/4球面S2至S4中的场景也投影在投影面A2至A4上以用类似的方式进行转换，并且得到图像部分Ip2至Ip4。将由此获得的四个图像部分Ip1至Ip4进行布置，生成包括整个天空场景的平面全景图像I。
图6说明了以这种方式获得的全景图像I的示例。每个图像部分都是正方形，并且因此全景图像I整体上也是正方形。全景图像I的中心C对应于关注方向(X轴正方向)。图6说明了表示从关注方向30°、60°、90°和120°角范围的曲线。如图6所示，在全景图像I中靠近关注方向的位置处提供更宽的区域。这意味着全景图像I在靠近关注方向的位置处包含更多的信息，并且在与关注方向相反的一侧仅包含相对少量的信息。当使用全景图像I绘制场景图像时，可以以更高的分辨率绘制靠近关注方向的图像的部分。
应当注意的是，在上述描述中，投影面A1包括六个多边形，并且主干线T相应地包括六个线段，但本发明不限于此。只要主干线T包括三个或更多的线段，主干线T可以包括任何数量的线段。图7说明了在主干线T包括四个线段的情况下的投影面A1的形状，并且投影面A1的形状由类似于上述步骤的过程确定。当主干线T以这种方式包含较少数量的线段时，关注方向与关注方向相反侧之间信息密度差异更大。同时，当主干线T的线段数增加时，主干线T的形状接近半圆，并且关注方向与相反侧之间信息密度差异减小。
此外，在上述描述中，确定主干线T的多个线段以使对应角α彼此相等。然而，线段之间的对应角α可能不同。
此外，在上述描述中，出射角β为90°，但本发明不限于此。出射角β可以取大于90°且小于180°的任何值。当出射角满足90°≤β<180°时，代表主干线T的形状的函数r＝f(θ)为单调递增函数。因此，主干线T的多个线段可以朝关注方向依次更长。然而，出射角β需要与下一个对应角α满足α+β<180°的关系。应当注意的是，即使主干线T的每个线段的对应角α和出射角β以这种方式采用不同于上述描述值的值，也可以通过类似的方程依次计算上述校正系数an。
此外，主干线T的部分或整体可能是曲线。同样在这种情况下，由于主干线T的形状被定义使得函数r＝f(θ)是单调递增的函数，全景图像I中与虚拟球S上的区域的单位相对应的区域可以朝关注方向更宽。
此外，分支线F的形状和布置也不限于上面描述的这些。例如，分支线F可以具有包括平面中通过相应的中继点并垂直于关注方向的多个线段的形状。可替换地，例如，分支线F可以是曲线并且具有弧形形状。在任何情况下，确定分支线F的形状，使得分支线F相对于中心平面对称，并且分支线F与X轴上的点形成的角(分支线F两个端点和中心角O形成的角)与对应的1/4球面匹配(即，该角是90°)。此外，分支线F可以放置在穿过相应中继点和中心点O并垂直于中心平面的平面中。
此外，在上述描述中，关注方向是平行于水平面的方向，但本发明不限于此。关注方向可以设置为整个天空中的任何方向。同样在这种情况下，以关注方向为参照，确定投影面A1至A4的放置位置，使得中心平面与关注方向平行。这样，可以生成在越靠近关注方向的位置包含越大信息量的全景图像I。需要注意的是，虚拟球S划分为1/4球面的方向可以设置为任何方向。
此外，在上述描述中，全景图像I整体地包括整个天空场景，但本实施例的全景图像I不限于此。全景图像I可能只包括整个天空场景的部分范围。例如，全景图像I可以只包括对应于1/4球面S1到S4中的一个的场景，或对应于1/4球面中的两个(即半球)的场景。
此外，本实施例的全景图像I可以通过将某个1/4球面的部分范围的场景转换为图像部分来生成。在这种情况下，全景图像I中没有投影场景的范围可以被视为包括虚拟信息的像素(例如，具有像素值为零的像素)。这样，即使在没有获得关于部分范围(包括底点附近的高纬度范围和其它范围)的场景的信息的情况下，也可以通过本实施例的方法生成全景图像I。此外，对应于1/4球面的投影面A1到A4中的每一个可以转换为具有正方形以外的形状(例如，矩形形状)的图像部分。
[图像显示系统的配置和功能]
接下来描述根据本发明实施例的包括图像生成装置10和图像显示控制装置20的图像显示系统1的配置。
图像生成装置10是信息处理装置，其被配置为生成全景图像I，并且可以是例如家用视频游戏机、手持游戏机、个人计算机、智能手机或平板电脑。如图8所示，图像生成装置10包括控制单元11、存储单元12和通信单元13。
控制单元11包括至少一个处理器，例如中央处理单元(central processingunit，CPU)，并且运行存储单元12中存储的程序以运行各种信息处理。在本实施例中，具体地，控制单元11运行生成全景图像I的处理。存储单元12包括至少一个存储器设备，诸如随机存取存储器(random access memory，RAM)，并且存储控制单元11运行的程序和用程序处理的数据。通信单元13是诸如局域网(local area network，LAN)卡的通信接口，并且经由通信网络将全景图像I的数据传输到图像显示控制装置20。
图像显示控制装置20是信息处理装置，其被配置为基于图像生成装置10生成的全景图像I执行图像显示控制，并且可以是例如家用视频游戏机、手持游戏机、个人计算机、智能手机或平板电脑，如图像生成装置10。图像显示控制装置20包括控制单元21、存储单元22和通信单元23。此外，图像显示控制装置20连接到显示装置24和操作设备25。
控制单元21包括诸如CPU的至少一个处理器，并运行存储单元22中存储的程序以运行各种信息处理。在本实施例中，具体地，控制单元21基于全景图像I执行绘制显示图像的处理。存储单元22包括诸如RAM的至少一个存储器设备，并存储控制单元21运行的程序和用程序处理的数据。通信单元23是诸如LAN卡的通信接口，并且经由通信网络接收来自图像生成装置10传输的数据。
显示装置24例如是液晶显示器，并且基于图像显示控制装置20供应的视频信号显示图像。显示装置24可以是三维图像显示装置，被配置为显示图像显示控制装置20供应的三维可视图像。可替换地，显示装置24可以是用户可以将其戴在他/她的头上的头戴式可穿戴显示装置，例如头戴式显示器。
操作设备25例如是家用视频游戏机的控制器或指向设备，并且用户使用它对图像生成装置10进行各种指令操作。用户对操作设备25的操作输入的内容通过电缆或无线地传输到图像显示控制装置20。应当注意的是，操作设备25可包括例如操作按钮或布置在图像显示控制装置20外壳表面上的触摸面板。
接下来，参照图9描述图像生成装置10和图像显示控制装置20实现的功能。如图9所示，图像生成装置10功能性地包括场景信息获取单元31、全景图像生成单元32和全景图像传输单元33。这些功能由控制单元11运行存储在存储单元12中的程序实现。此外，图像显示控制装置20功能性地包括全景图像获取单元34、方向获取单元35和显示图像绘制单元36。这些功能由控制单元21运行存储在存储单元22中的程序实现。由每个装置要运行的程序可以经由通信网络(诸如因特网)供应给每个设备。可替换地，程序可以存储在计算机可读信息存储介质中，诸如提供给每个装置的光盘。
场景信息获取单元31获取与用于生成全景图像I的与原始数据对应的场景信息。场景信息是当从观测点看到的整个天空场景被投影在虚拟球S上时，识别虚拟球S表面上每单位区域的颜色(像素值)所需的信息。例如，场景信息可以是以与本实施例不同的图像格式生成的全景图像，诸如正方形投影。可替换地，场景信息可以对应于由全景相机拍摄的全景照片的图像数据。场景信息获取单元31可以经由通信网络从另一个装置接收场景信息，或者从设备(例如，连接到图像生成装置10的相机)读取场景信息。可替换地，场景信息获取单元31可以读取存储在信息存储介质(诸如，闪存)中的场景信息。
全景图像生成单元32使用场景信息获取单元31已经获取的场景信息生成全景图像I。全景图像I对应于二维图像数据，包括如上所述的全部或部分整个天空场景。具体地，全景图像生成单元32确定投影面A1到A4在给定条件下的关注方向、位置和形状。然后，全景图像生成单元32基于场景信息，根据投影面上的位置与上述全景图像I中的位置之间的对应关系，计算出全景图像I中每个像素的像素值，从而生成全景图像I。
需要注意的是，投影面中的位置与全景图像I中的位置之间的对应关系是由投影面的位置和形状决定的。此外，如前所述，投影面的位置和形状是基于关注方向是哪个方向、以及主干线T和分支线F的位置和形状来定义的。图像显示控制装置20需要定义投影面的位置和形状的信息，以使用全景图像I再现包含在全景图像I中的场景。因此，全景图像生成单元32输出与生成的全景图像I相关联的定义全景图像I的配置的信息(以下称为“图像定义信息”)。
此外，全景图像生成单元32可以生成三维视图全景图像数据。在这种情况下生成的图像数据可以是，例如，长宽比为1:2的矩形图像数据，其中包括用于在左半部分生成用于左眼的图像的方形全景图像I和用于在右半部分生成用于右眼的图像的方形全景图像I。此外，全景图像生成单元32可以将全景图像I生成为随时间变化的移动图像。
全景图像传输单元33将全景图像生成单元32生成的全景图像I传输到图像显示控制装置20。这里，全景图像传输单元33将图像定义信息与全景图像I一起传输。
全景图像获取单元34接收从图像生成装置10的全景图像传输单元33传输的全景图像I，从而获取全景图像I。这里，全景图像获取单元34经由通信网络直接接收从图像生成装置10传输的全景图像I。然而，本发明不限于这种配置，并且全景图像获取单元34可以经由另一设备(诸如，服务器计算机)接收全景图像I。
例如，方向获取单元35基于用户指令获取用于确定显示装置24上要显示的显示图像的视场范围(显示范围)的方向信息。当显示图像绘制单元36(如稍后所述)生成显示图像时，将方向获取单元35获取的方向信息用作虚拟相机的成像方向。成像方向例如由表示水平方向角度的偏航角和表示上下方向角度的仰角定义。此外，方向获取单元35可以获取以成像方向为旋转轴表示相机旋转角度的滚动角。
具体地，例如，方向获取单元35接收用于指示用户向操作设备25发出的方向的操作输入，从而获取方向信息。可替换地，当用户倾斜图像显示控制装置20的主体时，方向获取单元35可以通过内置于图像显示控制装置20中的运动传感器从检测结果获取方向信息。例如，通过这种方法，在图像显示控制装置20是具有小外壳的装置(诸如，智能手机或平板电脑)的情况下，用户可以通过改变图像显示控制装置20的方向将视场范围改变为任何方向。此外，在显示装置24为头戴式可穿戴显示装置的情况下，方向获取单元35可通过内置于显示装置24中的运动传感器从检测结果中获取方向信息。这样，可以取决于用户头部方向的变化来改变视场范围。
显示图像绘制单元36基于全景图像获取单元34获取的全景图像I绘制表示视场范围内的场景的显示图像(该视场范围取决于方向获取单元35获取的方向信息来确定)，并使显示装置24显示该显示图像。这样，用户可以在全景图像I中包含的特定视场范围内观看场景。此外，用户可以通过改变视场范围(例如，通过对操作设备25进行操作输入)在整个天空中的任何方向观看场景。
具体地，显示图像绘制单元36基于与全景图像I一起传输的图像定义信息将投影面A1到A4放置在虚拟空间中。此外，显示图像绘制单元36将虚拟相机放置在其中心位置(与虚拟球S的中心点O相对应的位置)。这里，虚拟相机以取决于方向获取单元35已经获取的方向信息确定的方向和倾斜度放置。
随后，显示图像绘制单元36将基于全景图像I生成的纹理应用于投影面A1至A4的内侧。描述了具体的示例。在使用图6中所示的全景图像I执行绘图处理的情况下，显示图像绘制单元36将图2中所示的投影面A1放置在虚拟空间中。此外，具有与投影面A1具有相同形状的投影面A2至A4被放置，同时要旋转90°。然后，将图5所示的图像部分Ip1中包含的图像作为纹理应用到投影面A1的内侧。具体地，显示图像绘制单元36通过分支线F1至F5和Fd将图像部分Ip1分为五个梯形和两个三角形。然后，显示图像绘制单元36通过在与图像生成方向相反的方向中的仿射变换，将通过分割获得的多边形(诸如三角形和梯形)转换为取决于投影面A1中的对应平面的形状。此后，显示图像绘制单元36将通过转换获得的纹理应用于投影面A1的内侧。例如，将由图像部分Ip1中的起点P1和分支线F1形成的右上三角形应用于具有以起点P1作为投影曲面A1中顶点的三角形部分。以类似的方式，将图像部分Ip1中由分支线F1和分支线F2夹住的梯形转换为投影面A1中由分支线F1和分支线F2夹住的梯形。这样，全景图像I中的所有多边形(诸如三角形和梯形)都被转换为取决于要应用于其上的对应的投影面A1到A4的形状。例如，这种处理可以通过公知的顶点着色器来实现。此外，显示图像绘制单元36可以运行细分处理以将梯形分割成多个小多边形，并执行对通过上述分割获得的每个多边形的转换。例如，图形处理单元(graphics processing unit，GPU)可以实现这种绘制处理的至少一部分。
此后，显示图像绘制单元36绘制从放置在与虚拟球S的中心点O相对应的位置的虚拟相机看到的已经应用了该纹理的投影面A1到A4，从而生成显示图像。例如，在将虚拟相机指向关注方向的情况下，绘制包括投影面A1的终点P7附近区域和投影面A2到A4的终点相邻区域的显示图像。
这里，如上所述，全景图像I采用在关注方向附近的区域具有较大的面积的图像格式。当基于此全景图像I生成显示图像时，可以产生表示在关注方向附近的分辨率高于在其他区域的分辨率的场景的显示图像。
此外，在本实施例中，显示图像绘制单元36取决于方向获取单元35获取的方向变化实时更新显示图像。具体地，当方向获取单元35获取的方向改变时，显示图像绘制单元36将虚拟相机的方向改变为与改变后的方向相对应的方向。更具体地，当仰角和偏航角改变时，显示图像绘制单元36基于该改变而改变虚拟相机的成像方向。此外，当滚动角度改变时，显示图像绘制单元36基于该改变以成像方向为旋转轴倾斜虚拟相机。这样，虚拟相机的视场范围基于方向获取单元35获取的方向改变而改变。显示图像绘制单元36基于更新的视场范围重新绘制投影面A1到A4内侧的状态，以更新显示图像，并将显示图像显示在显示装置24的屏幕上。每一预定的时间段，显示图像绘制单元36取决于方向获取单元35获取的方向变化重复运行这种显示图像重绘(更新)处理。通过这种控制，用户可以通过移动视场范围在全景图像I所包含的整个天空中的任何位置处观看场景。
此外，例如，方向获取单元35可以基于来自用户的指示，获取除了虚拟相机的方向之外的关于虚拟相机的位置的信息。在这种情况下，显示图像绘制单元36基于位置信息的变化来在虚拟空间中平移虚拟相机。这样，可以显示当从不同位置观看场景时如何看到应用于投影面A1到A4的场景。
应当注意的是，在上述描述中，显示图像是一个平面图像，但显示图像绘制单元36可以绘制三维图像。在这种情况下，显示图像绘制单元36在投影面A1到A4的中心处放置在左右方向彼此相邻的两个虚拟相机。显示图像绘制单元36绘制如何从左侧虚拟相机中看到投影面A1到A4的内表面(基于用于左眼的全景图像I生成的纹理已经应用于该投影面A1到A4的内表面)，从而生成用于左眼的显示图像。以类似的方式，显示图像绘制单元36绘制如何从右侧虚拟相机中看到投影面A1到A4的内表面(基于用于右眼的全景图像I生成的纹理已经应用于该投影面A1到A4的内表面)，从而生成用于右眼的显示图像。显示图像绘制单元36使支持三维显示的显示装置24显示这两个显示图像，从而允许用户观看三维的整个天空场景。
如上所述，在本实施例中，以在越靠近关注方向的区域中、对应于整个天空的虚拟球S的每区域单位包含越多信息量的图像格式生成全景图像I。因此，虽然重要的部分可以以高分辨率显示，但是全景图像I的总体数据量可以相对减少。
应当注意的是，在上述描述中，图像生成装置10经由通信网络将全景图像I传输到图像显示控制装置20，但本发明不限于此。图像生成装置10可以将全景图像I写入诸如闪存的信息存储介质中，并且图像显示控制装置20可以从该信息存储介质中读取和获取全景图像I。此外，例如，在上述描述中，图像生成装置10和图像显示控制装置20彼此独立，但一个信息处理装置可以同时实现全景图像I的生成和显示控制两者。
[切换多个图像的传送]
在上述描述中，图像生成装置10将一个全景图像I传输到图像显示控制装置20，并且图像显示控制装置20基于全景图像I绘制显示图像。然而，在显示对象是随时间变化的全景移动图像Im的情况下，图像生成装置10可以准备多种全景移动图像Im，并执行切换以从全景移动图像Im中选择图像生成装置10实时传送给图像显示控制装置20的移动图像。这样，当用户观看显示图像时，作为显示对象的全景移动图像Im会发生变化。这种控制如下所述。
在本示例中，整个天空区域的全部或部分是可显示范围，并且图像生成装置10生成多个全景移动图像Im，包括在该可显示范围内的场景。然后，图像生成装置10选择全景移动图像Im中的一个作为传送目标，并在图像显示控制装置20的用户正在观看显示图像时，实时执行传输移动图像的流式传送。
全景移动图像Im是基于共同的场景信息生成的，但其具有彼此不同的关注方向。例如，图像生成装置10使用六个方向作为关注方向生成六个全景移动图像Im，六个方向包括在水平面上彼此偏移90°的前、后、左、右四个方向、最高点方向和最低点方向。全景移动图像Im在移动图像的帧图像分辨率上是相同的，而在一帧图像中包含大量信息的区域内是不同的。例如，以前面为关注方向的全景移动图像包括在定义为前面的方向上以高分辨率显示的信息，并且包括在与前面相对的后面仅以相对低分辨率显示的信息。此外，所有全景移动图像Im在可显示范围本身和图像本身的内容上都是相同的，但在高分辨率区域则不同。
图像显示控制装置20的方向获取单元35获取指示观看显示图像的用户注视的方向的信息，并将获取的注视方向信息传输给图像生成装置10。图像生成装置10使用该注视方向信息选择作为传送目标的全景移动图像Im。描述了具体的示例。在用户正在注视定义为前面的方向的情况下，传送用关注方向为前面生成的全景移动图像Im；并且在用户正在注视最高点方向的情况下，传送用关注方向为最高点方向生成的全景移动图像Im。
应当注意的是，图像显示控制装置20的方向获取单元35可以在每一预定时间段的一个时间点传输关于注视方向的信息。可替换地，方向获取单元35可以在注视方向改变预定值或更大的值的时刻，或者在注视方向从某一范围移动到另一范围的时刻，传输关于改变后注视方向的信息。
此外，当从图像显示控制装置20接收用于通知注视方向变化的信息时，图像生成装置10的全景图像传输单元33可以立即切换作为传送目标的全景移动图像Im，或者在达到预定的时间之后切换全景移动图像Im。具体地，例如，全景图像传输单元33可以在传输图像组(group of pictures，GOP)的第一帧图像的时刻将作为传送目标的全景移动图像Im切换到另一个图像。
通过这种控制，图像显示控制装置20可以在用户正注视的方向上以高分辨率显示场景。此外，与以高分辨率传送全景移动图像(包括显示整个可显示范围所需的信息)的情况相比，要传送的移动图像的数据量可以减少。
此外，在本示例中，当正运行流式处理时，一次只传送全景移动图像Im中的一个。然而，所有全景移动图像Im都包含关于整个可显示范围的信息，并且因此，例如，即使在用户突然大幅度改变注视方向的情况下，也不会发生没有东西可显示直到切换到的全景移动图像Im被传送的情况。改变后的注视方向上的场景可以以低于关注方向的分辨率连续地显示。
此外，图像生成装置10可以准备具有不同数据尺寸的多种全景移动图像Im，并取决于图像生成装置10和图像显示控制装置20之间的通信网络的条件切换作为传送目标的全景移动图像Im。例如，图像生成装置10可以准备以下作为传送目标：一个第一全景移动图像Im1，该第一全景移动图像Im1具有整个可显示范围作为可在预定的参考分辨率或更高分辨率显示的范围；n个第二全景移动图像Im2，每个第二全景移动图像Im2具有以关注方向为中心的特定范围作为可在预定的参考分辨率或更高分辨率显示的范围；以及m个第三全景移动图像Im3，每个第三全景移动图像Im3具有以关注方向为中心的且比第二全景移动图像Im2更窄的范围作为可在预定的参考分辨率或更高分辨率显示的范围。这里，满足n<m。
图10说明了作为传送目标的全景移动图像Im，并且全景移动图像Im中的每一个的尺寸表示移动图像的数据尺寸之间的差异。此外，本文还准备了6个第二全景移动图像Im2和26个第三全景移动图像Im3。
在图10的示例中，第一全景移动图像Im1对应于不同于目前所述图像格式的数据，并且包括从关注方向到其相反方向的均匀信息量，即包括在所有方向上区域的高分辨率显示所需的信息。作为回应，第一全景移动图像Im1具有大于第二全景移动图像Im2和第三全景移动图像Im3的数据尺寸的数据尺寸。如果可以在图像生成装置10和图像显示控制装置20之间提供足以传送第一全景移动图像Im1的带宽，则可以将第一全景移动图像Im1用作传送目标。这样，图像显示控制装置20可以在用户注视的任何方向上以高分辨率绘制要显示的显示图像。
与此相反，例如，第二全景移动图像Im2可以是具有将使用包括图2中所示的六个多边形的投影面生成的全景图像Im作为帧图像的移动图像数据。具体地，第二全景移动图像Im2可以是每个具有将以关注方向为中心且具有三维角度(4π/6或更大)的范围作为可在预定的参考分辨率或更高分辨率显示的范围的数据。可替换地，六个第二全景移动图像Im2可以是例如将前、后、左、右、最高点、底点六个方向作为关注方向的移动图像。
六个第二全景移动图像Im2是可以高分辨率显示的范围中彼此不同的数据。使用六个第二全景移动图像Im2，整个天空可以以高分辨率显示。此外，第二全景移动图像Im2在除了以关注方向为中心的范围之外的范围中包含相对少量的信息，并且因此具有小于第一全景移动图像Im1的数据尺寸的数据尺寸。当不能提供足以传送第一全景移动图像Im1的带宽时，相应地将六个第二全景移动图像Im2中的一个用作传送目标，从而减少通信网络的带宽使用。此外，取决于如上所述的用户的注视方向，从具有彼此不同的关注方向的六个第二全景移动图像Im2中选择传送目标，并且因此，尽管数据尺寸小，可以以与第一全景移动图像Im1一样高的分辨率在关注方向的附近显示移动图像。
以类似的方式，第三全景移动图像Im3具有比第二全景移动图像Im2的区域更窄的区域作为可以预定的参考分辨率或更高分辨率显示的区域，并且作为回应，第三全景移动图像Im3具有小于第二全景移动图像Im2的数据尺寸的数据尺寸。例如，当帧图像是使用包括如图7所示的四个多边形的投影面生成的全景图像Im时，第三全景移动图像Im3具有比第二全景移动图像更窄的区域作为可以预定的参考分辨率或更高分辨率显示的区域。此外，由于可在预定的参考分辨率或更高分辨率显示的区域较窄，因此准备了比第二全景移动图像Im2更多的第三全景移动图像Im3，从而第三全景移动图像Im3可以覆盖整个可显示范围(这里，指整个天空)。具体地，在图10的示例中，准备了26个第三全景移动图像Im3，该第三全景移动图像Im3具有：作为关注方向的总共26个方向：水平面上彼此相差45°的8个方向、仰角彼此相差45°的8个方向、俯角彼此相差45°的8个方向、最高点方向和最低点方向。
在不能提供足以传送第二全景移动图像Im2的通信带宽的情况下，图像生成装置10使用取决于注视方向选择的第三全景移动图像Im3中的一个作为传送目标。这样，即使不能提供足够的通信带宽，只要注视方向保持在关注方向的附近，图像显示控制装置20也可以以与第一全景移动图像Im1和其它图像基本上一样高的分辨率显示移动图像。需要注意的是，第三全景移动图像Im3具有相对窄的区域作为可在预定的参考分辨率或更高分辨率显示的区域，并且因此当用户大幅度改变注视方向时，注视方向往往偏离该区域。即使在这种情况下，由于包括整个可显示范围的第三全景移动图像Im3被传送，至少可以连续显示低分辨率的移动图像。
如上所述，图像生成装置10准备了具有彼此不同的关注方向的多个全景移动图像作为传送目标，并取决于用户的注视方向切换传送目标，从而即使在注视方向改变时也能够以高分辨率在该方向附近显示移动图像，同时降低整个传送的数据量。此外，图像生成装置10准备可以预定的参考分辨率或更高分辨率显示的区域的位置和尺寸彼此不同的多种全景移动图像Im，并取决于通信带宽和注视方向执行切换，从而能够基于注视方向以预定的参考分辨率或更高的分辨率将区域显示为移动图像，同时有效地利用通信带宽。
应当注意的是，在上述描述中，传送目标是以具有整个天空作为显示范围的移动图像，但本发明并不限于此。例如，可显示范围可以是与整个天空的一部分相对应的范围，诸如半球面。即使在这种情况下，当通信带宽的量下降时，也可以显示可显示范围内的任何位置、并且通过上述传送方法以高分辨率显示注视方向附近的区域。
可替换地，图像生成装置10可以具有作为传送目标的、除全景移动图像Im之外的移动图像(例如，移动图像具有普通平面图像的作为帧图像)。同样在这种情况下，例如，可以通过一种方法来指定用户的注视方向，该方法通过公知的眼睛追踪指定用户的视线。在这种情况下，生成多个传送目标移动图像，每个图像具有以高于移动图像中其它区域的分辨率绘制的区域。这些传送目标移动图像与可以高于其它区域的分辨率显示的区域是彼此不同的。这样，与全景移动图像Im类似，当注视方向附近的区域以高分辨率显示时，与传送完全以高分辨率绘制的移动图像的情况相比，可以减少要使用的通信带宽。
此外，在上述描述中，被配置为生成作为传送目标的移动图像的图像生成装置10传送生成的移动图像，并且自已执行传送目标移动图像切换，但本发明不限于此。与图像生成装置不同的另一图像传输装置可以运行这种传输处理。
[参考符号列表]
1-图像显示系统，10-图像生成装置，11/21-控制单元，12/22-存储单元、13/23-通信单元，20-图像显示控制装置，24-显示装置，25-操作设备，31-场景信息获取单元，32-全景图像生成单元，33-全景图像传输单元，34-全景图像获取单元，35-方向获取单元，36-显示图像绘制单元

Claims (5)

1.一种图像传送装置，包括：
传送单元，其被配置将多个全景移动图像传送到图像显示控制装置，其中，所述多个全景移动图像中的每个：(i)是各自的完整视频，其包括包含一个或多个对象的场景的各自的多个全景帧图像；(ii)具有所述场景的完整的可显示范围；(iii)具有以比所述完整的可显示范围内的各个其余部分更高的分辨率显示的部分，其中不同全景移动图像中的以比所述完整的可显示范围内的各个其余部分更高的分辨率显示的部分彼此不同；全景移动图像包括比完整的可显示范围内的其余各个部分更高的分辨率显示的部分，不同的全景移动图像中具有的更高的分辨率显示的部分不同
注视方向获取单元，其被配置为获取所述完整的可显示范围中关于用户的注视方向的信息；以及
带宽信息获取单元，其被配置为获取关于所述图像传送装置与所述图像显示控制装置之间的通信带宽的信息，
其中，所述传送单元基于关于所述注视方向的信息选择所述多个全景移动图像中的一个，以在所述显示控制装置上显示给所述用户，
其中所述传送单元一次将所述多个全景移动图像中的任一个传送到所述图像显示控制装置，所述多个全景移动图像包括：多个第一移动图像，所述多个第一移动图像在所述可显示范围中可以预定的参考分辨率或更高分辨率显示的部分的位置彼此不同；以及多个第二移动图像，所述第二移动图像的可以所述预定的参考分辨率或更高分辨率显示的部分比所述多个第一移动图像的更窄，其中，第一移动图像的数据尺寸大于第二移动图像的数据尺寸，并且其中所述多个第一移动图像和所述多个第二移动图像中的每一个具有所述完整的可显示范围，
其中，所述传送单元基于关于所述注视方向的信息和关于所述通信带宽的所述信息选择作为传送目标的所述移动图像。
2.根据权利要求1所述的图像传送装置，
其中所述多个第一移动图像的每一个的所述部分被确定，使得所述可显示范围中的任何位置可通过所述多个第一移动图像的任一个以所述预定的参考分辨率或更高分辨率显示，并且
所述多个第二移动图像中每一个的所述部分被确定，使得所述可显示范围中的任何位置可通过所述多个第二移动图像的任一个以所述预定的参考分辨率或更高分辨率显示。
3.根据权利要求1或2所述的图像传送装置，
其中所述全景移动图像中的至少一个具有整个天空的范围的至少一部分作为所述完整的可显示范围，并且
所述图像显示控制装置显示的所述多个全景移动图像中的一个包括对应于所述完整的可显示范围的部分的视场范围。
4.一种图像传送方法，包括：
将多个全景移动图像传送到图像显示控制装置，其中，所述多个全景移动图像中的每个：(i)是各自的完整视频，其包括包含一个或多个对象的场景的各自的多个全景帧图像；(ii)具有所述场景的完整的可显示范围；(iii)具有以比所述完整的可显示范围内的部分，其中不同全景移动图像中的以比所述完整的可显示范围内的各个其余部分更高的分辨率显示的部分彼此不同；
获取所述完整的可显示范围中关于用户的注视方向的信息；以及
获取关于图像传送装置与所述图像显示控制装置之间的通信带宽的信息，
其中，基于关于所述注视方向的信息选择所述多个全景移动图像中的一个，以在所述显示控制装置上显示给所述用户，
其中，一次将所述多个全景移动图像中的任一个传送到所述图像显示控制装置，所述多个全景移动图像包括：多个第一移动图像，所述多个第一移动图像在所述可显示范围中可以预定的参考分辨率或更高分辨率显示的部分的位置彼此不同；以及多个第二移动图像，所述第二移动图像的可以所述预定的参考分辨率或更高分辨率显示的部分比所述多个第一移动图像的更窄，其中，第一移动图像的数据尺寸大于第二移动图像的数据尺寸，并且其中所述多个第一移动图像和所述多个第二移动图像中的每一个具有所述完整的可显示范围，
其中，基于关于所述注视方向的信息和关于所述通信带宽的所述信息选择作为传送目标的所述移动图像。
5.一种包含计算机程序的非暂时性计算机可读存储介质，所述程序在由计算机执行时使所述计算机通过执行动作来执行图像传送方法，包括：
将多个全景移动图像传送到图像显示控制装置，其中，所述多个全景移动图像中的每个：(i)是各自的完整视频，其包括包含一个或多个对象的场景的各自的多个全景帧图像；(ii)具有所述场景的完整的可显示范围；(iii)具有以比所述完整的可显示范围内的各个其余部分更高的分辨率显示的部分，其中不同全景移动图像中的以比所述完整的可显示范围内的各个其余部分更高的分辨率显示的部分彼此不同；
获取所述完整的可显示范围中关于用户的注视方向的信息；以及
获取关于图像传送装置与所述图像显示控制装置之间的通信带宽的信息，
其中，基于关于所述注视方向的信息选择所述多个全景移动图像中的一个，以在所述显示控制装置上显示给所述用户，
其中，一次将所述多个全景移动图像中的任一个传送到所述图像显示控制装置，所述多个全景移动图像包括：多个第一移动图像，所述多个第一移动图像在所述可显示范围中可以预定的参考分辨率或更高分辨率显示的部分的位置彼此不同；以及多个第二移动图像，所述第二移动图像的可以所述预定的参考分辨率或更高分辨率显示的部分比所述多个第一移动图像的更窄，其中，第一移动图像的数据尺寸大于第二移动图像的数据尺寸，并且其中所述多个第一移动图像和所述多个第二移动图像中的每一个具有所述完整的可显示范围，
其中，基于关于所述注视方向的信息和关于所述通信带宽的所述信息选择作为传送目标的所述移动图像。
CN201780083806.3A 2017-01-19 2017-01-19 图像传送装置 Active CN110235447B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/001753 WO2018134947A1 (ja) 2017-01-19 2017-01-19 画像配信装置

Publications (2)

Publication Number Publication Date
CN110235447A CN110235447A (zh) 2019-09-13
CN110235447B true CN110235447B (zh) 2023-03-28

Family

ID=62908463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083806.3A Active CN110235447B (zh) 2017-01-19 2017-01-19 图像传送装置

Country Status (5)

Country Link
US (1) US20190394509A1 (zh)
EP (1) EP3573339A4 (zh)
JP (1) JP6791991B2 (zh)
CN (1) CN110235447B (zh)
WO (1) WO2018134947A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102879644A (zh) * 2012-11-01 2013-01-16 南京国睿安泰信科技股份有限公司 利用模拟带宽预切换实现频谱仪分辨率带宽的系统
JP2013250470A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
CN103905761A (zh) * 2012-12-26 2014-07-02 株式会社理光 图像处理系统和图像处理方法
CN104079954A (zh) * 2013-03-26 2014-10-01 索尼公司 图像处理装置、图像处理方法和计算机程序

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003027766A2 (en) * 2001-09-27 2003-04-03 Eyesee360, Inc. System and method for panoramic imaging
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
WO2008075779A1 (en) * 2006-12-18 2008-06-26 Fujifilm Corporation Monitoring system, monitoring method and program
US20080158341A1 (en) * 2006-12-27 2008-07-03 Texas Instruments Incorporated Camera for panoramic photography
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
ATE468572T1 (de) * 2008-01-18 2010-06-15 Mvtec Software Gmbh System und verfahren zur erkennung verformbarer objekte
US9144714B2 (en) * 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
WO2011034924A1 (en) * 2009-09-15 2011-03-24 Envysion, Inc. Video streaming method and system
EP4290856A3 (en) * 2010-09-13 2024-03-06 Contour IP Holding, LLC Portable digital video camera configured for remote image acquisition control and viewing
JP2012095229A (ja) * 2010-10-28 2012-05-17 Sharp Corp 画像表示装置及び画像表示装置用のコンピュータプログラム
GB2487043B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction and illumination system and method
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US20130249948A1 (en) * 2011-08-26 2013-09-26 Reincloud Corporation Providing interactive travel content at a display device
US9625720B2 (en) * 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
KR101916663B1 (ko) * 2012-12-18 2018-11-08 삼성전자주식회사 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
JP2014165841A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 情報処理装置及び情報処理方法
JP6450064B2 (ja) * 2013-03-18 2019-01-09 任天堂株式会社 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
JP2014183353A (ja) * 2013-03-18 2014-09-29 Sony Corp 映像処理装置、映像再生装置、映像処理方法、映像再生方法及び映像処理システム
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
JP5804007B2 (ja) * 2013-09-03 2015-11-04 カシオ計算機株式会社 動画生成システム、動画生成方法及びプログラム
JP5741659B2 (ja) * 2013-09-17 2015-07-01 カシオ計算機株式会社 動画選別装置、動画選別方法及びプログラム
JP2015207802A (ja) * 2014-04-17 2015-11-19 ソニー株式会社 画像処理装置および画像処理方法
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
EP3219100A1 (en) * 2014-09-15 2017-09-20 Dmitry Gorilovsky A system comprising multiple digital cameras viewing a large scene
JP2016127377A (ja) * 2014-12-26 2016-07-11 カシオ計算機株式会社 画像処理装置及び画像処理方法、画像再生装置及び画像再生方法、並びにプログラム
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
WO2016140083A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
JP6359993B2 (ja) * 2015-03-09 2018-07-18 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
US20180115796A1 (en) * 2015-03-26 2018-04-26 Lg Electronics Inc. Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method, and broadcast signal receiving method
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
CN107683607A (zh) * 2015-06-12 2018-02-09 索尼公司 信息处理设备和信息处理方法
US9965899B2 (en) * 2016-04-28 2018-05-08 Verizon Patent And Licensing Inc. Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration
EP3451674A1 (en) * 2016-04-28 2019-03-06 Sony Corporation Information processing device and information processing method, and three-dimensional image data transmission method
CN108616557B (zh) * 2016-12-13 2022-01-25 中兴通讯股份有限公司 一种全景视频传输方法、装置、终端、服务器及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250470A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
CN102879644A (zh) * 2012-11-01 2013-01-16 南京国睿安泰信科技股份有限公司 利用模拟带宽预切换实现频谱仪分辨率带宽的系统
CN103905761A (zh) * 2012-12-26 2014-07-02 株式会社理光 图像处理系统和图像处理方法
CN104079954A (zh) * 2013-03-26 2014-10-01 索尼公司 图像处理装置、图像处理方法和计算机程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HMD Viewing Spherical Video Streaming System;Daisuke Ochi etal;《MULTIMEDIA,ACM,2PENN PLAZA》;763-764 *

Also Published As

Publication number Publication date
JP6791991B2 (ja) 2020-11-25
CN110235447A (zh) 2019-09-13
EP3573339A4 (en) 2020-08-05
EP3573339A1 (en) 2019-11-27
WO2018134947A1 (ja) 2018-07-26
JPWO2018134947A1 (ja) 2019-11-07
US20190394509A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
EP3129975B1 (en) Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US7420559B2 (en) Video rendering apparatus and method and program
EP3340164B1 (en) Image generating device and image display control device
EP3379494B1 (en) Image processing device, information processing device, and image processing method
JP2005339313A (ja) 画像提示方法及び装置
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
CN110648274A (zh) 鱼眼图像的生成方法及装置
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
CN110235447B (zh) 图像传送装置
JP2010182094A (ja) 立体画像描画装置、立体画像描画方法、立体画像描画プログラム
JP4637205B2 (ja) 表示装置、表示方法、ならびに、プログラム
CN114862657A (zh) 一种双显卡渲染方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant