CN114207562A - 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构 - Google Patents

运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构 Download PDF

Info

Publication number
CN114207562A
CN114207562A CN202180004347.1A CN202180004347A CN114207562A CN 114207562 A CN114207562 A CN 114207562A CN 202180004347 A CN202180004347 A CN 202180004347A CN 114207562 A CN114207562 A CN 114207562A
Authority
CN
China
Prior art keywords
viewpoint
video stream
image
key frame
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180004347.1A
Other languages
English (en)
Inventor
平山巧马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinjiang Digital Manufacturing Co ltd
Original Assignee
Jinjiang Digital Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinjiang Digital Manufacturing Co ltd filed Critical Jinjiang Digital Manufacturing Co ltd
Publication of CN114207562A publication Critical patent/CN114207562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

提供一种降低因用户的视线的变化引起的服务器负荷的增大的运动图像分发方法以及运动图像分发装置。本发明的特征在于，包括以下步骤：针对在以摄像机(10)为观测点的天球上决定的多个视点中的每个视点，存储包含该天球的影像流(44)；以及分发步骤，对用户终端(14)分发所述影像流(44)，其中，在所述分发步骤中，分发与通过所述用户终端(14)确定的视线对应的所述天球上的最邻近的视点以外的所述视点的影像流(44)。

Description

运动图像分发方法、运动图像再现方法、运动图像分发装置以 及分发数据结构
技术领域
本发明涉及一种分发运动图像的运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构。
背景技术
已知有分发静止图像、运动图像的分发系统。例如，专利文献1的分发系统具备服务器和客户端，在该服务器的存储器中存储有构成要分发的运动图像的关键帧图像以及差分帧图像。而且，是如下的结构：在服务器接收到来自客户端的请求的情况下，将上述存储器中存储的关键帧图像、差分帧图像分发给客户端。
在此，在非专利文献1所记载的全景运动图像分发系统中，具备服务器，该服务器将背景整体作为低分辨率图像进行分发，并且截取与用户的视线对应的部分作为高分辨率图像并进行分发。接收到低分辨率图像和高分辨率图像的客户端通过将这些图像进行合成并显示于画面上，能够以高图像质量显示用户正观看的部分。
现有技术文献
专利文献
专利文献1：日本专利第6149967号公报
非专利文献
非专利文献1：NTT TechnoCross“パノラマ超プレイヤ/パノラマ超エンジン(全景超级播放器/全景超级引擎)”、[2020年2月23日检索]、因特网<https://www.ntt-tx.co.jp/products/panocho/>
发明内容
发明要解决的问题
然而，上述服务器必须与时刻地变化的用户的视点相配合地执行截取高分辨率图像的处理，因此当大量的用户访问服务器时，服务器的负荷会相应地增大。并且，如果如专利文献1那样对于要发送的运动图像(高图像质量运动图像)生成关键帧图像以及差分帧图像，则服务器的负荷会进一步增大。
本申请发明的目的在于降低因用户的视线的变化引起的服务器负荷的增大的运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构。
用于解决问题的方案
为了达成上述的目的，本发明的运动图像分发方法包括以下步骤：针对在以摄像机为观测点的天球上决定的多个视点中的每个视点，存储包含该天球的影像流；以及分发步骤，对用户的终端分发所述影像流，其中，在所述分发步骤中，分发与通过所述用户的终端确定的视线对应的所述天球上的最邻近的视点以外的所述视点的影像流。
另外，为了达成上述的目的，本发明的运动图像再现方法包括以下步骤：针对在以摄像机为观测点的天球上决定的多个视点中的每个视点，存储包含该天球的影像流；以及再现步骤，在用户的终端中再现所述影像流，其中，在所述再现步骤中，再现与通过所述用户的终端确定的视线对应的所述天球上的最邻近的视点以外的所述视点的影像流。
另外，为了达成上述目的，本发明的运动图像分发装置具备：存储部，其针对在以摄像机为观测点的天球上决定的多个视点中的每个视点，存储包含该天球的影像流；以及分发部，其对用户的终端分发所述影像流，其中，所述分发部分发与通过所述用户的终端确定的视线对应的所述天球上的最邻近的视点以外的所述视点的影像流。
并且，本发明的分发数据结构具备影像流，所述影像流在中心部包含处于从特定的观测点投出的视线上的图像，在该中心部的外侧包含从该观测点拍摄到的天球的图像，所述影像流包含第一影像流和第二影像流，所述第一影像流在中心部包含处于从特定的观测点投出的第一视线上的视点的图像，所述第二影像流在中心部包含处于从所述观测点投出的第二视线上的视点的图像。
发明的效果
根据本发明的运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构，能够降低因用户的视线的变化引起的服务器负荷的增大。
附图说明
图1是本实施方式的运动图像分发系统的概要图。
图2的(a)是上述运动图像分发系统的用户终端的硬件概要图，(b)是上述运动图像分发系统的摄像机的硬件概要图，(c)是上述运动图像分发系统的服务器的硬件概要图。
图3的(a)是在上述服务器中执行的运动图像生成分发程序的流程图，(b)是运动图像生成程序中的生成处理的流程图。
图4是示出在生成处理中生成的图像的图。
图5是示出视点的位置的图。
图6是示出影像流生成处理中的像素的提取过程的图。
图7是示出按视点关键帧图像与虚拟球的对应关系的图。
图8是示出视角信息的函数的例子的图。
图9是示出生成按视点关键帧图像中的低图像质量部分的情况下的对应关系的图。
图10是示出按视点的一组影像流的例子的图。
图11是用户终端的流程图。
具体实施方式
[第一实施方式]
下面，参照附图来说明本发明的实施方式所涉及的运动图像分发系统以及运动图像分发方法。
如图1所示，第一实施方式的运动图像分发系统1是向用户的终端14(下面记载为用户终端14)分发运动图像(影像流44)的系统，具备生成图像的摄像机10、以及基于从该摄像机10获取到的图像来生成分发用的运动图像的作为分发装置而发挥功能的服务器12。这些摄像机10、服务器12以及用户终端14连接于以因特网通信线路为代表的网络，服务器12能够与摄像机10及用户终端14进行通信。
用户终端14例如是公知的智能手机、平板终端等便携式信息终端，如图2的(a)所示，具备：通信模块16(通信部)，其是用于与因特网通信线路连接的接口；液晶显示器18(显示部)，其显示从服务器12接收到的运动图像；触摸面板20(输入部)，其被叠加配置于该液晶显示器18上，用于受理来自用户的输入；角速度传感器22(检测部)，其检测终端的姿势；以及CPU 26(控制部)，其通过执行存储器24中存储的程序来控制液晶显示器18、触摸面板20及角速度传感器22。
摄像机10是至少生成半天球图像的装置，如图2的(b)所示，具备：图像传感器28；鱼眼透镜，其是使以该图像传感器28为观测点的半径无穷大的虚拟的半球面的像(成像圈)成像于该图像传感器28的受光面内的光学部件；CPU 30，其对图像传感器28进行控制，基于从图像传感器28输出的电信号来生成半天球图像；以及通信模块32，其用于与因特网通信线路连接。该摄像机10以60fps(frames per second：帧数/秒)的帧频生成半天球图像。通过这样生成的多个连续的半天球图像按被生成的时间序列顺序存储到存储器34。当在一定期间内拍摄而生成的多个半天球图像(一组半天球图像)被累积到了存储器34中时，摄像机10将存储器34中存储的一组半天球图像经由因特网通信线路发送到服务器12。
服务器12是对用户终端14分发基于上述一组半天球图像生成的分发数据即运动图像(影像流44)的终端，如图2的(c)所示那样具备与因特网通信线路连接的通信模块36、存储有运动图像生成分发程序的存储器38、以及执行该运动图像生成分发程序的CPU 40。
如图3的(a)所示，该运动图像生成分发程序是用于使服务器12执行以下处理的程序：从摄像机10获取一组半天球图像的获取处理(s10)；根据获取到的一组半天球图像生成分发用的影像流44的生成处理(s20)；将与来自用户终端14的请求对应的影像流44向用户终端14分发的分发处理(s30)。在本实施方式中，在生成处理(s20)中生成的影像流44是针对如图5所示那样在以摄像机10的图像传感器28为基点的半径无穷大的虚拟的全天球上预先决定的每个视点生成的。换言之，在由摄像机10生成的半天球图像被映射于虚拟的全天球的情况下，将该全天球的中心设为用户的角度，并将从该角度观察该全天球时的全天球上的视点设定在多个部位，针对该多个部位的视点中的每个视点生成影像流44。然后，在分发处理(s30)中，将与来自用户终端14的请求中包含的用户的视线信息对应或近似的一个视点的影像流44发送到用户终端14。下面，具体地进行说明。
获取处理(s10)是从摄像机10获取一组半天球图像42(图1、图4)的处理，接收到的一组半天球图像42按时间序列顺序存储到存储器38。像这样，服务器12作为从摄像机10获取一组半天球图像42的获取部而发挥功能。另外，服务器12的存储器38作为存储一组半天球图像42的存储部而发挥功能。
当执行了上述获取处理(s10)时，执行生成处理(s20)。如图4所示，生成处理(s20)是基于存储器38中存储的一组半天球图像42来针对预先决定的每个视点生成影像流44(在时间序列上连续的连续图像)的处理，包含中间图像生成处理(s21)和影像流生成处理(s22)。
在中间图像生成处理(s21)中，提取存储器38中存储的一组半天球图像42，根据提取出的一组半天球图像42来生成一组中间图像46(图4)。该一组中间图像46包含利用公知的帧间预测来生成的关键帧图像46a和差分帧图像46b。在本实施方式中，将从一组半天球图像42中每隔规定的帧(在本实施方式中是每隔60帧)提取出的半天球图像42a设为关键帧图像。另外，通过求出继该半天球图像42a(关键帧图像)之后的帧的其它多个半天球图像42b与其前一帧的半天球图像的差分，来生成差分帧图像46b。通过该中间图像生成处理(s21)生成的一组中间图像46被存储到服务器12的存储器38。此外，提取出一组半天球图像42中的最后一帧的半天球图像42来作为对一组中间图像46中的最后一帧分配的关键帧图像46a。像这样，服务器12的CPU 38作为生成一组中间图像46的中间图像生成部而发挥功能，服务器12的存储器38作为存储一组中间图像46的存储部而发挥功能。下面，将通过中间图像生成处理(s21)生成的关键帧图像46a以及差分帧图像46b分别称为中间关键帧图像46a以及中间差分帧图像46b。
影像流生成处理(s22)是基于一组中间图像46来按视点生成影像流44的处理。影像流44是向用户终端14分发的连续图像，包含按视点关键帧图像44a以及按视点差分帧图像44b。如上所述，该影像流44与预先决定的多个视点的各个视点对应地生成。该预先决定的多个视点是指如上述那样在包含如图5所示那样以摄像机10的图像传感器28为观测点(基点)观察到的全天球的虚拟全天球上决定的多个点，各个视点通过由以该观测点为基点的侧倾角(α)、俯仰角(β)、横摆角(γ)构成的视点信息来进行定义。例如，关于视点a，视点信息被决定为(αa，βa，γa)，该视点信息以与对视点a赋予的视点识别信息相对应的方式存储于存储器38。另外，针对视点a生成的影像流44以与视点识别信息对应的方式存储于存储器38。即，各视点的视点信息以及按视点生成的影像流44以与视点识别信息相对应的方式存储于存储器38。
构成影像流44的按视点关键帧图像44a、按视点差分帧图像44b在如图6的(a)所示那样被展开在用户终端14中的情况下，被压缩成图像质量从该图像的中心向外侧逐渐降低。当以按视点关键帧图像44a为例时，如图6的(b)所示，以按视点关键帧图像44a的中心为基点，被压缩成与按视点关键帧图像44a的四条边(边缘)内切的内切圆内侧的图像质量高、且该内切圆的外侧(图像的四角)的图像质量变低。下面，以视点a为例来说明这样的按视点关键帧图像44a的生成处理。
如图6的(c)、(d)所示，从将中间关键帧图像46a虚拟地映射得到的虚拟球56提取像素来生成视点a下的按视点关键帧图像44a(下面称为视点a关键帧图像44a)。具体地说，如图3的(b)所示，关于应构成视点a关键帧图像44a的各像素，通过对应式来计算虚拟球56面上的对应的第一坐标(第一计算处理(s221))，针对该第一坐标应用包含视点a的视点信息的旋转式来计算第二坐标(第二计算处理(s222))，从而提取虚拟球56面上的位于该第二坐标的像素。此外，视点a关键帧图像44a的坐标如图7的(b)所示那样通过以其中心为原点的XY正交坐标来表示，设为视点a关键帧图像44a的横向(X坐标)取-1≤X≤1的值、纵向(Y坐标)取-1≤Y≤1的值。另外，虚拟球56的坐标如图7的(a)所示那样通过以其中心为原点的XYZ正交坐标来表示，虚拟球56的半径r设为1。
上述的第一计算处理(s221)包含基于视点a关键帧图像44a的坐标和视角信息求出虚拟球56中的球面坐标(r，θ，φ)的球面坐标计算处理、以及求出与该球面坐标对应的正交坐标(x，y，z)的正交坐标计算处理。此外，视角信息是标识要显示于用户终端14的液晶显示器18的范围的信息，在本实施方式中被定为30°。
如图7所示，以包含于视点a关键帧图像44a中的像素P为例来说明球面坐标计算处理。如下面那样求出在虚拟球中的相对于Z轴的角度θp′以及相对于X轴的角度φp′。此外，如上所述，虚拟球56的半径r为1。基于视点a关键帧图像44a的XY正交坐标中的从原点到像素P的距离Pr、以及规定的视角信息来决定角度θp′。关于距离Pr，基于像素P的坐标值(Px，Py)，通过下面的对应式来决定。
[数1]
Figure BDA0003448205950000071
然后，将计算出的距离Pr的值输入到根据视角信息预先决定的函数f(Pr)中，来求出角度θp′。该函数是如图8的(a)所示那样决定了距离Pr与角度θp′的关系的函数，例如在视角信息被设定为30°的情况下，以在Pr＝1时θ为30°的方式决定函数，对该函数代入在上述数1中求出的距离Pr，来求出点P处的角度θ。即，以视点a关键帧图像44a中的高像素部分与低像素部分的边界同视角信息对应的方式决定函数。也可以如图8的(b)所示，在视角信息为90°的情况下，以在Pr＝1时θ为90°的方式决定该视角信息以及函数。另外，也可以如图8的(c)所示那样是一次函数。
角度φp′与视点a关键帧图像44a的XY正交坐标中的φp相同，该φp是基于点P的坐标(Px，Py)来通过下面的对应式求出的。
[数2]
Figure BDA0003448205950000081
在此，如图9的(b)所示，在针对构成低图像质量部分的像素、例如存在于圆周C上的像素而与上述的对应式(数2)同样地求出角度φ的情况下，进行了未考虑位于虚线所示的弧(虚线弧)上的像素而仅考虑与一点划线所示的弧对应的像素的有偏差的像素信息的提取。因此，在本实施方式中，基于虚线弧相对于圆周C的比率，来将包含虚线部分的圆周C上的点均匀地排列在一点划线上，由此像素信息无偏差地进行间除式提取，实现了视点a关键帧图像44a(影像流)的信息量的减少。因此，例如在圆周C上的像素Q中提取与像素Q′对应的像素信息。用于实现这样的均匀排列的对应式为下面的式子。
[数3]
φQ-45°:φQ-45°＝45°:45°-φi
Figure BDA0003448205950000082
在此，φi是用于求出虚线弧相对于圆周C的比率(比例)的角度。
当通过如上述那样求出针对视点a关键帧图像44a中的各像素的球面坐标(1，θ，φ)时，在正交坐标计算处理中，通过下面的变换式求出针对各像素的第一坐标(x1，y1，z1)。
[数4]
x1＝r×Sinθ×coSφ
[数5]
y1＝r×Sinφ×coSθ
[数6]
z1＝r×cosθ
当执行了正交坐标计算处理时，接下来执行第二计算处理。在第二计算处理中，针对各第一坐标应用包含视点信息(αa，βa，γa)的旋转式，求出第二坐标(x2，y2，z2)。
[数7]
Figure BDA0003448205950000091
通过上述第二计算处理来确定虚拟球中要提取的像素。然后，提取所确定出的该像素的信息，将提取出的像素的信息分配给视点a关键帧图像44a中对应的各像素。通过这样，生成通过以下方式得到的视点a关键帧图像44a：在形成为高图像质量部分的内切圆内，与视角相应地呈鱼眼图像状地提取虚拟球上的像素，在形成为低图像质量部分的内切圆外，间除式地提取视角外的虚拟球上的像素。
如上所述，说明了视点a下的按视点关键帧图像44a的生成处理，但是视点a下的按视点差分关键帧图像44b也是通过同样的处理而生成的。通过这样来生成视点a的影像流44。对于其它视点，也通过与视点a同样的处理来生成影像流44(按视点关键帧图像44a以及按视点差分帧图像44b)，所生成的影像流44以与视点信息相关联(通过与视点识别信息进行对应来与视点信息进行关联)的方式存储于服务器12的存储器38。像这样，服务器12的存储器38作为以与视点信息对应的方式存储各视点的影像流44的存储部而发挥功能。
通过上述那样来生成各视点的影像流44，但是在本实施方式中，构成影像流44的按视点关键帧图像44a在视点之间并不同步，一个视点的按视点关键帧图像44a与其它视点的按视点关键帧图像44a在时间序列上排列于不同的时刻并存储于存储器38中。即，各个影像流44以按视点关键帧图像44a以及按视点差分帧图像44b在时间序列上相互不同步的方式排列。例如，如图10所示，在视点a～视点d的影像流44中，各视点a～d的按视点关键帧图像KF002a、KF002b、KF002c、KF002d是根据中间关键帧图像KF002生成的图像，但是视点b关键帧图像KF002b被排列为相对于视点a关键帧图像KF002a延迟4帧，视点c关键帧图像KF002c被排列为相对于视点a关键帧图像KF002a延迟9帧，视点d关键帧图像KF002d被排列为相对于视点a关键帧图像KF002a延迟14帧。例如在视点b的影像流44中，在1帧至4帧连续地排列了视点b关键帧图像KF001b(开头的按视点关键帧图像44a)，使得各视点的影像流44如上述那样相互不同步。
接着，说明对用户终端14的分发处理(s30)。
在分发处理(s30)之前，服务器12通过未图示的信令服务器(signaling server)12来与用户终端14之间建立点对点(peer-to-peer)连接，从而能够相互进行通信，接收来自用户终端14的请求(s40)(图11)。该请求是请求服务器12分发运动图像的信息，包含用户终端14的视线信息。视线信息是标识用户的视线(应显示于用户终端14的图像的中心)的信息，包含用户终端14的CPU 26基于角速度传感器22的输出信号确定的侧倾角(α)、俯仰角(β)以及横摆角(γ)。
服务器12当从用户终端14接收到请求时，将该请求中包含的视线信息与存储器中存储的多个视点信息进行比较，将与视线信息一致或近似的视点信息所对应的影像流44向用户终端14分发。
如图11所示，用户终端14当接收到影像流44时进行展开处理(s60)。在展开处理(s60)中，首先，基于所接收到的影像流44来生成展开用的关键帧图像以及差分帧图像。按视点关键帧图像44a中的高图像质量部分的像素保持原状地配置在展开用的关键帧图像的中央部分。在该高图像质量部分的周围，配置按视点关键帧图像44a中的低图像质量部分的图像。在此，关于该低图像质量部分的角像素，不是保持原状地进行配置，而是使用上述的数式4确定φQ’的位置，在所确定出的位置配置像素。此时，在包含φQ’的圆周C上没有连续地配置像素，因此进行在各像素间进行插值的插值处理。该插值处理并没有特别限定，例如在同一圆周上存在的像素与像素之间配置与各像素近似的像素。通过与该展开用的关键帧图像同样的处理，来生成展开用的差分帧图像。
当经过该插值处理而生成了展开用的关键帧图像以及展开用的差分帧图像时，使用公知的全景展开处理来生成显示用的关键帧图像以及显示用的差分帧图像，基于这些图像来生成运动图像，在用户终端14显示该运动图像。
在用户终端14中正在显示(再现)运动图像的期间，用户终端14也通过其CPU 26确认角速度传感器22的输出，来监视用户的视线，与视线的变化量相应地运动图像的显示坐标发生位移。另外，用户终端14更新视线信息，并将该视线信息发送到服务器12。
服务器12每当接收到视线信息时，提取在时间序列上关键帧被配置成接近的影像流44的视点信息，将所接收到的视线信息与提取出的视点信息进行比较，来检索最近似的视点，并将与近似的视点对应的影像流44发送到用户终端14。
在此，在用户的视线从视线a变化到视线f的期间，具体地说，通过用户进行的终端操作而使用户终端14的姿势变化，在基于该姿势的变化检测出的用户的视线从视点a变化到视点f的期间，如下述那样分发影像流44。
服务器12当从用户终端14接收到视线信息时，利用与该接收到的时间点之间的关系来检索按视点关键帧图像44a被配置在时间序列上接近的时刻的影像流44。具体地说，存储器38中存储的各个影像流44是如上述那样以在时间序列上相互不同步的方式生成的，因此影像流44中的按视点关键帧图像44a的配置位置(配置时刻)在多个影像流44中互不相同。服务器12的CPU 12基于各影像流44中的关键帧周期(60帧)以及对各影像流44设定的延迟量，来计算关键帧图像的配置位置(配置时刻)，并检索在与在接收到视线信息的时间点正在分发的帧图像(在用户终端14中正在再现的帧图像)最接近的时刻具有按视点关键帧图像44a的影像流44。
然后，判定与检索到的影像流44对应的视点信息是否相比于变化前的视点(视点a)而言在位置上更接近变化后的视点(视点f)。
例如，在检索按视点关键帧图像44a所得到的结果是判定为视点c的按视点关键帧图像44a在时间序列上接近的情况下，视点c相比于视点a而言在位置上更接近视点f，因此视点c的影像流44被分发给用户终端14。
另一方面，即使在检索按视点关键帧图像44a所得到的结果是判定为视点g的按视点关键帧图像44a被配置于在时间序列上接近的时刻的情况下，也由于视点g相比于视点a而言在位置上离视点f更远，因此视点a的影像流44被分发给用户终端14。
在本实施方式的运动图像分发系统1中，预先生成与多个视点对应的影像流44，因此即使在产生了用户的视线的情况下，也只要分发与根据该视线求出的视点对应的影像流44即可，因此即使存在例如来自大量的用户终端14的请求，也能够降低服务器12的负荷的增大。
另外，即使随着用户终端14的姿势变化而正在显示的运动图像的显示坐标发生位移的结果导致其图像质量逐渐降低，也由于分发具有在时间序列以及位置上接近的按视点关键帧图像44a的影像流44，而能够防止正在显示的图像的图像质量显著下降。
[第二实施方式]
在上述第一实施方式中，设为服务器12基于从用户终端14接收到的视线信息来选择要分发的影像流44，但是在第二实施方式中，设为用户终端14基于视线信息来选择要接收的影像流44，并请求服务器12分发所选择的影像流44。下面，以与第一实施方式不同的结构、流程为中心进行说明，适当地省略与第一实施方式相同的结构、方法来进行说明。
在本实施方式中，与第一实施方式同样地将按视点生成的影像流44以与视点识别信息对应的方式存储于服务器12的存储器中，但是不同点在于视点信息没有存储于服务器12的存储器12。在本实施方式中，各个视点信息以与视点识别信息对应的方式存储于用户终端14的存储器24。
另外，在本实施方式中，也与第一实施方式同样地在按视点生成的多个影像流44中包含按视点关键帧图像44a。而且，在这些多个影像流44中，通过使开头的按视点关键帧图像44a偏移，来将按视点关键帧图像44a配置为在时间序列上相互不同步。在本实施方式中，各视点的影像流44中的按视点关键帧图像44a的配置时刻被存储于用户终端14的存储器24。该配置时刻表示在各视点的影像流44中按视点关键帧图像44a被配置在哪一时刻(帧)，作为代表的是各影像流44中的按视点关键帧图像44a的间隔(配置周期)、以及各视点的影像流44中的开头的按视点关键帧图像44a的偏移数(延迟的帧数)。在本实施方式中，如图4所示，每隔60帧配置按视点关键帧图像，因此间隔为“60”。另外，如图10所示，视点a的按视点关键帧图像44a没有偏移，因此视点a的偏移数为“0”。另外，在视点b的影像流44中开头的按视点关键帧图像44a被设置了4帧的偏移，因此视点b的偏移数为“4”。同样地，视点c的偏移数为“9”，视点d的偏移数为“14”。像这样将按视点定义的配置时刻以与视点识别信息对应的方式存储，从而将该视点识别信息分别以与视点信息对应的方式存储。
本实施方式的用户终端14如上述那样基于视线信息来确定要接收的视点的影像流44，请求服务器12分发所确定的视点的影像流44。具体地说，用户终端14将视线信息获取处理、请求处理以及显示处理按此顺序来执行。
(1)视线信息获取处理是用户终端14的CPU 26基于来自角速度传感器22的输出来获取视线信息的处理，与第一实施方式同样地获取侧倾角(α)、俯仰角(β)以及横摆角(γ)。
(2)请求处理是提取与在上述的视线信息获取处理中获取到的视线信息近似的视点信息，将与提取出的视点信息对应的视点识别信息发送到服务器12。服务器12当从用户终端14接收到视点识别信息时，对该用户终端14分发与视点识别信息对应的影像流44。
(3)显示处理是一边从服务器12接收影像流44一边将影像流44显示于液晶显示器18的处理。
通过上述的流程来执行初始阶段中的影像流44的分发以及影像流44的显示。
如上所述，用户终端14的CPU 26一边显示影像流44，一边与影像流44的帧频同步地执行视线信息获取处理、确定处理、请求处理以及显示处理以显示与通过用户对用户终端14进行操作所引起的视线变更对应的影像流44。
(4)视线信息获取处理与上述(1)的处理相同，是基于角速度传感器22的输出来获取视线信息(侧倾角(α)、俯仰角(β)以及横摆角(γ))的处理。
(5)确定处理是确定要向服务器12请求的影像流的处理，用户终端14的CPU 26选择按视点关键帧图像44a配置成在时间序列上接近的视点识别信息。
(5-1)具体地说，确定正在再现的影像流44中的帧编号(下面记载为再现中帧编号)。例如，在正在再现视点a的影像流44时正在显示第100个帧图像的情况下，将帧编号确定为“100”。
(5-2)接着，基于被决定为配置时刻的间隔以及偏移，来针对每个视点计算按视点关键帧图像44a的配置位置，提取其中的配置在所确定的帧编号之后且在时间序列上与所确定的帧编号接近的关键帧的编号。
例如，关于视点b的配置时刻，间隔为“60”，偏移被定义为“4”，因此视点b的第一按视点关键帧图像44a的位置被求出为“5”，第二按视点关键帧图像44a的位置被求出为“65”，第三按视点关键帧图像44a的位置被求出为“125”，第四按视点关键帧图像44a的位置被求出为“185”。而且，每当求出这些按视点关键帧图像44a的位置时，计算与所确定的帧编号“100”之差，设为差最少的按视点关键帧图像44a的位置、具体地说第三按视点关键帧图像的位置“124”与所确定的帧编号“100”近似。
对于视点c、d…也同样地进行计算，对于视点c，设为第三按视点关键帧图像的位置“129”与所确定的帧编号“100”近似。另外，对于视点d，第二按视点关键帧图像的位置“74”最近似，但是由于位于所确定的帧编号“100”之前，因此设为下一个近似的第三按视点关键帧图像的位置“134”与所确定的帧编号“100”近似。
像这样，当针对每个视点计算出近似的按视点关键帧图像44a的位置时，选择其中的与所确定的帧编号最近似的视点。在上述的例子中，与所确定的帧编号“100”近似的视点b被选择。
(5-3)当选择了按视点关键帧图像44a最接近的视点(在上述的例子中为视点b)时，计算该视点(视点b)与视线信息的距离。另外，计算正在再现的视点(视点a)与视线信息的距离。然后，将这两个距离中的较短一方的视点确定为要再现的视点，并提取与该视点对应的视点识别信息。即，在当前正在再现的视点(视点a)与视线信息近似的情况下，继续请求当前正在再现的视点(视点a)。另一方面，在视线信息在坐标上比当前正在再现的视点(视点a)更接近按视点关键帧被配置于与当前正在再现的帧接近的时刻的视点(视点b)的情况下，新请求该视点(视点b)的影像流44。
(6)在请求处理中，将该视点识别信息和所确定的帧编号发送到服务器12。服务器12当接收到视点识别信息以及帧编号时，将与该视点识别信息对应且以与所确定的帧编号相当的帧图像为起点的影像流44发送到用户终端14。
(7)用户终端14将所接收到的影像流44的与视线信息相应的位置显示于液晶显示器18的中心。
[第三实施方式]
上述的第一实施方式以及第二实施方式的用户终端14是一边接收一边再现从服务器12分发的影像流44的再现方式，但不限于该再现方式。第三实施方式不具备服务器12，按视点生成的影像流44以与视点信息对应的方式存储于用户终端14的存储器24。另外，这些多个影像流44的开头的按视点关键帧图像44a与第一实施方式以及第二实施方式同样地偏移，由此按视点关键帧图像44a被配置为在时间序列上相互不同步。而且，各视点的影像流44中的按视点关键帧图像44a的配置时刻被存储于用户终端14的存储器24。
在像这样的本实施方式中，在用户终端14中，将视线信息获取处理以及再现处理按此顺序来执行。
(1)视线信息获取处理是用户终端14的CPU 26基于来自角速度传感器22的输出来获取视线信息的处理，与第一实施方式、第二实施方式同样地获取侧倾角(α)、俯仰角(β)以及横摆角(γ)。
(2)在再现处理中，对值与上述的视线信息获取处理中获取到的视线信息近似的视点信息进行提取，并再现与提取出的视点信息对应的影像流44。
如上所述，用户终端14的CPU 26一边再现影像流44，一边与影像流44的帧频同步地执行视线信息获取处理以及再现处理以再现与通过用户对用户终端14进行操作所引起的视线变更对应的影像流44。
(4)视线信息获取处理与上述(1)的处理相同，是基于角速度传感器22的输出来获取视线信息(侧倾角(α)、俯仰角(β)以及横摆角(γ))的处理。
(5)再现处理是确定要再现的影像流44并进行再现的处理，设为用户终端14的CPU26选择按视点关键帧图像44a在时间序列上配置于正在再现的时间点附近的视点信息，并且基于所选择的该视点信息和在上述(4)中获取到的视线信息来选择要再现的影像流44。
(5-1)具体地说，确定正在再现的影像流44中的帧编号(下面记载为再现中帧编号)。
(5-2)接着，针对存储器24中存储的按视点的影像流44的各个影像流44，基于配置时刻来计算按视点关键帧图像44a的配置位置。然后，针对按视点的影像流44的各个影像流44计算到所计算出的关键帧图像的配置位置为止的帧数。即，计数从再现中帧编号到关键帧图像的配置位置为止的帧数，确定计数值最少的关键帧图像所在的按视点的影像流44，并提取与该按视点的影像流44对应的视点信息。
(5-3)接着，计算提取出的视点信息与在上述(4)中获取到的视线信息的距离。另外，计算正在再现的影像流44的视点信息与视线信息的距离。然后，将这两个距离中的较短一方的视点确定为要再现的视点，并对与该视点对应的影像流44进行再现。
即，在当前正在再现的影像流44的视点信息与用户的视线信息近似的情况下，继续再现当前正在再现的影像流44。另一方面，在按视点关键帧图像44a被配置于与当前正在再现的帧接近的时刻的视点信息相比于当前正在再现的视点信息而言在坐标上更接近用户的视线信息的情况下，新再现该视点信息的影像流44。
本发明不限定于上述的实施方式，也可以是下述那样的方式。
<变形例1>
在上述实施方式中，设为基于由摄像机10拍摄到的一组半天球图像来生成按视点的影像流44，但是也可以基于由摄像机10拍摄到的一组全天球图像来生成按视点的影像流。另外，不限定于半天球、全天球，也可以是将视角为45度的摄像机10作为观测点观察到的半径无穷大的虚拟的球面。像这样，本发明只要是基于由摄像机10拍摄到的一组天球的图像来生成按视点的影像流即可。
<变形例2>
在上述实施方式中，使用了拍摄现实世界的摄像机10，但也可以是拍摄虚拟世界的摄像机。
<变形例3>
在上述实施方式中，服务器12的获取处理、生成处理不是必需的处理，也可以在向用户终端14分发之前，与多个视点对应地预先准备影像流44并存储到存储器38中。
<变形例4>
在上述实施方式中，影像流44被排列为在各视点之间按视点关键帧图像44a在时间序列上不同步，但是例如也可以通过在影像流的开头连续地排列多个空白图像等与按视点关键帧图像、按视点差分帧不相关的图像来设为不同步。另外，也可以构成为在各视点间的影像流中按视点关键帧图像的排列间隔不同。例如，视点a的按视点关键帧图像每隔60帧配置，视点b的按视点关键帧图像每隔55帧排列，视点c的按视点关键帧图像每隔50帧排列，视点d的按视点关键帧图像每隔45帧排列，由此能够设为在时间序列上不同步。
<变形例5>
在上述第二实施方式中，关键帧的间隔是固定的，因此根据该间隔值和偏移值来定义排列列表，但是不限定于这样的方式。例如，也可以在关键帧的间隔为随机的情况下，将各影像流中的关键帧的位置(编号)列表与视点识别信息对应地进行存储。
<变形例6>
在上述实施方式中，构成为在通过用户对用户终端14进行了操作而引起视线变化时，将在时间序列上最接近的时刻包含按视点关键帧图像44a的影像流44选择为分发对象或再现对象，但是不限于最接近的时刻，也可以是选择在接近的时刻包含按视点关键帧图像44a的影像流44。
在此，“接近的时刻”是指：着眼于在位置上与正在分发或正在再现的影像流44的视点最近的视点的影像流44(最邻近视点的影像流44)，以从分发时刻(再现时刻)到该最邻近视点的影像流44的关键帧图像为止的帧计数为基准，比作为该基准的帧计数少。即，在按视点的影像流44的各个影像流44中，计算按视点关键帧图像44a的配置位置(配置时刻)，在分发时刻(再现时刻)前后的按视点关键帧图像44a的配置位置(配置时刻)比基准少的情况下，被选择为在时间序列上接近的时刻包含按视点关键帧图像44a的影像流44，并将所选择的影像流44a的视点信息与变化后的视线信息进行比较。
此外，上述作为基准的帧计数也可以是减去考虑了因网络环境而产生的分发延迟的帧数所得到的帧计数。
附图标记说明
1：运动图像分发系统；10：摄像机；12：服务器；14：用户终端；28：图像传感器(摄像部)；30：CPU；34：存储器；38：存储器；40：CPU。

Claims (11)

1.一种运动图像分发方法，其特征在于，包括以下步骤：
针对在以摄像机为观测点的天球上决定的多个视点中的每个视点，存储包含该天球的影像流；以及
分发步骤，对用户的终端分发所述影像流，
其中，在所述分发步骤中，分发与通过所述用户的终端确定的视线对应的所述天球上的最邻近的视点以外的所述视点的影像流。
2.根据权利要求1所述的运动图像分发方法，其特征在于，
所述影像流包含关键帧图像和差分帧图像，
一个视点的关键帧图像与其它视点的关键帧图像在时间序列上不同步。
3.根据权利要求2所述的运动图像分发方法，其特征在于，
在所述分发步骤中，在所述视线变化时，将所述关键帧图像在时间序列上接近地排列的视点的影像流设为最邻近的视点以外的所述视点的影像流。
4.根据权利要求2或3所述的运动图像分发方法，其特征在于，
所述其它视点的影像流中，排列有连续的多个关键帧图像。
5.根据权利要求2或3所述的运动图像分发方法，其特征在于，
在所述其它视点的影像流中，第一关键帧图像以与所述一个视点的影像流中的第一关键帧图像相比延迟的方式排列。
6.根据权利要求2或3所述的运动图像分发方法，其特征在于，
所述其它视点的影像流中的所述关键帧图像的排列间隔与所述一个视点的影像流中的关键帧图像的排列间隔不同。
7.一种运动图像分发装置，其特征在于，具备：
存储部，其针对在以摄像机为观测点的天球上决定的多个视点中的每个视点，存储包含该天球的影像流；以及
分发部，其对用户的终端分发所述影像流，
其中，所述分发部分发与通过所述用户的终端确定的视线对应的所述天球上的最邻近的视点以外的所述视点的影像流。
8.一种运动图像再现方法，其特征在于，包括以下步骤：
针对在以摄像机为观测点的天球上决定的多个视点中的每个视点，存储包含该天球的影像流；以及
再现步骤，在用户的终端中再现所述影像流，
其中，在所述再现步骤中，再现与通过所述用户的终端确定的视线对应的所述天球上的最邻近的视点以外的所述视点的影像流。
9.一种分发数据结构，具备影像流，所述影像流在中心部包含处于从特定的观测点投出的视线上的图像，在该中心部的外侧包含从该观测点拍摄到的天球的图像，
所述影像流包含第一影像流和第二影像流，
所述第一影像流在中心部包含处于从特定的观测点投出的第一视线上的视点的图像，
所述第二影像流在中心部包含处于从所述观测点投出的第二视线上的视点的图像。
10.一种分发数据结构，其特征在于，
所述第一影像流和所述第二影像流各自包含关键帧，
所述第一影像流的关键帧与所述第二影像流的关键帧在时间序列上不同步。
11.一种分发数据结构，包含所述第一影像流中的关键帧的时刻信息和所述第二影像流中的关键帧的时刻信息。
CN202180004347.1A 2020-02-29 2021-02-26 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构 Pending CN114207562A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020034530 2020-02-29
JP2020-034530 2020-02-29
PCT/JP2021/007303 WO2021172506A1 (ja) 2020-02-29 2021-02-26 動画配信方法、動画再生方法、動画配信装置、及び配信データ構造

Publications (1)

Publication Number Publication Date
CN114207562A true CN114207562A (zh) 2022-03-18

Family

ID=77491288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180004347.1A Pending CN114207562A (zh) 2020-02-29 2021-02-26 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构

Country Status (5)

Country Link
US (1) US20220368957A1 (zh)
EP (1) EP4124022A4 (zh)
JP (1) JPWO2021172506A1 (zh)
CN (1) CN114207562A (zh)
WO (1) WO2021172506A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001025023A (ja) * 1999-07-09 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 映像ストリーム配信方法、配信システムならびに該方法のプログラムを記録した記録媒体
JP2006332824A (ja) * 2005-05-24 2006-12-07 Casio Comput Co Ltd デジタルカメラ装置およびそのプログラム
JP2008252832A (ja) * 2007-03-30 2008-10-16 Sharp Corp 受信装置、データストリーム出力装置、放送システム、受信装置の制御方法、データストリーム出力装置の制御方法、制御プログラムおよび記録媒体
CN101420316A (zh) * 2007-10-19 2009-04-29 株式会社日立制作所 影像分发系统、影像中继装置
JP2013183209A (ja) * 2012-02-29 2013-09-12 Nagoya Univ 多視点映像ストリーム視聴システムおよび方法
JP6149967B1 (ja) * 2016-03-28 2017-06-21 大日本印刷株式会社 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
CN107004289A (zh) * 2014-12-12 2017-08-01 三菱电机株式会社 信息处理装置、动态图像再现方法以及动态图像再现程序
JP2017135464A (ja) * 2016-01-25 2017-08-03 キヤノン株式会社 映像送信装置、映像送信システム、映像送信方法、及びプログラム
CN107409233A (zh) * 2015-03-05 2017-11-28 索尼公司 图像处理装置和图像处理方法
CN110392202A (zh) * 2018-03-15 2019-10-29 株式会社理光 图像处理装置、摄影系统、图像处理方法
CN110786017A (zh) * 2017-11-29 2020-02-11 近江数码制造株式会社 分发图像生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57196948A (en) 1981-05-29 1982-12-03 Mitsubishi Electric Corp Floor suction port of electric cleaner
US10977764B2 (en) * 2015-12-29 2021-04-13 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US10620441B2 (en) * 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001025023A (ja) * 1999-07-09 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 映像ストリーム配信方法、配信システムならびに該方法のプログラムを記録した記録媒体
JP2006332824A (ja) * 2005-05-24 2006-12-07 Casio Comput Co Ltd デジタルカメラ装置およびそのプログラム
JP2008252832A (ja) * 2007-03-30 2008-10-16 Sharp Corp 受信装置、データストリーム出力装置、放送システム、受信装置の制御方法、データストリーム出力装置の制御方法、制御プログラムおよび記録媒体
CN101420316A (zh) * 2007-10-19 2009-04-29 株式会社日立制作所 影像分发系统、影像中继装置
JP2013183209A (ja) * 2012-02-29 2013-09-12 Nagoya Univ 多視点映像ストリーム視聴システムおよび方法
CN107004289A (zh) * 2014-12-12 2017-08-01 三菱电机株式会社 信息处理装置、动态图像再现方法以及动态图像再现程序
CN107409233A (zh) * 2015-03-05 2017-11-28 索尼公司 图像处理装置和图像处理方法
JP2017135464A (ja) * 2016-01-25 2017-08-03 キヤノン株式会社 映像送信装置、映像送信システム、映像送信方法、及びプログラム
JP6149967B1 (ja) * 2016-03-28 2017-06-21 大日本印刷株式会社 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
CN110786017A (zh) * 2017-11-29 2020-02-11 近江数码制造株式会社 分发图像生成方法
CN110392202A (zh) * 2018-03-15 2019-10-29 株式会社理光 图像处理装置、摄影系统、图像处理方法

Also Published As

Publication number Publication date
EP4124022A1 (en) 2023-01-25
US20220368957A1 (en) 2022-11-17
EP4124022A4 (en) 2024-03-06
JPWO2021172506A1 (zh) 2021-09-02
WO2021172506A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US11055901B2 (en) Method, apparatus, medium, and server for generating multi-angle free-perspective video data
US20170180680A1 (en) Object following view presentation method and system
JPH11261868A (ja) 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
KR100965947B1 (ko) 화상 처리 장치와 화상 처리 방법 및 화상 처리 프로그램 기록 매체
CN109691084A (zh) 信息处理装置和方法以及程序
CN108932051A (zh) 增强现实图像处理方法、装置及存储介质
JP2008048443A (ja) 魚眼レンズカメラ装置及びその画像抽出方法
US20210076081A1 (en) Video transmission method, client, and server
JP2006229768A (ja) 映像信号処理装置及び該方法並びに仮想現実感生成装置
US10764493B2 (en) Display method and electronic device
CN115668913A (zh) 现场演出的立体显示方法、装置、介质及系统
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
US9338429B2 (en) Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
JP2849313B2 (ja) 画像記録再生装置
US7034819B2 (en) Apparatus and method for generating an interleaved stereo image
CN114207562A (zh) 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构
CN111669569A (zh) 一种视频生成方法及装置、介质、终端
JP5509986B2 (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
JP2009181043A (ja) 映像信号処理装置、画像信号処理方法、プログラム、記録媒体
CN112312041A (zh) 基于拍摄的图像校正方法、装置、电子设备及存储介质
JP2005217902A (ja) 画像処理装置および画像処理方法
CN107835434B (zh) 赛事宽视角直播设备和相关联的直播系统和方法
CN113674433A (zh) 混合现实显示方法及系统
JP2021007231A (ja) 情報処理装置、情報処理システム、および画像処理方法
CN117830085A (zh) 视频转换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination