CN103190156A - 视频比特流的传输系统 - Google Patents

视频比特流的传输系统 Download PDF

Info

Publication number
CN103190156A
CN103190156A CN2011800456447A CN201180045644A CN103190156A CN 103190156 A CN103190156 A CN 103190156A CN 2011800456447 A CN2011800456447 A CN 2011800456447A CN 201180045644 A CN201180045644 A CN 201180045644A CN 103190156 A CN103190156 A CN 103190156A
Authority
CN
China
Prior art keywords
video
bit stream
mobile message
viewpoint
video bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800456447A
Other languages
English (en)
Inventor
笠井裕之
宇地原直史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gnzo Inc
Original Assignee
Gnzo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gnzo Inc filed Critical Gnzo Inc
Publication of CN103190156A publication Critical patent/CN103190156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

在能够自由地移动视听区域的高精细的视频信号的配送中，不依赖于用户的操作就决定并控制视点移动。包括：视频区域分割处理步骤，将输入视频信号的视频区域分割为规定数目的区域，且生成与通过所述分割而获得的各分割区域对应的多个区域分割视频信号；编码处理步骤，对所述多个区域分割视频信号进行编码，生成多个视频比特流；将在所述编码处理步骤中生成的多个视频比特流存储在视频比特流组存储部中的步骤；传输用比特流生成步骤，基于在所述视点移动信息决定步骤中生成的视点移动信息，从所述视频比特流组存储部提取所述视频比特流，从而生成传输用的视频比特流；以及视频比特流发送步骤，将在所述传输用比特流生成步骤中生成的所述传输用的视频比特流发送给接收装置。在所述视点移动信息决定步骤中，决定用于从所述视频区域中确定视听对象的区域的视点移动信息。此外，在所述视点移动信息决定中，基于既定的数据，不依赖于用户的指定，自动地决定所述视点信息。

Description

视频比特流的传输系统
技术领域
本发明涉及视频比特流的传输系统。本发明尤其涉及用于将与任意的视听区域对应的视频从发送装置配送到接收装置的技术。
背景技术
针对活动图像信息的高分辨率化、广视角化、高机能化，进行了多个研究开发。例如，下述非专利文献1提出了将从多个摄像机或全向摄像机取得的视频分割为多个区域并对其进行编码，并仅对用户所需的视点位置的区域视频进行解码并显示的系统。此外，下述非专利文献2提出了基于作为H.264/AVC的扩展标准的Multi-View Coding，实现对于从多个摄像机获得的高分辨率全景视频的访问的系统。在该技术中，也对输入视频进行分割后进行编码，并根据用户（客户机）所请求的视听区域而传输多个编码流，并进行解码、显示。
但是，下述非专利文献1和2均需要在客户机中进行多个流的同时解码以及同步显示。此外，虽然在非专利文献1中未提及传输方式，但在非专利文献2中还需要用于同时取得多个流的多个会话控制。这些导致了客户机中的处理的复杂性增加，因此尤其在智能手机等计算资源被限定的环境中难以利用多视觉服务（MultiVision service）。
因此，提出了不进行多个流的传输，而是在服务器侧对多个流进行结合后，进行单一流的传输的系统（下述非专利文献3以及专利文献1）。在该技术中，由于客户机仅对从配送服务器取得的单一流进行解码以及显示，因此能够避免多个流的同时解码、以及被解码后的视频信号的同步显示等复杂的处理。由此，在客户机中，能够利用以往的视频再现系统而同时再现多个视频。
在这些以往的系统中，用户能够对要显示的视频自由地移动并设定视听区域位置。因此，并不限定于近年的在因特网上的托管（On-demand）型的视频流技术那样的再现、暂停、倒转、快进等视频控制，能够进行在视频区域向纵方向或者横方向移动视听区域位置的操作。
现有技术文献
专利文献
非专利文献1：[1]S.Heymann,A.Smolic,K.Muller,Y.Guo,J.Rurainski,P.Eisert,and T.Wiegand,‘Representaion,Coding and Interactive Rendering orHigh-Resolution Panoramic Images and Video using MPEG-4,’Proc.PanoramicPhotogrammetry Workshop,Berlin,Germany,Feb.2005.
非专利文献2：[2]H.Kimata,S.Shimizu,Y Kunita,M.Isogai and Y.Ohtani,‘Panorama video coding for user-driven interactive video application,’IEEEInternational Symposium on Consumer Electronics,Kyoto,2009.
非专利文献3：[3]N.Uchihara,H.Kasai,‘Fast stream joiner fornext-generation interactive video,’IEEE International Conference on ConsumerElectronics(ICCE),2011,pp.319-320,9-12Jan.2011.
专利文献1：[4]特开2011-24018号公报
发明内容
发明要解决的课题
但是，所述的各个以往技术以视听用户主动选择视频的视听区域作为前提，基于由来自作为视频视听终端的客户机终端或者连接到客户机终端上的控制器设备的用户操作而决定的视点移动信息，决定了视听区域。但是，还可以想到如以往的电视视听那样被动地视听视频的用户不一定会积极地移动视点的情况。从而，认为在这些以往技术中，存在没有充分活用自由的视点移动功能的情况。
此外，根据视频的配送侧想要有效地配送广告等视频的要求，还存在想要积极地控制视听用户视听的视频区域的要求。但是，在至今为止的结构中，由于视听用户的视点移动操作成为起点，因此存在无法实现这样的要求的问题。
本发明鉴于这样的问题而完成，其目的在于，没有用户的明确的视点移动操作就决定用于决定视听区域的视点移动信息，并将其反映到配送的视频结构中。
用于解决课题的手段
为了解决上述课题，本发明将用于决定视点移动信息的处理从客户机上的用户界面分离出。此外，将进行所述决定的处理器在系统上的配置不限制于客户机上，也能够配置在视频配送服务器、或者外部的独立服务器上。
通过这样构成，在决定视点移动信息时，能够不依赖于用户的操作就能够决定，因此能够控制各种视点移动。
另外，在本发明中，用于决定视点移动信息的处理部可以编入接收装置以及发送装置中的其中任一个中，也可以编入除此之外的其他的服务器中。
发明效果
根据本发明，能够根据各种因素在系统侧自动地决定视点移动信息。例如，能够根据客户机终端的物理位置和周边状况、用户至今为止的操作历史、简档等，自动地决定视点移动。
此外，能够在配送服务器中决定视点移动信息，能够进行考虑了多个用户的视听历史和该视听用户的视听历史的细致的控制。
此外，能够积极地控制明确的或者含蓄的向广告视频的视点移动，能够构筑新的视频广告商业模式。
附图说明
图1是表示本发明的第1实施方式的传输系统的概要的概要图。
图2是表示本发明的第1实施方式的服务器（发送装置）的结构例的概要图。
图3是表示本发明的第1实施方式的客户机（接收装置）的结构例的概要图。
图4是表示本发明的第1实施方式的流程图的概要图。
图5是表示本发明的第2实施方式的服务器的结构例的概要图。
图6是表示本发明的第2实施方式的客户机的结构例的概要图。
图7是表示本发明的第2实施方式的流程图的概要图。
图8是表示本发明的第3实施方式的服务器的结构例的概要图。
图9是表示本发明的第3实施方式的客户机的结构例的概要图。
图10是表示本发明的第3实施方式的流程图的概要图。
图11是表示整体区域、视听区域、显示区域之间的关系的说明图。
图12是用于说明随着视点的移动的视听区域的变化的说明图。
具体实施方式
以下，说明用于实施发明的方式。另外，说明按照以下的顺序进行。
1．第1实施方式（在客户机中决定视点移动信息，并将该信息发送给视频配送服务器的例子）
2．第2实施方式（在视频配送服务器中决定视点移动信息，将该信息发送给客户机，并从客户机向视频配送服务器发回的例子）
3．第3实施方式（在视频配送服务器中决定视点移动信息，并直接在视频配送服务器中利用该信息的例子）
<1．第1实施方式>
在本实施方式（以下，又称为本例）中，说明将本发明的发送装置应用于服务器，将本发明的接收装置应用于便携电话终端的例子。其中，本发明的接收装置并不限定于便携电话终端，例如也可以应用于PDA（个人数字助理）或个人计算机、语音再现装置、游戏终端等具有通信功能以及使显示部显示视频的功能的各种装置。
另外，按照以下的顺序进行说明。
（1）传输系统的概要
（2）服务器的结构例
（3）客户机的结构例
（4）传输系统的动作例
[传输系统的概要]
首先，参照图1说明本例的传输系统的概要。
图1表示本实施方式的传输系统的概要。图1所示的传输系统由进行视频的配送的服务器1（相当于发送装置的一例）和客户机2（相当于接收装置的一例）构成。服务器1与客户机2经由网络3而连接。另外，在图1中仅显示了一个客户机2，但实际上构成为能够由多个客户机2通过网络3访问服务器1。
在服务器1上连接有未图示的由摄像装置构成的视频信号输入部，在视频信号输入部中获得的视频被输入到服务器1。
通过将在客户机2内部决定的视点移动信息发送给服务器1，服务器1生成与由一个以上的视频构成的整体的区域（以下，称为整体区域Aw）对应的视频（以下，称为整体区域视频）、以及与由视点移动信息指定的特定的区域（以下，称为视听区域Av）对应地决定的视频（以下，称为视听区域视频）。然后，服务器1将视听区域视频发送给客户机2。在客户机2中，在客户机2的显示区域（以下，称为显示区域Ad）显示发送来的视听区域视频的整体或其一部分。图11表示这些各区域之间的关系。另外，整体区域Aw由在图中通过小的四边形表示的分割区域（后述）的集合构成。视听区域Av也相同。其中，显示区域Ad由客户机2中的显示能力而决定，因此其决定为与分割区域的划分无关。
此外，该视点移动信息不仅包含视听区域视频中的上下左右方向的视点移动的信息，还包含用于放大或缩小视听区域视频的分辨率的信息。通过利用该视点移动信息来决定视听区域Av，在客户机2中能够以更高的分辨率视听画面内的特定的区域的视频，或者以更低的分辨率一次性俯视原始视频的整体图像或多个视频。
这样，在本实施方式中，在客户机2内的视点移动信息决定部中决定用于决定视听区域视频的大小与位置，或者用于放大或缩小视听区域视频的视点移动信息。在决定过程中，例如能够利用过去的该用户的视听历史、其他用户的视听历史、视听用户简档、多个视频之间的关联性、视频提供者对各视频的加权、视频内的目标的移动信息、或者当前的物理位置和场所信息等各种因素。对于这一点的伴随例示的详细的说明将在后面进行。
为了实现这样的功能，在服务器1中首先进行根据从视频信号输入部输入的原始的非压缩的视频而生成视频编码比特流（以下，又简称为比特流）的处理。
该视频编码比特流以各分割区域为单位而生成，所述各分割区域是将原始的视频的视频区域分割为一个以上的区域而获得。在以下的说明中，将对每个分割区域生成的比特流称为分割区域视频比特流。
服务器1预先生成这样的分割区域视频比特流，并预先存储在例如由HDD（硬盘驱动器）等存储装置构成的视频比特流组存储部40中。
此外，在服务器1中，与多个分辨率对应地生成该分割区域视频比特流。然后，将这样生成的与各分辨率对应的分割区域视频比特流预先存储在视频比特流组存储部40内。这里，如图1所示，视听区域视频比特流按照低、中、高的各分辨率存储（参照图1）。这一点与所述的非专利文献3以及专利文献1相同。
然后，服务器1提取与根据包含上下左右的位置、分辨率信息的视点移动信息确定的视听区域Av对应的分割区域视频比特流，并将由这些构成的比特流（以下，称为视听区域视频比特流）发送给客户机2。另外，在本实施方式中，如后所述，视听区域视频比特流构成为单一流。
由此，即使从多个客户机2发送了上下左右的位置、分辨率不同的各种视点移动信息的情况下，服务器1也能够提取与根据视点移动信息确定的区域以及分辨率对应的比特流而发送给客户机2。另外，本实施方式的网络3例如是因特网，但所使用的协议没有特别限制。
[服务器的结构例]
接着，参照图2，说明服务器1的结构例。图2是表示了服务器1的内部结构例的方框图。对服务器1连接有视频信号输入部10。此外，服务器1中包含视频区域分割处理部20、部分区域编码处理部30、视频比特流组存储部40、多流信息存储部50。
视频信号输入部10对服务器1输入视频信号，例如能够由广播用摄影机、监视摄影机或用于电视会议等的摄影机构成，但并不限制于此。视频信号输入部10例如也可以经由网络连接到服务器1。视频区域分割处理部20将由从视频信号输入部10输入的视频信号构成的视频区域分割为具有一个或者一个以上的分辨率的一个或一个以上的区域。
部分区域编码处理部30对由视频区域分割处理部20生成的各分辨率级别中的各分割区域的视频信号进行编码，从而生成分割区域视频比特流。这里进行的编码以在各分割区域之间没有对于移动矢量、量化系数以及量化参数等编码信息的预测关系的形态进行。作为编码方式，例如能够使用MPEG-2或MPEG-4SP、H.263、H264等，但并不限定于此。
视频比特流组存储部40将在部分区域编码处理部30中生成的多个分割区域视频比特流按照分辨率的每个等级而分类存储（参照图1）。
多流信息存储部50对与在部分区域编码处理部30中生成的各分割区域视频比特流的编码处理和质量有关的信息、以及用于表示各分割区域属于整体区域Aw中的哪个位置的位置信息进行管理。此外，多流信息存储部50对后述的视频元信息进行保存管理。另外，视频元信息只要保存在在本实施方式的系统中能够利用的场所即可，其保存场所未被特别限制。
接着，说明从客户机2发送的视点移动信息。在本实施方式的视点移动信息中包含以下的信息。
·对于整体区域Aw的视点的位置信息、或者位置的变化信息；
·分辨率信息、或者分辨率的变化信息。
再次返回图2继续说明，服务器1中包含视点信息接收部60、客户机状态管理部70、单一流生成部80、单一流发送部90。
视点信息接收部60接收从客户机2经由网络3发送的视点移动信息，从而将其提供给客户机状态管理部70。
客户机状态管理部70进行由视点信息接收部60所接收的视点移动信息的管理、对语音、活动图像等进行流配送时在与客户机2之间交换的控制数据（流协议标准消息）的发送接收等。
客户机状态管理部70进行作为发送状态信息而对客户机2的发送状态信息接收部208发送包含以下的信息中的其中一个或其全部的处理。
·表示在发送来的视听区域视频比特流中包含的视听区域Av在整体区域Aw内的位置的视听区域信息；
·对于整体区域Aw或视听区域Av中包含的视频的视频元信息。
在发送状态信息内，视听区域信息是在单一流生成部80内部决定的信息，如上所述，该视听区域信息包含视听区域Av相对于整体区域Aw的相对位置信息。以下，说明该相对位置信息的生成方法。整体区域Aw由多个分割区域视频构成，因此发送的视听区域Av的视频由构成整体区域Aw的多个分割区域视频的一部分构成。从而，能够采用为视听区域Av的位置是在整体区域Aw内由分割区域的边界线划分的位置（参照图11）。另一方面，由视点移动信息决定的显示区域Ad相对于整体区域Aw可自由地确定。因此，视听区域Av成为在由构成整体区域Aw的分割区域的一部分构成的部分区域中确定最佳的区域的信息。这里，最佳例如是指与由视点移动信息决定的显示区域Ad重叠的面积最大的情况。
另一方面，在发送状态信息内，视频元信息是在客户机侧在视点移动信息的决定中利用的信息，其包含与视频本身有关的信息和与视频的视听历史有关的信息。如下表示视频元信息的例子。
·用于表示在整体区域Aw内的哪个位置有怎样的视频的信息，例如在整体视频Aw由一个视频构成时，表示各位置上包含什么样的对象（建筑物、汽车、产品、人物等）的信息。
·在整体视频Aw由多个不同视频构成时，各视频的风格信息、演员信息、题目信息、视频制作者信息、语言信息、拍摄了视频的位置的信息、与内容相关联的位置的信息。
·用于表示当前或过去对整体区域Aw内的哪个视频区域什么用户视听了何种程度的频度信息、以及各用户对视频的评价信息（例如，5个阶段）。
·用于表示与客户机2的视听用户有关系的多个用户（所谓的朋友圈关系用户）当前或过去将该视频视听了何种程度的频度信息。
·当视频为广告的情况下，广告对象物的风格或产品信息、消费群体年龄或消费群体性别信息等信息。这些还可以进一步包含用户对于广告的视听历史信息。
客户机状态管理部70进一步在与客户机2的流客户机处理部203（后述）之间，交换基于流协议的消息。基于流协议的消息例如是用于请求视频信号的发送、暂停、停止等的控制消息、以及用于维持会话的消息等。
另外，在本例中，举例了将发送状态信息与视听区域视频比特流的分组分开发送的结构，但也可以是将发送状态信息存储在视频比特流的分组的报头部分后发送给客户机2的方式。此时，从单一流发送部90与单一流一并对客户机2发送发送状态信息，而非从客户机状态管理部70发送。相对于此，客户机2的视频流接收部201从报头部分取出发送状态信息，从而将其发送给视点移动信息决定部209（参照图3）。
再次返回图2继续说明。单一流生成部80从视频比特流组存储部40读取用于构成根据由视点信息接收部60接收到的视点移动信息而确定的视听区域Av的多个分割区域视频比特流（每个分割区域的特定分辨率的比特流）。然后，将读取到的多个比特流再构成为单一流而输出。作为该再构成的方法，能够利用所述的非专利文献3或专利文献1的技术，因此省略进一步具体的说明。
单一流发送部90对在单一流生成部80中生成的单一流进行分组化，并将分组化后的单一流发送给客户机2。
此外，本实施方式的服务器1包含语音信号输入部100-1～n、语音编码处理部110、元信息输入部120、语音编码比特流/语音元信息存储部130、语音比特流提取/混合处理部140、语音比特流发送部150。对此，由于能够利用所述的非专利文献3或专利文献1的技术，因此省略进一步具体的说明。
[客户机的结构例]
接着，参照图3的方框图，说明客户机2的内部结构例。在客户机2中包含视频流接收部201、视频解码部202、流客户机处理部203、客户机管理部204、语音流接收部205、语音解码部206、语音输出部207。这些结构要素例如可与专利文献1中记载的技术一样构成，因此省略详细的说明。
此外，客户机2包含发送状态信息接收部208、视点移动信息决定部209、视点信息发送部210、视频显示控制部212、视频显示部213、用户/终端信息管理部230。
发送状态信息接收部208接收从服务器1发送的发送状态信息、即视听区域Av相对于整体区域Aw的位置信息，从而发送给视点移动信息决定部209。视点移动信息决定部209基于在发送状态信息接收部208接收到的发送状态信息中包含的视频元信息、从用户/终端信息管理部230输入的用户/终端信息，自动地生成视点移动信息，而非使用用户界面由用户来指定。然后，视点移动信息决定部209将所生成的视点移动信息输出给视点信息发送部210。作为决定方法的例子，可考虑以下的方法。
（1）[基于画面内对象的位置和移动的视点移动]
此时，利用用于表示整体区域Aw内的哪个位置有什么样的视频的信息来决定视点移动信息。这里，作为在视频内受到关注的信息，例如在整体视频Aw由一个视频构成的情况下是用于表示各位置上包含什么样的对象（建筑物、汽车、产品、人物等）的信息。进一步说明具体的例子，在足球视频的配送服务中，假设将俯视了比赛场整体的视频进行配送的定点视频配送服务的情况下，在整体区域Aw的画面内，多个选手参赛。对画面内的各选手和足球分别赋予位置信息。根据该位置信息，能够自动地决定视点移动信息，以便以特定的选手和足球为中心的视频成为视听区域Av的中心。或者，在没有对象的位置信息的情况下，也通过在客户机内自动检测对象的位置，并基于检测到的对象的位置，能够决定视点移动信息。作为来自接收视频的高速的对象识别技术，可利用在Wei Zeng,Jun Du,Wen Gao,‘Qingming Huang.Robust moving object segmentation on H.264/AVC compressed video using theblock-based MRF model,’Real-Time Imaging,pp.290-299,2005等中表示的技术，因此省略对此进行详细的说明。
（2）[基于视频类型或演员信息的视点移动]
当整体视频Aw由多个不同的视频构成的情况下，元信息可具有构成整体视频Aw的各视频的风格信息和演员信息、题目信息、视频制作者信息、语言信息。例如，假设连续剧视频配送服务或音乐乐曲的宣传视频配送服务等服务。此时，能够基于作为发送状态信息而从服务器1对客户机2发送的用户视听历史信息、简档信息、或者存储在客户机2中的用户历史信息、简档信息，按用户喜欢的连续剧类型或艺术家的顺序来决定视点移动信息。另外，其排序可设为如下的顺序：（a）根据对于至今存储的视听历史中包含的各类型或艺术家的视听频度信息，简单地对每个视频进行排序而获得的顺序；或者（b）根据类型或艺术家的属性信息而聚类并分组后，对视频的每个组进行排序而获得的顺序。作为该排序的实现方式，一般通过基于内容的过滤（content-based filtering）技术来实现（参照：Collaborative and Content-basedFiltering for Item Recommendation on Social Bookmarking Websites.T.Bogersand A.Van den Bosch.In:Proceedings of the ACM RecSys’09workshop onRecommender Systems and the Social Web,pages9-16,2009）
（3）[基于位置信息的视点移动]
假设整体视频Aw由多个不同的视频构成，且各视频具有拍摄位置信息的视频服务。该视频服务例如用于用户投稿型的视频共享服务、由旅游节目为代表的视频配送服务、或者自治团体配送的观光视频配送服务中。以可使用GPS等而自动取得的客户机2的当前的位置信息为关键，考虑构成整体视频Aw的视频的位置信息和客户机2的物理位置之间的关系，决定用于移动视听区域Av的视点移动信息。按照离客户机2的当前位置的距离由近到远的顺序对视频组进行排序，并按照该顺序移动视频之间，因此能够决定视点移动信息。
（4）[基于其他用户的视听频度的视点移动]
假设对整体区域Aw内的各视频区域（分割视频）赋予用于表示当前或过去客户机2的用户以外的用户视听了何种程度的频度信息、以及各用户对视频的评价信息（例如，5个阶段）。此时，通过考虑视听频度与评价信息，算出分割视频的顺序，能够自动地确定应视听的视频。例如，通过简单将视听频度与评价信息相乘，能够算出用于确定每个分割视频的顺序的指标。进而，通过利用用于表示与客户机2的视听用户有关系的多个用户（朋友圈关系用户）当前视听哪个视频、或者过去视听了何种程度的频度，决定最佳的移动路径。由此，能够决定视点移动信息。
（5）[包含广告视频的视频配送服务中的视点移动]
在上述的各种视频配送服务和系统中，假设包含广告视频的视频配送服务。此时，基于广告对象物的风格、产品信息、消费群年龄、消费群性别信息等、以及视听用户的简档，能够决定视点移动信息。
另外，在上述的情形（1）～（5）均在决定视点移动信息时，需要考虑对于构成视听区域Av的分割视频的每一个的“合理性”（例如，在位置的例子中，拍摄了视频的物理位置与客户机2当前存在的物理位置的贴近度）、以及在整体视频Aw内的分割视频的贴近度即画面内的移动距离而最有效地移动视频之间。本课题从以往开始作为旅行商问题（Traveling Salesman Problem）而研究，提出了多个算法（例如，参照Hassin,R.;Rubinstein,S.(2000),‘Betterapproximations for max TSP’,Information Processing Letters75:pp.181-186）。
这里，从用户/终端信息管理部230输入的用户/终端信息例如是指过去的该用户的视听历史和用户简档等的用户信息、当前的客户机工作的终端的物理位置和场所信息、使用中的CPU信息等的信息，但并不限定于此。
视点信息发送部210将在视点移动信息决定部209中决定的视点移动信息发送给服务器1。
视点移动信息决定部209将在视点移动信息决定部209内部决定的视点移动信息、以及构成来自服务器1的发送状态信息的用于表示视听区域Av相对于整体区域Aw的位置信息的视听区域信息输出给显示控制部212。
对显示控制部212输入在视频解码部202中解码后的视听区域视频比特流的解码视频信号（以下，称为视听区域解码信号）。此外，从视点移动信息决定部209对显示控制部212输入用于表示该视听区域解码信号的位置的视听区域信息。显示控制部212利用视听区域信息与视点移动信息，将视听区域解码信号换算为显示区域Ad内的位置，从而调整显示位置。此后，显示控制部212将调整了显示位置的解码视频信号（以下，称为显示区域解码信号）输出给显示部213。
显示部213例如由LCD（液晶显示器）或有机EL（电致发光）面板等构成，将从显示控制部212提供的显示区域解码信号作为图像而显示在显示画面上。
通过进行这样的处理，即使用户不通过界面等有意移动视听区域，也会自动地变更视频的视听区域和分辨率，因此通过被动的各种视频的视听也能够发现新的视频。
[传输系统的动作例]
接着，参照图4的流程图来说明本例的传输系统的服务器1与客户机2的处理例。首先，服务器1取得从视频信号输入部10输出的视频信号（步骤SA1）。接着，视频区域分割处理部20将在步骤SA1中取得的视频分割为一个以上的区域（步骤SA2）。然后，部分区域编码处理部30根据构成被分割的各区域的视频信号，生成分辨率不同的多个比特流，并将其存储在视频比特流组存储部40（步骤SA3）。
接着，客户机2发送用于对服务器1请求发送比特流的发送请求和初始的视点移动信息（步骤SA4）。
服务器1的客户机状态管理部70接收发送请求，如果视点信息接收部60接收初始视点移动信息（步骤SA5），则单一流生成部80从视频比特流组存储部40提取比特流。然后，单一流发送部90将所提取的比特流发送给客户机2（步骤SA6）。图12（a）表示基于初始视点移动信息而确定的显示区域Ad的例子。在本例中，与初始的显示区域Ad的范围对应地，单一流生成部80确定包含该范围的视听区域Av。如上所述，该视听区域Av由多个分割区域构成。因此，单一流生成部80确定与各分割区域对应的视频比特流，并将它们连接，从而能够生成应发送的单一流。
在客户机2中，视频流接收部201接收比特流，视频解码部202对比特流进行解码，由显示控制部212将解码而获得的显示区域解码信号作为图像而显示在显示部213（步骤SA7）。
这里，在客户机2中的视点移动信息决定部209生成了新的视点移动信息时（步骤SA8），视点信息发送部210将所生成的视点移动信息发送给服务器1（步骤SA9）。
此后，若在服务器1的视点信息接收部60接收了视点信息，则同样生成单一流，并能够进行对客户机2的发送。然后，客户机2能够将所接收到的流继续呈献给用户（步骤SA6～步骤S9）。在图12（b）中，通过视点移动，显示区域Ad在视听区域Av的范围内移动。但是，在该阶段，由于显示区域Ad在视听区域Av的范围内，因此无需更新与视听区域Av对应的视听区域视频比特流。另一方面，在图12（c）中，通过视点移动，显示区域Ad在视听区域Av的范围外移动。在该状态下，由于显示区域Ad是视听区域Av的范围外，因此设定新的视听区域Av，并与此对应地更新视听区域视频比特流。
[第1实施方式的效果]
根据上述的第1实施方式，即使用户不通过界面等有意地移动视听区域，在客户机2内部也自动地变更视频的视听区域和分辨率，因此通过被动的各种视频的视听，也能够发现新的视频。此外，以在客户机2的内部封闭的形式实现本控制，从而不会对至今为止的服务器结构和动作、服务器/客户机之间的信号、控制、客户机结构的大部分带来影响就能够获得所述的效果。
<2．第2实施方式>
接着，说明本发明的第2实施方式。在本实施方式中，说明由服务器来实施视点移动信息的决定，且将该信息经由客户机返回到服务器的例子。在本实施方式的说明中，对于与所述的第1实施方式基本相同的要素，赋予相同标号，从而避免了说明的繁杂。
另外，按照以下顺序进行说明。
（1）传输系统的概要
（2）服务器的结构例
（3）客户机的结构例
（4）传输系统的动作例
[传输系统的概要]
首先，通过与图1的对比来说明本例的传输系统的概要。
在图1中，视点移动信息从客户机2送到服务器1。相对于此，在本实施方式中，在服务器1中决定视点移动信息，并将该信息发送给客户机2。此后的处理与所述的第1实施方式相同。
服务器1在其内部持有视点移动信息决定部，在该决定部中决定视点移动信息后，将其发送给客户机2。视点移动信息的决定能够与所述的第1实施方式一样进行。此外，在该第2实施方式中，通过在服务器内决定视点移动信息，能够有效地实施视点移动信息。例如，可使用如下的技术：在服务器内决定视点移动信息的情况下，分析大量用户的大量的视听历史，从而利用具有相同喜好的用户之间的特性的协调过滤（collaborative filtering）技术（参照：Collaborative and Content-based Filtering for Item Recommendation on SocialBookmarking Websites.T.Bogers and A.Van den Bosch.In:Proceedings of theACM RecSys’09workshop on Recommender Systems and the Social Web,pages9-16,2009.）。
在客户机2中，基于从服务器1接收到的视点移动信息而进行显示控制，且在客户机2中，显示与显示区域Ad对应的图像，同时将该视点移动信息返回给服务器1。之后的服务器1的处理与实施例1相同。
[服务器的结构例]
接着，参照图5，说明服务器1的结构例。图5是表示了服务器1的内部结构例的方框图。本实施方式的服务器1与上述的第1实施方式的不同点在于，还包含视点移动信息决定部150。
在视点移动信息决定部150中决定的视点移动信息经由视点移动信息发送部160而发送到客户机2。
[客户机的结构例]
接着，参照图6，说明客户机2。客户机2中包含发送状态信息接收部208、视点区域管理部2209、视点信息发送部210、显示控制部212、显示部213、视点移动信息接收部220，但该客户机2与第1实施方式不同，不具有视点移动信息决定部。
发送状态信息接收部208接收从服务器1发送的发送状态信息、即作为视听区域Av相对于整体区域Aw的相对位置信息的视听区域信息，并将其输出给视点区域管理部2209。
视点移动信息接收部220从服务器1接收视点移动信息，并将其输出给视点区域管理部2209。
视点区域管理部2209将来自视点移动信息接收部220的视点移动信息输出给视点信息发送部210。
视点信息发送部210将由视点区域管理部2209接收的视点移动信息发送给服务器1。
视点区域管理部2209将在由发送状态信息接收部208接收的发送状态信息中包含的视听区域信息、以及经由视点移动信息接收部220接收的来自服务器的视点移动信息发送给显示控制部212。
[传输系统的动作例]
接着，参照图7的流程图来说明本例的传输系统的服务器1与客户机2的处理的例子。首先，由服务器1取得从视频信号输入部10输出的视频信号（步骤SB1）。接着，视频区域分割处理部20将在步骤SB1中取得的视频分割为一个以上的区域（步骤SB2）。然后，部分区域编码处理部30根据用于构成被分割的各区域的视频信号而生成分辨率不同的多个比特流，并将其存储在视频比特流组存储部40（步骤SB3）。
接着，客户机2对服务器1发送发送请求，以便其发送比特流（步骤SB4）。
服务器1的客户机状态管理部70如果接受到发送请求（步骤SB5），则由单一流生成部80从视频比特流组存储部40提取由初始视点移动区域确定的比特流，并由单一流发送部90对客户机2发送所提取的视听区域视频比特流（步骤SB6）。
在客户机2中，由视频流接收部201接受视听区域视频比特流，视频解码部202对比特流进行解码，由显示控制部212将解码而获得的显示区域解码信号作为图像而显示在显示部213（步骤SB7）。
这里，当由服务器1的视点移动信息决定部150生成了视点移动信息时（步骤SB8），经由服务器1的视点移动信息发送部160，将视点移动信息发送给客户机2（步骤SB9）。如果视点移动信息决定部150不生成视点移动信息，则继续发送当前的比特流（单一流）（步骤12）。
客户机2将接收到的视点移动信息立即发送给服务器1（步骤SB10）。
若在服务器1的视点信息接收部60中接收视点移动信息，则由单一流生成部80从视频比特流组存储部40提取由视点移动信息确定的多个比特流（步骤SB11），生成视听区域视频比特流，并进一步由单一流发送部90发送给客户机2（步骤SB12）。
在客户机2中，由视频解码部202对由视频流接收部201接收到的单一流进行解码，并由显示控制部212将解码而获得的视听区域解码信号进行位置调整并作为显示区域解码信号而显示在显示部213（步骤SB7）。
在服务器1中，为了检测是否与以上一样有视点移动信息生成，转移到步骤SB8（步骤SB12→步骤SB8）。
[第2实施方式的效果]
根据上述的第2实施方式，即使用户不通过界面等而有意地移动视听区域，也能够在客户机2内部自动地变更视频的视听区域和分辨率，因此即便通过被动的各种视频的视听，也能够发现新的视频。特别是由于在服务器侧能够决定视点移动信息，因此能够简单地实现基于其他用户的视听历史或视频信息的特性等各种大量的信息而考虑的细微的移动控制。此外，将该信息发送给客户机，此后与所述的第1实施方式一样动作，因此不会对服务器和客户机的主要的结构和动作、服务器/客户机之间的信号和控制带来较大的变更就能够获得所述的效果。
另外，第2实施方式中的其他的动作和优点与所述的第1实施方式基本相同，因此省略进一步详细的说明。
此外，在该第2实施方式中，将视点移动信息决定部包含在服务器1中，但也可以是将视点移动信息决定部包含在服务器1以外的其他服务器中的结构。此时的结构与动作能够通过以上的记载来理解，因此省略详细的说明。
<3．第3实施方式>
接着，说明本发明的第3实施方式。在本实施方式中，说明在服务器中实施视点移动信息的决定，且不会将该信息发送给客户机2，而是用于服务器内的比特流提取处理的例子。在本实施方式的说明中，对于与所述的第1实施方式基本相同的要素，赋予相同标号，从而避免说明繁杂。
另外，按照以下的顺序进行说明。
（1）传输系统的概要
（2）服务器的结构例
（3）客户机的结构例
（4）传输系统的动作例
[传输系统的概要]
首先，通过与图1的对比来说明本例的传输系统的概要。
在图1中，从客户机2对服务器1发送了视点移动信息。相对于此，在该第3实施方式中，在服务器1中决定视点移动信息，并将该信息直接用于服务器1内的单一流生成部。在客户机2与服务器1之间不进行视点移动信息的发送接收。
服务器1在其内部持有视点移动信息决定部。该视点信息决定部的结构可以与所述的第2实施方式相同。
在服务器1中决定的视点移动信息经由客户机状态管理部而输出到单一流生成部，并提取了对应的比特流之后，生成视听区域视频比特流，并将其发送给客户机2。
[服务器的结构例]
接着，参照图8说明服务器1的结构例。图8是表示了服务器1的内部结构例的方框图。与所述的第1实施方式的不同点在于，本实施方式的服务器1还具有视点移动信息决定部150。
视点移动信息决定部150决定视点移动信息，并将其输出给客户机状态管理部70。
客户机状态管理部70将视点移动信息输出给单一流生成部80。此后的处理与第1和第2实施方式相同。
但是，在本实施方式中，由客户机状态管理部70对客户机2发送的发送状态信息中，不仅包含作为视听区域Av相对于整体区域Aw的相对位置信息的视听区域信息，还包含视点移动信息。
[客户机的结构例]
接着，参照图9说明客户机2。在客户机2中，包含发送状态信息接收部208、视点区域管理部3209、显示控制部212、显示部213，但不存在用于发送视点移动信息的处理部。
客户机2的发送状态信息接收部208接收从服务器1发送的发送状态信息、即视听区域Av相对于整体区域Aw的相对位置信息和视点移动信息，并将其输出给视点区域管理部3209。
视点区域管理部3209与由发送状态信息接收部208接收到的用于表示视听区域Av相对于整体区域Aw的位置信息的视听区域信息相同地将视点移动信息输出给显示控制部212。此外，从视点移动信息决定部209对显示控制部212输入用于表示该视听区域解码信号的位置的视听区域信息。显示控制部212利用视听区域信息与视点移动信息，将视听区域解码信号换算为显示区域Ad内的位置，从而进行显示位置的调整。此后，显示控制部212将调整了显示位置的解码视频信号（以下，称为显示区域解码信号）输出到显示部213。
[传输系统的动作例]
接着，参照图10的流程图说明本例的传输系统的服务器1与客户机2的处理的例子。首先服务器1取得从视频信号输入部10输出的视频信号（步骤SC1）。接着，视频区域分割处理部20将在步骤SC1中取得的视频分割为一个以上的区域（步骤SC2）。然后，部分区域编码处理部30根据用于构成分割后的各区域的视频信号，生成分辨率不同的多个比特流，并将其存储在视频比特流组存储部40（步骤SC3）。
接着，客户机2对服务器1发送发送请求，以便其发送比特流（步骤SC4）。
这里，在服务器1中，进行基于既定的初始视点移动信息而确定的比特流的提取，并由单一流生成部80构成单一流，并由单一流发送部90发送给客户机2（步骤SC6）。
在客户机2中，由视频解码部202对由视频流接收部201接收的单一流进行解码，并由显示控制部212将解码而获得的视听区域解码信号进行位置调整并作为显示区域解码信号而显示在显示部213（步骤SC7）。
这里，服务器1的视点移动信息决定部150生成视点移动信息（步骤SC8），由单一流生成部80从视频比特流组存储部40提取根据视点移动信息而确定的多个比特流（步骤SC9），生成视听区域视频比特流，并进一步由单一流发送部90发送给客户机2（步骤SC10）。
此外，在上述视频的显示过程中，视点移动信息决定部150随时生成视点移动信息，并将其反映到单一流生成部80的动作中（步骤SC10→步骤SC8）。
[第3实施方式的效果]
根据上述的第3实施方式，即使用户不通过界面等而有意地移动视听区域，也能够在客户机2内部自动地变更视频的视听区域和分辨率，因此即便通过被动的各种视频的视听，也能够发现新的视频。特别是针对视点移动信息，由于在服务器、客户机之间不用进行发送接收，全部在服务器侧决定，并反映到视听区域视频，因此如以往的电视广播那样简化了客户机侧的处理。
另外，本发明并不限定于所述的实施方式，在不脱离本发明的宗旨的范围内可施加各种变更。
例如，在本实施方式中，设由视点移动信息决定部自动地决定视点移动信息，但也可以与其并用，也可以设为能够从客户机上的用户界面操作视点移动信息的结构。其中的其他的结构和优点与所述的第1实施方式或第2实施方式相同，因此省略其详细的说明。

Claims (8)

1.一种传输系统，其具有发送装置和视点移动信息决定部，其中，
所述发送装置包含：
视频区域分割处理部，将输入视频信号的视频区域分割为规定数目的区域，且生成与通过所述分割而获得的各分割区域对应的多个区域分割视频信号；
编码处理部，对所述多个区域分割视频信号进行编码，生成多个视频比特流；
视频比特流组存储部，存储在所述编码处理部中生成的多个视频比特流；
传输用比特流生成部，基于在所述视点移动信息决定部中生成的视点移动信息，从所述视频比特流组存储部提取所述视频比特流，从而生成传输用的视频比特流；以及
视频比特流发送部，将在所述传输用比特流生成部中生成的所述传输用的视频比特流发送给所述接收装置，
所述视点移动信息决定部决定用于从所述视频区域中确定视听对象的区域的视点移动信息，
此外，所述视点移动信息决定部基于既定的数据，不依赖于用户的指定，自动地决定所述视点信息。
2.如权利要求1所述的传输系统，其中，
还具有接收装置，
所述视点移动信息决定部包含于所述接收装置中，
所述视点移动信息决定部将所决定的视点移动信息发送给所述发送装置。
3.如权利要求1所述的传输系统，其中，
所述视点移动信息决定部包含于所述发送装置中。
4.如权利要求1所述的传输系统，其中，
所述视点移动信息决定部作为所述发送装置以外的其他的服务器的一部分而被包含。
5.如权利要求1至4的任一项所述的传输系统，其中，
所述既定的数据是过去的该用户的视听历史、其他用户的视听历史、视听用户简档、多个区域分割视频之间的关联性、由视频提供者赋予的对各区域分割视频的权重、在所述视频区域内的对象的移动信息、用户当前的物理位置、或者对所述位置附加的信息中的任一个。
6.一种发送装置，包含：
视频区域分割处理部，将输入视频信号的视频区域分割为规定数目的区域，且生成与通过所述分割而获得的各分割区域对应的多个区域分割视频信号；
编码处理部，对所述多个区域分割视频信号进行编码，生成多个视频比特流；
视频比特流组存储部，存储在所述编码处理部中生成的多个视频比特流；
所述视点移动信息决定部，决定用于从所述视频区域中确定视听对象的区域的视点移动信息；
传输用比特流生成部，基于在所述视点移动信息决定部中生成的视点移动信息，从所述视频比特流组存储部提取所述视频比特流，从而生成传输用的视频比特流；以及
视频比特流发送部，将在所述传输用比特流生成部中生成的所述传输用的视频比特流发送给所述接收装置，
此外，所述视点移动信息决定部基于既定的数据，不依赖于用户的指定，自动地决定所述视点信息。
7.一种传输方法，其中，所述传输方法包括：
视频区域分割处理步骤，将输入视频信号的视频区域分割为规定数目的区域，且生成与通过所述分割而获得的各分割区域对应的多个区域分割视频信号；
编码处理步骤，对所述多个区域分割视频信号进行编码，生成多个视频比特流；
将在所述编码处理步骤中生成的多个视频比特流存储在视频比特流组存储部中的步骤；
传输用比特流生成步骤，基于在所述视点移动信息决定步骤中生成的视点移动信息，从所述视频比特流组存储部提取所述视频比特流，从而生成传输用的视频比特流；以及
视频比特流发送步骤，将在所述传输用比特流生成步骤中生成的所述传输用的视频比特流发送给接收装置，在所述视点移动信息决定步骤中，决定用于从所述视频区域中确定视听对象的区域的视点移动信息，
此外，在所述视点移动信息决定中，基于既定的数据，不依赖于用户的指定，自动地决定所述视点信息。
8.一种计算机程序，其使计算机执行权利要求7所述的方法。
CN2011800456447A 2010-09-24 2011-09-21 视频比特流的传输系统 Pending CN103190156A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38623410P 2010-09-24 2010-09-24
US61/386,234 2010-09-24
PCT/JP2011/071416 WO2012039404A1 (ja) 2010-09-24 2011-09-21 映像ビットストリームの伝送システム

Publications (1)

Publication Number Publication Date
CN103190156A true CN103190156A (zh) 2013-07-03

Family

ID=45873888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800456447A Pending CN103190156A (zh) 2010-09-24 2011-09-21 视频比特流的传输系统

Country Status (7)

Country Link
US (1) US20130223537A1 (zh)
EP (1) EP2621167A4 (zh)
JP (1) JP5544426B2 (zh)
KR (1) KR20130108311A (zh)
CN (1) CN103190156A (zh)
SG (1) SG188630A1 (zh)
WO (1) WO2012039404A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065972A1 (zh) * 2014-10-31 2016-05-06 广州市动景计算机科技有限公司 产生视频帧集合的方法、设备及服务器
CN111711859A (zh) * 2020-06-28 2020-09-25 北京奇艺世纪科技有限公司 一种视频图像处理方法、系统及终端设备
CN113542747A (zh) * 2020-04-21 2021-10-22 株式会社东芝 服务器装置、通信系统以及存储介质
CN115379244A (zh) * 2016-05-16 2022-11-22 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
US12034984B2 (en) 2016-05-10 2024-07-09 Google Llc Method and apparatus for a virtual online video channel

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5818323B2 (ja) * 2012-07-13 2015-11-18 日本電信電話株式会社 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
JP5923021B2 (ja) * 2012-10-05 2016-05-24 日本電信電話株式会社 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム
JP6015493B2 (ja) 2013-02-27 2016-10-26 ブラザー工業株式会社 端末装置、及びプログラム
JP2014165841A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 情報処理装置及び情報処理方法
JP5942932B2 (ja) * 2013-07-04 2016-06-29 ブラザー工業株式会社 端末装置、及びプログラム
JP5942933B2 (ja) * 2013-07-04 2016-06-29 ブラザー工業株式会社 端末装置、及びプログラム
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
KR101826704B1 (ko) 2013-09-13 2018-02-08 인텔 코포레이션 비디오 프로덕션 공유 장치 및 방법
JP6178705B2 (ja) * 2013-11-15 2017-08-09 日本電信電話株式会社 映像配信システム、映像配信装置及び映像配信プログラム
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
JP6359993B2 (ja) * 2015-03-09 2018-07-18 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
JP6566698B2 (ja) * 2015-04-13 2019-08-28 キヤノン株式会社 表示制御装置および表示制御方法
JP6236573B2 (ja) * 2015-05-01 2017-11-22 株式会社電通 自由視点映像データ配信システム
JP6037354B1 (ja) * 2015-06-03 2016-12-07 独立行政法人日本スポーツ振興センター 動画伝送サーバ
JP2017022529A (ja) 2015-07-09 2017-01-26 キヤノン株式会社 通信システム、通信装置、通信方法、及び、プログラム
US9824723B1 (en) * 2015-08-27 2017-11-21 Amazon Technologies, Inc. Direction indicators for panoramic images
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
CN109792537B (zh) * 2016-09-29 2023-06-23 皇家飞利浦有限公司 用于提供图像的装置和方法以及图像处理装置和系统
WO2018070092A1 (ja) * 2016-10-11 2018-04-19 ソニー株式会社 情報提供装置と情報提供方法および情報再生装置と情報再生方法
US10499066B2 (en) 2017-04-14 2019-12-03 Nokia Technologies Oy Method and apparatus for improving efficiency of content delivery based on consumption data relative to spatial data
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
JP7280495B2 (ja) * 2019-04-01 2023-05-24 日本電信電話株式会社 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム
CN110602506B (zh) * 2019-09-25 2023-04-28 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
US12113947B2 (en) * 2020-02-10 2024-10-08 Sony Group Corporation Image processing apparatus, image processing method, and program for viewpoint transition control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497983A (zh) * 2002-10-09 2004-05-19 松下电器产业株式会社 动图像编码方法和动图像编码装置
CN1655620A (zh) * 2004-02-09 2005-08-17 三洋电机株式会社 图像编码装置、图像译码装置、图像显示装置
US20060050973A1 (en) * 2004-09-03 2006-03-09 Canon Kabushiki Kaisha Image communication system, server apparatus, and image communication method
CN101167365A (zh) * 2005-03-09 2008-04-23 高通股份有限公司 用于视频电话的感兴趣区域处理
US20090300701A1 (en) * 2008-05-28 2009-12-03 Broadcom Corporation Area of interest processing of video delivered to handheld device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4514464B2 (ja) * 2004-02-09 2010-07-28 三洋電機株式会社 画像符号化装置および画像復号装置、ならびにそれらを利用可能な画像表示装置および方法
US20060078046A1 (en) * 2004-10-13 2006-04-13 Aegison Corp. Method and system for multi-path video delivery and distribution
US8977063B2 (en) * 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
US7653252B2 (en) * 2005-09-22 2010-01-26 Compressus, Inc. Method and apparatus for boundary-based image compression
CN102090063A (zh) * 2008-07-11 2011-06-08 三洋电机株式会社 图像处理装置以及使用其的摄像装置
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
JP5089658B2 (ja) 2009-07-16 2012-12-05 株式会社Ｇｎｚｏ 送信装置及び送信方法
US8755441B2 (en) * 2010-05-10 2014-06-17 Canon Kabushiki Kaisha Region of interest-based video transfer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1497983A (zh) * 2002-10-09 2004-05-19 松下电器产业株式会社 动图像编码方法和动图像编码装置
CN1655620A (zh) * 2004-02-09 2005-08-17 三洋电机株式会社 图像编码装置、图像译码装置、图像显示装置
US20060050973A1 (en) * 2004-09-03 2006-03-09 Canon Kabushiki Kaisha Image communication system, server apparatus, and image communication method
CN101167365A (zh) * 2005-03-09 2008-04-23 高通股份有限公司 用于视频电话的感兴趣区域处理
US20090300701A1 (en) * 2008-05-28 2009-12-03 Broadcom Corporation Area of interest processing of video delivered to handheld device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065972A1 (zh) * 2014-10-31 2016-05-06 广州市动景计算机科技有限公司 产生视频帧集合的方法、设备及服务器
US10313712B2 (en) 2014-10-31 2019-06-04 Guangzhou Ucweb Computer Technology Co., Ltd. Method, device, and server for producing video frame set
US12034984B2 (en) 2016-05-10 2024-07-09 Google Llc Method and apparatus for a virtual online video channel
CN115379244A (zh) * 2016-05-16 2022-11-22 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
CN115379244B (zh) * 2016-05-16 2024-01-30 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
CN113542747A (zh) * 2020-04-21 2021-10-22 株式会社东芝 服务器装置、通信系统以及存储介质
CN111711859A (zh) * 2020-06-28 2020-09-25 北京奇艺世纪科技有限公司 一种视频图像处理方法、系统及终端设备

Also Published As

Publication number Publication date
JP5544426B2 (ja) 2014-07-09
EP2621167A1 (en) 2013-07-31
SG188630A1 (en) 2013-04-30
WO2012039404A1 (ja) 2012-03-29
US20130223537A1 (en) 2013-08-29
KR20130108311A (ko) 2013-10-02
EP2621167A4 (en) 2015-04-29
JPWO2012039404A1 (ja) 2014-02-03

Similar Documents

Publication Publication Date Title
CN103190156A (zh) 视频比特流的传输系统
US11557015B2 (en) System and method of data transfer in-band in video via optically encoded images
US11057646B2 (en) Image processor and image processing method
US11350179B2 (en) Bandwidth efficient multiple user panoramic video stream delivery system and method
US10225528B2 (en) Media processing apparatus for multi-display system and method of operation thereof
KR101579603B1 (ko) 이미지 인증키를 이용한 ｔｖ와 스마트폰의 연동 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
CN111416989A (zh) 视频直播方法、系统及电子设备
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
CN103916699A (zh) 用于使用mvc产生360度视频记录的系统及方法
EP2174500A2 (en) Video indexing method, and video indexing device
CN104952470A (zh) 用于数字视频记录器的视频格式
KR100767673B1 (ko) 슬라이드 쇼 구현기능을 갖는 디지털방송용 단말기 및 이를이용한 슬라이드 쇼 구현 방법
CN108400956A (zh) 视频数据流的分配方法、装置和系统
US20170374283A1 (en) Video transmission based on independently encoded background updates
US20200288123A1 (en) Image processing apparatus and image processing method
CN107592549B (zh) 基于双向通信的全景视频播放拍照系统
WO2018089096A1 (en) Compressed media with still images selected from a video stream
Laghari et al. The state of art and review on video streaming
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
JP2014036260A (ja) 画質評価装置、画質評価方法及び画質評価プログラム
JP7296219B2 (ja) 受信装置、送信装置、及びプログラム
JP2012209634A (ja) 映像復号装置、映像送受信装置、映像復号方法、及び映像送受信方法
WO2019138927A1 (ja) 情報処理装置および方法
JP2005176068A (ja) 動画像配信システム及びその方法
JP4902326B2 (ja) 動画送信サーバおよびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1184299

Country of ref document: HK

AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20170620

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1184299

Country of ref document: HK