CN102474659B - 发送装置、接收装置、发送方法、接收方法以及传输系统 - Google Patents

发送装置、接收装置、发送方法、接收方法以及传输系统 Download PDF

Info

Publication number
CN102474659B
CN102474659B CN201080031796.7A CN201080031796A CN102474659B CN 102474659 B CN102474659 B CN 102474659B CN 201080031796 A CN201080031796 A CN 201080031796A CN 102474659 B CN102474659 B CN 102474659B
Authority
CN
China
Prior art keywords
bit stream
video
region
resolution
video bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080031796.7A
Other languages
English (en)
Other versions
CN102474659A (zh
Inventor
笠井裕之
宇地原直史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gnzo Inc
Original Assignee
Gnzo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gnzo Inc filed Critical Gnzo Inc
Publication of CN102474659A publication Critical patent/CN102474659A/zh
Application granted granted Critical
Publication of CN102474659B publication Critical patent/CN102474659B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6371—Control signals issued by the client directed to the server or network components directed to network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

实现与用户希望视听的区域对应的高精细的视频信号的发布，而不增大发送装置中的处理负担。包括：视频区域分割处理部(20)，将输入视频信号的视频区域分割为规定数目的区域而生成区域分割视频信号；以及编码处理部(30)，对区域分割视频信号进行编码而生成视频比特流。此外，包括：视频比特流组累积部(40)，累积多个视频比特流；以及视点信息接收部(60)，接收从接收装置(2)发送的包含视听位置的信息在内的视点信息。并且，从视频比特流组累积部(40)提取对应于第1区域的视频比特流及对应于第2区域的视频比特流，生成传输用的视频比特流且发送到接收装置(2)，其中，第1区域通过视听位置而确定，第2区域是第1区域的周边区域。

Description

发送装置、接收装置、发送方法、接收方法以及传输系统
技术领域
本发明涉及发送装置、接收装置、发送方法、接收方法以及传输系统，特别涉及将与由接收装置侧所指定的任意的视听区域对应的视频从发送装置发布到接收装置的技术、以及根据所发布的视频来生成显示用的图像的技术。
背景技术
近年来，随着数字化技术的发展，正在推进视频的高精细化。此外，通过MPEG(运动图像专家组)-2和MPEG-4等动态图像编码技术和网络通信技术的发展，还能够将这些高精细视频传输到便携式电话终端等的客户机终端。
在经由网络将高精细视频传输到客户机终端时，需要生成具有适合网络的传输频带的比特率的视频编码比特流。比特流是指具有被压缩的信息空间(压缩信号空间)的信息序列。
视频编码比特流的生成可以通过在发布服务器等中，以非压缩信号空间将高精细的原始视频缩小为适合传输频带的视频大小，并对缩小后的信号进行视频编码而生成。
另一方面，也会采用以下方式，即不以非压缩信号空间缩小高精细的原始视频，生成以与原始视频相同的分辨率质量进行了编码的视频编码比特流，并根据需要而变换为适合传输频带的低分辨率的视频编码比特流。向低分辨率的视频编码比特流的变换是使用作为视频码变换技术的代码转换技术而进行。
关于使用这样的代码转换技术而变换为低分辨率的、具有适合传输频带的比特率的视频整体的发布，例如记载在专利文献1、专利文献2中。这时，在客户机终端，使用从发布服务器接收到的低分辨率视频编码比特流而进行视频放大处理，从而能够生成与特定的区域对应的视频编码比特流。
但是，该视频放大处理意味着视频信号的插补，结果只是放大所显示的视频的大小。由此，客户机终端上显示的视频的分辨率降低，因此存在用户不易掌握视听区域上显示的视频的细节的问题。
为了解决这样的问题，还进行以下处理，即让客户机终端能够以原始视频的分辨率质量对想要视听的视听区域的视频进行视听。这时，首先，使客户机终端对发布服务器发送用于指定用户想要视听的区域的信息。然后，在发布服务器中，从作为非压缩信号的原始的高精细视频中提取与视听区域对应的视频信号，然后，通过进行视频编码处理从而生成与视听区域对应的视频编码比特流(以下，称为视听区域视频编码比特流)。这时，通过将分辨率质量设为与原来的原始视频相同，从而较高地保证从发布服务器发送到客户机终端的视频的质量。
此外，也采用以下方式，即并非从作为非压缩信号的原始的视频信号生成视听区域视频编码比特流，而是从预先生成的视频编码比特流生成视听区域视频编码比特流。这时，需要预先生成具有与原始的高精细视频相同的分辨率质量的视频编码比特流的步骤。这里生成的视频编码比特流并非与特定的区域对应，而是与整体区域对应。
并且，在从客户机终端发送了指定视听区域的信息(以下，称为视听区域指定信息)的定时，暂时将视频编码比特流解码为非压缩信号，并从解码后的视频信号提取与视听区域对应的视频信号从而再次进行视频编码。由此，在发布服务器中生成与视听区域对应的高分辨率质量的视频编码比特流。
例如在专利文献3中记载了以下结构：从客户机终端发送的不是视听区域指定信息，而是与希望发布的视频有关的编码参数等的设定值。并且，记载了在从用户发送了设定值的阶段，在发布侧的装置中暂时对预先以MPEG-2的文件形式压缩了的视频进行解码，并基于所指定的设定值以MPEG-4的文件形式进行再编码的方法。
在先技术文献
专利文献
专利文献1：美国专利第5307167号说明书
专利文献2：特开平2-135880号公报
专利文献3：特开2004-266690号公报
发明内容
发明要解决的课题
但是，在以高精细视频的分辨率质量对与作为视听区域而指定的区域对应的视频信号进行编码时，当希望视听视频的用户有多名的情况下，需要对每个用户请求进行视频编码处理。此外，从用户发送的视听区域指定信息在每个时间都在改变的情况下，需要在每次视听区域指定信息发生变化时进行视频编码处理。即，发布服务器内的处理负担会增加。进而，由于需要对每个用户进行视频编码处理，因此发布服务器中对于视频编码处理的处理负担也会与用户的数目成比例地增加。
进而，若考虑发布对象视频的累积的观点，则在提取与作为视听区域而指定的区域对应的视频信号并进行编码的方式中，原始的高精细视频需要以非压缩信号的方式来累积。由此，在用于容纳原始的视频信号的存储装置中，要求非常大的累积容量。因此，在进行视频的发布的企业和运营商等中，存在与发布服务器的构筑和维持有关的费用会增大的问题。
另一方面，在预先对视频进行编码，并暂时对通过编码生成的视频编码比特流进行解码后再次进行编码的方法中，发布到客户机终端的视频成为都进行了再次编码的视频。因此，存在在发送到客户机终端的视频编码比特流中，无法避免因再次编码处理而产生的质量劣化的问题。
本发明鉴于这一点而完成，其目的在于实现与用户希望视听的区域对应的高精细的视频的发布而不增大服务器等发送装置中的处理负担。
用于解决课题的方案
为了解决上述课题，本发明包括：视频区域分割处理部，将输入视频信号的视频区域分割为规定数目的区域，从而生成与分割后的各个区域对应的多个区域分割视频信号；以及编码处理部，对多个区域分割视频信号进行编码从而生成多个视频比特流。此外，包括：视频比特流组累积部，累积通过编码处理部生成的多个视频比特流；以及视点信息接收部，接收从通过网络与该发送装置连接的接收装置发送的视点信息，该视点信息包括在视频区域中通过接收装置的用户指定为希望视听的区域的视听位置的信息。并且，基于由视点信息接收部接收到的视点信息，从视频比特流组累积部提取对应于第1区域的视频比特流以及对应于第2区域的视频比特流，从而生成传输用的视频比特流且发送到接收装置，其中，第1区域通过视听位置而确定，第2区域是通过视听位置确定的区域的周边区域。
通过这样构成，原始的输入视频信号的视频被分割为多个区域，构成分割后的各个区域的视频信号进行编码而生成视频比特流后累积在发送装置内。并且，基于从接收装置发送的视点信息，提取与通过视听位置确定的区域对应的视频比特流，并发送到接收装置。
由此，在发送装置侧不需要在每次从接收装置发送视听位置的信息时，进行与视听位置对应的视频信号的编码处理。
此外，不仅是通过视听位置确定的区域(第1区域)的视频比特流，将其周边的区域(第2区域)的视频比特流也一并发送到接收装置。
因此，即使在接收装置侧视听位置移动的情况下，只要移动目的地的区域为上述周边区域，则不需要重新从发送装置取得对应的视频比特流。
发明效果
根据本发明，能够减轻发送装置中的处理负担，并且能够以延迟少的形式来进行与用户想要视听的位置对应的视频比特流的发布。
此外，根据本发明，即使在接收装置侧视听位置移动的情况下，也能够利用与已经从发送装置发送来的第2区域对应的视频比特流，迅速地生成显示视频。
附图说明
图1是表示本发明的第1实施方式的传输系统的概要的概要图。
图2是表示本发明的第1实施方式的传输区域的构成例的说明图。
图3是表示与本发明的第1实施方式的视听位置的移动速度相应的编码质量控制的例子的说明图。
图4是表示本发明的第1实施方式的服务器的构成例的方框图。
图5是说明构成本发明的第1实施方式的多流信息和视点信息的元素的说明图。
图6是表示本发明的第1实施方式的服务器中的客户机状态管理部的内部构成例的方框图。
图7是表示本发明的第1实施方式的服务器中的声音比特流提取/混合处理部的处理的例子的说明图。
图8是表示本发明的第1实施方式的服务器中的单流生成部的内部构成例的方框图。
图9是表示本发明的第1实施方式的服务器中的单流构成部的内部构成例的方框图。
图10是表示本发明的第1实施方式的服务器中的单流再构成处理控制部的内部构成例的方框图。
图11是表示本发明的第1实施方式的客户机的内部构成例的方框图。
图12是表示本发明的第1实施方式的传输系统的动作的例子的流程图。
图13是表示本发明的第2实施方式的服务器的构成例的概要图。
具体实施方式
以下，说明具体实施方式。另外，按照以下顺序进行说明。1.第1实施方式(将从拍摄装置提供的视频信号发布到客户机的例子)2.第2实施方式(将从多个视频发布服务器提供的视频信号发布到客户机的例子)
<1.第1实施方式>
在本实施方式(以下，也称为本例)中，说明将本发明的发送装置应用于服务器，将本发明的接收装置应用于便携式电话终端的例子。但是，本发明的接收装置不限于便携式电话终端，例如可以应用于PDA(个人数字助理)或个人计算机、声音再现装置或游戏机终端等具有通信功能以及在显示部显示视频的功能的各种装置。
另外，按照以下顺序进行说明。
(1)传输系统的概要
(2)服务器的构成例
(3)客户机的构成例
(4)传输系统的动作例
[传输系统的概要]
首先，参照图1～图3说明本例的传输系统的概要。
图1是表示本实施方式的传输系统的概要的图。图1所示的传输系统由进行视频的发布的服务器1和客户机2构成。服务器1和客户机2经由网络3连接。另外，在图1中仅显示一个客户机2，但实际上，多个客户机2通过网络3能够访问服务器1。
服务器1上连接了由未图示的拍摄装置构成的视频信号输入部，通过视频信号输入部获得的高精细的视频输入到服务器1。作为这里所说的高精细的视频，在本例中，例如假定具有3600像素×2400像素等的分辨率的视频。另外，分辨率不限于此，也可以处理具有7680像素×4320像素等的其他分辨率的视频信号。
在客户机2中，进行从服务器1具有的高精细的原始视频中指定希望视听的特定的区域(以下，称为视听希望区域)的操作。具体地说，在客户机2的显示部213的画面上显示小框213a，通过改变该框213a的位置和大小，从而用户能够确定视听希望区域。
进而，还能够进行将该视听希望区域放大或者缩小的操作。这是为了使用户能够以更高分辨率来视听画面内的特定的区域的视频，或者以更低分辨率鸟瞰原始的高精细视频的整体图像。
这样的、视听希望区域的大小和位置、视听希望区域的放大或者缩小的操作的信息(即，希望视听的分辨率的信息；以下称为“要求分辨率”)作为“视点信息”从客户机2连续发送到服务器1。假设要求分辨率的参数能够以将原始的高精细视频的分辨率作为1时的比率(例如1，2，10等)来设定。对服务器1的视点信息的发送在每当视点信息发生变化时进行。
为了实现这样的功能，在服务器1中，首先，进行根据从视频信号输入部提供的原始的非压缩的高精细视频而生成视频编码比特流(以下，也简称为比特流)的处理。
该视频编码比特流是按照将原始的高精细视频的视频区域分割为多个区域所得到的、各个分割区域单位而生成。在以下的说明中，将按每个分割区域而生成的比特流称为分割区域视频比特流。
服务器1预先生成这样的分割区域视频比特流，并将其累积到由HDD(硬盘驱动)等构成的视频比特流组累积部40。并且，在从客户机2发送了视点信息的定时，提取与通过视点信息所确定的区域对应的比特流后发送到客户机2。
由此，即使在从多个客户机2发送了其位置不同的各种视点信息的情况下，服务器1也只要提取与通过视点信息所确定的区域对应的比特流后发送到客户机2即可。
进而，在服务器1中，对应于多个分辨率而生成该分割区域视频比特流。在本例中，举出按照“低分辨率”、“中分辨率”、“高分辨率”的三个分辨率级别的每一个，分别生成分割区域视频比特流的例子。并且，将这样生成的与各个分辨率对应的分割区域视频比特流累积到视频比特流组累积部40内。
另外，在本例中举出了设置三个分辨率级别的例子，但不限于此。例如，4个或5个等，可以以更细致的阶段进行分辨率的分类，也可以以2阶段等更粗糙的阶段来设定。
在图1所示的视频比特流组累积部40内的“低分辨率流”中，累积与“低分辨率”对应的分割区域视频比特流。作为“低分辨率”的分辨率，设定与客户机2的显示部213的画面分辨率相同程度的低分辨率。具体地说，例如设定QVGA(360像素×240像素)等的分辨率。该低分辨率的比特流40a是对原始高精细视频的一个画面生成一个。
该低分辨率的比特流40a被发送到客户机2，且显示在客户机2的显示部213的画面上，从而客户机2的用户能够在画面上掌握原始的高精细视频的整体图像。
在“高分辨率比特流组”40c中，累积具有与原始的高精细视频中的分辨率质量相同的分辨率质量的分割区域视频比特流。该“高分辨率比特流组”40c是以能够按照与原始的视频相同程度的高分辨率质量来发布对应于用户选择的视听希望区域的图像为目的而生成。
在“中分辨率比特流组”40b中，累积具有“中分辨率”的分辨率的分割区域视频比特流。作为“中分辨率”的分辨率，设定上述的“低分辨率”的分辨率和“高分辨率”的分辨率的中间的分辨率。即，在“低分辨率”的分辨率为360像素×240像素，“高分辨率”的分辨率为3600像素×2400像素时，在“中分辨率比特流组”中累积具有1620像素×1080像素等的分辨率的分割区域视频比特流。
通过切换部83的连接目的地被选择性地切换，作为“低分辨率的比特流”40a、“中分辨率比特流组”40b、“高分辨率比特流组”40c而累积的比特流(组)的其中一个被选择而发送到客户机2。切换部83的切换控制是基于从客户机2发送的视点信息213b的内容而进行。即，从视频比特流组累积部40提取与通过视点信息213b确定的区域对应的多个比特流而发送到客户机2。
例如，假设在视点信息213b中包含的位置信息(视听希望区域的位置信息)表示高精细的原始视频的左上端，要求分辨率为“10”(分辨率质量＝1/10)的情况。这时，提取低分辨率比特流40a而发送到客户机2。即，选择通过将原始的高精细的整体视频变换为能够满足客户机2的显示部213的画面大小(例如QVGA)的低分辨率而生成的低分辨率比特流40a，并发送到客户机2。
另一方面，即使在视点信息中包含的位置信息同样是表示高精细的原始视频的左上端，但在要求分辨率为“1”的情况下，从高分辨率比特流组40c中提取与视听希望区域对应的多个比特流。即，从原始视频的左上端提取与客户机2的显示部213的分辨率对应的360像素×240像素的区域量的比特流，并作为与视听希望区域对应的视频而发送到客户机2。
同样地，在要求分辨率为“5”(分辨率质量＝1/5)的情况下，从中分辨率比特流组40b中，从原始视频的左上端起提取与720像素×480像素的区域对应的多个比特流，并发送到客户机2。
通过这样构成，即使在从客户机2对服务器1发送了各种值的要求分辨率的情况下，服务器1也能够立即提取对应的比特流而发送到客户机2。
进而，本例的服务器1不仅是将与通过视点信息确定的视听希望区域对应的比特流发送到客户机2，还将构成视听希望区域的周围的区域的比特流也发送到客户机2。在视听希望区域的位置(有用户的视点的位置；以下，也称为视点位置)有移动的情况下，也能够立即将视线的移动目的地的区域中的视频显示到客户机2的显示画面上。
图2是表示了服务器1提取比特流的对象区域的例子的图。图2的最外侧的框表示原始视频的1画面(整体区域Aw)，粗线所示的最小的框表示通过从客户机2发送的视听希望区域所确定的区域Ad。该区域Ad中的图像在发送到客户机2之后会显示在其显示部213的画面上，因此在以后的说明中，将该区域Ad称为显示区域Ad(第1区域)。
作为显示区域Ad的周围的区域的、单点划线所示的大框所包围的区域是由从服务器1实际传输到客户机2的比特流构成的区域。在以后的说明中，将该区域称为传输区域At(第2区域)。即，在本例的传输系统中，不仅是构成与视听希望区域对应的显示区域Ad的比特流，将构成其周围的区域的比特流也一并发送到客户机2。
但是，在本例的传输系统中，设想基于固定比特率的发布或者网络频带不富裕的情况下的发布。因此，设想通过不仅发布构成显示区域Ad的比特流，还发布构成其周边的区域的比特流，从而会压迫网络的频带。
为了解决这一问题，在服务器1中，在传输区域At中的显示区域Ad和其周边的区域之间设置基于编码的质量的优先级，从而生成比特流。具体地说，与构成显示区域Ad的比特流相比，对显示区域Ad的周边的区域分配低质量(码量少)比特流，从而减少网络上流动的数据量。
在图2所示的例子中，对传输区域At中用虚线包围的区域分配了高质量的(编码量多)比特流(高质量编码区域Ah；第3区域)。另一方面，对传输区域At中的高质量编码区域Ah以外的区域，分配了比对高质量编码区域Ah分配的比特流更低质量的比特流(低质量编码区域Al；第4区域)。
但是，在用户的视点位置迅速变化的情况等，显示区域Ad的移动速度快的情况下，对周边区域的访问的可能性也增加。在这样的情况下，将对周边区域分配的比特流的质量相比于显示区域Ad不移动的情况提高一些(中质量)。另一方面，将对显示区域Ad分配的比特流的质量相比于显示区域Ad不移动的情况降低一些。
这样，通过根据视点位置(显示区域Ad)的移动速度而动态地改变分配高质量的比特流的优先级，从而即使在基于固定比特率进行发布的情况下，也能够给应优先发送的数据分配较多频带。另一方面，即使在客户机侧视线位置的移动速度快的情况下，也能够使用构成从服务器1已经作为传输区域At而发送的显示区域Ad以外的区域的比特流，迅速地生成显示视频。
图3是表示了随着时刻变化的视点位置(显示区域Ad)的移动速度和对构成传输区域At的各个区域分配的码量的对应例的图。在图3中，X轴和Y轴对应于原始视频的整体区域Aw的X轴和Y轴，Z轴表示时间方向。此外，分别通过不同的图案区分示出了对各个区域分配的质量的高低。另外，在图3中对于与图2对应的地方附加了相同的标号。
时间方向中的时刻T0到时刻T1为止的期间，显示区域Ad的位置没有大幅变化。即，可知用户的视点位置停留在大致相同的位置。这样的情况认为是视点位置移动到显示区域Ad以外的周边的区域的可能性低。因此，对于包含与视点位置对应的显示区域Ad的高质量编码区域Ah分配高质量的比特流，对于传输区域At中的除此以外的区域分配低质量的比特流。
时刻T1～时刻T3为止的期间，示出了显示区域Ad的位置大幅变化，其移动速度也较快。这样的情况认为是视点位置移动到显示区域Ad以外的区域的可能性高。因此，将对显示区域Ad分配的比特流的质量与在时刻T0～时刻T1中分配的质量(高质量)相比降低一些。此外，对不包含显示区域Ad的传输区域At分配的比特流的质量与在时刻T0～时刻T1中分配的质量(低质量)相比提高一些。另外，在视点位置高速移动的情况下，设想人的视觉能力降低，对于视频的质量劣化也变得不敏感。因此，认为即使降低对显示区域Ad分配的比特流的质量，这一情况原样作为视频质量的劣化而被用户捕捉到的可能性也较低。
[服务器的构成例]
下面，参照图4～图10说明服务器1的构成例。图4是表示了服务器1的内部构成例的方框图。服务器1上连接了视频信号输入部10。此外，服务器1包括视频区域分割处理部20、部分区域编码处理部30、视频比特流组累积部40、多流信息累积部50。
视频信号输入部10输出前述那样的3600像素×2400像素等的高精细的视频信号10a，例如由播放用的摄像机、监视摄像机、用于电视会议等的摄像机等构成。视频区域分割处理部20将由从视频信号输入部10输入的视频信号10a构成的视频区域分割为多个区域。这里进行的分割是根据由未图示的控制部等输入的用于指示分辨率级别的参数(分辨率级别信息20a)，对高分辨率、中分辨率、低分辨率的每个级别进行。并且，生成区域分割视频信号20b、即高分辨率的区域分割视频信号(第1区域分割视频信号)、中分辨率的区域分割视频信号(第2(中分辨率)区域分割视频信号)、低分辨率的区域分割视频信号(第2(低分辨率)区域分割视频信号)。
部分区域编码处理部30对通过视频区域分割处理部20生成的各个分辨率级别中的各个分割区域的视频信号进行编码，从而生成分割区域视频比特流30a。这里进行的编码是以在各个分割区域之间不具有动作向量或量化系数、量化参数等的预测关系的形式进行。作为编码方式，假设例如使用MPEG-2、MPEG-4SP、H.263、H.264等。
视频比特流组累积部40将通过部分区域编码处理部30生成的多个分割区域视频比特流按照分辨率的每个级别进行分类累积。即，如图1所示，将通过部分区域编码处理部30生成的各个分割区域视频比特流作为低分辨率比特流40a、中分辨率比特流组40b、高分辨率比特流组40c而累积。
多流信息累积部50管理与通过部分区域编码处理部30生成的各个分割区域视频比特流的编码质量有关的信息、以及表示各个分割区域属于整体区域Aw中的哪个位置的位置信息。具体地说，将从视频区域分割处理部20提供的每个分辨率级别的编码比特率的信息20c、以及从部分区域编码处理部30提供的、构成各个分割区域的各个宏块(以下，称为MB)的位置信息30b作为多流信息来累积。
这里，参照图5，说明由多流信息累积部50管理的多流信息和从客户机2发送的视点信息的细节。该图5表示传输区域以及显示区域相对于原始的高精细视频的整体区域的定位或者关系的例子，在其下方表示各个分割区域的构成例，进一步在其下方表示多流的构成例。图5表示了整体区域Aw例如被分割为48个分割区域Ap的状态。假设在各个分割区域Ap中，例如水平方向上包含X个MB，且在垂直方向上包含Y个MB。并且，分割区域Ap的1行的长度对应于编码单位中的1片段(slice)量51的长度。
这样构成的各个分割区域Ap内的视频信号52通过部分区域编码处理部30(参照图4)进行编码，从而生成分割区域视频比特流S。在多流信息累积部50中，将与由N个(N为自然数)分割区域视频比特流S0～SN构成的多流有关的信息作为多流信息53来管理。
多流信息由以下的信息构成。
·分割区域视频比特流Sk(0≤k≤N)
·分割区域视频比特流Sk中包含的各个MB的坐标(x，y)
·编码比特率
即，在多流信息中，各个分割区域在整体区域Aw中的位置信息按照每个MB编入索引而管理。
下面，参照图5说明从客户机2发送的视点信息。视点信息中包含以下信息。
·客户机2的显示部213的分辨率信息
·要求分辨率信息
·与显示部213的原点坐标(x，y＝0，0)对应的整体区域Aw中的MB位置
与显示部213的原点坐标对应的整体区域Aw中的MB位置通过坐标位置(MB_d(x，y))来管理。
再次返回到图4继续说明，在服务器1中包含视点信息接收部60、客户机状态管理部70、单流生成部80、单流发送部90。
视点信息接收部60接收经由网络3从客户机2发送的视点信息213b，从而提供给客户机状态管理部70。
客户机状态管理部70进行视点信息接收部60接收到的视点信息213b的管理、在对声音或动态图像等进行射流发布时与客户机2之间交换的控制数据(射流协议遵循消息)的发送接收等。
图6表示客户机状态管理部70的内部构成例。客户机状态管理部70中包含视点区域管理部71、视点信息发送部72、射流服务器处理部73。
视点区域管理部71进行视点信息接收部60接收到的视点信息213b的累积、视点信息发送部72的管理。具体地说，进行将视点信息213b输出到单流生成部80，或者基于由视点信息接收部60接收到的视点信息213b和从多流信息累积部50读出的各个比特流的MB位置信息而生成“发送状态信息”，且将生成的发送状态信息72a发送到客户机2的发送状态信息接收部208的处理。
发送状态信息72a是传输区域At相对于整体区域Aw的相对位置信息。传输区域At相对于整体区域Aw的相对位置信息是基于从单流生成部80提供给视点区域管理部71的“区域信息”80a而生成。在整体区域Aw的MB位置映射(map)中包含用于表示在整体区域Aw中何处是传输区域At的信息。关于“区域信息”的细节将在后面叙述。
射流服务器处理部73在与客户机2的射流客户机处理部203之间，交换遵循射流协议的消息73a。作为遵循射流协议的消息，例如交换用于请求视频信号的发送或暂时停止、停止等的控制消息、用于维持对话的消息等。
另外，在本例中例举了设置用于发送发送状态信息的视点信息发送部72的结构，但也可以应用于不设置视点信息发送部72，将发送状态信息保存到视频比特流的分组的报头部分而发送到客户机2的方式。
再次返回到图4继续说明。单流生成部80从视频比特流组累积部40读出构成通过视点信息接收部60接收到的视点信息所确定的显示区域Ad以及其周边区域的多个比特流。并且，将读出的多个比特流作为单流80b再次构成后输出。
此外，在被单流化的多个比特流中，对于构成低质量编码区域Al(图2)的比特流，还进行以较少的码量再次编码的处理。即，单流生成部80还进行以下判断，即将进行单流化的各个比特流分配给高质量编码区域Ah还是分配给低质量编码区域Al。另外，关于单流生成部80的细节，参照图8～图10在后面叙述。
单流发送部90将通过单流生成部80生成的单流分组化，并将分组化的单流90a发送到客户机2。
进而，服务器1上连接了声音信号输入部100-1～声音信号输入部100-n(n为自然数)和元信息输入部120。并且，服务器1中包括对从这些输入的数据进行处理的声音编码处理部110、声音比特流/元信息累积部130、声音比特流提取/混合处理部140、声音比特流发送部150。
声音信号输入部100-1～声音信号输入部100-n例如由话筒等构成。即，收集周围的声音而变换为声音信号，并将所得到的声音信号100-1a～100-na输出到声音编码处理部110。
声音编码处理部110将从声音信号输入部100-1～声音信号输入部100-n输出的多个声音信号例如通过PCM(脉冲编码调制)编码方式或AAC(高级语音编码)编码方式等进行编码。并且，将编码所得的声音比特流输出到声音比特流/元信息累积部130。
元信息输入部120例如将声音信号输入部100-1～声音信号输入部100-n的配置位置信息等的、与声音信号有关的元(属性)信息120a输出到声音比特流/元信息累积部130。
声音比特流/元信息累积部130累积从声音编码处理部110输出的声音比特流、从元信息输入部120输出的元信息。
声音比特流提取/混合处理部140基于分辨率模式信息140a和从客户机状态管理部70得到的视点信息213b，从声音比特流/元信息累积部130提取适合的声音比特流。进而，还进行将提取出的多个声音比特流基于其元信息等而混合的处理。从声音比特流提取/混合处理部140输出的声音比特流140a提供给声音比特流发送部150，声音比特流发送部150将声音比特流150a发送到客户机2。
图7是表示了声音比特流提取/混合处理部140的处理的例子的说明图。在图7中，用黑点表示配置了声音信号输入部100的点(point)141。声音比特流提取/混合处理部140考虑各个配置点之间的距离等而进行加权，并对进行了加权的声音信号之间进行混合(参照箭头标记142)。
通过进行这样的处理，与由用户指定的视听希望区域的视频相对应地，该区域中的声音也能够较大地输出，因此会对正在视听射流的用户提供高的临场感觉。
下面，参照图8说明单流生成部80的内部构成例。单流生成部80中包括视听区域流决定处理部81、编码流提取部82、切换部83、单流构成部84、再编码处理部86、单流再构成处理控制部85。
视听区域流决定处理部81决定应将整体区域Aw的哪个MB位置的比特流作为与传输区域At对应的比特流来提取，并将该比特流作为流索引Sk而输出到编码流提取部82、单流再构成处理控制部85。
与显示区域Ad对应的比特流的决定是基于从客户机状态管理部70发送的显示区域Ad的MB位置MB_d和从多流信息累积部50读出的多流信息53而进行。
此外，视听区域流决定处理部81还决定在作为与传输区域At对应的比特流而提取的比特流中，将哪个比特流分配给高质量编码区域Ah或者低质量编码区域Al。并且，将传输区域At或高质量编码区域Ah、低质量编码区域Al在整体区域Aw中的MB位置作为“区域信息”81a输出到客户机状态管理部70和单流再构成处理控制部85。
进而，视听区域流决定处理部81基于显示区域Ad的MB位置MB_d和多流信息53，生成表示整体区域Aw的画面中的各个比特流的配置位置信息的“整体流构成映射”81b，并提供给单流构成部84。
编码流提取部82基于从视听区域流决定处理部81发送的流索引Sk和从客户机状态管理部70提供的要求分辨率信息70b，从视频比特流组累积部40提取适合的比特流。并且，将提取后的多个比特流82a输出到切换部83。
切换部83将从编码流提取部82输出的各个比特流的输出目的地切换到单流构成部84和反量化处理部861中的一个。切换的控制是基于从单流再构成处理控制部85提供的流提取控制信息85a进行。
单流构成部84通过将由编码流提取部82提取的多个比特流接在一起，从而生成传输用的单流80b。图9中表示单流构成部84中的处理的例子。
在图9所示的例子中，单流构成部84首先从分割区域视频比特流Sk取出从MB(0，0)开始的1行量的比特流。接着，在与分割区域视频比特流Sk的右侧对应的区域所包含的分割区域视频比特流Sk+1中，取出从MB(0，0)开始的1行量的比特流。然后，在从分割区域视频比特流Sk取出的1行量的比特流的右端，连接从分割区域视频比特流Sk+1取出的1行量的比特流的左端。
将该处理持续至到达传输区域At的水平方向的右端为止，在到达右端后向下移动一行而进行同样的处理。通过重复这样的处理，根据多个分割区域视频比特流S构成传输用的单流80b。
再次返回到图8继续说明，则单流再构成处理控制部85决定由再编码处理部86进行的再量化处理时的量化的粗糙度。该决定是基于从多流信息累积部50提供的多流信息53、从视听区域流决定处理部81提供的流索引Sk、从客户机状态管理部70提供的显示区域Ad的移动速度信息70a进行。
再编码处理部86对于从单流再构成处理控制部85指示了再编码的比特流进行再编码处理。再编码处理部86中包含反量化处理部861、量化处理部862、编码模式变更部863。
反量化处理部861在进行再编码处理时，对通过编码流提取部82提取的比特流进行解码(反量化)。这时，提取在进行解码前的比特流所具有的编码参数MQold，并将提取的编码参数MQold提供给单流再构成处理控制部85。
量化处理部862使用从单流再构成处理控制部85提供的再编码用的再量化系数MQnew，对通过反量化处理部861解码的视频信号861a再次进行量化。
编码模式变更部863根据伴随量化处理部862中的再量化处理而产生的变更内容，对量化后的再编码比特流862a中的编码模式进行变更。例如，通过在量化处理部862中进行粗糙的量化从而再编码之前的比特流所持有的编码系数被删除的情况下，进行将量化后的再编码比特流中的宏块类型变更为“跳跃宏块”的处理等。并且，将进行了编码模式的变更的再编码比特流提供给单流构成部84。此外，编码模式变更部863将编码比特量86a提供给单流再构成处理控制部85。
另外，在图8所示的例子中，仅提及了再编码处理部86进行的再量化处理，但处理不限于此。例如，假设根据宏块的种类，还进行在将解码进行至像素的级别之后进行再编码的处理。
图10表示单流再构成处理控制部85的细节。在单流再构成处理控制部85中包含再量化判断部851、再量化系数决定部852、编码率控制部853、流提取控制信息生成部854。
再量化判断部851判断对于通过编码流提取部82(参照图8)提取的各个比特流是否需要再编码，并将判断结果输出到再量化系数决定部852和流提取控制信息生成部854。
具体地说，当显示区域Ad的移动速度小于预先设定的阈值，并且所提取的比特流属于高质量编码区域Ah的情况下，将不需要再编码的判断结果输出到流提取控制信息生成部854。另一方面，当显示区域Ad的移动速度为预先设定的阈值以上的情况，或者，显示区域Ad的移动速度小于预先设定的阈值并且所提取的比特流属于低质量编码区域Al的情况下，将需要再编码的判断结果输出到再量化系数决定部852和流提取控制信息生成部854。
所提取的比特流属于传输区域At内的哪个区域的判断是基于从多流信息累积部50发送的多流信息53和从视听区域流决定处理部81发送的区域信息80a而进行。显示区域Ad的移动速度的大小是基于从客户机状态管理部70发送的显示区域移动速度信息70a来判断。
再量化系数决定部852基于从多流信息累积部50提取的多流信息53、从客户机状态管理部70提供的显示区域移动速度信息70a、从视听区域流决定处理部81提供的流索引Sk以及区域信息80a，决定用于再量化的再量化系数MQnew。
编码率控制部853基于从编码模式变更部863输出的编码比特量86a的信息，决定下面要进行编码的对象的MB的编码率。并且，将决定的编码率提供给再量化系数决定部852。
流提取控制信息生成部854基于从再量化判断部851发送的判断结果，生成用于控制切换部83中的连接目的地的流提取控制信息，从而将生成的流提取控制信息85a提供给切换部83。具体地说，从再量化判断部851输入了“不需要再量化”的判断结果的情况下，生成用于将切换部83(参照图8)的连接目的地切换到单流构成部84侧的控制信息。从再量化判断部851输入了“需要再量化”的判断结果的情况下，生成用于将切换部83(参照图8)的连接目的地切换到再编码处理部86侧的控制信息。
[客户机的构成例]
下面，参照图11的方框图说明客户机2的内部构成例。客户机2中包含视频流接收部201、视频解码部202、射流客户机处理部203、客户机管理部204、声音流接收部205、声音解码部206、声音输出部207。
视频流接收部201接收从服务器1发送的单流90a，从而将接收到的单流201a提供给视频解码部202。通过视频流接收部201接收的单流是由构成传输区域At的多个比特流所构成的单流。
视频解码部202对从视频流接收部201提供的单流201a进行解码，从而生成传输区域解码信号202a。并且，将生成的传输区域解码信号提供给显示控制部212。
射流客户机处理部203在与服务器1之间，对遵循射流协议的消息73a进行发送接收。客户机管理部204管理与射流有关的状态，对于视频解码部202和声音解码部206进行射流再现的开始等的控制。此外，生成遵循射流协议的消息73a，从而提供给射流客户机处理部203。
声音流接收部205接收从服务器1发送的声音比特流150a，从而将接收到的声音比特流205a提供给声音解码部206。声音解码部206对从声音流接收部205提供的声音比特流进行解码，从而将解码后的声音比特流206a提供给声音输出部207。声音输出部207例如由扬声器等构成，将从声音解码部206提供的声音比特流作为声音来输出。
此外，客户机2中包含发送状态信息接收部208、视点区域管理部209、视点信息发送部210、作为操作输入部的用户界面部211、显示控制部212、显示部213。
发送状态信息接收部208接收从服务器1发送的发送状态信息72a、即传输区域At相对于显示区域Ad的相对位置信息，从而输出到视点区域管理部209。视点区域管理部209基于发送状态信息接收部208接收到的发送状态信息208a、从用户界面部211输入的用户的操作信息211a、从客户机管理部204提供的控制信号204a，生成视点信息213b。并且，将生成的视点信息输出到视点信息发送部210。
视点信息发送部210将从视点区域管理部209输出的视点信息213b发送到服务器1。用户界面部211由上下左右键和各种按钮等构成，进行对用于选择在显示部213显示的视听希望区域的框(参照图1)的位置和大小进行变更的控制。
另外，在本例中，为了选择视听希望区域，例举了在画面上显示框的方式，但不限于此。例如，也可以由触摸面板或加速度传感器来构成用户界面部211，并基于用户敲击画面的动作或倾斜画面的动作等来决定视听希望区域。
用户界面部211还将由用户输入的操作的内容作为操作信息而提供给视点区域管理部209、显示控制部212、显示部213。进而，还进行以下处理：基于从视点区域管理部209提供的发送状态信息209a，生成表示用户当前正在视听的画面位置相当于整体区域Aw的何处等的信息，并将该信息显示到显示部213的画面上。
显示控制部212在从视频解码部202发送的传输区域解码信号中，提取实际在显示部213上显示的显示区域Ad部分的信号从而生成显示区域解码信号212a。并且，将生成的显示区域解码信号212a提供给显示部213。
显示部213例如由LCD(液晶显示器)或有机EL(电致发光)面板等构成，将从显示控制部212提供的显示区域解码信号作为图像显示在显示画面上。
[传输系统的动作例]
下面，参照图12的流程图说明本例的传输系统的服务器1和客户机2的处理的例子。首先，服务器1取得从视频信号输入部10输出的高精细视频信号(步骤S1)。接着，视频区域分割处理部20将在步骤S1中取得的高精细视频分割为多个区域(步骤S2)。并且，部分区域编码处理部30根据构成所分割的各个区域的视频信号，生成分辨率不同的多个比特流，并累积到视频比特流组累积部40(步骤S3)。在本例中，这里生成低分辨率流、中分辨率流组、高分辨率流组。
接着，客户机2对服务器1发送发送请求以使其发送与视频的整体区域Aw对应的比特流(步骤S4)。服务器1的视点信息接收部60若接收发送请求(步骤S5)，则单流生成部80从视频比特流组累积部40提取低分辨率比特流，并由单流发送部90将提取出的低分辨率比特流发送到客户机2(步骤S6)。
在客户机2中，视频流接收部201接收低分辨率比特流，视频解码部202对低分辨率比特流进行解码，显示控制部212将解码所得的显示区域解码信号作为图像显示到显示部213(步骤S7)。接着，通过对用户界面部211的操作输入，判断是否选择了视听希望区域(步骤S8)，在没有接受选择操作的情况下，重复步骤S8的判断。在接受了选择操作的情况下，视点区域管理部209生成视点信息，且视点信息发送部210将生成的视点信息发送到服务器1(步骤S9)。
若服务器1的视点信息接收部60中接收视点信息，则由视点信息所确定的多个比特流会从视频比特流组累积部40通过单流生成部80的编码流提取部82而被提取(步骤S10)。并且，基于视点信息中包含的视点移动速度的大小等，单流生成部80的单流再构成处理控制部85判断与各个分割区域对应的比特流是否需要再编码(步骤S11)。
在判断为不需要再编码的情况下(步骤S12)，使用从视频比特流组累积部40提取的多个比特流，单流生成部80的单流构成部84构成单流(步骤S13)。
在判断为需要再编码的情况下(步骤S12)，单流再构成处理控制部85决定构成分割区域的各个比特流的再量化参数(步骤S14)。并且，再编码处理部86使用再量化参数对多个比特流再次进行编码(步骤S15)。
进而，单流再构成处理控制部85使用再编码后的比特流而再次构成单流(步骤S16)。并且，单流发送部90将通过单流构成部84或者单流再构成处理控制部85再次构成的单流发送到客户机2(步骤S17)。
在客户机2中，由视频解码部202对视频流接收部201接收到的单流进行解码，并且显示控制部212将解码得到的显示区域解码信号作为图像而显示到显示部213(步骤S18)。接着，判断用户的视点位置(视听希望区域的位置)是否有变更(步骤S19)，在视点位置有变更时，返回到步骤S9而继续处理。在视点位置没有变化时，继续步骤S19的判断。该判断在用户的视听结束为止的期间持续进行。
[第1实施方式的效果]
根据上述的第1实施方式，在服务器1中预先生成和累积分割区域视频比特流，因此不用在每次从客户机2发送视点信息时进行视频信号的编码处理。
此外，这时，对于与各个分割区域对应的比特流，使区域之间不具有动作向量或量化系数、量化参数等的预测关系而独立进行，因此不需要在服务器1中进行动作向量的检测或动作补偿、系数变换等的处理。
由此，即使在服务器1上连接的客户机2的数目增加了的情况下，也能够将服务器1中的处理量的增大抑制为最小限度。
此外，根据上述的第1实施方式，分割区域视频比特流对应于不同的分辨率而准备多个种类。由此，在用户中，即使重复进行用于掌握视频的整体图像的视听和用于确认详细的部分的视听的情况下，也会从服务器1对客户机2迅速提供用户所希望的分辨率的视频。
此外，由于生成具有与原始的高精细视频的分辨率质量相同级别的分辨率质量的分割区域视频比特流，因此不需要在客户机2中进行视频的插补处理。从而，用户能够以原有的质量来视听高精细的视频。
此外，根据上述的第1实施方式，不仅是与由客户机2希望作为视听希望区域的区域对应的比特流，还将构成其周边区域的比特流也从服务器1发送到客户机2。由此，即使在视听希望区域(用户的视点位置)移动了的情况下，也能够对作为传输区域At而发送的周边区域的比特流进行解码，从而显示在客户机2的显示部213上。即，由于能够减少在服务器1和客户机2之间进行的通信的次数，因此能够避免由于该通信而产生的延迟。
此外，根据上述的第1实施方式，根据用户的视点位置的移动速度的大小，动态控制分配给与视听希望区域对应的显示区域Ad的比特流的质量和分配给其周边的区域的比特流的质量。由此，能够有效利用有限的网络频带进行视频的发布，而不会降低需要高质量地传输的比特流的质量。此外，当视点位置大幅移动了的情况下，也能够迅速地将对应于视听希望区域的视频显示到客户机2的显示部213的画面上。
此外，根据上述的第1实施方式，多个分割区域视频比特流作为单流传输到客户机2。因此，在客户机2中，只要对经由网络3取得的单流进行解码就能够得到作为视听希望区域而指定的区域的视频。即，能够减少客户机2中的处理负担。
[变形例]
另外，在上述的第1实施方式中，也可以进行根据视点位置的移动速度的大小而流动性地改变传输区域At的尺寸的控制。
此外，在上述的第1实施方式中，也可以具备追随视频内的特定的对象的功能，且能够自动追踪由用户所确定的对象。
<2.第2实施方式>
下面，说明本发明的第2实施方式。在本实施方式中，说明将从多个外部的视频发布服务器发布的多个视频比特流作为视频显示在将显示画面分割为多个的各个分割区域上，且用户能够从该显示中选择想要视听的视频的例子。
[服务器的构成例]
图13是表示构成本例的传输系统的服务器1’的内部构成例的方框图。图13所示的服务器1’经由网络3与客户机2连接。在图13中，与图4对应的部分附加相同的标号，并省略详细的说明。
服务器1’上连接了进行视频发布的多个外部视频发布服务器5-1～外部视频发布服务器5-m(m是自然数)。并且，服务器1’中包括多个视频比特流取得部310、多个视频比特流组累积部40’、多个视频显示位置决定部320、多流信息累积部50、视点信息接收部60、客户机状态管理部70、单流生成部80、单流发送部90。
多个视频比特流取得部310接收从多个外部视频发布服务器5-1～外部视频发布服务器5-m发布的多个视频比特流5-1a～5-ma，从而将接收到的各个视频比特流提供给多个视频比特流组累积部40’。多个视频比特流组累积部40’累积从多个视频比特流取得部310提供的视频比特流。此外，多个视频比特流取得部310将流索引310a输出到多个视频显示位置决定部320。
多个视频显示位置决定部320决定将多个视频比特流取得部310取得的各个视频比特流配置在整体视频Aw’中的哪个位置，其中，整体视频Aw’是通过将从外部视频发布服务器5-1发布的多个视频在空间上排列配置而生成。这里所说的整体视频Aw’，其大小根据从外部视频发布服务器5-1发布的视频比特流的数目而流动性地改变，在视频比特流的数目多时，其大小变得非常巨大。并且，将构成各个视频比特流的各个MB在整体区域Aw’中的位置信息和编码比特率输出到多流信息累积部50和后述的多个声音比特流取得部330。
多流信息累积部50’将从多个视频显示位置决定部320提供的、各个视频比特流在整体区域Aw’中的MB位置信息作为多流信息53来管理。并且，将多流信息发送到单流生成部80’和客户机状态管理部70。
视点信息接收部60以及客户机状态管理部70进行与第1实施方式中的处理相同的处理。
单流生成部80’基于从客户机状态管理部70提供的视点信息213b，从多个视频比特流组累积部40’提取构成由视点信息确定的视频的视频比特流。并且，利用提取出的多个视频比特流来构成单流，并将生成的单流提供给单流发送部90。单流发送部90将从单流生成部80’提供的单流90a发送到客户机2。
此外，在服务器1’中包括多个声音比特流取得部330、声音比特流累积部340、声音比特流提取部350、声音比特流发送部150。
多个声音比特流取得部330接收从多个外部视频发布服务器5-1～外部视频发布服务器5-m发布的多个声音比特流5-1b～5-mb，从而将接收到的各个声音比特流提供给声音比特流累积部340。声音比特流累积部340累积从多个声音比特流取得部330提供的声音比特流。
声音比特流提取部350基于从客户机状态管理部70提供的视点信息213b，从声音比特流累积部340提取与通过视点信息确定的视频对应的声音比特流。并且，将提取出的声音比特流发送到声音比特流发送部150。声音比特流发送部150将从声音比特流提取部350发送的声音比特流150a发送到客户机2。
[第2实施方式的效果]
根据上述的第2实施方式，基于从多个视频发布服务器5发送的各种比特流的视频在客户机2的显示部213的画面上排列显示。并且，在这些视频中由客户机2的用户所指定的特定的视频通过服务器1被提取后发送到客户机2。由此，例如，在使用多通道发布的所有的节目程序或者视频内容中，用户能够容易选择感兴趣的内容来视听。
该情况下，也与第1实施方式同样地，从多个视频发布服务器5发布的比特流会再次构成为单流而发送到客户机2，因此能够减轻客户机2中的处理负担。
[变形例]
另外，在本实施方式中例举了由服务器1’和客户机2构成传输系统的情况，但不限于此。例如，也可以使客户机2具备图13所示的服务器1’的功能。作为具体的例子，也可以在除了接收通过多个通道发布的节目程序之外还进行其显示的电视接收器等装置中构成本实施方式的传输系统。
标号说明
1，1’…服务器、2…客户机、3…网络、5…视频发布服务器、10…视频信号输入部、20…视频区域分割处理部、30…部分区域编码处理部、40…视频比特流组累积部、40’…多个视频比特流组累积部、50，50’…多流信息累积部、60…视点信息接收部、70…客户机状态管理部、71…视点区域管理部、72…视点信息发送部、73…射流服务器处理部、80，80’…单流生成部、81…视听区域流决定处理部、82…编码流提取部、83…切换部、84…单流构成部、85…单流再构成处理控制部、86…再编码处理部、90…单流发送部、100…声音信号输入部、110…声音编码处理部、120…元信息输入部、130…声音比特流/元信息累积部、140…声音比特流提取/混合处理部、150…声音比特流发送部、201…视频流接收部、202…视频解码部、203…射流客户机处理部、204…客户机管理部、205…声音流接收部、206…声音解码部、207…声音输出部、208…发送状态信息接收部、209…视点区域管理部、210…视点信息发送部、211…用户界面部、212…显示控制部、213…显示部、310…多个视频比特流取得部、320…多个视频显示位置决定部、330…多个声音比特流取得部、340…声音比特流累积部、350…声音比特流提取部、851…再编码判断部、852…再量化系数决定部、853…编码率控制部、854…流提取控制信息生成部、861…反量化处理部、862…量化处理部、863…编码模式变更部、Ad…显示区域、Ah…高质量编码区域、Ap…分割区域、At…传输区域、Aw…整体区域。

Claims (7)

1.一种发送装置，其包括：
视频区域分割处理部，将输入视频信号的视频区域分割为规定数目的区域，从而生成与所述分割后的各个分割区域对应的多个区域分割视频信号；
编码处理部，对所述多个区域分割视频信号以使其在各个分割区域间不具有预测关系的方式独立地进行编码从而生成多个视频比特流；
视频比特流组累积部，累积通过所述编码处理部生成的多个视频比特流；
视点信息接收部，接收从通过网络与该发送装置连接的接收装置发送的视点信息，该视点信息包括在所述视频区域中被指定为视听对象的区域的视听位置的信息；
传输用比特流生成部，基于由所述视点信息接收部接收到的所述视点信息，从所述视频比特流组累积部提取对应于第1区域的所述视频比特流以及对应于第2区域的所述视频比特流，从而生成单流，其中，所述第1区域通过所述视听位置而确定，所述第2区域是所述第1区域的周边区域；以及
视频比特流发送部，将通过所述传输用比特流生成部生成的所述单流发送到所述接收装置，
所述传输用比特流生成部进行以下处理，以便生成所述单流：
首先，从所述分割区域中的所述视频比特流中，取出由多个宏块构成的1行量的比特流，
接着，在与所述分割区域中的所述视频比特流的右侧对应的分割区域中的视频比特流中，取出由多个宏块构成且与所述取出的1行量的比特流处于相同的垂直方向位置的1行量的比特流，
然后，在最初取出的所述1行量的比特流的右端，连接下一个取出的1行量的比特流的左端，将该处理持续至到达所述第2区域的右端为止，
在到达所述第2区域的右端的情况下，向下移动一行而进行同样的处理，通过重复这样的处理，从而将所述独立地进行了编码的多个视频比特流构成为单流，
所述单流成为，在所述接收装置中不利用对其他区域的预测关系就能够以所述单流单独地进行解码或者再现的结构。
2.如权利要求1所述的发送装置，其中，
所述视点信息中包含所述视听位置的移动速度的信息，
所述传输用比特流生成部包括：
再编码处理部，对所述视频比特流进行反量化从而以较低的量化级别进行再编码；以及
传输用比特流再构成处理部，根据所述视听位置的移动速度的大小，将对应于所述第1区域的所述视频比特流和对应于所述第2区域的所述视频比特流中的一个输出到所述再编码处理部。
3.如权利要求2所述的发送装置，其中，
所述传输用比特流再构成处理部在所述视听位置的移动速度不超过预先设定的规定的阈值且处理对象的所述视频比特流对应于所述第1区域或者第4区域的情况下，将对应于所述第4区域的所述视频比特流输出到所述再编码处理部，在所述视听位置的移动速度超过了预先设定的规定的阈值的情况下，将对应于所述第1～第4区域的所述视频比特流输出到所述再编码处理部，其中，所述第4区域是所述第1区域的周边区域且比所述第2区域的范围窄的第3区域以外的区域。
4.如权利要求1至3的任一项所述的发送装置，其中，
所述视频区域分割处理部生成与分割了所述输入视频信号的视频区域的各个分割区域对应的第1区域分割视频信号和第2区域分割视频信号，其中，所述第1区域分割视频信号具有与所述输入视频信号具有的分辨率相同的分辨率，所述第2区域分割视频信号是将所述输入视频信号的视频区域的视频变换为较低的分辨率，
所述视频比特流组累积部中累积根据所述第1区域分割视频信号而生成的第1视频比特流和根据所述第2区域分割视频信号而生成的第2视频比特流，
所述视点信息中包含用于表示用户要求的视听区域的尺寸的要求分辨率信息，
所述传输用比特流生成部从所述视频比特流组累积部提取具有与通过所述要求分辨率信息所确定的分辨率对应的分辨率的视频比特流。
5.如权利要求4所述的发送装置，其中，
在所述第2区域分割视频信号中包含不对所述输入视频信号的视频区域的视频进行分割而变换为低的分辨率的低分辨率区域分割视频信号、以及对所述输入视频信号的视频区域的视频进行分割而变换为比所述低分辨率区域分割视频信号中的分辨率更高的分辨率的中分辨率区域分割视频信号。
6.如权利要求1至3的任一项所述的发送装置，还包括：
声音编码处理部，对输入声音信号进行编码从而生成声音比特流；
声音比特流累积部，将通过所述声音编码处理部生成的声音比特流与生成所述输入声音信号的位置的信息相关联地累积；
声音比特流提取/混合处理部，基于所述视点信息，从所述声音比特流累积部提取根据在与由所述视点信息确定的视频区域对应的位置上生成的声音信号而生成的多个声音比特流，从而混合提取出的所述多个声音比特流；以及
声音比特流发送部，将通过所述声音比特流提取/混合处理部所混合的声音比特流发送到所述接收装置。
7.一种发送方法，用于发送装置，该发送装置对通过网络连接的接收装置发送数据，所述发送方法包括：
将输入视频信号的视频区域分割为规定数目的区域，从而生成与所述分割后的各个分割区域对应的多个区域分割视频信号的步骤；
对所述多个区域分割视频信号以使其在各个分割区域间不具有预测关系的方式独立地进行编码从而生成多个视频比特流的步骤；
累积在所述进行编码的步骤中生成的所述多个视频比特流的步骤；
接收从所述接收装置发送的视点信息的步骤，其中所述视点信息包括在所述视频区域中被指定为视听对象的区域的视听位置的信息；
基于所述视点信息，从所述累积的视频比特流组中提取对应于第1区域的所述视频比特流以及对应于第2区域的所述视频比特流，从而生成单流的步骤，其中，所述第1区域通过所述视听位置而确定，所述第2区域是所述第1区域的周边区域；以及
将所述单流发送到所述接收装置的步骤，
在所述生成单流的步骤中，进行以下处理：
首先，从所述分割区域中的所述视频比特流中，取出由多个宏块构成的1行量的比特流，
接着，在与所述分割区域中的所述视频比特流的右侧对应的分割区域中的视频比特流中，取出由多个宏块构成且与所述取出的1行量的比特流处于相同的垂直方向位置的1行量的比特流，
然后，在最初取出的所述1行量的比特流的右端，连接下一个取出的1行量的比特流的左端，将该处理持续至到达所述第2区域的右端为止，
在到达所述第2区域的右端的情况下，向下移动一行而进行同样的处理，通过重复这样的处理，从而将所述独立地进行了编码的多个视频比特流构成为单流，
其中，所述单流成为，在所述接收装置中不利用对其他区域的预测关系就能够以所述单流单独地进行解码或者再现的结构。
CN201080031796.7A 2009-07-16 2010-07-07 发送装置、接收装置、发送方法、接收方法以及传输系统 Expired - Fee Related CN102474659B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-167913 2009-07-16
JP2009167913A JP5089658B2 (ja) 2009-07-16 2009-07-16 送信装置及び送信方法
PCT/JP2010/061504 WO2011007701A1 (ja) 2009-07-16 2010-07-07 送信装置、受信装置、送信方法、受信方法及び伝送システム

Publications (2)

Publication Number Publication Date
CN102474659A CN102474659A (zh) 2012-05-23
CN102474659B true CN102474659B (zh) 2015-11-25

Family

ID=43449310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080031796.7A Expired - Fee Related CN102474659B (zh) 2009-07-16 2010-07-07 发送装置、接收装置、发送方法、接收方法以及传输系统

Country Status (9)

Country Link
US (1) US20120147954A1 (zh)
EP (1) EP2456201A4 (zh)
JP (1) JP5089658B2 (zh)
KR (1) KR101705928B1 (zh)
CN (1) CN102474659B (zh)
HK (1) HK1167765A1 (zh)
IN (1) IN2012DN00726A (zh)
SG (1) SG178037A1 (zh)
WO (1) WO2011007701A1 (zh)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
CN103190156A (zh) 2010-09-24 2013-07-03 株式会社Gnzo 视频比特流的传输系统
KR20120058763A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 영상 장치에서 영상 데이터를 송신하기 위한 장치 및 방법
JP5685682B2 (ja) * 2011-10-24 2015-03-18 株式会社Gnzo 映像信号の符号化システム及び符号化方法
US9465572B2 (en) * 2011-11-09 2016-10-11 Microsoft Technology Licensing, Llc Dynamic server-side image sizing for fidelity improvements
US20130143657A1 (en) * 2011-11-14 2013-06-06 Amazon Technologies, Inc. Input Mapping Regions
EP2613552A3 (en) * 2011-11-17 2016-11-09 Axell Corporation Method for moving image reproduction processing and mobile information terminal using the method
US9094696B2 (en) * 2012-02-06 2015-07-28 Ittiam Systems (P) Ltd. System and method to ensure buffer compliance in a MPEG2 transport stream system
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
JP5838925B2 (ja) * 2012-06-29 2016-01-06 ブラザー工業株式会社 通信システム、端末装置、動画の表示方法、及びプログラム
CN102752598A (zh) * 2012-07-09 2012-10-24 北京博雅华录视听技术研究院有限公司 快速自适应码率控制方法
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
KR102091137B1 (ko) * 2012-07-17 2020-03-20 삼성전자주식회사 영상 제공 시스템 및 방법
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9369670B2 (en) * 2012-12-19 2016-06-14 Rabbit, Inc. Audio video streaming system and method
US9118843B2 (en) 2013-01-17 2015-08-25 Google Inc. Methods and systems for creating swivel views from a handheld device
JP2014165841A (ja) * 2013-02-27 2014-09-08 Brother Ind Ltd 情報処理装置及び情報処理方法
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
WO2015015584A1 (ja) * 2013-07-31 2015-02-05 日立マクセル株式会社 映像伝送システム、送信装置、および受信装置
CN105612756B (zh) 2013-08-08 2018-09-28 国立大学法人电气通信大学 数据处理装置、数据处理方法和计算机可读取的记录介质
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
JP6178705B2 (ja) * 2013-11-15 2017-08-09 日本電信電話株式会社 映像配信システム、映像配信装置及び映像配信プログラム
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792026B2 (en) 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video
JP2016058994A (ja) * 2014-09-12 2016-04-21 株式会社 日立産業制御ソリューションズ 監視カメラ装置および監視カメラシステム
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
JP2017022529A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 通信システム、通信装置、通信方法、及び、プログラム
US10460765B2 (en) * 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US9824723B1 (en) * 2015-08-27 2017-11-21 Amazon Technologies, Inc. Direction indicators for panoramic images
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US20170230612A1 (en) * 2016-02-04 2017-08-10 Shane Ray Thielen Adaptive resolution encoding for streaming data
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
US10547879B2 (en) * 2016-07-14 2020-01-28 Mediatek Inc. Method and apparatus for streaming video content
JP6861484B2 (ja) 2016-07-25 2021-04-21 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
CN106454395B (zh) * 2016-09-20 2018-10-12 北京百度网讯科技有限公司 在服务器中用于自适应提供多码率流媒体的方法及装置
CN109362242B (zh) * 2016-10-10 2021-05-14 华为技术有限公司 一种视频数据的处理方法及装置
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10587800B2 (en) * 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
EP3692722A1 (en) * 2017-10-02 2020-08-12 Fraunhofer Gesellschaft zur Förderung der Angewand Efficient immersive streaming
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
JP7396047B2 (ja) * 2018-01-12 2023-12-12 ソニーグループ株式会社 情報処理装置および方法
JP7091703B2 (ja) * 2018-02-26 2022-06-28 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US11295709B2 (en) 2018-06-04 2022-04-05 Beijing Boe Optoelectronics Technology Co., Ltd. Method for processing image data with reduced transmission bandwidth for display
KR102500145B1 (ko) 2018-07-13 2023-02-16 삼성전자주식회사 전자 장치 및 전자 장치의 컨텐트 전송 방법
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
JP7417373B2 (ja) 2019-07-25 2024-01-18 日本放送協会 映像符号化装置、再生装置及びプログラム
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
JP2023026969A (ja) * 2021-08-16 2023-03-01 キヤノン株式会社 撮像システム、サーバ装置、サーバ装置の制御方法、プログラム、および記憶媒体
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
CN114071183B (zh) * 2022-01-17 2022-05-17 中央广播电视总台 视频节目播出方法、装置、计算机设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955925A (ja) * 1995-08-11 1997-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像システム
JPH09182053A (ja) * 1995-12-26 1997-07-11 Matsushita Electric Ind Co Ltd 画像情報選択装置
JP2004048546A (ja) * 2002-07-15 2004-02-12 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
CN1875636A (zh) * 2003-11-04 2006-12-06 松下电器产业株式会社 视频发送装置以及视频接收装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02135880A (ja) 1988-11-16 1990-05-24 Matsushita Electric Ind Co Ltd 撮像装置
KR940007161B1 (ko) 1991-06-21 1994-08-06 삼성전자 주식회사 이미지버퍼를 이용한 전자주밍시스템
JPH07284032A (ja) * 1994-04-12 1995-10-27 Nippon Telegr & Teleph Corp <Ntt> テレビチャンネル表示方法
US6192393B1 (en) * 1998-04-07 2001-02-20 Mgi Software Corporation Method and system for panorama viewing
US20020021353A1 (en) * 2000-06-09 2002-02-21 Denies Mark Streaming panoramic video
JP2002330440A (ja) * 2001-05-01 2002-11-15 Sony Corp 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
JP2004045546A (ja) * 2002-07-09 2004-02-12 Canon Inc 電子写真装置
JP4066852B2 (ja) 2003-03-04 2008-03-26 株式会社日立製作所 ビデオ符号化方式変換装置、変換方法、およびこれを用いたビデオ記録再生装置
US7149370B2 (en) * 2003-03-07 2006-12-12 Nokia Corporation Method and device for image surfing
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
US8768084B2 (en) * 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
WO2008057285A2 (en) * 2006-10-27 2008-05-15 Vidient Systems, Inc. An apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
DK2230844T3 (en) * 2008-01-17 2018-01-02 Panasonic Ip Man Co Ltd REGISTRATION MEDIUM, WHICH 3D VIDEO IS REGISTERED, REGISTRATION MEDIUM FOR REGISTERING 3D VIDEO AND REPLACEMENT DEVICE AND METHOD OF REPRESENTING 3D VIDEO
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0955925A (ja) * 1995-08-11 1997-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像システム
JPH09182053A (ja) * 1995-12-26 1997-07-11 Matsushita Electric Ind Co Ltd 画像情報選択装置
JP2004048546A (ja) * 2002-07-15 2004-02-12 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
CN1875636A (zh) * 2003-11-04 2006-12-06 松下电器产业株式会社 视频发送装置以及视频接收装置

Also Published As

Publication number Publication date
WO2011007701A1 (ja) 2011-01-20
JP2011024018A (ja) 2011-02-03
JP5089658B2 (ja) 2012-12-05
HK1167765A1 (zh) 2012-12-07
IN2012DN00726A (zh) 2015-06-19
US20120147954A1 (en) 2012-06-14
KR20120042996A (ko) 2012-05-03
EP2456201A4 (en) 2014-08-13
CN102474659A (zh) 2012-05-23
EP2456201A1 (en) 2012-05-23
KR101705928B1 (ko) 2017-02-10
SG178037A1 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
CN102474659B (zh) 发送装置、接收装置、发送方法、接收方法以及传输系统
CN101237577B (zh) 信息处理设备和方法
CN1170436C (zh) 压缩图像比特流的变码方法
KR101281845B1 (ko) 스케일러블 비디오 전송 단말 장치에 대한 비주얼 프로그램 가이드 장치 및 방법
EP2016773B1 (en) Flexible quantization
JP4888729B2 (ja) 符号化装置および方法、並びに、復号装置および方法
JP5326234B2 (ja) 画像送信装置、画像送信方法および画像送信システム
JP4153995B2 (ja) 画像復号化符号化装置、画像符号化装置及び画像復号化装置
CN1372759A (zh) 用于客户机顶设备储存应用的转码
CN101383969A (zh) 放大图像局部区域的方法、编码器及主控模块
CN102802054A (zh) 一种多流视频直播中的控制方法及装置
CN102724557A (zh) 一种多流视频直播中的编码控制方法及装置
KR20080086262A (ko) 디지털 콘텐츠 공유를 위한 방법 및 장치, 그리고 디지털콘텐츠 공유 시스템
EP1090506B1 (en) A method for transmitting video images, a data transmission system and a multimedia terminal
JP6141417B2 (ja) 係数サンプリングに基づいたスケーラブルビデオ符号化のためのシステム、方法及びコンピュータプログラム製品
KR102312668B1 (ko) 비디오 트랜스코딩 시스템
Woodward et al. Wireless 3d cad viewing on a pda device
US20100037281A1 (en) Missing frame generation with time shifting and tonal adjustments
KR20090026467A (ko) 멀티 프로세서를 이용한 프랙털 스케일러블 비디오 코딩시스템 및 그것의 영상 신호 처리 방법
JPH09116759A (ja) 画像復号化装置および画像符号化・復号化システム
JP2000092486A (ja) 動画像送信装置および動画像再生装置ならびに動画像送信方法および動画像再生方法
CN101291432B (zh) 图像处理系统、图像处理设备及图像处理方法
JP2004214983A (ja) 画像処理方法
JP2000209592A (ja) 画像伝送装置と方法及びシステムとその制御方法
KR100693552B1 (ko) 다중 멀티미디어 파일 연결 재생 기능을 가지는 휴대용단말기 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: Kanagawa

Applicant after: Gnzo Inc.

Address before: Tokyo, Japan, Japan

Applicant before: Gnzo Inc.

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1167765

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1167765

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20190707

CF01 Termination of patent right due to non-payment of annual fee