CN107135403B - 信息处理设备 - Google Patents

信息处理设备 Download PDF

Info

Publication number
CN107135403B
CN107135403B CN201610827004.6A CN201610827004A CN107135403B CN 107135403 B CN107135403 B CN 107135403B CN 201610827004 A CN201610827004 A CN 201610827004A CN 107135403 B CN107135403 B CN 107135403B
Authority
CN
China
Prior art keywords
bit rate
video
image quality
unit
segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610827004.6A
Other languages
English (en)
Other versions
CN107135403A (zh
Inventor
藤居彻
武罗李·洲烈朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Publication of CN107135403A publication Critical patent/CN107135403A/zh
Application granted granted Critical
Publication of CN107135403B publication Critical patent/CN107135403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种信息处理设备包括获取单元和确定单元，所述获取单元获取与视频有关的图像质量信息，所述视频的多个段是以流送方式按顺序传递的并且所述视频的比特率在该视频的再现期间可变，所述图像质量信息指示所述多个段中的一个或多个段在多种比特率中的每一个比特率下的图像质量，所述确定单元依据所获取的图像质量信息确定被再现的视频的多个段中的一个或多个段的比特率。

Description

信息处理设备
技术领域
本发明涉及一种信息处理设备。
背景技术
在以流送方式再现以流的形式传递的视频的技术中，诸如视频的图像质量水平和再现的连续性(无中断再现)的再现质量是非常重要的。为了改善再现质量，例如JP2004-88480A公开了一种改变按照分组通信网络的线速度传输的图像编码信号的信息量的技术。
发明内容
准备具有不同比特率的多个视频和以流送方式传递动态确定的比特率下的视频的技术(例如，活动图像专家组(MPEG)-动态自适应HTTP流送(DASH)等等)是公知的。在这种技术中，有很多通过转换原始视频的比特率来生成新的比特率下的视频并且使用该视频的情况，但是转换得到的视频极有可能包括图像质量严重恶化的帧(例如，显示的是单色图像而不是彩色图像，或者出现块噪声)，在比特率较低的情况下尤为明显。如果比特率例如是仅仅基于带宽(线速度)来确定的，从而比特率随着带宽的增大而增大，随着带宽减小，比特率也由此变小，并且再现的视频的图像质量可能恶化，这可能会导致再现质量较低。
对此，本发明至少实施例的目标是与仅仅基于带宽确定比特率的情况相比，使得使用令再现质量得到改善的比特率的方案成为可能。
[1]按照本发明的一个方面，提供了一种信息处理设备，包括：获取单元，其获取与视频有关的图像质量信息，所述视频的多个段是以流送方式按顺序传递的并且所述视频的比特率在该视频的再现期间可变，所述图像质量信息指示所述多个段中的一个或多个段在多种比特率中的每一个比特率下的图像质量；确定单元，其依据所获取的图像质量信息确定被再现的视频的多个段中的一个或多个段的比特率。
[2]在按照[1]的信息处理设备中，获取单元可以获取评价值作为图像质量信息，该评价值是通过将视频的段在所要评价的比特率下的图像质量与该视频的所述段在参考比特率下的图像质量进行比较而获得的。
[3]在按照[2]的信息处理设备中，获取单元可以获取将多种比特率中的最高比特率用作参考比特率的情况下的图像质量信息，所述多种比特率是在以流送方式传递视频时视频的比特率可变的范围。
[4]在按照[2]的信息处理设备中，所述视频设有通过对原始视频进行比特率转换而生成的多种比特率下的视频，并且获取单元获取将原始视频的比特率用作参考比特率的情况下的图像质量信息。
[5]在按照[1]到[4]中任何一个的信息处理设备中，确定单元可以在视频的一个或多个段在第一比特率下的图像质量满足预定条件的情况下，将第一比特率以预定方式确定为所述一个或多个段的比特率。确定单元可以在视频的一个或多个段在第一比特率下的图像质量不满足预定条件的情况下，将高于第一比特率的第二比特率确定为所述一个或多个段的比特率。
[6]在按照[5]的信息处理设备中，确定单元可以确定使得所述预定条件得到满足的第二比特率。
[7]按照[1]到[6]中任何一个的信息处理设备可以进一步包括指定单元，其指定在接收视频的数据时的带宽。在被确定为所述一个或多个段的比特率的比特率高于指定的带宽的情况下，确定单元可以重新确定等于或低于所述带宽的比特率作为所述一个或多个段的比特率。
按照[1]的信息处理设备，可以使用使得再现质量比仅仅基于带宽确定比特率的情况有所改善的比特率。
按照[2]和[3]的信息处理设备，相比于不对视频进行比较的情况而言，可以更加精确地指示图像质量是高还是低。
按照[4]的信息处理设备，可以针对通过对原始视频进行比特率转换而生成的所有视频指示段之间的图像质量差异。
按照[5]的信息处理设备，与不考虑图像质量信息的情况相比，可以改善被再现的视频的图像质量。
按照[6]的信息处理设备，可以防止图像质量不满足图像质量条件的视频被再现。
按照[7]的信息处理设备，与不考虑带宽的情况相比，可以使得视频的再现中断更少。
附图说明
将会基于下列附图详细介绍本发明的示范性实施例，其中∶
图1是图解说明了按照一种示范性实施例的视频传递系统的整体构造的示意图；
图2是图解说明流送传递机制的示意图；
图3是图解说明智能电话的硬件结构的示意图；
图4是图解说明视频传递设备的硬件结构的示意图；
图5是图解说明由各个设备实现的功能结构的示意图；
图6是图解说明示范性的所存储的评价结果等的示意图；
图7A到7C是图解说明显示区域上显示的示范性视频的示意图；
图7B是图解说明显示区域上显示的示范性视频的示意图；
图8是图解说明示范性的比特率表的示意图；
图9是图解说明流送传递处理中的示范性的初始操作处理的示意图；
图10是图解说明在指定了初始比特率之后的示范性操作处理的示意图；
图11是图解说明按照一种变型例的视频传递系统的整体构造的示意图；
图12是图解说明服务器设备的硬件结构的示意图；和
图13是图解说明按照变型例的由各个设备实现的功能结构的示意图。
具体实施方式
[1]示范性实施例
图1图解说明了按照一种示范性实施例的视频传递系统1的整体构造。视频传递系统1是以流送方式执行从视频到用户使用的再现设备的传递的系统。视频的流送传递指的是以这样一种方式传递视频：将视频分为多个段，段数据指示每个段的视频，在以再现顺序发送接收段数据的同时按顺序再现各个段数据。例如，段数据是指示一段为大约1到10秒数据的数据。
视频传递系统1包括通信线路2、智能电话10和视频传递设备20。通信线路2是诸如移动通信网络或因特网这样的在设备之间中转数据交换的系统。智能电话10以无线方式与通信线路2连接，并且视频传递设备20以有线方式与通信线路2连接(这只是一个例子，它们可以通过任何无线和有线方式连接)。
智能电话10是对视频传递系统1中以流送方式传递的视频进行再现的再现装置。智能电话10由用户携带并且被用在各种不同的场合。视频传递设备20是这样一种信息处理设备：存储整体上指示一个视频的多条段数据，并且通过按照再现顺序发送这些段数据来执行视频的流送传递。
在视频传递系统1中，以流送方式传递符合称为例如MPEG-DASH的标准并且比特率在再现期间可以改变的视频。在示范性实施例的流送传递中，预先准备了多种比特率。
图2图解说明流送传递机制。按照本示范性实施例的视频传递设备20存储段数据群组A1，A2和A3，这些群组分别指示具有"高"、"中"和"低"比特率的视频。比特率指的是在一秒的时间间隔内发送和接收的数据量(以每秒百万比特(Mbps)或兆字节(MB/sec)为单位)。在这些由段数据群组指示的视频中，随着比特率增大，视频的分辨率和帧频被认为会增大。
智能电话10在请求视频的流送传递时指定所要传递的视频的比特率。视频传递设备20随后从指定比特率的段数据群组中读取段数据，并且发送所读取的段数据。智能电话10临时存储(缓冲存储)接收到的段数据，并且读取和再现缓冲存储的段数据。
更进一步地，在智能电话10在视频再现期间指定了与正在再现的视频的比特率不同的比特率并且请求以该不同的比特率传递段数据的情况下，视频传递设备20接收该请求并且以所指定的新比特率传送段数据。在接收段数据时，在由当前比特率下的段数据指示的视频之后，智能电话10再现由新的比特率下的段数据所指示的视频。如上所述，段数据群组A1，A2和A3指示这样的视频：多个段被以流送方式按顺序传递，并且比特率可以在再现期间改变。本发明的示范性实施例的特征之一在于比特率确定方法。稍后将详细介绍该确定方法。
图3图解说明智能电话10的硬件结构。智能电话10是包括中央处理器(CPU)11、随机存取闪速存储器(RAM)12、只读闪速存储器(ROM)13、网络接口卡(NIC)14、闪速存储器15、触摸屏16、扬声器17和传感器18的计算机。CPU 11通过使用RAM 12作为工作区来运行ROM13或闪速存储器15中存储的程序，来控制各个单元的操作。NIC 14包括天线、通信电路等等，并且执行符合例如移动通信标准的无线通信。
闪速存储器15储存CPU 11进行控制用的数据和程序。在这个示范性实施例中，包括浏览器程序作为所述程序，并且稍后将要介绍的本发明的功能是由在浏览器上运行的Java(注册商标)脚本实现的。本发明的示范性实施例并不局限于此，并且所存储的可以是实现本发明功能的应用程序。触摸屏16包括用作显示单元的显示器和安装在显示器表面上的触摸板，并且显示图像和接收来自用户的操作。扬声器17将指示声音的音频数据转换为模拟信号并且输出声音。传感器18是例如三轴地磁传感器，并且将指示它自己的设备倾斜度的数据供应给CPU 11。
图4图解说明视频传递设备20的硬件结构。视频传递设备20是包括CPU 21、RAM22、ROM 23、NIC 24和硬盘驱动器(HDD)25的计算机。CPU 21到ROM 23是与图3中所示的具有相同名称的部件相同的硬件。NIC 24包括通信电路，并且通过通信线路2进行通信。HDD 25储存CPU 21进行控制用的数据和程序。
通过借助由视频传递系统1中包含的各个设备的CPU运行这些程序来控制各个单元，下面将要介绍的功能得以实现。
图5图解说明由各个设备实现的功能结构。智能电话10包括比特率信息获取单元101、显示区域大小指定单元102、缓冲存储量指定单元103、带宽指定单元104、图像质量信息获取单元105、比特率确定单元106、传递请求单元107、段数据接收单元108、临时存储单元109和视频再现单元110。视频传递设备20包括比特率转换单元201、段数据存储单元202、图像质量评价单元203、图像质量信息存储单元204、比特率信息存储单元205、信息发送单元206、段数据读取单元207和段数据发送单元208。
在据其得出多种比特率下的视频的原始视频被存储在视频传递设备20中的情况下，视频传递设备20的比特率转换单元201对视频的比特率进行转换。在这种示范性实施例中，比特率转换单元201通过降低原始视频的分辨率和帧频中的任何一者或二者来转换比特率。在这种示范性实施例中，比特率转换单元201将比特率为4.0Mbps的原始视频转换为六种比特率下的视频，比如2.0Mbps、1.0Mbps、0.8Mbps、0.6Mbps、0.4Mbps和0.2Mbps。
如上所述，本系统中以流送方式传递的视频是由通过对原始视频进行比特率转换产生的多种比特率下的视频(在本示范性实施例中，0.3Mbps到2.0Mbps六种比特率下的视频)指示的。换句话说，在本系统中，实际上传递的是指示多种比特率的视频的段数据当中指定比特率的段数据。可以传递原始视频的段数据，但是在本示范性实施例中，假设原始视频的段数据仅仅用于比特率转换，而不用来传递。
在本示范性实施例中，为了减少数据用量，例如，使用由被编码(压缩)为指示为视频的各个段设定的参考帧和与参考帧之间的差值的数据所指示的视频作为原始视频。比特率转换单元201由原始视频的各个段数据产生具有转换后的比特率的新的段数据。比特率转换单元201将所产生的各个比特率下的段数据提供给段数据存储单元202。
段数据存储单元202存储由视频传递设备20以流送方式传递的视频的段数据。段数据存储单元202存储指示从比特率转换单元201提供的多种比特率下的视频的段数据。
视频传递设备20的图像质量评价单元203可以评价在分段之前已经经过比特率转换的视频的图像质量，或者可以评价由段数据存储单元202中存储的段数据指示的视频的图像质量。例如，图像质量评价单元203通过参考比特率的视频的段与要评价的比特率的视频的段进行比较来进行评价。在本示范性实施例中，图像质量评价单元203使用视频流送传递时的可变比特率中的最高比特率(在前面的例子中，是2.0Mbps)作为参考比特率来评价视频的图像质量。
在进行比特率转换的情况下，图像质量很容易随着比特率减小而降低。例如，彩色图像很可能被显示为单色图像或者很可能产生块噪声。就此而言，图像质量评价单元203对参考视频和比较视频的共有段中的共有场景的帧进行比较，并且按照要评价的视频帧与参考视频的帧之间的差异程度来评价图像质量。可以针对各个段中的单独一帧或者两帧或更多帧(包括所有帧)来进行这一比较。
图像质量评价单元203例如使用公知的技术，比如均方误差(MSE)技术、峰值信号噪声比(PSNR)技术、结构相似性(SSIM)技术或者颜色直方图技术，基于两帧之间的差异评价图像质量。图像质量评价单元203例如使用0到1的值表示评价结果。1指示与参考图像无差异，并且图像质量最高。该值越低，与参考图像的差异越大，并且图像质量越差。换句话说，由图像质量评价单元203进行的图像质量评价基于这样的假设：所使用的参考视频具有高于比较视频的比特率和图像质量。图像质量评价单元203向图像质量信息存储单元204提供各个评价结果。
图像质量信息存储单元204存储指示由图像质量评价单元203评价的视频图像质量的图像质量信息。图像质量信息存储单元204存储由图像质量评价单元203提供的评价结果，使得彼此对应的比特率和段相互关联起来。
图6图解说明示范性的所存储的评价结果等。在图6的例子中，举例说明了比特率为"2.0Mbps"、"1.0Mbps"和"0.2Mbps"的"第1"段到"第N"段的图像质量。
由于"2.0Mbps"是参考比特率，因此2.0Mbps下的所有段都具有"1.0"的图像质量。对于"1.0Mbps"，第一段具有"0.82"的图像质量，第二段具有"0.79"的图像质量，第N段具有"0.85"的图像质量。对于"0.8Mbps"，第一段具有"0.73"的图像质量，第二段具有"0.71"的图像质量，第N段具有"0.76"的图像质量。对于"0.2Mbps"，第一段具有"0.45"的图像质量，第二段具有"0.51"的图像质量，第N段具有"0.39"的图像质量。如上所述，图像质量很可能随着比特率减小而降低。更进一步地，图像质量降低的程度因各段而异。
比特率信息存储单元205存储指示由段数据存储单元202中存储的段数据指示的视频(即，由视频传递设备20以流送方式传递的媒体)的多种比特率的比特率信息(例如，MPEG－DASH中的媒体内容描述(MPD))。在本示范性实施例中，比特率信息存储单元205存储指示六种比特率(2.0Mbps、1.0Mbps、0.8Mbps、0.6Mbps、0.4Mbps和0.2Mbps)的比特率信息。例如，在视频的段数据是由视频传递设备20的操作人员存储的情况下，由操作人员创建并存储比特率信息。
在请求流送传递视频时，智能电话10的比特率信息获取单元101获取指示视频的多种比特率的比特率信息。例如，连接到由视频传递设备20以流送方式传递的视频的链接被附在智能电话10上显示的网页上，并且在用户进行选择该链接的操作的情况下，比特率信息获取单元101向视频传递设备20发送请求视频的比特率信息的请求数据。该请求数据包括指定视频的信息(例如，文件(例如，MPEG-DASH中的MPD)的统一资源定位符(URL))指定影像。
在接收到从智能电话10发送来的请求数据时，视频传递设备20的信息发送单元206从比特率信息存储单元205中读取由请求数据指定的视频的比特率信息，即，视频传递设备20中存储的视频的比特率信息，并且将所读取的视频的比特率信息发送到作为请求来源的智能电话10。在这时候，信息发送单元206从图像质量信息存储单元204中读取视频的图像质量信息，并且将所读取的视频的图像质量信息连同比特率信息一起发送到智能电话10。比特率信息获取单元101获取如上所述那样发送的比特率信息，并且向比特率确定单元106提供所获取的比特率信息。
图像质量信息获取单元105获取如上所述那样发送的图像质量信息，即，指示以流送方式传递的视频的各种比特率下的各个段的图像质量的信息。在本示范性实施例中，如上所述，图像质量信息获取单元105获取使用视频的流送传递中的各种不同比特率中的最高比特率作为参考比特率而评价出来的图像质量信息。图像质量信息获取单元105向比特率确定单元106提供所获得的图像质量信息。
比特率确定单元106将由比特率信息获取单元101获得的比特率信息指示的多种比特率中的任何一种确定为所要再现的视频的比特率。稍后将详细介绍比特率确定方法。比特率确定单元106以预定的时间间隔重复确定比特率。例如，使用比一个段数据指示的视频段短的时间段(例如，在视频段为2秒之类的情况下该时间段为一秒的时间段)作为所述时间间隔。每当比特率被确定，比特率确定单元106都将所确定的比特率通知给传递请求单元107。
传递请求单元107请求以流送方式传递视频的设备(本示范性实施例中的视频传递设备20)按照由比特率确定单元106确定的比特率以流送方式传递该视频。在比特率确定单元106确定的比特率发生变化的情况下，传递请求单元107请求以流送方式传递的视频的比特率也被改变。
在从外部设备请求视频的流送传递的情况下，视频传递设备20的段数据读取单元207读取所请求视频的段数据。在接收到从智能电话10发来的指定数据时，段数据读取单元207按照从视频的开头开始的顺序从由指定数据指定的比特率的段数据群组中读取设定条数的段数据。
此后，段数据读取单元207紧随着所读取的段数据之后以段数据所指示的视频的一部分的再现时间为间隔重复进行读取设定条数的段数据的处理，所述时间间隔是读取一次的时间或者比所述一部分的再现时间短的时间。在所指定的比特率中途发生改变的情况下，段数据读取单元207从新比特率的段数据当中与再现位置相连续的部分中读取设定条数的段数据。每次读取段数据时，段数据读取单元207向段数据发送单元208提供所读取的段数据。
段数据发送单元208将提供给它的段数据发送到指定数据发送源，即，请求了视频的流送传递的请求源(本示范性实施例中的智能电话10)。智能电话10的段数据接收单元108接收从视频传递设备20发送来的段数据。段数据接收单元108向临时存储单元109提供所接收的段数据。
临时存储单元109临时存储由段数据接收单元108接收的段数据，直到由该段数据指示的视频部分得以再现。在段数据被存储在临时存储单元109中的情况下，视频再现单元110按顺序读取所存储的段数据，并且按顺序再现由所读取的段数据指示的视频。由于段数据是如上所述那样编码的，因此视频再现单元110对段数据进行解码和再现。视频再现单元110使得再现出来的视频被显示在显示区域中，但是按照它自己的设备方向使得该视频被显示在不同的显示区域中。
图7A和7B图解说明被显示在显示区域上的示范性视频。在图7A和7B中，视频被显示在图2中所示的触摸屏16的显示面161上。显示面161是由长边162和短边163围成的矩形面。图7A图解说明智能电话10被放置成显示面161的长边162沿着垂直方向的情况下的显示区域B1，图7B图解说明智能电话10被放置成显示面161的长边162沿着水平方向的情况下的显示区域B2。图7C图解说明显示面161的一部分中的显示区域B3，其中显示区域B3的长边和短边都不与显示面161的长边162和短边163相接触。在所有的显示区域B1、B2和B3上都显示了表现一个人的视频C1。如上所述，视频再现单元110按照智能电话10的视频再现窗口的大小使得视频被显示在显示区域B1、B2或B3上。
智能电话10的显示区域大小指定单元102指定以流送方式传递的视频的显示区域的大小。显示区域大小指定单元102向视频再现单元110发出关于其中要显示视频的显示区域(显示区域B1到B3之一)类型的询问。在接收到该询问时，视频再现单元110将其中显示视频的显示区域的类型告知显示区域大小指定单元102。显示区域大小指定单元102指定与所告知的显示区域的类型相对应的大小作为显示区域的大小。
在被告知显示区域的类型是显示区域B1的情况下，显示区域大小指定单元102指定通过将图7A中所示的长边的长度L1与短边的长度L2相乘获得的值(即，显示区域的面积)作为显示区域的大小。更进一步地，在被告知显示区域的类型是显示区域B2的情况下，显示区域大小指定单元102指定通过将图7B中所示的长边的长度L3与短边的长度L4相乘获得的值作为显示区域的大小。更进一步地，在被告知显示区域的类型是显示区域B3的情况下，显示区域大小指定单元102指定通过将显示区域B3的长边的长度L5与短边的长度L6相乘获得的值作为显示区域的大小。显示区域大小指定单元102向比特率确定单元106提供指示如上所述那样指定的显示区域的大小的尺寸信息(在本示范性实施例中是指示显示区域面积的信息)。
智能电话10的缓冲存储量指定单元103指定流送再现中的缓冲存储量，即，为以流送方式再现的视频中当前再现的位置临时存储的段数据的数据量。缓冲存储量指定单元103参考临时存储单元109中临时存储的段数据，并且将所参考的段数据的再现时间指定为缓冲存储量。例如，在缓冲存储的段数据指示2秒的视频的情况下，缓冲存储量指定单元103指定要缓冲存储2秒的视频，并且向比特率确定单元106提供指示该秒数的信息，作为缓冲存储量信息。
智能电话10的带宽指定单元104指定接收以流送方式传递的视频的段数据时的网络带宽。带宽指定单元104是按照本发明示范性实施例的"指定单元"的实例。带宽指定单元104监测段数据接收单元108，并且将段数据接收单元108每单位时间接收的段数据的数据大小指定为带宽。例如，在一秒接收10兆比特段数据的情况下，段数据接收单元108将10Mbps指定为带宽。段数据接收单元108向比特率确定单元106提供指示所指定带宽的带宽信息。
显示区域大小指定单元102、缓冲存储量指定单元103和带宽指定单元104按照与本示范性实施例中比特率确定单元106重复确定比特率所采取的时间间隔相同的时间间隔执行指定处理。
比特率确定单元106基于由显示区域大小指定单元102指定的显示区域的大小、由缓冲存储量指定单元103指定的缓冲存储量、由带宽指定单元104指定的带宽和由图像质量信息获取单元105获取的图像质量信息确定正在再现的视频的比特率。首先，比特率确定单元106基于显示区域的大小、缓冲存储量和带宽确定比特率备选结果。比特率备选结果是按照本发明示范性实施例的"第一比特率"的实例。例如，比特率确定单元106使用表示显示区域的大小与比特率范围之间的关系的比特率表。
图8图解说明示范性的比特率表。在图8的例子中，比特率范围"0.8，0.6，0.4，0.2"(全部以Mbps为单位)与"小于阈值Th1"的显示区域大小相关联。比特率范围"1.0，0.8，0.6，0.4"与"等于或大于阈值Th1并且小于阈值Th2"的显示区域大小相关联，并且比特率范围"2.0，1.0，0.8"与"等于或大于阈值Th2"的显示区域大小相关联。
比特率确定单元106从比特率表中读取与显示区域大小指定单元102指定的显示区域大小相关联的比特率范围。比特率确定单元106将所读取的比特率范围缩小到不超出由带宽指定单元104指定的带宽的范围。例如，在指定了小于阈值Th1的显示区域大小的情况下，比特率确定单元106读取"0.8，0.6，0.4，0.2"的比特率范围，并且在指定了0.7Mbps的带宽的情况下，由于0.8Mbps的比特率超出了所指定的带宽，因此比特率确定单元106将比特率范围缩小到"0.6，0.4，0.2"。
在再现由按照缓冲存储量指定单元103指定的缓冲存储量临时存储的段数据所指示的视频时的再现时间(下文中称为"缓冲存储再现时间")等于或大于设定的阈值Th3的情况下，比特率确定单元106在经过缩小的范围内按照降序选择多达设定个数的比特率中的任何一个并且将所选择的比特率确定为比特率备选结果。在本示范性实施例中，比特率确定单元106将1作为设定个数，即，选择最高比特率并且将最高比特率确定为比特率备选结果。在经过缩小的范围如前面的例子中那样是"0.6，0.4，0.2"的情况下，比特率确定单元106将这些比特率当中的最高比特率"0.6"确定为比特率备选结果。
更进一步地，在缓冲存储再现时间小于阈值Th3的情况下，比特率确定单元106在经过缩小的范围内按照升序选择多达设定个数的比特率中的任何一个，并且将所选择的比特率确定为比特率备选结果。在本示范性实施例中，所述设定个数是使得除了最高比特率之外的所有比特率都被包含在内的个数。这样一来，比特率确定单元106会在经过缩小的范围内选择除了最高比特率之外的比特率中的任何一个，并且将所选择的比特率确定为比特率备选结果。
在经过缩小的范围如前面介绍的例子中那样是"0.6，0.4，0.2"的情况下，比特率确定单元106选择除了"0.6"("0.6"是这些比特率中最高的一个)之外的"0.4，0.2"中的任何一个，并且将所选择的比特率确定为备选结果。在选择两个或更多个比特率中的任何一个情况下，例如，在将重点放在视频的分辨率上的情况下，比特率确定单元106可以始终选择这些比特率当中最高的比特率，或者在将重点放在视频的连贯性上的情况下，可以始终选择这些比特率当中最低的比特率。
不过，在接收到视频再现操作之后那一刻，由于还没有接收到段数据，因此带宽还没有由带宽指定单元104指定。更进一步地，由于还没有缓冲存储段数据，因此缓冲存储量也没有由缓冲存储量指定单元103指定。对此，在从视频的开头开始进行再现的情况下，直到被设定为使用再现初始阶段的确定方法的时间段的初始响应周期结束之前，比特率确定单元106确定比特率备选结果都不使用由缓冲存储量指定单元103指定的缓冲存储量和由带宽指定单元104指定的带宽。
换句话说，比特率确定单元106直到初始响应周期结束之前都仅仅基于由显示区域大小指定单元102指定的显示区域大小来确定比特率备选结果。例如，直到最初指定出缓冲存储量和频带宽度之前的时间段被设定为初始响应周期。更进一步地，可以使用预计完成缓冲存储量和带宽指定的时间段作为初始响应周期，这个时间段是基于指定所需时间的记录来设定的。
在初始响应周期内，例如，比特率确定单元106在图8中所示的比特率表中选择比特率范围内的比特率中与显示区域的指定大小相关联的任何一个比特率，并且将所选择的比特率确定为比特率备选结果。在将重点放在视频的分辨率上的情况下，比特率确定单元106可以从该范围内选择最高的比特率，或者在将重点放在视频的连贯性上的情况下，可以从该范围内选择最低的比特率。本发明的示范性实施例并不局限于此，并且例如，在预先设定了用户期望的帧频的情况下，比特率确定单元106可以选择这样的比特率：所选择的比特率的值是通过将所设定的帧频乘以显示区域的指定大小和一个系数而获得的或者所选择的比特率的值接近于这样获得的值；并且将所选择的比特率确定为比特率备选结果。
在针对视频的某一段按照前面介绍的方法(使用显示区域的大小、缓冲存储量和带宽的方法)确定的比特率备选结果的视频的图像质量满足设定的图像质量条件的情况下，比特率确定单元106将该比特率备选结果确定为该段的比特率。可以使用例如这样的条件作为所述图像质量条件：在由所获取的图像质量信息指示的图像质量等于或大于阈值Th4的情况下满足该条件，而在由所获取的图像质量信息指示的图像质量小于阈值Th4的情况下不满足该条件。
例如，假设将阈值th4设定为＝0.75，获得图6中所示的图像质量信息，并且比特率确定单元106将1.0Mbps确定为视频的第二段中的比特率备选结果。在这种情况下，由于1.0Mbps的视频的第二段的图像质量是"0.79"并且等于或大于阈值Th4，因此比特率确定单元106确定图像质量条件得到满足，并且将1.0Mbps确定为第二段中要再现的视频的比特率，不改变比特率。
更进一步地，在比特率备选结果的视频的图像质量不满足图像质量条件的情况下，比特率确定单元106将高于比特率备选结果的比特率确定为该段的比特率。高于比特率备选结果的比特率按照本发明的示范性实施例的"第二比特率"的实例。例如，在前面介绍的例子中，比特率确定单元106将0.8Mbps确定为视频的第二段中的比特率备选结果。在这种情况下，在0.8Mbps的视频的第二段的图像质量是"0.71"并且小于阈值Th4的情况下，比特率确定单元106确定图像质量条件得不到满足，并且将高于0.8Mbps的1.0Mbps(在这种情况下是第二比特率)确定为第二段中要再现的视频的比特率。
更进一步地，在图像质量条件得不到满意的情况下，比特率确定单元106将满足图像质量条件的比特率确定为第二比特率。例如，假设将阈值Th4设定为＝0.80，获得图6中所示的图像质量信息，比特率确定单元106将0.8Mbps确定为视频的第二段中的比特率备选结果。在这种情况下，比特率确定单元106确定图像质量条件得不到满足，因为0.8Mbps的视频的第二段的图像质量为"0.71"并且小于阈值Th4。
1.0Mbps和2.0Mbps是高于0.8Mbps的比特率，但是1.0Mbps的第二段的图像质量(0.79)小于阈值Th4并且因此不满足图像质量条件，并且2.0Mbps的第二段的图像质量(1.00)等于或大于阈值Th4并因此满足图像质量条件。就此，比特率确定单元106将2.0Mbps(在这种情况下是第二比特率)确定为第二段的比特率。
视频传递系统1中包含的各个设备基于前面介绍的结构针对视频进行流送传递处理。接下来，将会参照图9介绍直到首次指定所要再现的视频的比特率之前的初始操作处理，并且将会参照图10介绍后续的操作处理。
图9图解说明了流送传递处理中的示范性初始操作处理。在图9的例子中，在用户执行使得智能电话10再现以流送方式传递的视频的操作(例如，选择视频链接的操作)的情况下，操作处理开始。
首先，智能电话10接收视频再现操作(步骤S11)。然后，智能电话10(比特率信息获取单元101)请求视频传递设备20发送接收到的再现操作所针对的视频的比特率信息(步骤S 12)。视频传递设备20(信息发送单元206)读取所请求的比特率信息和视频的图像质量信息，并且将比特率信息和视频的图像质量信息发送给智能电话10(步骤S13)。智能电话10(比特率信息获取单元101)获取所发送的比特率信息(步骤S14)。
智能电话10(图像质量信息获取单元105)获取所发送的图像质量信息(步骤S15)。然后，智能电话10(显示区域大小指定单元102)指定所接收到的再现操作所针对的视频的显示区域的大小(步骤S16)。然后，智能电话10(比特率确定单元106)按照所指定的大小将视频的比特率确定为比特率备选结果(步骤S17)。然后，智能电话10(比特率确定单元106)判断所确定的比特率备选结果的视频的图像质量是否满足图像质量条件(步骤S18)。
在满足图像质量条件的情况下，智能电话10(比特率确定单元106)将比特率备选结果确定为要再现的视频的比特率。在不满足图像质量条件的情况下，智能电话10(比特率确定单元106)将高于比特率备选结果的比特率确定为要再现的视频的比特率(步骤S19)。然后，智能电话10(传递请求单元107)请求视频传递设备20执行步骤S19中确定的要再现的视频的比特率下的视频的流送传递(步骤S20)。
图10图解说明在指定了初始比特率之后的示范性操作处理。视频传递设备20(段数据读取单元207)读取指示步骤S17中请求的比特率的视频的段数据(步骤S21)。然后，视频传递设备20(段数据发送单元208)将步骤S21中读取的段数据发送给智能电话10(步骤S22)。智能电话10(段数据接收单元108)接收在步骤S22中发送的段数据。
智能电话10(临时存储单元109)临时存储所接收的段数据(步骤S23)。然后，智能电话10(视频再现单元110)读取和再现临时存储的段数据，并且使得该段数据被显示在显示区域上(步骤S24)。然后，智能电话10(显示区域大小指定单元102)指定所再现视频的显示区域的大小(步骤S25)。然后，智能电话10(缓冲存储量指定单元103)指定临时存储的段数据的数据量，即，缓冲存储量(步骤S26)。
然后，智能电话10(带宽指定单元104)指定段数据接收中的带宽(步骤S27)。然后，智能电话10(比特率确定单元106)基于步骤S25中指定的显示区域的大小、步骤S26中指定的缓冲存储量和步骤S27中指定的带宽来确定比特率备选结果(步骤S28)。然后，智能电话10(比特率确定单元106)判断所确定的比特率备选结果的视频的图像质量是否满足图像质量条件(步骤S29)。
在满足图像质量条件的情况下，智能电话10(比特率确定单元106)将比特率备选结果确定为要再现的视频的比特率。在不满足图像质量条件的情况下，智能电话10(比特率确定单元106)将高于比特率备选结果的比特率确定为要再现的视频的比特率(步骤S30)。然后，智能电话10(传递请求单元107)请求视频传递设备20执行步骤S30中确定的要再现的视频的比特率下的视频的流送传递(步骤S31)。
视频传递设备20(段数据读取单元207)返回到步骤S21，并且读取指示步骤S31中请求的比特率的视频的段数据。此后，重复步骤S21到S31的操作，直到用户终止再现操作或视频再现达到结尾，并且从而视频的再现结束。
在本示范性实施例中，要再现的视频的比特率是按照图像质量信息确定的。这样，在由使用显示区域的大小的方法确定的比特率备选结果的视频的图像质量、缓冲存储量和带宽不满足图像质量条件的情况下，对图像质量较佳的视频进行再现。例如，在仅仅考虑带宽来确定比特率的情况下，不满足图像质量条件的视频会被再现。不过，在本示范性实施例中，再现质量被提高到了比这种情况高的水平。这里，再现质量指的是广义质量，包括视频的分辨率高低和再现连贯性(再现期间不中断)。
在本示范性实施例中，比特率是使用通过将视频相互比较而评价出来的图像质量来确定的。这样，可以比没有进行比较的情况更加精确地指示视频的图像质量是高还是低。在本示范性实施例中，在不满足图像质量条件的情况下，再现具有较好图像质量的视频，而不是具有比特率备选结果的视频。这样，被再现的视频的图像质量被提高到了比不考虑图像质量信息的情况更高的水平。此时，再现的是满足图像质量条件的视频。换句话说，防止了图像质量不满足图像质量条件的视频被再现。
[2]变型例
示范性实施例仅仅是本发明的一个例子，并且可以进行如下修改。根据需要，可以彼此结合地执行示范性实施例和变型例。
[2-1]图像质量评价方法
参考比特率并不局限于前面介绍的示范性实施例。例如，在如示范性实施例中那样从原始视频进行比特率转换的情况下，可以将原始视频用作参考比特率下的视频。例如，在图6的例子中，2.0Mbps是参考比特率，并且对于所有的段来说，2.0Mbps的视频的图像质量是1.00，但是实际上，该视频是通过对4.0Mbps的原始视频进行比特率转换而获得的，因而就像在其它比特率下一样，段之间存在图像质量差异。
在本变型例中，原始视频的4.0Mbps是参考比特率，并且因此即使在2.0Mbps的视频中，段之间也存在图像质量差异。如上所述，按照本变型例，在通过对原始视频进行比特率转换而获得的所有视频中，段之间都存在图像质量差异。
[2-2]比特率备选结果确定方法
比特率确定单元106采用的比特率备选结果确定方法并不局限于前面介绍的例子。例如，比特率确定单元106可以使用显示区域的大小、缓冲存储量和带宽中的一者或二者确定比特率备选结果。比特率确定单元106可以使用任何其它公知的方法确定比特率备选结果。在这种情况下，比特率确定单元106优选地依据通过使用任何方法确定的比特率备选结果的视频的图像质量是否如示范性实施例中那样满足图像质量条件来确定图像的比特率。
[2-3]带宽的考虑
在借鉴图像质量确定了比特率之后，比特率确定单元106可以进一步考虑带宽。例如，在被确定为特定段的比特率的比特率高于带宽指定单元104指定的带宽的情况下，比特率确定单元106将等于或低于带宽的比特率重新确定为该段的比特率。
例如，假设比特率确定单元106已经依据所获得的图像质量信息将1.0Mbps确定为所要再现的视频的比特率，并且假设所指定的带宽为0.9Mbps。在这种情况下，比特率确定单元106将等于或低于0.9Mbps的比特率当中最高的比特率0.8Mbps重新确定为所要再现的视频的比特率。这样，视频再现中断会少于不考虑带宽的情况。
[2-4]考虑显示区域的大小
在某一段的比特率备选结果的视频的图像质量不满足图像质量条件的情况下，比特率确定单元106将高于比特率备选结果的比特率确定为该段的比特率，但是此时，比特率确定单元106可以依据显示区域的大小来确定比特率。
例如，在显示区域的指定大小等于或大于阈值Th5的情况下，比特率确定单元106确定比比特率备选结果高两级的比特率(例如，在比特率备选结果为0.6Mbps的情况下是1.0Mbps)，并且在显示区域的大小小于阈值Th5的情况下，比特率确定单元106确定比比特率备选结果高一级的比特率(例如，在比特率备选结果为0.6Mbps的情况下是0.8Mbps)。
在视频再现时，除非比特率有变化，显示区域越小，视频的分辨率越高。换句话说，在显示区域很小的情况下，虽然比特率也很低，但是相比于显示区域较大的情况，视频分辨率的降低受到抑制。在本变型例中，在不满足图像质量条件的情况下，确定与显示区域的指定大小相对应的比特率，这样一来相比于不考虑显示区域的大小的情况，在显示区域较小的情况下，显示分辨率不必要地过高的视频和压缩无线通信频带的现象得到了抑制。
[2-5]服务器设备
比特率可以由服务器设备确定。
图11图解说明按照本变型例的视频传递系统1a的整体结构。视频传递系统1a包括通信线路2、智能电话10a、视频传递设备20和服务器设备30。
图12图解说明服务器设备30的硬件结构。服务器设备30是包括CPU 31、RAM 32、ROM 33、NIC 34和HDD 35的计算机。CPU 31到HDD 35是与图4中所示的具有相同名称的部件相同的硬件。
图13图解说明由按照本变型例的各个设备实现的功能结构。除了图5中所示的段数据接收单元108、临时存储单元109和视频再现单元110之外，智能电话10a还包括再现操作通知单元111。服务器设备30包括图5中所示的比特率信息获取单元101、显示区域大小指定单元102、缓冲存储量指定单元103、带宽指定单元104、比特率确定单元106和传递请求单元107。
在再现以流送方式传递的视频的操作是在智能电话10a上进行的情况下，智能电话10a的再现操作通知单元111发给服务器设备30指示该操作被执行的通知。该通知被服务器设备30的比特率信息获取单元101、显示区域大小指定单元102、缓冲存储量指定单元103和带宽指定单元104接收。在接收到该通知的情况下，比特率信息获取单元101获取比特率信息，并且指定单元与智能电话10a的对应单元进行通信(显示区域大小指定单元102与视频再现单元110进行通信，缓冲存储量指定单元103与临时存储单元109进行通信，并且带宽指定单元104与段数据接收单元108进行通信)，并且开始指定操作。
因而，比特率确定单元106确定比特率，并且传递请求单元107请求视频的传递。此时，传递请求单元107将智能电话10a设定为视频的传递目的地，并且做出请求。视频传递设备20的段数据发送单元208将所请求视频的段数据发送到智能电话10a。由服务器设备30如前所述那样确定的比特率的视频被传递到智能电话10a。在本变型例中，服务器设备30类似于示范性实施例的智能电话10那样地确定比特率，并且因而使用该比特率，从而使得再现质量提高到比仅仅考虑带宽地确定比特率的情况更高。
[2-6]信息处理设备
诸如确定比特率的确定设备或再现视频的再现设备这样的信息处理设备并不局限于智能电话或服务器设备。例如，信息处理设备可以是平板终端、膝上型PC或台式PC。智能电话兼具确定设备和再现设备的功能，但是服务器设备只能起到确定设备的作用，而不能起到再现设备的作用，并且因而要请求视频传递设备将所确定的比特率的视频传递到外部再现设备。
[2-7]比特率
在示范性实施例中，比特率越大，视频的分辨率越大并且帧频也越大。不过，本发明并不局限于这一示范性实施例。例如，虽然比特率增大了，但是只有帧频增大而分辨率不改变，或者只有分辨率增大而帧频不改变。
[2-8]比特率确定单元
在示范性实施例中，比特率确定单元106将从预先确定的多种比特率中选择的比特率确定为要再现的视频的比特率，但是本发明并不局限于这一示范性实施例。例如，在指定了预定范围内的比特率并且视频传递设备具有执行将所存储的参考比特率下的视频转换为指定比特率下的视频的处理的功能的情况下，比特率确定单元106可以确定预定范围内的比特率。
此时，例如，比特率确定单元106可以将显示区域的指定大小的值、缓冲存储量的值或者通过将带宽的值代入到一组公式中而获得的值确定为比特率。结果，相比于预先确定多种比特率的情况，执行的是多层级比特率下视频的流送传递。
[2-9]段的图像质量评价
在示范性实施例中，视频的所有段的图像质量都要进行评价，但是本发明并不局限于这一示范性实施例，可以评价一部分段的图像质量，即，优选地评价一个或多个段的图像质量。在这种情况下，比特率确定单元106依据要评价图像质量的一个或多个段的图像质量信息确定比特率，并且因此使用使得再现质量得以提高到比仅仅鉴于带宽确定比特率的情况更高的程度的比特率。
[2-10]本发明的范畴
除了诸如智能电话或服务器设备之类的信息处理设备之外，本发明适合作为视频传递设备或包括视频传递设备的视频传递系统。本发明适合作为执行由各个设备实现的处理的信息处理方法并且适合作为使得计算机控制各个设备进行操作的程序。程序可以是以记录介质的形式提供，比如存储有程序的光盘等等，并且也可以以通过诸如因特网之类的通信线路下载程序到计算机上并且安装程序以供使用的形式提供的。
前面本发明示范性实施例的介绍是为了图解和说明的目的而给出的。并没有打算详尽无遗或者将本发明局限于所公开的确切形式。显然，对于本领域从业者而言，很多改造和变形是显而易见的。选取和介绍这些实施例是为了更好地解释本发明的原理及其实际应用，从而使得本领域其它技术人员能够理解本发明为了适合于预期的特定用途而对应于各种不同实施方式并且具有各种不同修改形式。我们希望本发明的范围由所附权利要求书以及它们的等价内容来限定。

Claims (7)

1.一种信息处理设备，包括：
获取单元，其获取与视频有关的图像质量信息，所述视频的多个段是以流送方式按顺序传递的并且所述视频的比特率在该视频的再现期间可变，所述图像质量信息指示所述多个段中的一个或多个段在多种比特率中的每一个比特率下的图像质量，所述图像质量是基于帧之间的差异被评价的；和
确定单元，其执行以下操作：
指定所接收到的再现操作所针对的所述视频的显示区域的大小，
按照所指定的大小将所述视频的比特率确定为比特率备选结果，
判断所确定的所述比特率备选结果的所述视频的图像质量是否满足图像质量条件，以及
在满足所述图像质量条件的情况下，将所述比特率备选结果确定为要再现的所述视频的比特率，或者在不满足所述图像质量条件的情况下，将高于所述比特率备选结果的比特率确定为要再现的所述视频的比特率。
2.按照权利要求1所述的信息处理设备，
其中所述获取单元获取评价值作为所述图像质量信息，该评价值是通过将所述视频的段在所要评价的比特率下的图像质量与所述视频的所述段在参考比特率下的图像质量进行比较而获得的。
3.按照权利要求2所述的信息处理设备，
其中所述获取单元获取将多种比特率中的最高比特率用作所述参考比特率的情况下的图像质量信息，所述多种比特率是在以流送方式传递所述视频时所述视频的比特率可变的范围。
4.按照权利要求2所述的信息处理设备，
其中所述视频设有通过对原始视频进行比特率转换而生成的多种比特率下的视频，并且
所述获取单元获取将所述原始视频的比特率用作所述参考比特率的情况下的图像质量信息。
5.按照权利要求1到4中任何一项所述的信息处理设备，
其中所述确定单元在所述视频的一个或多个段在第一比特率下的图像质量满足预定条件的情况下，将所述第一比特率以预定方式确定为所述一个或多个段的比特率，并且
所述确定单元在所述视频的一个或多个段在所述第一比特率下的图像质量不满足所述预定条件的情况下，将高于所述第一比特率的第二比特率确定为所述一个或多个段的比特率。
6.按照权利要求5所述的信息处理设备，
其中所述确定单元确定使得所述预定条件得到满足的第二比特率。
7.按照权利要求1到6中任何一项所述的信息处理设备，进一步包括，
指定单元，指定在接收所述视频的数据时的带宽，
其中，在被确定为所述一个或多个段的比特率高于所指定的带宽的情况下，所述确定单元重新确定等于或低于所述带宽的比特率作为所述一个或多个段的比特率。
CN201610827004.6A 2016-02-29 2016-09-14 信息处理设备 Active CN107135403B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016036944A JP2017157904A (ja) 2016-02-29 2016-02-29 情報処理装置
JP2016-036944 2016-02-29

Publications (2)

Publication Number Publication Date
CN107135403A CN107135403A (zh) 2017-09-05
CN107135403B true CN107135403B (zh) 2021-11-02

Family

ID=56883587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610827004.6A Active CN107135403B (zh) 2016-02-29 2016-09-14 信息处理设备

Country Status (5)

Country Link
US (1) US20170251275A1 (zh)
EP (1) EP3211912B1 (zh)
JP (1) JP2017157904A (zh)
KR (1) KR102137133B1 (zh)
CN (1) CN107135403B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437304B2 (en) * 2016-03-15 2019-10-08 Roku, Inc. Brown out condition detection and device calibration
KR101797870B1 (ko) * 2016-08-12 2017-11-14 라인 가부시키가이샤 영상통화 품질 측정 방법 및 시스템
JP7255116B2 (ja) * 2018-09-25 2023-04-11 富士フイルムビジネスイノベーション株式会社 情報処理システム、端末装置およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368833A (zh) * 2011-11-29 2012-03-07 乐视网信息技术（北京）股份有限公司 一种对视频信息进行分段下载均衡的方法
CN104429041A (zh) * 2012-06-28 2015-03-18 阿尔卡特朗讯公司 使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4387072B2 (ja) * 2001-07-12 2009-12-16 三菱電機株式会社 携帯型映像記録装置
JP2004088480A (ja) 2002-08-27 2004-03-18 Canon Inc 撮像装置及びそのデータ伝送制御方法
JP4350742B2 (ja) * 2006-12-19 2009-10-21 キヤノン株式会社 映像処理装置及び映像処理装置の制御方法
GB0706424D0 (en) * 2007-04-02 2007-05-09 British Telecomm Video streaming
JP4497194B2 (ja) * 2007-11-12 2010-07-07 株式会社カシオ日立モバイルコミュニケーションズ 携帯端末装置及びプログラム
WO2013027408A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 記録媒体、再生装置、記録装置、及び記録方法
CN104488246B (zh) * 2012-07-10 2018-11-02 Vid拓展公司 质量驱动串流
US9357272B2 (en) * 2012-08-03 2016-05-31 Intel Corporation Device orientation capability exchange signaling and server adaptation of multimedia content in response to device orientation
US9125073B2 (en) * 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
US9264475B2 (en) * 2012-12-31 2016-02-16 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9253229B1 (en) * 2013-01-07 2016-02-02 Cox Communications, Inc. Correlating video quality with video playback view
WO2014113486A1 (en) * 2013-01-15 2014-07-24 Futurewei Technologies, Inc. Using quality information for adaptive streaming of media content
EP2947886A4 (en) * 2013-01-18 2016-08-17 Sony Corp CONTENT SERVER AND CONTENT DISTRIBUTION METHOD
WO2014158264A1 (en) * 2013-03-29 2014-10-02 Intel IP Corporation Quality-aware rate adaptation techniques for dash streaming
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
JP6064251B2 (ja) * 2013-07-19 2017-01-25 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 動的適応型ハイパーテキスト転送プロトコルストリーミングにおけるメタデータ情報のシグナリングおよび搬送
JP6145069B2 (ja) * 2014-04-30 2017-06-07 日本電信電話株式会社 主観画質推定装置及び主観画質推定プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102368833A (zh) * 2011-11-29 2012-03-07 乐视网信息技术（北京）股份有限公司 一种对视频信息进行分段下载均衡的方法
CN104429041A (zh) * 2012-06-28 2015-03-18 阿尔卡特朗讯公司 使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Design and implementation of high-performance video processor for head-mounted displays;Hou Zuoxun et al.;《2011 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON)》;20110616;全文 *
H.265/HEVC编码加速算法研究;王建富;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑(月刊)，2015年第09期》;20150915;全文 *

Also Published As

Publication number Publication date
CN107135403A (zh) 2017-09-05
JP2017157904A (ja) 2017-09-07
EP3211912A1 (en) 2017-08-30
KR20170101760A (ko) 2017-09-06
KR102137133B1 (ko) 2020-07-24
EP3211912B1 (en) 2019-12-25
US20170251275A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
CN107135422B (zh) 信息处理设备和信息处理方法
US8606966B2 (en) Network adaptation of digital content
US8176199B2 (en) Content delivery system, communicating apparatus, communicating method, and program
US20210306405A1 (en) Apparatus and method for constant quality optimization for adaptive streaming
US20200099973A1 (en) Information processing system, terminal apparatus, and non-transitory computer readable medium
US20020131496A1 (en) System and method for adjusting bit rate and cost of delivery of digital data
WO2017031692A1 (zh) 视频下载方法、装置及系统
US20170347159A1 (en) Qoe analysis-based video frame management method and apparatus
JP2004112789A (ja) マルチメディアストリーミング装置及びその方法
US20220159268A1 (en) Adaptive transcoding of profile ladder for videos
CN107135403B (zh) 信息处理设备
US10609383B2 (en) Video compression using down-sampling patterns in two phases
US10708667B1 (en) Combining fragments with different encodings
US20140298394A1 (en) Image processing device, image processing method, and computer program
KR102293797B1 (ko) 영상 복잡도 정보를 이용한 화면 영역별 차등 대역폭 할당 방법 및 장치
JP6891497B2 (ja) 情報処理装置、情報処理システム及びプログラム
JPH0818622A (ja) 情報通信端末装置
JP6793526B2 (ja) 動画配信システム、配信サーバ、及びプログラム
KR20200077974A (ko) 비디오 스트리밍 방법 및 장치
US20160014181A1 (en) Content transfer method, content transfer apparatus and content receiving apparatus
CN108574855A (zh) 视频流化方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant