CN105917658B - 解码设备、解码方法、编码设备和编码方法 - Google Patents

解码设备、解码方法、编码设备和编码方法 Download PDF

Info

Publication number
CN105917658B
CN105917658B CN201480073193.1A CN201480073193A CN105917658B CN 105917658 B CN105917658 B CN 105917658B CN 201480073193 A CN201480073193 A CN 201480073193A CN 105917658 B CN105917658 B CN 105917658B
Authority
CN
China
Prior art keywords
decoding
encoding
content
capability
source device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480073193.1A
Other languages
English (en)
Other versions
CN105917658A (zh
Inventor
吉村司
石见英辉
天野翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105917658A publication Critical patent/CN105917658A/zh
Application granted granted Critical
Publication of CN105917658B publication Critical patent/CN105917658B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6373Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]

Abstract

[目的]为了能够在接收装置中适当再现从多个源装置接收的内容,而不超过接收装置的解码能力。[解决方案]提供一种解码设备,包括:无线通信单元,所述无线通信单元配置为与多个编码设备建立无线连接;解码单元,所述解码单元配置为对经由所述无线通信单元从所述多个编码设备接收的多条内容进行解码;再现单元,所述再现单元配置为再现由所述解码单元解码的所述多条内容;以及控制单元,所述控制单元配置为按照待由所述再现单元再现的一组所述多条内容所需的必需解码能力不超过所述解码单元的实际解码能力的方式,控制所述多个编码设备中的每个设备对于内容的编码条件。

Description

解码设备、解码方法、编码设备和编码方法
技术领域
本公开涉及解码设备、解码方法、编码设备和编码方法。
背景技术
如今,各种电子装置具有编码并且传输多媒体内容或者解码并且再现多媒体内容的能力。经过编码的内容通过多媒体网络传输,并且由接收内容的装置进行再现。过去,主要通过使用有线通信技术(诸如,高清晰度多媒体接口(HDMI))来形成多媒体网络。然而,由于近年来各类无线通信技术的快速发展,无线通信网络(例如,无线局域网(LAN))已经用于传输多媒体内容。
若必要,对内容进行编码和传送的装置通常称作源装置。另一方面,从源装置接收内容并且再现该内容的装置称作接收装置。为了让接收装置成功再现内容,重要的是使源装置将按照满足例如接收装置的能力或者通信环境等条件的方式编码的内容传送至网络。因此,专利文献1提出了一种控制当与源装置对应的内容服务器根据与接收装置对应的终端的能力对内容进行编码时的编码条件的技术。
非专利文献1是由Wi-Fi联盟制定的Wi-Fi显示技术规范。Wi-Fi显示(Wi-FiDisplay)又称Wi-Fi CERTIFIED Miracast(注册商标)。Wi-Fi显示采用在不通过接入点的情况下在无线LAN装置之间形成无线通信网络的Wi-Fi直连(Wi-Fi Direct)作为基础技术,并且定义了从源装置传输高清晰度视频内容至接收装置的协议。非专利文献1中定义的在设备之间的消息传递以实时流传输协议(RTSP)为基础。例如,源装置可以通过使用RTSP的M3消息来查询接收装置的能力,并且通过使用RTSP的M4消息来设置接收装置的操作。
引文列表
专利文献
专利文献1:JP 2009-260818A
非专利文献
非专利文献:Wi-Fi联盟技术委员会,WI-Fi显示技术任务组,2012年8月24日,Wi-Fi显示技术规范1.0.0版(“Wi-Fi Display Technical Specification Version 1.0.0,”Wi-Fi Alliance Technical Committee,Wi-Fi Display Technical Task Group,August24,2012)。
发明内容
技术问题
然而,当一个接收装置试图再现分别从不同源装置接收的多条内容时,源装置用作主装置并且控制内容编码和解码条件的现有技术造成了不便。例如,假设某个源装置通过使用接收装置支持的编码方法对内容进行编码,并且将内容发送至接收装置。此时,另一源装置也可以通过使用相同的编码方法对其它内容进行编码,并且将内容发送至接收装置。然而,如果接收装置只有一个可以通过使用编码方法对内容进行解码的电路,那么接收装置不可以同时对从两个源装置接收的内容进行再现。这种问题也出现在通过软件而非硬件来实施解码处理时。
因此,需要提供一种在存在多个源装置的前提下使接收装置能够恰当地控制内容编码或者解码条件的机构。
解决问题的方法
根据本公开,提供一种解码设备,其包括:无线通信单元,该无线通信单元配置为与多个编码设备建立无线连接;解码单元,该解码单元配置为对经由无线通信单元从多个编码设备接收的多条内容进行编码;再现单元,该再现单元配置为再现由解码单元解码的多条内容;以及控制单元,该控制单元配置为按照由再现单元待再现的一组多条内容所需的必需解码能力不超过解码单元的实际解码能力的方式,控制多个编码设备中的每个编码设备对于内容的编码条件。
另外,根据本公开,提供一种解码方法,其包括:通过解码设备,对经由无线连接从多个解码设备接收的多条内容进行解码;以及通过解码设备,按照待再现的一组多条内容所需的必需解码能力不超过解码设备的实际解码能力的方式,控制多个编码设备中的每个编码设备对于内容的编码条件。
另外,根据本公开,提供一种编码设备,其包括:无线通信单元,该无线通信单元配置为与对从多个设备接收的多条内容进行解码和再现的解码设备建立无线连接;编码单元,该编码单元配置为对待经由无线通信单元发送至解码设备的内容进行编码;控制单元,该控制单元配置为基于从解码设备接收的控制消息,按照待由解码设备再现的一组多条内容所需的必需解码能力不超过解码设备的实际解码能力的方式,控制编码单元对于内容的编码条件。
另外,根据本公开,提供一种编码方法,其包括:通过经由无线连接将内容发送至对从多个设备接收的多条内容进行解码和再现的解码设备的编码设备,对待发送至解码设备的内容进行编码;以及基于从解码设备接收的控制消息,按照待由解码设备再现的一组多条内容所需的必需解码能力不超过解码设备的实际解码能力的方式,控制编码设备对于内容的编码条件。
本发明的有益效果
根据本公开的技术,可以在不超过接收装置的解码能力的情况下在接收装置中恰当地再现从多个源装置接收的内容。
注意,上面描述的效果并不一定是限制性的,并且,结合这些效果或者替代这些效果,可以展示出在本发明中需要引入的任何效果或者可以从本说明书期望的其它效果。
附图说明
图1是用于描述根据实施例的内容再现系统的概述的说明图。
图2是示出根据实施例的接收装置的配置的示例的框图。
图3A是示出接收装置的解码单元的详细配置的第一示例的框图。
图3B是示出接收装置的解码单元的详细配置的第二示例的框图。
图4A是示出由接收装置的视频再现单元输出的显示图像的配置的第一示例的说明图。
图4B是示出由接收装置的视频再现单元输出的显示图像的配置的第二示例的说明图。
图4C是示出由接收装置的视频再现单元输出的显示图像的配置的第三示例的说明图。
图5是示出根据实施例的源装置的配置的示例的框图。
图6是示出根据实施例的由接收装置执行的内容再现处理的流程的示例的流程图。
图7是示出用于更新内容再现组的更新处理的详细流程的示例的流程图。
图8是示出根据实施例的由源装置执行的内容发送处理的流程的示例的流程图。
图9是用于描述与编码条件的控制有关的示例性第一控制场景的说明图。
图10是用于描述与编码条件的控制有关的示例性第二控制场景的说明图。
图11是用于描述与编码条件的控制有关的示例性第三控制场景的说明图。
图12是用于描述与编码条件的控制有关的示例性第四控制场景的说明图。
图13是用于描述与编码条件的控制有关的示例性第五控制场景的说明图。
图14是示意性地示出在Wi-Fi显示中在装置之间的消息传递的流程的序列图。
图15是示出在图14的能力协商过程中的现有消息传递的流程的示例的序列图。
图16是示出根据第一种技术在接收装置与源装置之间的扩展型消息传递的流程的示例的序列图。
图17是示出根据第一种技术在接收装置与源装置之间的扩展型消息传递的流程的另一示例的序列图。
图18是示出当要中断服务时消息传递的流程的示例的序列图。
图19是示出根据第二种技术在接收装置与源装置之间的扩展型消息传递的流程的示例的序列图。
图20是示出智能手机的示意性配置的示例的框图。
图21是示出汽车导航装置的示意性配置的示例的框图。
具体实施方式
在下文中,将参照附图对本公开的优选实施例进行详细描述。在本说明书和附图中,具有大体相同的功能和结构的元件用相同的附图标记表示,并且省略重复说明。
另外,将按照以下顺序进行描述。
1、系统概述
2、接收装置的配置示例
3、源装置的配置示例
4、处理流程
4-1、接收侧的处理
4-2、源侧的处理
5、控制场景
6、消息传递序列(Wi-Fi显示的示例)
6-1、示意性流程
6-2、现有的能力协商过程
6-3、扩展型消息传递序列(第一种技术)
6-4、扩展型消息传递序列(第二种技术)
7、应用示例
8、结论
<1、系统概述>
图1是示出根据实施例的内容再现系统1的概述的说明图。内容再现系统1包括:接收装置100、源装置200a、源装置200b、源装置200c和源装置200d。接收装置100与源装置200a、源装置200b、源装置200c和源装置200d中的每一个建立无线连接。
接收装置是对从源装置接收的内容进行解码并且对经过解码的内容进行再现的设备。在图1的示例中,接收装置100是数字电视设备。源装置是在有必要时对内容进行编码并且将经过编码的内容发送至接收装置的设备。在内容再现系统1中,从源装置发送至接收装置的内容通常包括视频内容和音频内容中的至少一种。在图1的示例中,源装置200a是标识符为DVC1的数码摄像机。源装置200b是标识符为SMP1的智能手机。源装置200c是标识符为VDR1的内容记录器。源装置200d是标识符为TBL1的平板个人计算机(PC)。注意,根据本公开的技术不限于所图示的示例,并且可以应用于任何类型的接收装置和源装置,例如,台式PC、膝上型PC、个人数字助理(PDA)、移动电话、游戏装置、可穿戴装置和存储装置。在以下提供的本说明书的描述中,如果没有必要区分源装置200a、源装置200b、源装置200c和源装置200d,那么将这些装置统称为源装置200。
可以通过任何一种无线通信方案,例如,无线局域网(LAN)方案(诸如,IEEE802.11a、11b、11g、11n、11ac或者11ad)、无线个域网(PAN)方案(诸如,超宽带(UWB)或者Zigbee)或者无线城域网(MAN)方案(诸如,IEEE 802.16),来实现在接收装置100与源装置200之间的无线连接。另外,中间装置(诸如,无线接入点)可以或者可以不介入在接收装置100与源装置200之间。注意,在以下的描述中,例如,假设根据Wi-Fi显示关于无线LAN连接的消息传递规范,在无线LAN方案中,接收装置100和源装置200连接,并且在其间传输内容。在这种情况下,可以通过使用Wi-Fi直连或者使用称作隧道直接链路设置(TDLS)的连接协议来在接收装置100与源装置200之间建立无线LAN连接。此外,可以在接收装置100与源装置200之间形成用于交换用户输入信息的控制信道。控制信道可以是,例如,基于传输控制协议/互联网协议(TCP/IP)的用户输入反向信道(UIBC)。注意,不是使用Wi-Fi显示,还可以通过使用另一远程桌面应用,例如,虚拟网络计算(VNC),来传输内容。
源装置200可以向接收装置提供,例如,通过使用照相机拍摄物体而获取的视频内容或者通过使用麦克风收集的现实世界的声音而获取的音频内容。另外,源装置200可以向接收装置提供经由网络从远程装置接收的内容。另外,源装置200可以向接收装置提供从存储装置(例如,硬盘驱动器)读取的内容。另一方面,在本实施例中,接收装置100并行地从多个源装置200接收多条内容,并且在有必要时对每一条接收到的内容进行解码和再现。
在现有技术中,通常,内容编码和解码条件主要由源装置控制。然而,当接收装置100试图再现分别从不同源装置200接收的多条内容时,在源侧上进行的这种控制会造成不便。例如,假设源装置200a用接收装置100支持的编码方案对内容进行编码,并且将经过编码的内容发送至接收装置100。此时,源装置200b、200c或者200d也可以通过使用相同的编码方案对不同的内容进行编码,并且将经过编码的内容发送至接收装置100。然而,如果接收装置100只有一个可以用该编码方案对内容进行解码的电路(或者,如果接收装置100不具有用该编码方案并行地对两条内容进行解码的处理器性能),那么接收装置不能同时对从源装置接收的内容进行再现。为了解决或者缓解这种不便,需要实现一种在存在多个源装置的前提下使接收装置能够控制内容编码或解码条件的机构。在随后的章节中将对与这种机构有关的实施例进行详细描述。
<2、接收装置的配置示例>
图2是示出根据实施例的接收装置100的配置的示例的框图。参照图2,接收装置100设置有无线通信单元110、流获取单元120、解码单元130、视频再现单元140、音频再现单元150、再现控制单元160、存储单元170和用户接口单元180。
(1)无线通信单元
无线通信单元110是调解接收装置100与另一设备的无线通信的无线接口。在本实施例中,无线通信单元110与多个源装置200(对内容进行编码的编码设备)建立无线连接。另外,无线通信单元110接收无线电信号,这些无线电信号包括经由天线在无线连接上从源装置200发送的内容数据。无线通信单元110将接收到的包括内容数据的信号输出至流获取单元120。另外,无线通信单元110也可以与源装置200进行包含控制消息的无线信号的发送和接收。发送至源装置200的控制消息由下文将描述的再现控制单元160生成。另外,从源装置200接收的控制消息由再现控制单元160解译。
无线通信单元110可以按照并行或者选择性的方式使用具有不同传输速率的多个频率信道。多个频率信道可以是,例如,分别具有2.4GHz、5GHz和60GHz的传输速率的信道。无线通信单元110可以根据下文将描述的再现控制单元160进行的分配来切换用于从各个源装置200接收内容的频率信道。通常,可以在具有高传输速率的频率信道上传输高比特率内容(例如,显示在多帧主窗口上的内容),并且可以在具有低传输速率的信道上传输低比特率内容(例如,显示在多帧子窗口上的内容)。无线通信单元110可以测量各个频率信道的连接质量并且向再现控制单元160输出表示测量结果的质量指数(例如,接收信号强度、信噪比(SNR)等)。
(2)流获取单元
流获取单元120由从无线通信单元110输入的接收到的信号获取待再现的内容(例如,视频内容或者音频内容)的比特流。然后,流获取单元120将相对于待再现的内容获取的比特流输出至解码单元130。
流获取单元120可以测量用于评估针对每个流的无线连接的连接质量(例如,比特误差率(BER)、分组误差率(PER)等)的质量指数,并且将该质量指数输出至再现控制单元160。
(3)解码单元
解码单元130对来自从该一个或者多个源装置200接收的内容的比特流的内容进行解码。解码单元130在对视频内容进行解码之后,将经过解码的视频内容发送至视频再现单元140。另外,解码单元130在对音频内容进行解码之后,将经过解码的音频内容输出至音频再现单元150。解码单元130可以并行地对多条内容进行解码。在内容被压缩并且编码时,通过解码单元130的解码处理对内容进行解压缩。
图3A是示出接收装置100的解码单元130的详细配置的第一示例的框图。在第一示例中,解码单元130具有:第一视频解码电路131、第二视频解码电路132、第三视频解码电路133和音频解码电路136。第一视频解码电路131是支持,例如,H.265/HEVC作为视频编解码器的解码电路。第二视频解码电路132和第三视频解码电路133是支持,例如,H.264/AVC作为视频编解码器的解码电路。音频解码电路136是支持,例如,AAC、MP3、LPCM等音频编解码器的解码电路。在第一示例中,解码单元130的实际解码能力等效于解码电路的所有能力。实际解码能力可以表现为解码电路的数量、每个解码电路支持的编解码器类型、清晰度、速率(帧速率、采样速率等)和质量等级(比特深度、量化步长等)中的至少一种。
图3B是示出接收装置100的解码单元130的详细配置的第二示例的框图。在第二示例中,解码单元130配置为处理器,并且该处理器执行从存储器(未图示)读取的软件模块。由解码单元130执行的软件模块包括,例如,视频解码模块134和音频解码模块137。视频解码模块134可以支持H.265/HEVC和H.264/AVC作为视频编解码器。音频解码模块137可以支持AAC、MP3或者LPCM作为音频编解码器。在第二示例中,解码单元130的实际解码能力取决于处理器性能。对内容进行解码所需的处理器性能可以取决于解码条件,例如,编解码器类型、清晰度、速率和待解码的内容的质量等级。
注意,解码单元130的配置不限于上面描述的示例。解码单元130可以具有更多或者更少的解码电路。另外,解码单元130可以同时具有作为硬件的解码电路和执行用于视频解码和音频解码的软件模块的处理器。另外,解码单元130可以支持与上面举例说明的编解码器类型不同的编解码器类型。
(4)视频再现单元
视频再现单元140和音频再现单元150用于再现由解码单元130解码的多条内容。视频再现单元140顺序地将由解码单元130解码的每一帧视频内容输出至显示器。当并行地对多条视频内容进行解码时,视频再现单元140可以,例如,将视频内容的多帧合并成一个图像(或者,将它们混合在一起),并且将多帧显示图像输出至显示器。
图4A是示出由接收装置100的视频再现单元140输出至显示器的显示图像的配置的第一示例的说明图。参照图4A,显示图像142包括主窗口145a、子窗口145b、另一子窗口145c和闲置装置窗口146。主窗口145a是用于显示可以基于用户输入而选择的主内容的窗口。子窗口145b和子窗口145c是用于显示可以与主内容并行地解码的各条子内容的窗口。主内容与子内容组成内容再现组。闲置装置窗口146是用于显示不向接收装置100提供正在再现的内容但是会在那时保持与接收装置100的无线连接的源装置200的列表(在下文中称为闲置列表)的窗口。在图4A的示例中,从源装置200a接收的内容显示在主窗口145a上,从源装置200b接收的内容显示在子窗口145b上,并且从源装置200c接收的内容显示在子窗口145c上。另一方面,不对从源装置200d接收的内容进行再现,并且源装置200d的图标(和标识该装置的标识符)显示在闲置装置窗口146上。
图4B是示出由接收装置100的视频再现单元140输出至显示器的显示图像的配置的第二示例的说明图。参照图4B,示出输出至第一显示器的显示图像143a和输出至第二显示器的显示图像143b。显示图像143a包括主窗口145a。显示图像143b包括子窗口145b、子窗口145c和闲置装置窗口146。如所描述的,视频再现单元140可以能够向多个显示器输出单独的显示图像。另外,各个显示图像可以包括任何数量和任何类型的窗口。
图4C是示出由接收装置100的视频再现单元140输出至显示器的显示图像的配置的第三示例的说明图。参照图4C,虽然显示图像144包括主窗口145a、子窗口145b和子窗口145c,但图像不包括在图4A和图4B中示出的闲置装置窗口146。按照这种方式,不必显示闲置装置窗口(或者,闲置列表)。
注意,显示器可以配置为与接收装置100集成在一起或者可以按照可互换的方式连接至接收装置100。视频再现单元140可以根据用作输出目的地的显示器的期望窗口配置和规格来调节待再现的视频内容的显示属性(例如,帧大小等)。作为显示器,可以使用监视器或投影仪。
(5)音频再现单元
音频再现单元150顺序地将由解码单元130解码的音频内容的音频信号输出至扬声器。由音频再现单元150再现的内容可以是伴随作为主内容或子内容的视频内容的音频内容,或者可以是与视频内容无关的离散音频内容。
(6)再现控制单元
再现控制单元160控制作为内容发送源的多个源装置200的编码条件不会导致由视频再现单元140和音频再现单元150再现的一组多条内容(内容再现组)所需的必需解码能力超过解码单元130的实际解码能力。通常可以基于经由用户接口单元180获取的用户输入来生成和更新内容再现组。再现控制单元160相对于第一次生成的或者最近更新的内容再现组来决定必需解码能力,并且将决定的必需解码能力与解码单元130的实际解码能力进行比较。当必需解码能力未超过实际解码能力时,再现控制单元160可以保持内容再现组及其编码条件而不改变。当必需解码能力超过实际解码能力时,再现控制单元160改变至少一个源装置200的编码条件以降低必需解码能力。
为了可以恰当地决定源装置200的编码条件,再现控制单元160提前辨别各个源装置200的编码能力。更具体地,再现控制单元160通过经由无线通信单元110向各个源装置200发送能力查询消息而从各个源装置200收集编码能力信息,并且使存储单元170存储收集到的编码能力信息。然后,再现控制单元160根据收集到的各个源装置200的编码能力信息来决定源装置200的编码条件在可允许的范围内。
例如,虽然非专利文献1中定义的Wi-Fi显示技术规范定义了从源装置到接收装置的用于查询解码能力信息的消息,但是并未定义从接收装置到源装置的用于查询编码能力的消息。这是因为,通常在现有技术中,内容编码和解码条件主要由源装置控制。另一方面,在本实施例中,引入了从接收装置100到源装置200的用于查询编码能力的能力查询消息,如下文详细描述的。因此,用作主装置的接收装置100可以系统地控制多个源装置200的编码条件。
编码条件可以是与各个源装置200中使用的编解码器类型、清晰度、速率和质量等级中的至少一种相关的条件。例如,当存在支持H.264/AVC的自由解码电路而支持H.265/HEVC的解码电路不满足要求时,再现控制单元160可以改变正在通过使用H.265/HEVC至H.264/AVC对内容进行编码的源装置200的编码条件。另外,当解码单元130的处理器性能不满足要求时,再现控制单元160可以向源装置200请求通过使用更低清晰度、更低速率或者更低质量等级对该内容进行编码。因此,可以将必需解码能力调节为实际解码能力。当编码能力信息表示源装置200能够在改变后的编码条件下编码或者发送内容时,允许进行编码条件的这种改变。
编解码器类型不仅可以包括压缩编码方案,还可以包括非压缩方案。虽然在非压缩方案中因为待传输的内容具有高比特率所以仅在传输速率较高的无线连接上进行传输,但是与压缩编码方案相比,其对编码器和解码器造成的负担很小。由此,当必需解码能力超过实际解码能力时,再现控制单元160可以向正在根据编码能力信息通过使用在可允许范围内的特定编解码器类型对内容进行编码的源装置200请求发送未经压缩编码的内容。再现控制单元160可以根据分配的频率信道的传输速率或者连接质量在压缩编码方案与非压缩方案之间切换待应用于源装置200的编解码器类型。
在决定编码条件(包括开始或者停止再现)的改变时,再现控制单元160经由无线通信单元110向涉及该改变的源装置200发送用于设置所决定的编码条件的消息。鉴于上述Wi-Fi显示技术规范并未定义从接收装置到源装置的用于试图设置编码条件的消息,所以本实施例引入从接收装置100到源装置200的用于试图设置编码条件的设置请求消息。
作为辅助控制,再现控制单元160可以基于与各个源装置200的无线连接的连接质量来控制各个源装置200的编码条件。例如,再现控制单元160监视从无线通信单元110或者流获取单元120输入的质量指数。然后,在检测到某个源装置200的连接质量正在下降时,再现控制单元160降低正从源装置200接收的内容的清晰度、速率或者质量等级。因此,由于内容的比特率变低,所以可以降低在质量已经下降的无线连接上丢失内容数据的风险。
另外,再现控制单元160可以基于各个源装置200的供电状态来控制各个源装置200的编码条件。例如,在应该从内容再现组移除任何内容的状态下,再现控制单元160可以优先从正受电池驱动的源装置200(或者,剩余电量更小的源装置200)移除内容。另外,再现控制单元160可以优先降低来自正受电池驱动的源装置200的内容的清晰度、速率或者质量等级。再现控制单元160可以决定正受电池驱动的源装置200的编解码器类型,从而使内容的解码和再编码(或者转码)变得不必要。因此,随着必需解码能力的降低,可以抑制系统的总电池消耗。
另外,各个源装置200可以通过高级消息交换程序向接收装置100提供优先化条件信息,该优先化条件信息规定待优先考虑的编码条件。优先化条件信息可以存储在存储单元170中,并且在决定各个源装置200的编码条件时,由再现控制单元160考虑。通过基于优先化条件信息控制编码条件,可以反映针对单独的装置的限制或者要求(该限制或者要求基于例如用户设置),例如,低功耗或者控制之下的处理负载的减小。
另外,再现控制单元160可以进一步根据源装置200的编码条件来控制与源装置200的无线连接的频率信道。例如,在从编码条件识别出待从某个源装置200接收的内容的比特率较高时,再现控制单元160向与源装置200的无线连接分配具有更高传输速率(或者更好连接质量)的频率信道。另外,当可以分配的频率信道的传输速率低于针对某个内容假设的比特率时,再现控制单元160可以降低该内容的清晰度、速率或者质量等级。因此,可以确保稳定的内容传输。
再现控制单元160也可以控制源装置200之间的消息的交换。发送至源装置200的消息可以包括上面描述的用于控制源装置200的编码条件的能力查询消息和设置请求消息。从源装置200接收的消息可以包括来自源装置200的对上面描述的能力查询消息和设置请求消息的响应消息。进一步地,再现控制单元160可以经由装置之间的控制信道发送和接收控制消息,这些控制消息包括与内容的再现相关的命令(例如,开始再现、停止再现、快进、倒带等)。再现控制单元160可以根据这种命令的检测来控制视频再现单元140和音频再现单元150的操作。
(7)存储单元
存储单元170可以将用于控制内容的解码和再现的程序和数据存储在接收装置100中。存储单元170可以存储,例如,从多个源装置200收集的编码能力信息和上面描述的优先化条件信息。另外,存储单元170可以存储表示解码单元130的实际解码能力的实际解码能力信息。可以事先固定定义实际解码能力信息。相反,再现控制单元160可以持续监视施加在解码单元130上的负载以动态地重新计算解码单元130的实际解码能力,并且从而更新实际解码能力信息。当由软件实施解码处理时,例如,存在执行该软件的处理器也执行其它处理的可能性,并且由此,有助于动态地重新计算可以用于解码处理的处理器性能。
(8)用户接口单元
用户接口单元180经由接收装置100的输入装置(未图示)接收用户输入。接收装置100可以接收在独特的硬件(例如,遥控器、触摸板、键盘、鼠标、按钮或者开关)中生成的输入信号作为用户输入。另外,接收装置100也可以接收通过麦克风获取的音频命令、通过照相机获取的手势命令或者通过传感器获取的传感器命令作为用户输入。用户接口单元180将接收到的用户输入输出至再现控制单元160。
<3、源装置的配置示例>
图5是示出根据实施例的源装置200的配置的示例的框图。参照图5,源装置200设置有无线通信单元210、存储单元220、内容获取单元230、编码单元240、流发送单元250、编码控制单元260和用户接口单元270。
(1)无线通信单元
无线通信单元210是调解源装置200与另一设备的无线通信的无线接口。在本实施例中,无线通信单元210与接收装置100建立无线连接。接收装置100是对从多个源装置中的每个源装置接收的内容进行解码和再现的解码设备,如上所述。无线通信单元110通过天线,在无线连接上,向接收装置100发送包括流发送单元250生成的内容数据的无线电信号。另外,无线通信单元210也可以向接收装置100发送包括控制消息的无线电信号,以及从接收装置100接收包括控制消息的无线电信号。发送至接收装置100的控制消息由下文将描述的编码控制单元260生成。此外,从接收装置100接收的控制消息由编码控制单元260解译。
(2)存储单元
存储单元220可以将用于控制内容的编码和发送的程序和数据存储在源装置200中。存储单元220提前存储,例如,表示源装置200的编码能力的编码能力信息。编码能力信息可以表示,例如,编码单元240所支持的编解码器类型、清晰度、速率和质量等级中的至少一种。可以在编码能力信息表示的编码能力范围内指定编码条件。另外,存储单元220可以存储优先化条件信息,该优先化条件信息规定针对源装置200需要优先考虑的编码条件(优先化条件)。优先化条件由用户设置,或者可以由编码控制单元260动态地指定。
存储单元220可以进一步存储可以提供给接收装置100的任何类型的内容。存储单元220可以存储,例如,包括通过使用照相机拍摄的视频和通过使用麦克风收集的声音的内容、从广播站接收的并且录制的内容、从内容服务器下载的内容、从外围装置读取的内容或者由任何用户应用生成的内容。
(3)内容获取单元
内容获取单元230获取待从存储单元220或者其它数据源提供至接收装置100的内容,并且将获取到的内容输出至编码单元240。其它数据源可以包括,例如,源装置200的照相机和麦克风或者源装置200可以接入的远程装置(例如,内容服务器或者具有麦克风的网络照相机)。可以通过用户接口单元270检测的用户输入或者从接收装置100接收的控制消息来指定应该提供给接收装置100的内容。当已经用与接收装置100指定的编码条件不同类型的编解码器对获取到的内容进行编码时,内容获取单元230可以首先对内容进行解码并且将内容输出至编码单元240。
(4)编码单元
编码单元240对从内容获取单元230输入的待发送至接收装置100的内容进行编码,并且从而生成内容的比特流。然后,编码单元240将生成的比特流输出至流发送单元250。编码单元240的内容的编码条件由编码控制单元260基于从接收装置100接收的控制消息来控制。用于视频内容的编码条件可以包括,例如,使用的视频编解码器的编解码器类型、清晰度、帧速率和图像质量等级。用于音频内容的编码条件可以包括使用的音频编解码器的编解码器类型、采样速率和声音质量等级。当编码单元240被指示不对内容进行压缩编码时,编码单元240可以生成非压缩格式的内容的比特流,而不对内容进行压缩。
编码单元240可以具有作为硬件的一个或者多个编码电路。另外,编码单元240可以具有处理器,该处理器可以执行用于视频编码和音频编码的软件模块。此外,编码单元240可以同时具有作为硬件的编码电路和可以执行软件模块的处理器。编码单元240可以支持任何编解码器类型。
(5)流发送单元
流发送单元250经由无线通信单元210将从编码单元240输入的经过编码的内容的比特流发送至接收装置100。流发送单元250可以通过将视频内容的流与音频内容的流多路复用来生成多媒体流,并且发送生成的多媒体流。
(6)编码控制单元
编码控制单元260基于从接收装置100接收的控制消息来控制编码单元240的内容的编码条件。从接收装置100接收的控制消息指定编码条件,该编码条件被决定使得由接收装置100再现的一组内容所需的必需解码能力不超过接收装置100的实际解码能力。例如,编码控制单元260可以使编码单元240根据由接收装置100指定的编解码器类型、清晰度、帧速率和图像质量等级对视频内容进行编码。另外,编码控制单元260可以使编码单元240根据由接收装置100指定的编解码器类型、采样速率和声音质量等级对音频内容进行编码。
为了使接收装置100能够恰当地决定编码单元240的编码条件,编码控制单元260经由无线通信单元210向接收装置100发送表示编码单元240的编码能力的编码能力信息。例如,响应于从接收装置100接收的能力查询消息,编码控制单元260可以向接收装置100发送编码能力信息。在现有技术中,源装置从接收装置查询解码能力,并且源装置主要基于结果来决定内容编码和解码条件。另一方面,在本实施例中,引入了从接收装置100到源装置200的用于查询编码能力的能力查询消息和包括源装置200响应于能力查询消息而回复给接收装置100的编码能力信息的响应消息。因此,用作主装置的接收装置100可以系统地控制多个源装置200的编码条件。
可以从接收装置100接收的另一控制消息在由发送至接收装置100的编码能力信息表示的范围内指定编码条件。控制消息可以是上面描述的从接收装置100到源装置200的用于请求设置编码条件的设置请求消息。当根据编码能力信息而被允许时,设置请求消息可以指定非压缩方案作为编解码器类型。当将非压缩方案指定为编解码器类型时,编码控制单元260可以指示编码单元240生成非压缩格式的内容的比特流而不对内容进行压缩。当已经将内容获取单元230获取的内容编码为由设置请求消息指定的编解码器类型时,编码控制单元260可以跳过内容的解码和重新编码(或者转码)。
另外,编码控制单元260可以将源装置200的供电状态(例如,源装置受电池驱动还是连接至电源、剩余电量等)通知接收装置100。在这种情况下,接收装置100可以进一步基于源装置200的供电状态来控制源装置200的编码条件,以便抑制源装置200(例如,受电池驱动的源装置200)的电池的消耗。
另外,编码控制单元260可以通过高级消息交换程序向接收装置100提供优先化条件信息,该优先化条件信息指定待优先考虑的编码条件。优先化条件信息是基于针对单独的装置的限制或者要求(例如,低功耗或者处理负载的减小)来定义的,并且可以在接收装置100决定源装置200的编码条件时予以考虑。
另外,编码控制单元260可以根据接收装置100的控制来进一步控制用于与接收装置100的无线连接的频率信道。当识别出待发送至接收装置100的内容的比特率增大时,向与接收装置100的无线连接分配具有更高传输速率(或者更好连接质量)的频率信道。编码控制单元260可以指示无线通信单元210使用由接收装置100分配的频率信道。编码控制单元260可以测量用于评估与接收装置100的无线连接的连接质量的质量指数(例如,BER、PER等),并且将该质量指数发送至接收装置100。
编码控制单元260也可以控制发送至接收装置100和从接收装置100接收的消息的交换。从接收装置100接收的消息可以包括上面描述的用于控制源装置200的编码条件的能力查询消息和设置请求消息。发送至接收装置100的消息可以包括对上面描述的能力查询消息和设置请求消息的响应消息。此外,当检测到与内容的再现相关的到用户接口单元270的用户输入时,编码控制单元260可以经由装置之间的控制信道向接收装置100发送控制消息,该控制消息包括与检测到的用户输入对应的命令。
例如,当选择源装置200作为闲置装置时,可以通过其无线通信单元210来接收指示停止再现内容的控制消息。在这种情况下,编码控制单元260可以使源装置200的操作模式过渡到待机模式,并且在待机模式期间,部分地停止对源装置200的各个单元的供电。在待机模式下,无线通信单元210可以,例如,间歇地运行,并且可以在活动期间周期性地从接收装置100接收控制消息。换言之,在待机模式期间也可以保持在接收装置100与源装置200之间的无线连接。在待机模式期间接收到指示开始再现内容的控制消息时,编码控制单元260可以使源装置200的操作模式返回到活动模式。
(7)用户接口单元
用户接口单元270经由源装置200的输入装置(未图示)接收用户输入。源装置200可以接收在独特的硬件(例如,遥控器、触摸板、键盘、鼠标、按钮或者开关等)中生成的输入信号作为用户输入。另外,源装置200可以接收通过麦克风获取的声音命令、通过照相机获取的手势命令或者通过传感器获取的传感器命令作为用户输入。用户接口单元270将接收到的用户输入输出至编码控制单元260。
虽然在图5中未图示,但是各个源装置200也可以具有视频再现单元和音频再现单元。
<4、处理流程>
[4-1、接收侧的处理]
(1)内容再现处理
图6是示出根据本实施例的由接收装置100执行的内容再现处理的流程的示例的流程图。
参照图6,首先,接收装置100的再现控制单元160初始化接收装置100的各个单元(步骤S100)。接下来,再现控制单元160通过从无线通信单元110向接收装置100的外围广播搜索信号或者通过检测从源装置200广播的搜索信号来寻找在其外围中存在的一个或者多个源装置200(步骤S105)。接下来,再现控制单元160从无线通信单元110向寻找到的源装置200发送能力查询消息(步骤S110)。然后,再现控制单元160接收源装置200响应于能力查询消息而回复的编码能力信息(步骤S120)。然后,再现控制单元160与源装置200建立可以用于提供内容的无线连接(步骤S130)。注意,在执行下面待述的内容再现控制的同时,可以连续重复从步骤S105到S130的处理。每次寻找到新的源装置200,接收装置100便可以与该寻找到的源装置200建立无线连接。
之后,根据例如用户输入来触发内容的再现。首先,再现控制单元160确定是否更新内容再现组(步骤S135)。例如,再现控制单元160将已经由用户指定为主内容或者子内容的内容添加到内容再现组。下面将详细描述用于更新内容再现组的步骤S140的更新处理。当通过此处的更新处理改变待再现的内容的编码条件时,再现控制单元160通过向编码条件改变了的源装置200发送设置请求消息来请求设置编码条件(步骤S160)。
然后,当开始内容提供时,无线通信单元110从多个源装置200中的每个源装置接收在内容再现组中包括的各条内容。可以通过流获取单元120从接收信号提取各条内容的比特流。接下来,解码单元130对来自接收到的内容的比特流的各条主内容和子内容进行解码(步骤S172)。接下来,视频再现单元140将经过解码的视频内容的多帧混合到多帧显示图像中(步骤S174)。另外,当存在选择作为闲置装置的源装置200时,视频再现单元140将闲置装置的图标(或者文本)添加到在显示图像中显示的闲置列表(步骤S176)。然后,视频再现单元140使显示器显示多帧视频(步骤S178)。另外,音频再现单元150将经过解码的音频内容输出至扬声器(步骤S180)。
在上面描述的内容再现处理期间,再现控制单元160监视与内容再现组的更新有关的控制触发器(步骤S190)。此处提及的控制触发器可以包括,例如,指示更新内容再现组的用户输入的检测、施加在解码单元130上的负载的增大和无线连接的连接质量的下降中的至少一种。当未检测到控制触发器时,跳过上面描述的步骤S140和S160的处理,并且重复对来自源装置200的内容的接收、解码和再现。当检测到控制触发器时,可以执行接下来描述的用于更新内容再现组的更新处理。
(2)再现组更新处理
图7是示出用于更新内容再现组的更新处理的详细流程的示例的流程图,其对应于图6的步骤S140。
取决于用户输入的详细情况,在图7中示出的更新处理出现分支。例如,当用户已经指定主内容时(步骤S141),再现控制单元160将指定的内容设置为主内容(步骤S142)。例如,当用户已经指定子内容时(步骤S141),再现控制单元160将指定的内容设置为子内容(步骤S144)。另外,当用户已经指定闲置装置时(步骤S145),再现控制单元160将指定的源装置200设置为闲置装置(步骤S146)。
接下来,再现控制单元160确定再现组的必需解码能力(步骤S148)。例如,针对视频内容的必需解码能力可以取决于待再现的视频内容的编解码器类型、清晰度、帧速率和图像质量等级。针对音频内容的必需解码能力可以取决于待再现的音频内容的编解码器类型、采样速率和声音质量等级。必需解码能力可以体现为必要的解码电路的数量或者必要的处理器性能。
接下来,再现控制单元160确定该所确定的必需解码能力是否超过解码单元130的实际解码能力(步骤S148)。当必需解码能力超过解码单元130的实际解码能力时,再现控制单元160改变内容再现组的编码条件并且降低必需解码能力(步骤S149)。编码条件的改变可以包括,例如,在根据从各个源装置200获取的编码能力信息可允许的范围内的以下项a1)至a9)中的一个或者多个:
a1)将主内容改变为子内容;
a2)停止再现主内容(改变为闲置装置);
a3)停止再现子内容(改变为闲置装置);
a4)改变编解码器类型(改变为轻量压缩编码方案或者改变为非压缩方案);
a5)降低视频内容的清晰度;
a6)降低视频内容的帧速率;
a7)降低视频内容的图像质量等级;
a8)降低音频内容的采样速率;
a9)降低音频内容的声音质量等级。
之后,再现控制单元160执行必需解码能力的确定和所确定的必需解码能力与实际解码能力的比较。
当必需解码能力不超过解码单元130的实际解码能力并且实际解码能力存在过剩时(步骤S150),再现控制单元160可以在不超过实际解码能力的范围内改变编码条件并且提高必需解码能力(步骤S151)。此处提及的编码条件的改变可以包括,例如,在根据从各个源装置200获取的编码能力信息可允许的范围内的以下项b1)至b9)中的一个或者多个:
b1)将子内容改变为主内容;
b2)开始再现来自闲置装置的主内容;
b3)开始再现来自闲置装置的子内容;
b4)改变编解码器类型;
b5)提高视频内容的清晰度;
b6)提高视频内容的帧速率;
b7)提高视频内容的图像质量等级;
b8)提高音频内容的采样速率;
b9)提高音频内容的声音质量等级。
之后,再现控制单元160再次执行必需解码能力的确定和所确定的必需解码能力与实际解码能力的比较。
当必需解码能力不超过解码单元130的实际解码能力并且不要求使用过剩的实际解码能力时,处理进入步骤S152。此处,再现控制单元160确定是否存在连接质量已经下降的无线连接(步骤S152)。例如,当某个无线连接的传输速率低于要携带的内容的比特率时,可以确定无线连接的连接质量已经下降。当存在连接质量已经下降的无线连接时,再现控制单元160改变编码条件并且降低对应内容的比特率(步骤S153)。注意,根据无线连接的连接质量对编码条件的改变可以未必被执行或者可以由发送侧的源装置200执行。
[4-2、源侧的处理]
图8是示出根据本实施例的由源装置200执行的内容发送处理的流程的示例的流程图。
参照图8,首先,源装置200的编码控制单元260初始化源装置200的各个单元(步骤S200)。接下来,编码控制单元260通过检测从接收装置100广播的搜索信号或者从无线通信单元210广播搜索信号来寻找接收装置100(步骤S205)。接下来,编码控制单元260经由无线通信单元210从接收装置100接收能力查询消息(步骤S210)。然后,响应于能力查询消息,编码控制单元260向接收装置100发送包括编码能力信息的响应消息(步骤S220)。然后,编码控制单元260与接收装置100建立无线连接(步骤S230)。
之后,当接收装置100请求设置编码条件时(步骤S235),编码控制单元260根据该请求设置用于对内容进行编码的编码条件(步骤S240)。例如,在从接收装置100接收的设置请求消息中描述了该编码条件。
然后,根据来自接收装置100的请求,例如,来触发内容的发送(步骤S250)。首先,内容获取单元230从存储单元220或者另一数据源获取待发送至接收装置100的内容(步骤S252)。接下来,编码单元240根据由编码控制单元260设置的编码条件对从内容获取单元230输入的内容进行编码(步骤S254)。接下来,流发送单元250经由无线通信单元210将从编码单元240输入的经过编码的内容的比特流发送至接收装置100(步骤S256)。
在上面描述的内容发送处理期间,编码控制单元260监视控制触发器。此处提及的控制触发器可以包括,例如,从接收装置100进行的设置请求消息的接收和到用户接口单元270的用户输入的检测。当控制触发器请求改变编码条件时,编码控制单元260可以根据该请求在上面描述的步骤S240中重新设置编码条件。当未检测到控制触发器时,重复对内容的获取、编码和发送。注意,在选择源装置200作为闲置装置时,跳过对内容的获取、编码和发送。
<5、控制场景>
在本节中,将通过使用附图来描述在内容再现系统1中与编码条件的控制有关的多个控制场景。
(1)第一控制场景
图9是用于描述与编码条件的控制有关的示例性第一控制场景的说明图。在图9的上部中,示出了内容再现组RL10和与之对应的显示图像。内容再现组RL10包括来自源装置200a(其标识符为“DVC1”)的主内容和来自源装置200b(其标识符为“SMP1”)和源装置200c(其标识符为“VDR1”)的两条子内容。源装置200d(其标识符为“TBL1”)为闲置装置。从源装置200a接收的内容显示在用于显示图像的主窗口145a中。从源装置200b接收的内容显示在子窗口145b中。从源装置200c接收的内容显示在子窗口145c中。作为闲置装置的源装置200d的图标显示在闲置装置窗口146中。
此处假设,例如,用户已经经由显示在屏幕上的图形用户界面(GUI)指示将来自源装置200d的内容显示在主窗口145a中。然后,接收装置100的再现控制单元160将内容再现组RL10更新为内容再现组RL11。在内容再现组RL11中,将来自源装置200d(其标识符为“TBL1”)的内容设置为主内容。然而,由于解码单元130,例如,仅具有三个可以对视频内容进行解码的解码电路,所以针对内容再现组RL11的必需解码能力超过解码单元130的实际解码能力。
由此,再现控制单元160将内容再现组RL11更新为,例如,内容再现组RL12。在内容再现组RL12中,从再现目标移除来自源装置200a(其标识符为“DVC1”)的内容,并且将源装置200a改变为闲置装置。结果,针对内容再现组RL12的必需解码能力不超过解码单元130的实际解码能力。在图9的下部中,示出了与内容再现组RL12对应的显示图像。从源装置200d(其标识符为“TBL1”)接收的内容显示在主窗口145a中。另一方面,源装置200a的图标显示在闲置装置窗口146中。即使如上所述将源装置200a表示为图标之后,也可以保持在无线通信单元110与源装置200a之间的无线连接。因此,当再次再现来自源装置200a的内容时,可以缩短被延迟直到开始再现的时间(例如,用于设置无线连接所需的时间)。
(2)第二控制场景
图10是用于描述与编码条件的控制有关的示例性第二控制场景的说明图。在图10的上部中,示出了内容再现组RL20和与之对应的显示图像。内容再现组RL20包括来自源装置200a(其标识符为“DVC1”)的主内容和来自源装置200b(其标识符为“SMP1”)和源装置200c(其标识符为“VDR1”)的两条子内容。源装置200d(其标识符为“TBL1”)为闲置装置。从源装置200a接收的内容显示在用于显示图像的主窗口145a中。从源装置200b接收的内容显示在子窗口145b中。从源装置200c接收的内容显示在子窗口145c中。作为闲置装置的源装置200d的图标显示在闲置装置窗口146中。
此处假设,例如,用户已经经由源装置200b的用户接口指示将来自源装置200b的内容显示在主窗口145a中。然后,接收装置100的再现控制单元160将内容再现组RL20更新为内容再现组RL21。在内容再现组RL21中,将来自源装置200b(其标识符为“SMP1”)的内容设置为主内容。然而,当试图同时对要求高清晰度的两条主内容进行解码时,必需解码能力超过解码单元130的处理器的实际解码能力。作为示例,针对主内容的接收和解码、子内容的接收和解码以及保持无线连接,分别假设需要处理器性能的50%、20%和2%。在这种情况下,如果并行地对两条主内容进行解码,那么必需解码能力达到100%,并且由此,处理器性能可能不足。可以如上所述简单地结合编码条件来计算必需解码能力。
由此,再现控制单元160将内容再现组RL21更新为,例如,内容再现组RL22。在内容再现组RL22中,将来自源装置200a(其标识符为“DVC1”)的内容设置为子内容。结果,针对内容再现组RL22的必需解码能力不超过解码单元130的实际解码能力。在图10的下部中,示出了与内容再现组RL22对应的显示图像。从源装置200b(其标识符为“SMP1”)接收的内容显示在主窗口145a中。另一方面,从源装置200a(其标识符为“DVC1”)接收的内容显示在子窗口145b中。
(3)第三控制场景
图11是用于描述与编码条件的控制有关的示例性第三控制场景的说明图。在图11的上部中,示出了内容再现组RL30和与之对应的显示图像。内容再现组RL30包括来自源装置200a(其标识符为“DVC1”)的主内容和来自源装置200b(其标识符为“SMP1”)和源装置200c(其标识符为“VDR1”)的两条子内容。源装置200d(其标识符为“TBL1”)为闲置装置。从源装置200a接收的内容显示在用于显示图像的主窗口145a中。从源装置200b接收的内容显示在子窗口145b中。从源装置200c接收的内容显示在子窗口145c中。作为闲置装置的源装置200d的图标显示在闲置装置窗口146中。
此处假设,例如,用户已经经由显示在屏幕上的GUI指示将来自源装置200d的内容显示在子窗口145b或者145c中。然后,接收装置100的再现控制单元160将内容再现组RL30更新为内容再现组RL31。在内容再现组RL31中,将来自源装置200d(其标识符为“TBL1”)的内容设置为子内容。然而,当试图同时对具有当前高清晰度的一条主内容和三条子内容进行解码时,必需解码能力超过解码单元130的处理器的实际解码能力。
由此,再现控制单元160将内容再现组RL31更新为,例如,内容再现组RL32。在内容再现组RL32中,将来自源装置200b(其标识符为“SMP1”)和源装置200c(其标识符为“VDR1”)的子内容的清晰度改变为低清晰度(LD)。结果,针对内容再现组RL32的必需解码能力不超过解码单元130的实际解码能力。在图11的下部中,示出了与内容再现组RL32对应的显示图像。减小了子窗口145b和145c的窗口大小,并且这些窗口分别显示低清晰度的子内容。另外,添加了新的子窗口145d,并且子窗口145d显示从源装置200d(其标识符为“TBL1”)接收的内容。如上所述,可以根据内容再现组的编码条件来动态地改变显示图像的窗口配置(诸如,窗口的数量和大小)。
(4)第四控制场景
图12是用于描述与编码条件的控制有关的示例性第四控制场景的说明图。在图12的上部中,示出了内容再现组RL40和与之对应的显示图像。内容再现组RL40包括来自源装置200a(其标识符为“DVC1”)的主内容和来自源装置200b(其标识符为“SMP1”)和源装置200c(其标识符为“VDR1”)的两条子内容。源装置200d(其标识符为“TBL1”)为闲置装置。在源装置200a中,用H.265/HEVC对主内容进行编码。在源装置200b和200c中,用H.264/AVC对两条子内容进行编码。
此处假设,例如,用户已经经由显示在屏幕上的GUI指示将来自源装置200d的内容显示在主窗口145a中。然后,接收装置100的再现控制单元160将内容再现组RL40更新为内容再现组RL41。在内容再现组RL41中,将来自源装置200d(其标识符为“TBL1”)的内容设置为主内容。然而,由于解码单元130,例如,仅具有三个可以对视频内容进行解码的解码电路,所以针对内容再现组RL41的必需解码能力超过解码单元130的实际解码能力。
由此,再现控制单元160将内容再现组RL41更新为,例如,内容再现组RL42。在内容再现组RL42中,将来自源装置200a(其标识符为“DVC1”)的内容设置为子内容,并且从再现目标移除来自源装置200c(其标识符为“VDR1”)的内容。用H.265/HEVC对来自源装置200d(其标识符为“TBL1”)的主内容进行编码。然而,由于解码单元130,例如,仅具有一个可以用H.265/HEVC对视频内容进行解码的解码电路,所以针对内容再现组RL42的必需解码能力仍然超过解码单元130的实际解码能力。
由此,再现控制单元160进一步将内容再现组RL42更新为,例如,内容再现组RL43。在内容再现组RL43中,用H.264/AVC对来自源装置200d(其标识符为“TBL1”)的主内容进行编码。结果,针对内容再现组RL43的必需解码能力不超过解码单元130的实际解码能力。可以基于,例如,提前从各个源装置收集的编码能力信息,来决定需要改变编解码器类型的源装置。在图12的控制场景中,将针对源装置200d的主内容的编解码器类型改变为H.264/AVC的原因可以是:虽然源装置200d同时支持H.265/HEVC和H.264/AVC,但是源装置200a仅支持H.265/HEVC。
(5)第五控制场景
图13是用于描述与编码条件的控制有关的示例性第五控制场景的说明图。在图13的上部中,示出了内容再现组RL50和与之对应的显示图像。内容再现组RL50包括来自源装置200a(其标识符为“DVC1”)的主内容和来自源装置200b(其标识符为“SMP1”)和源装置200c(其标识符为“VDR1”)的两条子内容。源装置200d(其标识符为“TBL1”)为闲置装置。
此处假设,例如,用户已经经由显示在屏幕上的GUI指示将来自源装置200d的内容显示在主窗口145a中。然后,接收装置100的再现控制单元160将内容再现组RL50更新为内容再现组RL51。在内容再现组RL51中,将来自源装置200d(其标识符为“TBL1”)的内容设置为主内容。然而,例如,由于解码单元130仅具有三个可以对视频内容进行解码的解码电路并且仅存在一个可以用H.265/HEVC(其是针对主内容给出的视频编解码器)对内容进行解码的解码电路,那么针对内容再现组RL51的必需解码能力超过解码单元130的实际解码能力。
由此,再现控制单元160将内容再现组RL51更新为,例如,内容再现组RL52。在内容再现组RL52中,将来自源装置200a(其标识符为“DVC1”)的内容改变为子内容,并且将内容的编解码器类型改变为非压缩(NC)方案。在这种情况下,源装置200a将内容发送至接收装置100,而不对其进行压缩编码。接收装置100的解码单元130可以不执行对从源装置200a接收的子内容进行解压缩的解码处理。结果,针对内容再现组RL52的必需解码能力不超过解码单元130的实际解码能力。在图13的下部中,示出了与内容再现组RL52对应的显示图像。在显示图像中,添加了新的子窗口145e,并且子窗口145e正显示从源装置200a(其标识符为“DVC1”)接收的内容。
<6、消息传递序列(Wi-Fi显示的示例)>
在本节中,将通过使用附图来描述在内容再现系统1的接收装置100与源装置200之间的消息传递序列的多个示例。此处,作为示例而非出于限制,将消息传递序列设置为符合Wi-Fi显示技术规范,并且可以部分地扩展这些序列以实现根据本公开的技术。
[6-1、示意流程]
图14是示意性地图示在Wi-Fi显示中的装置之间的消息传递的流程的序列图。注意,为了描述的简单起见,在附图中示出仅一个源装置和一个接收装置。然而,实际上,根据在本节中描述的过程,多个源装置和一个接收装置可以交换消息。
参照图14,首先,在接收装置100与源装置200之间执行装置发现过程(“WFD装置发现”)(步骤S10)。在装置发现过程中,至少一个装置发送搜索信号,并且接收到该搜索信号的另一个装置回复响应信号。因此,接收装置100和源装置200识别出彼此。
接下来,在接收装置100与源装置200之间执行服务发现过程(“WFD服务发现”)(步骤S15)。注意,服务发现过程是可选的,并且可以从序列省略。在服务发现过程中,至少一个装置发送服务查询信号,并且接收到该服务查询信号的另一个装置回复服务响应信号。在下面将详细描述的第二种技术中,在该服务发现过程期间,将源装置200的编码能力信息提供给接收装置100。
接下来,接收装置100从寻找到的装置中选择要连接的源装置200(步骤S20a)。可以根据用户输入或者根据提前存储的本地策略来进行装置的选择。相似地,源装置200也可以选择要连接的接收装置100(步骤S20b)。
接下来,在接收装置100与源装置200之间执行连接设置过程(“WFD连接设置”)(步骤S25)。因此,在装置之间建立TCP连接。通常,接收装置100作为TCP客户端开始连接设置过程,并且源装置200用作TCP服务器。
接下来,在接收装置100与源装置200之间执行能力协商过程(“WFD能力协商”)(步骤S30)。在下面将详细描述的第一种技术中,在该能力协商过程期间,将源装置200的编码能力信息提供给接收装置100。可以通过使用实时流协议(RTSP)或者其扩展版本的M1、M2、M3和M4消息,来实施能力协商过程。
接下来,在接收装置100与源装置200之间执行会话建立过程(“WFD会话建立”)(步骤S50)。因此,在装置之间建立服务会话。可以通过使用RTSP的M5、M6和M7消息来实施会话建立过程。
接下来,在接收装置100与源装置200之间执行UIBC设置过程(步骤S60)。注意,UIBC设置过程是可选的,并且可以从序列省略。通过UIBC设置过程,在装置之间建立用于发送用户输入信息的控制信道。可以通过使用RTSP的M3和M4消息或者M14和M15消息来实施UIBC设置过程。
接下来,在接收装置100与源装置200之间执行内容保护设置过程(步骤S65)。注意,内容保护设置过程是可选的,并且可以从序列省略。通过内容保护设置过程,用例如高带宽数字内容保护(HDCP)技术来保护内容。
之后,执行将内容从源装置200流播至接收装置100(步骤S70)。此处的流播可以对应于,例如,图8的步骤S252到S256和图6的步骤S170到S180的处理。当在流播期间检测到任何控制触发器时(步骤S75),接收装置100根据检测到的控制触发器执行控制(步骤S80)。例如,此处可以进行内容再现组的更新和将由此导致的新编码条件指示给源装置200。
接下来,当选择源装置200作为闲置装置时,可以在接收装置100与源装置200之间执行待机过渡过程(“WFD源装置/接收装置待机”)(步骤S90)。当服务结束时,可以在接收装置100与源装置200之间执行会话关闭过程(“WFD会话终止”)(步骤S95)。
[6-2、现有的能力协商过程]
图15是示出图14的能力协商过程中的现有消息传递的流程的示例的序列图。根据非专利文献1,通过使用Wi-Fi显示中的RTSP的M1、M2、M3和M4消息,来实施能力协商过程(“WFD能力协商”)。
首先,源装置向接收装置发送M1请求消息(“M1-RTSP OPTIONS请求”)以查询接收装置支持的方法(步骤S31a)。响应于M1请求消息,接收装置回复M1响应消息(“M1-RTSPOPTIONS响应”)(步骤S31b)。
首先,接收装置向源装置发送M2请求消息(“M2-RTSP OPTIONS请求”)以查询源装置支持的方法(步骤S33a)。响应于M2请求消息,源装置回复M2响应消息(“M2-RTSP OPTIONS响应”)(步骤S33b)。
接下来,源装置向接收装置发送M3请求消息(“M3-RTSP GET_PARAMETER请求”)以获取表示接收装置的解码能力的参数(步骤S35a)。响应于M3请求消息,接收装置回复M3响应消息(“M3-RTSP响应”)(步骤S35b)。
接下来,源装置向接收装置发送M4请求消息(“M4-RTSP SET_PARAMETER请求”)以向接收装置指示设置解码条件(步骤S37a)。响应于M4请求消息,接收装置回复M4响应消息(“M4-RTSP响应”)(步骤S37b)。
如上所述,在现有消息传递序列中,源装置具有控制内容编码和解码条件的主装置的作用,并且接收装置根据来自源装置的指令来设置解码条件。另一方面,在本实施例中,接收装置100具有控制内容编码和解码条件的主装置的作用。下面将描述用于本实施例的扩展型消息传递序列的两个示例。
[6-3、扩展型消息传递序列(第一种技术)]
(1)基本流程
图16是示出根据第一种技术在接收装置与源装置之间的扩展型消息传递的流程的示例的序列图。在第一种技术中,作为用于获取RTSP的参数的消息,M3请求消息被扩展,并且用作从接收装置100到源装置200的用于查询编码能力信息的能力查询消息。另外,作为用于设置RTSP的参数的消息,M4请求消息被扩展,并且由接收装置100用作用于设置源装置200的编码条件的设置请求消息。
图16的步骤S31a到S33b与通过使用图15描述的步骤相似。接收装置100将扩展型M3请求消息(“M3’-RTSP GET_PARAMETER请求”)发送至源装置200以获取源装置200的编码能力信息(步骤S36a)。扩展型M3请求消息与上面描述的能力查询消息对应。源装置200将扩展型M3响应消息(“M3’-RTSP响应”)回复给接收装置100,该扩展型M3响应消息(“M3’-RTSP响应”)包括源装置自己的编码能力信息(步骤S36b)。通过按照这种方式使用从源装置200收集的编码能力信息,接收装置100可以决定待应用于源装置200的编码条件。扩展型M3响应消息可以另外包括源装置200的优先化条件信息。
在决定编码条件时,接收装置100将扩展型M4请求消息(“M4’-RTSP SET_PARAMETER请求”)发送至源装置200以指示源装置200设置编码条件(步骤S38a)。扩展型M4请求消息与上面描述的设置请求消息对应以指定在源装置200对内容进行编码时需要使用的编码条件。响应于扩展型M4请求消息,源装置200回复扩展型M4响应消息(“M4'-RTSP响应”)(步骤S38b)。
(2)修改示例
图17是示出根据第一种技术在接收装置与源装置之间的扩展型消息传递的流程的另一示例的序列图。在图17的示例中,在将能力查询消息,即,扩展型M3请求消息,从接收装置100发送至源装置200之前,根据通过使用图15描述的现有消息传递流程,将(非扩展型)M4请求消息从源装置200发送至接收装置100(步骤S37a)。响应于该M4请求消息,接收装置100回复M4响应消息(“M4-RTSP响应(NG)”),该M4响应消息(“M4-RTSP响应(NG)”)表示拒绝设置所指示的参数(步骤S37b)。之后,如通过使用图16所描述的,在接收装置100与源装置200之间交换扩展型M3请求/响应消息和扩展型M4请求/响应消息。注意,当在步骤S37a中指示的参数满足针对源装置200需要设置的编码条件时,接收装置100可以接受设置所指示的参数。在这种情况下,在步骤S37b中,作为响应,可以发送M4响应消息,该M4响应消息表示接受设置所指示的参数。
图18是示出当要中断服务时消息传递的流程的示例的序列图。图18的步骤S31a到S36b与通过使用图16描述的步骤相似。接收装置100将扩展型M3请求消息发送至源装置200以获取源装置200的编码能力信息(步骤S36a)。源装置200将扩展型M3响应消息回复给接收装置100,该扩展型M3响应消息包括源装置自己的编码能力信息(步骤S36b)。假设,由于接收装置100通过使用按照这种方式收集的编码能力信息确定了待应用于源装置200的编码条件,所以接收装置100决定停止提供来自源装置200的服务。在这种情况下,接收装置100将M8请求消息(M8-RTSP TEARDOWN请求)发送至源装置200以通知源装置200停止服务(步骤S39a)。源装置200回复M8响应消息(M8-RTSP响应)(步骤S39b)。
[6-4、扩展型消息传递序列(第二种技术)]
图19是示出根据第二种技术在接收装置与源装置之间的扩展型消息传递的流程的示例的序列图。在第二种技术中,Wi-Fi直连的服务发现请求消息被扩展,并且用作从接收装置100到源装置200的用于查询编码能力信息的能力查询消息。编码条件信息包括在服务发现响应消息中。
参照图19,描述在图14中示出的服务发现过程,并且接收装置100将扩展型服务发现请求消息发送至源装置200(步骤S15a)。扩展型服务发现请求消息与上面描述的能力查询消息对应。响应于服务发现请求消息,源装置200将扩展型服务发现响应消息回复给接收装置100(步骤S15b)。通过按照这种方式使用从源装置200收集的编码能力信息,接收装置100可以决定待应用于源装置200的编码条件。扩展型服务发现响应消息可以另外包括源装置200的优先化条件信息。
之后,源装置200将(非扩展型)M3请求消息发送至接收装置100以获取表示接收装置100的解码能力的参数(步骤S35a)。响应于M3请求消息,接收装置100回复M3响应消息(步骤S35b)。此时,接收装置100在M3响应消息中仅包括与针对源装置200决定的必要编码条件对应的参数。因此,可以将由接收装置100决定的编码条件应用于源装置200。
<7、应用示例>
可以将根据本公开的技术应用于各种产品。例如,可以将接收装置100和源装置200实现为移动终端(诸如,智能手机、平板计算机、笔记本计算机、便携式游戏终端或者数码相机)、固定式终端(诸如,电视接收器、打印机、数字扫描仪或者网络存储装置)或者安装在汽车上的终端(诸如,汽车导航设备)。此外,可以提供设置在这种终端中的控制模块(例如,配置在一个裸片中的集成电路模块)。
[7.1、第一应用示例]
图20是示出可以应用本公开的技术的智能手机900的示意性配置的示例的框图。智能手机900包括处理器901、存储器902、存储装置903、外连的接口904、照相机906、传感器907、麦克风908、输入装置909、显示装置910、扬声器911、无线通信接口913、天线开关914、天线915、总线917、电池918和辅助控制器919。
处理器901可以是,例如,中央处理单元(CPU)或者片上系统(SoC),并且控制智能手机900的应用层和其它层的功能。存储器902包括随机存取存储器(RAM)和只读存储器(ROM),并且存储由处理器901执行的程序和数据。存储装置903可以包括存储介质,诸如,半导体存储器或者硬盘。外连的接口904是用于将外接的装置(诸如,存储卡)或者通用串行总线(USB)装置连接至智能手机900的接口。
照相机906具有图像传感器,例如,电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS),以生成捕获的图像。传感器907可以包括传感器组,该传感器组包括:例如,定位传感器、陀螺仪传感器、地磁传感器、加速度传感器等。麦克风908将输入到智能手机900的声音转换为音频信号。输入装置909包括,例如,检测对显示装置910的屏幕的触摸的触摸传感器、小键盘、键盘、按钮、开关等,以接收来自用户的操纵或者信息输入。显示装置910具有屏幕,诸如,液晶显示器(LCD)或者有机发光二极管(OLED)显示器,以显示智能手机900的输出图像。扬声器911将从智能手机900输出的音频信号转换为声音。
无线通信接口913支持IEEE 802.11a、11b、11g、11n、11ac和11ad的一种或者多种无线LAN标准以执行无线LAN通信。无线通信接口913可以在基础架构模式下经由无线LAN接入点与另一设备通信。另外,无线通信接口913可以在点对点模式下与另一设备直接通信。Wi-Fi直连与点对点模式不同,并且由此,两个终端中的一个终端用作接入点。然而,在终端之间直接进行通信。无线通信接口913通常可以包括基带处理器、射频(RF)电路、功率放大器等。无线通信接口913可以是单芯片模块,其中存储通信控制程序的存储器、执行该程序的处理器和相关的电路集成在该单芯片模块上。除了无线LAN方案之外,无线通信接口913还可以支持另一种无线通信方案,诸如,蜂窝通信方案、短距离无线通信方案或者接近无线通信方案。天线开关914针对无线通信接口913中包括的多个电路(例如,不同无线通信方案的电路)切换天线915的连接目的地。天线915具有一个或者多个天线元件(例如,构成MIMO天线的多个天线元件),并且用于发送和接收来自无线通信接口913的无线信号。
注意,智能手机900可以包括多个天线(例如,用于无线LAN的天线或者用于接近无线通信方案的天线等),而不限于图20的示例。在这种情况下,可以从智能手机900的配置省略天线开关914。
总线917将处理器901、存储器902、存储装置903、外连的接口904、照相机906、传感器907、麦克风908、输入装置909、显示装置910、扬声器911、无线通信接口913和辅助控制器919彼此连接。电池918经由图中虚线部分地表示的供电线向图20所示的智能手机900的各个块供电。辅助控制器919使得,例如,能在睡眠模式下操作智能手机900的必需的最少功能。
在图20所示的智能手机900中,可以通过处理器901或者辅助控制器919来实施接收装置100的再现控制功能或者源装置200的编码控制功能。例如,由于处理器901控制对来自外部源装置的内容的接收使得其不会超过智能手机900的实际解码能力,所以智能手机900可以流畅地执行多条内容的再现。
[7.2、第二应用示例]
图21是示出可以应用本公开的技术的汽车导航设备920的示意性配置的示例的框图。汽车导航设备920包括处理器921、存储器922、全球定位系统(GPS)模块924、传感器925、数据接口926、内容播放器927、存储介质接口928、输入装置929、显示装置930、扬声器931、无线通信接口933、天线开关934、天线935和电池938。
处理器921可以是,例如,控制汽车导航设备920的导航功能和其它功能的CPU或者SoC。存储器922包括存储由处理器921执行的程序和数据的RAM和ROM。
GPS模块924通过使用从GPS卫星接收的GPS信号来测量汽车导航设备920的位置(例如,纬度、经度和海拔)。传感器925可以包括传感器组,该传感器组包括:例如,陀螺仪传感器、地磁传感器、气动传感器等。数据接口926经由,例如,未图示的端子连接至车载网络941以获取在车辆侧生成的数据,诸如,汽车速度数据。
内容播放器927再现存储在插入到存储介质接口928中的存储介质(例如,CD或者DVD)中的内容。输入装置929包括,例如,检测对显示装置930的屏幕的触摸的触摸传感器、按钮、开关等,以接收来自用户的操纵或者信息输入。显示装置930具有屏幕,诸如,LCD或者OLED显示器,以显示导航功能或者再现的内容的图像。扬声器931输出导航功能或者再现的内容的声音。
无线通信接口933支持IEEE 802.11a、11b、11g、11n、11ac和11ad的一种或者多种无线LAN标准以执行无线LAN通信。无线通信接口933可以在基础架构模式下经由无线LAN接入点与另一设备通信。另外,无线通信接口933可以在点对点模式或者Wi-Fi直连下与另一设备直接通信。无线通信接口933通常可以包括基带处理器、RF电路、功率放大器等。无线通信接口933可以是单芯片模块,其中存储通信控制程序的存储器、执行该程序的处理器和相关的电路集成在该单芯片模块上。除了无线LAN方案之外,无线通信接口933还可以支持另一种无线通信方案,诸如,短距离无线通信方案、接近无线通信方案或蜂窝通信方案。天线开关934针对无线通信接口933中包括的多个电路切换天线935的连接目的地。天线935具有一个或者多个天线元件,并且用于发送和接收来自无线通信接口933的无线信号。
注意,汽车导航设备920可以包括多个天线,而不限于图21的示例。在这种情况下,可以从汽车导航设备920的配置省略天线开关934。
电池938经由图中虚线部分地表示的供电线向图21所示的汽车导航设备920的各个块供电。另外,电池938将从车辆供应的电力累积起来。
在图21所示的汽车导航设备920中,可以通过处理器921来实施接收装置100的再现控制功能或者源装置200的编码控制功能。例如,由于处理器921控制对来自外部源装置的内容的接收使得其不会超过汽车导航设备920的实际解码能力,所以汽车导航设备920可以流畅地执行多条内容的再现。
可以将本公开的技术实现为车载系统(或者车辆)940,该车载系统(或者车辆)940包括上面描述的汽车导航设备920、车载网络941和车辆侧模块942中的一个或者多个块。车辆侧模块942生成车辆侧数据,诸如,车辆速度、发动机转数或者故障信息,并且将生成的数据输出至车载网络941。
<8、结论>
至此,已经通过使用图1至图21详细描述了根据本公开的技术的实施例。根据上面描述的实施例,在接收装置(解码设备)对经由无线连接从多个源装置(编码设备)接收的内容进行解码和再现的情况下,接收装置控制该多个源装置针对该内容的编码条件,从而使得待再现的一组内容所需的必需解码能力不超过接收装置的实际解码能力。由此,可以根据接收装置的能力来恰当地协调多个源装置的编码条件并且在最佳条件下再现多条内容。
另外,根据上面描述的实施例,将各个源装置的编码能力信息从源装置收集到接收装置,并且接收装置可以基于收集到的编码能力信息来决定各个接收装置的编码条件。根据本配置,与现有技术不同,接收装置可以起到主要控制内容编码和解码条件的主装置的作用。例如,通过仅仅向接收装置给出与再现内容相关的用户输入,用户便可以按照并行的方式以期望的形式欣赏多条内容,同时避免了接收装置的解码能力不足的问题。
另外,根据上面描述的实施例,可以通过仅仅略微扩展现有的协议,来实现将来自各个源装置的编码能力信息收集到接收装置的机构。在第一种技术中,例如,用于获取RTSP的参数的消息可以被扩展,并且用作从接收装置到源装置的用于查询编码能力信息的能力查询消息。在第二种技术中,Wi-Fi直连的服务发现请求消息可以被扩展,并且用作从接收装置到源装置的用于查询编码能力信息的能力查询消息。当使用这种扩展时,可以更低的成本实现根据本公开的技术,并且也易于确保与现有协议的兼容性。
可以通过软件、硬件或者软件和硬件的组合,来实现由本说明书中描述的各个设备实行的系列控制处理。组成这种软件的程序可以提前存储在,例如,设置在各个设备内部或者外部的存储介质(非暂时性介质)上。作为一个示例,在执行期间,这种程序可以写入到随机存取存储器(RAM)中并且由处理器(诸如,CPU)执行。
注意,不必按照流程图中示出的顺序来执行在本说明书参照流程图描述的处理。可以并行地进行一些处理步骤。进一步地,可以采取一些另外的步骤,或者可以省略一些处理步骤。
上面已经参照附图描述了本公开的(多个)优选实施例,然而本公开不限于上述示例。本领域的技术人员在所附权利要求书的范围内可以找到各种更改和修改,但是应该理解,这些更改和修改自然落在本公开的技术范围内。
另外,在本说明书中描述的效果仅仅是说明性和展示性的,而不是限制性的。换言之,根据本公开的技术可以展示出其它效果,结合基于本说明书的效果或者替代这些效果,这些其它效果对于本领域的技术人员而言是明显的。
另外,本技术也可以如下配置。
(1)一种解码设备,其包括:
无线通信单元,该无线通信单元配置为与多个编码设备建立无线连接;
解码单元,该解码单元配置为对经由无线通信单元从多个编码设备接收的多条内容进行解码;
再现单元,该再现单元配置为再现由解码单元解码的多条内容;以及
控制单元,该控制单元配置为按照待由再现单元再现的一组多条内容所需的必需解码能力不超过解码单元的实际解码能力的方式,控制多个编码设备中的每个编码设备对于内容的编码条件。
(2)根据(1)的解码设备,其中,控制单元基于经由无线通信单元从各个编码设备接收的编码设备的编码能力信息来决定各个编码设备的编码条件。
(3)根据(2)的解码设备,其中,控制单元通过经由无线通信单元向各个编码设备发送能力查询消息来从各个编码设备收集编码能力信息。
(4)根据(3)的解码设备,其中,能力查询消息是用于获取实时流协议(RTSP)的参数的消息,该消息经扩展供接收装置向源装置查询编码能力信息。
(5)根据(4)的解码设备,其中,控制单元通过向各个所述编码设备发送用于设置RTSP的参数的消息来控制各个编码设备的编码条件,该消息由该接收装置扩展以设置该源装置的编码条件。
(6)根据(3)的解码设备,其中,能力查询消息是Wi-Fi直连的服务发现请求消息。
(7)根据(1)至(6)中任一项的解码设备,其中,必需解码能力和实际解码能力表现为所支持的编解码器类型、清晰度、速率和质量等级、解码电路的数量和处理器性能中的至少一种。
(8)根据(1)至(7)中任一项的解码设备,其中,编码条件是有关由各个编码设备使用的编解码器类型、清晰度、以及速率和质量等级中的至少一种的条件。
(9)根据(1)至(8)中任一项的解码设备,其中,当必需解码能力超过实际解码能力时,控制单元需要从具有至少一条内容的编码设备发送未经压缩编码的该至少一条内容。
(10)根据(1)至(9)中任一项的解码设备,其中,控制单元进一步基于与各个编码设备的无线连接的连接质量来控制各个编码设备的编码条件。
(11)根据(1)至(10)中任一项的解码设备,其中,控制单元进一步基于各个编码设备的供电状态来控制各个编码设备的编码条件。
(12)根据(1)至(11)中任一项的解码设备,其中,控制单元进一步基于从各个编码设备接收的规定待优先考虑的编码条件的优先化条件信息来控制各个编码设备的编码条件。
(13)根据(1)至(12)中任一项的解码设备,其中,控制单元根据多个编码设备中的每个编码设备的编码条件来进一步控制与多个编码设备的无线连接的频率信道。
(14)根据(1)至(13)中任一项的解码设备,其中,当检测到指示更新待再现的该组多条内容的用户输入时,控制单元将更新之后针对该组的必需解码能力与实际解码能力进行比较。
(15)根据(1)至(14)中任一项的解码设备,其中,控制单元将基于施加在解码单元上的负载进行动态计算的实际解码能力与必需解码能力进行比较。
(16)根据(1)至(15)中任一项的解码设备,其中,控制单元使按照必需解码能力不超过实际解码能力的方式从该组移除内容的编码设备的列表显示在显示待由再现单元再现的多条内容的屏幕上。
(17)根据(1)至(16)中任一项的解码设备,其中,控制单元保持在列表上的编码设备与无线通信单元之间的无线连接。
(18)一种解码方法,其包括:
通过解码设备,对经由无线连接从多个编码设备接收的多条内容进行解码;
再现多条经过解码的内容;以及
通过解码设备,按照待再现的一组多条内容所需的必需解码能力不超过解码设备的实际解码能力的方式,控制多个编码设备中的每个编码设备对于内容的编码条件。
(19)一种编码设备,其包括:
无线通信单元,该无线通信单元配置为与对从多个设备接收的多条内容进行解码和再现的解码设备建立无线连接;
编码单元,该编码单元配置为对待经由无线通信单元发送至解码设备的内容进行编码;以及
控制单元,该控制单元配置为基于从解码设备接收的控制消息,按照待由解码设备再现的一组多条内容所需的必需解码能力不超过解码设备的实际解码能力的方式,来控制编码单元对于内容的编码条件。
(20)一种编码方法,其包括:
通过经由无线连接将内容发送至对从多个设备接收的内容进行解码和再现的解码设备的编码设备,对待发送至解码设备的内容进行编码;以及
基于从解码设备接收的控制消息,按照待由解码设备再现的一组多条内容所需的必需解码能力不超过解码设备的实际解码能力的方式,控制编码设备对于内容的编码条件。
附图标记列表
1 内容再现系统
100 解码设备(接收装置)
110 无线通信单元
120 流获取单元
130 解码单元
140 视频再现单元
150 音频再现单元
160 再现控制单元
170 存储单元
180 用户接口单元
200 编码设备(源装置)
210 无线通信单元
220 存储单元
230 内容获取单元
240 编码单元
250 流发送单元
260 编码控制单元
270 用户接口单元。

Claims (18)

1.一种解码设备,其包括:
无线通信单元,所述无线通信单元配置为与多个编码设备建立无线连接;
解码单元,所述解码单元配置为对经由所述无线通信单元从所述多个编码设备接收的多条内容进行解码;
再现单元,所述再现单元配置为再现由所述解码单元解码的所述多条内容;以及
控制单元,所述控制单元配置为按照待由所述再现单元再现的一组所述多条内容所需的必需解码能力不超过所述解码单元的实际解码能力的方式,控制所述多个编码设备中的每个编码设备对于内容的编码条件,
其中,当所述无线连接的传输速率为高且获取的所述必需解码能力超过所述实际解码能力时,所述控制单元需要从具有至少一条未经压缩编码的内容的所述编码设备发送该至少一条内容,
其中,所述必需解码能力和所述实际解码能力表现为所支持的编解码器类型、清晰度、速率和质量等级、解码电路的数量和处理器性能中的至少一种。
2.根据权利要求1所述的解码设备,其中,所述控制单元基于经由所述无线通信单元从各个所述编码设备接收的所述编码设备的编码能力信息来决定各个所述编码设备的所述编码条件。
3.根据权利要求2所述的解码设备,其中,所述控制单元通过经由所述无线通信单元向各个所述编码设备发送能力查询消息来从各个所述编码设备收集所述编码能力信息。
4.根据权利要求3所述的解码设备,其中,所述能力查询消息是用于获取实时流协议(RTSP)的参数的消息,所述消息经扩展供接收装置向源装置查询所述编码能力信息。
5.根据权利要求4所述的解码设备,其中,所述控制单元通过向各个所述编码设备发送用于设置所述实时流协议的参数的消息来控制各个所述编码设备的所述编码条件,所述消息由所述接收装置扩展以设置所述源装置的编码条件。
6.根据权利要求3所述的解码设备,其中,所述能力查询消息是Wi-Fi直连的服务发现请求消息。
7.根据权利要求1所述的解码设备,其中,所述编码条件是有关由各个所述编码设备使用的编解码器类型、清晰度、以及速率和质量等级中的至少一种的条件。
8.根据权利要求1所述的解码设备,其中,所述控制单元进一步基于与各个所述编码设备的所述无线连接的连接质量来控制各个所述编码设备的所述编码条件。
9.根据权利要求1所述的解码设备,其中,所述控制单元进一步基于各个所述编码设备的供电状态来控制各个所述编码设备的所述编码条件。
10.根据权利要求1所述的解码设备,其中,所述控制单元进一步基于从各个所述编码设备接收的指定待优先考虑的编码条件的优先化条件信息来控制各个所述编码设备的所述编码条件。
11.根据权利要求1所述的解码设备,其中,所述控制单元根据所述多个编码设备中的每个编码设备的所述编码条件来进一步控制与所述多个编码设备的所述无线连接的频率信道。
12.根据权利要求1所述的解码设备,其中,当检测到指示更新待再现的所述组所述多条内容的用户输入时,所述控制单元将更新之后对于所述组的所述必需解码能力与所述实际解码能力进行比较。
13.根据权利要求1所述的解码设备,其中,所述控制单元将基于施加在所述解码单元上的负载进行动态计算的所述实际解码能力与所述必需解码能力进行比较。
14.根据权利要求1所述的解码设备,其中,所述控制单元使按照所述必需解码能力不超过所述实际解码能力的方式从所述组移除内容的编码设备的列表显示在显示待由所述再现单元再现的所述多条内容的屏幕上。
15.根据权利要求的14所述的解码设备,其中,所述控制单元保持在所述列表上的所述编码设备与所述无线通信单元之间的所述无线连接。
16.一种解码方法,其包括:
通过解码设备,对经由无线连接从多个编码设备接收的多条内容进行解码;
再现所述多条经过解码的内容;以及
通过所述解码设备,按照待再现的一组所述多条内容所需的必需解码能力不超过所述解码设备的实际解码能力的方式,控制所述多个编码设备中的每个编码设备对于内容的编码条件,
其中,当所述无线连接的传输速率为高且获取的所述必需解码能力超过所述实际解码能力时,所述控制单元需要从具有至少一条未经压缩编码的内容的所述编码设备发送该至少一条内容,
其中,所述必需解码能力和所述实际解码能力表现为所支持的编解码器类型、清晰度、速率和质量等级、解码电路的数量和处理器性能中的至少一种。
17.一种编码设备,其包括:
无线通信单元,所述无线通信单元配置为与对从多个设备接收的多条内容进行解码和再现的解码设备建立无线连接;
编码单元,所述编码单元配置为对待经由所述无线通信单元应发送至所述解码设备的内容进行编码;以及
控制单元,所述控制单元配置为基于从所述解码设备接收的控制消息,按照待由所述解码设备再现的一组所述多条内容所需的必需解码能力不超过所述解码设备的实际解码能力的方式,来控制所述编码单元对于内容的编码条件,
其中,当所述无线连接的传输速率为高且获取的所述必需解码能力超过所述实际解码能力时,所述编码控制单元指示发送至少一条未经压缩编码的内容,
其中,所述必需解码能力和所述实际解码能力表现为所支持的编解码器类型、清晰度、速率和质量等级、解码电路的数量和处理器性能中的至少一种。
18.一种编码方法,其包括:
通过经由无线连接将内容发送至对从多个设备接收的多条所述内容进行解码和再现的解码设备的编码设备,对待发送至所述解码设备的所述内容进行编码;以及
基于从所述解码设备接收的控制消息,按照待由所述解码设备再现的一组所述多条内容所需的必需解码能力不超过所述解码设备的实际解码能力的方式,控制所述编码设备对于内容的编码条件,
其中,当所述无线连接的传输速率为高且获取的所述必需解码能力超过所述实际解码能力时,指示发送至少一条未经压缩编码的内容,
其中,所述必需解码能力和所述实际解码能力表现为所支持的编解码器类型、清晰度、速率和质量等级、解码电路的数量和处理器性能中的至少一种。
CN201480073193.1A 2014-01-23 2014-11-17 解码设备、解码方法、编码设备和编码方法 Expired - Fee Related CN105917658B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014010280 2014-01-23
JP2014-010280 2014-01-23
PCT/JP2014/080362 WO2015111289A1 (ja) 2014-01-23 2014-11-17 復号装置、復号方法、符号化装置及び符号化方法

Publications (2)

Publication Number Publication Date
CN105917658A CN105917658A (zh) 2016-08-31
CN105917658B true CN105917658B (zh) 2020-04-07

Family

ID=53681111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480073193.1A Expired - Fee Related CN105917658B (zh) 2014-01-23 2014-11-17 解码设备、解码方法、编码设备和编码方法

Country Status (6)

Country Link
US (1) US10575047B2 (zh)
EP (1) EP3099080B1 (zh)
JP (1) JP6402723B2 (zh)
CN (1) CN105917658B (zh)
AU (1) AU2014379859B2 (zh)
WO (1) WO2015111289A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6144338B2 (ja) * 2013-04-26 2017-06-07 日立マクセル株式会社 投写型映像表示装置
US10387000B2 (en) 2015-08-30 2019-08-20 EVA Automation, Inc. Changing HDMI content in a tiled window
US20170064383A1 (en) * 2015-08-30 2017-03-02 Gaylord Yu Casting of HDMI Content
US10430031B2 (en) * 2015-08-30 2019-10-01 EVA Automation, Inc. Displaying HDMI content in a tiled window
KR102586963B1 (ko) * 2017-01-25 2023-10-10 한화비전 주식회사 카메라 및 카메라의 프로파일 운영 방법
US20180278947A1 (en) * 2017-03-24 2018-09-27 Seiko Epson Corporation Display device, communication device, method of controlling display device, and method of controlling communication device
US20190090252A1 (en) * 2017-09-20 2019-03-21 Lg Electronics Inc. Method and apparatus for reusing p2p connection in wireless communication system
US10820375B2 (en) * 2017-11-07 2020-10-27 Lg Electronics Inc. Method and apparatus for turning on Wi-Fi infrastructure using BLE interface in wireless communication system
US10698498B2 (en) * 2017-11-30 2020-06-30 Komodo OpenLab Inc. Configurable device switching mechanism that enables seamless interactions with multiple devices
US10897491B2 (en) * 2017-12-28 2021-01-19 Intel Corporation Content provision based on usage analytics for multiple display receiver devices
JP7277894B2 (ja) * 2018-01-22 2023-05-19 株式会社ユピテル システム,制御方法,プログラム等
JP7154833B2 (ja) 2018-06-20 2022-10-18 キヤノン株式会社 通信装置、通信方法、およびプログラム
JP7118764B2 (ja) * 2018-06-20 2022-08-16 キヤノン株式会社 通信装置、制御方法、およびプログラム
JP7188175B2 (ja) * 2019-02-25 2022-12-13 セイコーエプソン株式会社 表示システムの制御方法、表示システム及び表示装置
JP7474481B2 (ja) * 2019-10-16 2024-04-25 ファミリーイナダ株式会社 制御システム及び制御方法
CN113542795B (zh) * 2020-04-21 2023-04-18 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
KR20220003812A (ko) * 2020-07-02 2022-01-11 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법
US11924464B2 (en) 2021-09-20 2024-03-05 Qualcomm Incorporated Processing video data picture size change request and notification messages
WO2023044214A1 (en) * 2021-09-20 2023-03-23 Qualcomm Incorporated Processing video data picture size change request and notification messages

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202210851U (zh) * 2011-02-12 2012-05-02 北京华夏电通科技股份有限公司 一种用于标清和高清音视频编解码的控制装置
WO2013056031A1 (en) * 2011-10-14 2013-04-18 Qualcomm Incorporated Feedback channel for wireless display devices

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235041A (ja) * 1996-08-07 2003-08-22 Matsushita Electric Ind Co Ltd リアルタイム画像符号化装置
JP2000270330A (ja) * 1999-03-18 2000-09-29 Fujitsu Ltd 映像配信システム及び映像配信方法
JP2001204001A (ja) * 1999-10-29 2001-07-27 Matsushita Electric Ind Co Ltd 動画像配信システム,再生端末装置,及び配信装置
US20030031371A1 (en) * 2001-08-02 2003-02-13 Shinichi Kato Image encoding apparatus and image decoding apparatus
JP2003308277A (ja) 2002-04-17 2003-10-31 Sony Corp 端末装置、データ送信装置、データ送受信システム及びデータ送受信方法
JP2005348207A (ja) 2004-06-04 2005-12-15 Sony Corp 符号化装置、およびプログラム
JP2006165935A (ja) * 2004-12-07 2006-06-22 Nec Corp 制御情報の変換装置及び制御情報の変換方法
JP4563456B2 (ja) * 2005-08-12 2010-10-13 富士通株式会社 送信装置、符号化装置及び復号装置
US7747798B2 (en) * 2006-01-31 2010-06-29 Viewcast.Com, Inc. Portable media encoder
JP5193026B2 (ja) * 2006-03-07 2013-05-08 日本電気株式会社 動画像配信システムおよび変換装置
JP2009055228A (ja) * 2007-08-24 2009-03-12 Sony Corp 無線通信システム、無線通信装置及び無線通信方法
GB0716966D0 (en) * 2007-08-31 2007-10-10 Fujitsu Ltd Wireless communication systems
US8902996B2 (en) * 2008-02-26 2014-12-02 Richwave Technology Corp. Adaptive wireless video transmission systems and methods
CN101999250B (zh) * 2008-04-18 2013-09-18 日本电信电话株式会社 无线终端设备、无线终端设备的控制方法以及无线终端设备的控制程序
JP2009260818A (ja) 2008-04-18 2009-11-05 Nec Corp サーバ装置とコンテンツ配信方法とプログラム
WO2010079790A1 (ja) * 2009-01-08 2010-07-15 日本電気株式会社 配信システムと方法並びに変換装置
US8695053B2 (en) * 2009-09-10 2014-04-08 Jeffrey Huang Apparatus and method for multimedia data reception, processing, routing, storage, and access using a web / cloud-computing synchronization of personal multimedia data
JP5916624B2 (ja) * 2010-01-06 2016-05-11 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング
US9143825B2 (en) * 2010-11-22 2015-09-22 Sling Media Pvt. Ltd. Systems, methods and devices to reduce change latency in placeshifted media streams using predictive secondary streaming
US9560133B2 (en) * 2011-06-06 2017-01-31 International Business Machines Corporation Acquiring multi-media content
EP2761869A4 (en) 2011-09-30 2015-03-18 Intel Corp ADAPTIVE WIRELESS ADAPTIVE WIRELESS CHANNEL-BASED ENCODING SOFTWARE BASED ACCOUNT
CN102547214B (zh) * 2012-02-22 2013-05-29 腾讯科技(深圳)有限公司 一种多人视频通信中的视频编码方法以及终端
TWI625960B (zh) * 2012-10-11 2018-06-01 皇家飛利浦有限公司 主機裝置,用戶端裝置及用於多個用戶端之動態環境之無線對接之方法
US9521197B2 (en) * 2012-12-05 2016-12-13 International Business Machines Corporation Utilizing data object storage tracking in a dispersed storage network
JP6202712B2 (ja) * 2013-02-07 2017-09-27 日本放送協会 受信装置およびプログラム
US9716737B2 (en) * 2013-05-08 2017-07-25 Qualcomm Incorporated Video streaming in a wireless communication system
US9699500B2 (en) * 2013-12-13 2017-07-04 Qualcomm Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202210851U (zh) * 2011-02-12 2012-05-02 北京华夏电通科技股份有限公司 一种用于标清和高清音视频编解码的控制装置
WO2013056031A1 (en) * 2011-10-14 2013-04-18 Qualcomm Incorporated Feedback channel for wireless display devices

Also Published As

Publication number Publication date
US20160337689A1 (en) 2016-11-17
CN105917658A (zh) 2016-08-31
AU2014379859A1 (en) 2016-04-28
EP3099080A1 (en) 2016-11-30
WO2015111289A1 (ja) 2015-07-30
JPWO2015111289A1 (ja) 2017-03-23
AU2014379859B2 (en) 2017-10-12
EP3099080B1 (en) 2018-08-22
EP3099080A4 (en) 2017-07-19
JP6402723B2 (ja) 2018-10-10
US10575047B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
CN105917658B (zh) 解码设备、解码方法、编码设备和编码方法
US10383098B2 (en) Information processing device and information processing method
US10198986B2 (en) Information processing device and information processing method
US10979900B2 (en) Information processing device and information processing method
US9948993B2 (en) Information processing apparatus and information processing method
US10805672B2 (en) Information processing device, information processing system, and information processing method
US10085068B2 (en) Information processing apparatus and information processing method
US10499200B2 (en) Information processing device and information processing method
US10582376B2 (en) Information processing apparatus, information processing method, and source apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200407

CF01 Termination of patent right due to non-payment of annual fee