CN101753868A - 发送设备、接收设备、通信系统、通信方法和程序 - Google Patents

发送设备、接收设备、通信系统、通信方法和程序 Download PDF

Info

Publication number
CN101753868A
CN101753868A CN200910259118A CN200910259118A CN101753868A CN 101753868 A CN101753868 A CN 101753868A CN 200910259118 A CN200910259118 A CN 200910259118A CN 200910259118 A CN200910259118 A CN 200910259118A CN 101753868 A CN101753868 A CN 101753868A
Authority
CN
China
Prior art keywords
stack
view data
data
parts
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910259118A
Other languages
English (en)
Inventor
石见英辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101753868A publication Critical patent/CN101753868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提供了一种发送设备、接收设备、通信系统、通信方法和程序。该发送设备包括：通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据的图像叠加部件；以与一个场中的N行(N大于等于1)相对应的编码单位对由所述图像叠加部件生成的叠加后的图像数据进行编码的图像压缩部件；以及发送由所述图像压缩部件编码出的叠加后的图像数据的通信部件。

Description

发送设备、接收设备、通信系统、通信方法和程序
技术领域
本发明涉及发送设备、接收设备、通信系统、通信方法和程序。
背景技术
近年来，已经提出经由网络来传送图像数据(包括运动图像数据)的各种应用和服务。当经由网络来发送/接收图像数据时，一般，在数据被发送给网络之前在发送侧通过编码(压缩)处理来减少数据量，并且在数据被再现之前在接收侧对所接收到的编码后的数据执行解码(解压缩)处理。
例如，作为最知名的图像压缩处理技术，可以使用称为MPEG(运动画面专家组)的压缩技术。当使用MPEG压缩技术时，通过MPEG压缩技术生成的MPEG流被存储在通信分组中，以用于经由网络的递送。此外，在图像数据被具有不同性能的各种接收终端接收的假定下，在MPEG4或JPEG2000中引入了对要发送/接收的数据分级地执行编码的称为渐进式编码的技术。此外，还开始提出将一张图片分裂成N行(N大于等于1)以在分裂出的集合(称为行块)中对图像进行编码的称为基于行的编解码的压缩技术，以用于减少对图像进行编码和解码的延迟时间。
通过应用这样的图像压缩技术来经由网络递送图像数据不限于由运营商(例如内容提供商)经由因特网向用户的递送，并且还可以用在诸如办公室或家庭LAN(局域网)之类的小型网络中。
使用小型家用网络的图像数据递送的利用形式包括这样的示例：令连接到网络的显示装置显示诸如HDD(硬盘驱动器)和BD(蓝光光盘(注册商标))之类的大型存储装置中所存储的图像数据。预期在未来，随着由例如DLNA(Digital Living Network Appliance，数字生活网络联盟)进行的对用于数字装置之间的数据交换的标准规范的准备，小型网络的这种利用也将增加。
当使用小型网络来递送图像数据时，提高用户用来操作再现设备或显示装置的用户界面的易用性也很重要。例如，在DLNA指南中，还考虑了这样的机制，该机制通过相互链接来搜索连接到网络的装置以提示作为该搜索的结果获得的可用服务内容的信息。
例如，可以引用日本专利申请文件特开2007-135195号公报作为用于改进与图像数据的递送有关的用户界面这一目的的技术开发的示例。在日本专利申请文件特开2007-135195号公报中，提出了这样的技术：在向无线通信终端递送图像数据时向接收终端发送图像控制信号，该图像控制信号包括与用户界面有关的控制数据(例如，由用户输入的图标以及图标的位置信息)。
发明内容
然而，当在出现通信线路误差的环境中经由网络来传送与用户界面有关的控制数据时，很难以高水平既维持控制数据的发送/接收的可靠度又维持对用户操作的快速响应。这是因为，与通过忽略通信误差来实现实时数据递送的图像数据相比，要求在装置之间被可靠地发送/接收控制数据。如果例如与用户界面有关的控制数据丢失，则显示装置很难正确地配置并且显示用户界面，使得用户难以提供恰当操作的指令。
另一方面，如果试图维持控制数据的发送/接收的可靠度，则当通信误差发生时的重传频率增加，会抑制网络的频带并且有损对用户操作的快速响应。随着为了为用户提高易用性的目的而引起的有关用户界面的协议的复杂度增加，以及伴随的控制数据容量增加，变得越发难以忽略这样的问题的影响。
因此，鉴于以上问题做出了本发明，并且希望提供当经由网络提供用户界面时对通信误差的容限增强的新颖的改进的发送设备、接收设备、通信系统、通信方法和程序。
根据本发明一个实施例，提供了一种发送设备，包括：通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据的图像叠加部件；以与一个场中的N行(N大于等于1)相对应的编码单位对由图像叠加部件生成的叠加后的图像数据进行编码的图像压缩部件；以及发送由图像压缩部件编码出的叠加后的图像数据的通信部件。
该发送设备还可以包括：将用来控制通信的第二控制数据与由图像压缩部件编码出的叠加后的图像数据进行复用的复用部件，其中通信部件可发送被复用部件与第二控制数据复用的叠加后的图像数据。
通信部件还可与已经接收到叠加后的图像数据的另一设备所显示的用户界面图像相关联地接收从外部设备发送的操作信号。
根据本发明另一实施例，提供了一种接收设备，包括：通信部件，该通信部件接收叠加后的图像数据，数据叠加后的图像数据是通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生成的并且是以与一个场中的N行(N大于等于1)相对应的编码单位被编码的；以及图像解码部件，该图像解码部件以编码单位对由通信部件接收到的叠加后的图像数据进行解码。
接收设备还可以包括分离部件，该分离部件在叠加后的图像数据被图像解码部件解码前从叠加后的图像数据分离出用来控制通信的第二控制数据。
通信部件可将所接收到的叠加后的图像数据中所包含的误差率与某一阈值相比较，并且如果误差率不大于阈值，则使得图像解码部件对叠加后的图像数据进行解码。
如果所接收到的叠加后的图像数据中所包含的误差率大于某一阈值，则通信部件可向叠加后的图像数据的发送源设备发送对误差通知的响应信号。
叠加后的图像数据可以是包含两种或更多种图像数据的被分级编码出的图像数据，两种或更多种图像数据包括具有低图像质量的低频图像数据和具有高图像质量的高频图像数据，并且如果某一频率的低频图像数据被通信部件接收到作为叠加后的图像数据，则图像解码部件可对所接收到的叠加后的图像数据进行解码，而不论更高频率的图像数据是否被接收到。
根据本发明另一实施例，提供了一种发送设备，包括：通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据的图像叠加部件；对由图像叠加部件生成的叠加后的图像数据进行编码的图像压缩部件；将用来控制通信的第二控制数据与由图像压缩部件编码出的叠加后的图像数据进行复用的复用部件；以及发送被复用部件与第二控制数据复用的叠加后的图像数据的通信部件。
根据本发明另一实施例，提供了一种接收设备，包括：接收叠加后的图像数据的通信部件，叠加后的图像数据是通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生成的并且是与用来控制通信的第二控制数据复用的；从由通信部件接收到的叠加后的图像数据中分离出第二控制数据的分离部件；以及对被分离部件从中分离出第二控制数据的叠加后的图像数据进行解码的图像解码部件。
根据本发明的另一实施例，提供了一种通信系统，包括发送设备和接收设备，该发送设备具有通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据的图像叠加部件，以与一个场中的N行(N大于等于1)相对应的编码单位对由图像叠加部件生成的叠加后的图像数据进行编码的图像压缩部件和发送由图像压缩部件编码出的叠加后的图像数据的发送侧通信部件，该接收设备具有接收由发送设备发送的叠加后的图像数据的接收侧通信部件，以编码单位对由接收侧通信部件接收到的叠加后的图像数据进行解码的图像解码部件。
根据本发明另一实施例，提供了一种通信方法，包括以下步骤：在发送设备中通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；以与一个场中的N行(N大于等于1)相对应的编码单位对所生成的叠加后的图像数据进行编码；从发送设备向接收设备发送所编码出的叠加后的图像数据；在接收设备中接收由发送设备发送的叠加后的图像数据；以及以编码单位对所接收到的叠加后的图像数据进行解码。
根据本发明另一实施例，提供了一种具有指令的计算机程序产品，这些指令使得控制发送设备的计算机用作：通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据的图像叠加部件；以与一个场中的N行(N大于等于1)相对应的编码单位对由图像叠加部件生成的叠加后的图像数据进行编码的图像压缩部件；以及发送由图像压缩部件编码出的叠加后的图像数据的通信部件。
根据本发明另一实施例，提供了一种具有指令的计算机程序产品，这些指令使得控制接收设备的计算机用作：接收叠加后的图像数据的通信部件，叠加后的图像数据是通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生成的并且是以与一个场中的N行(N大于等于1)相对应的编码单位被编码的；以及以编码单位对由通信部件接收到的叠加后的图像数据进行解码的图像解码部件。
根据上述根据本发明的发送设备、接收设备、通信系统、通信方法和程序，当经由网络提供用户界面时能够增强对通信误差的容限。
附图说明
图1是示出根据一个实施例的通信系统的概况的示意图；
图2是例示根据一个实施例的发送设备的配置的框图；
图3是例示根据一个实施例的应用程序部件的详细配置的框图；
图4是例示根据一个实施例的压缩部件的详细配置的框图；
图5是图示出根据一个实施例的图像叠加处理的说明图；
图6是例示根据一个实施例的发送处理的流程的流程图；
图7是例示根据一个实施例的接收设备的配置的框图；
图8是例示根据一个实施例的解码部件的详细配置的框图；
图9是例示通信分组的配置的说明图；
图10是例示根据一个实施例的接收处理的流程的流程图；
图11是例示根据一个实施例的同步处理的具体流程的流程图；
图12是例示根据变形例的解码部件的配置的框图；
图13是示出执行小波变换的编码器的配置示例的框图；
图14是例示通过二维图像的频带分裂获得的频率分量的说明图；
图15是概念性地示出基于行的小波变换中的变换处理的示意图；以及
图16是示出通用计算机的配置示例的框图。
具体实施方式
以下，将参考附图来详细描述本发明的优选实施例。注意，在本说明书和附图中，用相同的标号来标注具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
将按照下面示出的次序来描述“具体实施方式”：
1.根据一个实施例的通信系统的概况
2.根据一个实施例的发送设备的描述
3.根据一个实施例的接收设备的描述
4.概要
<1.根据一个实施例的通信系统的概况>
首先将参考图1来描述根据本发明一个实施例的通信系统1的概况。
图1是示出根据本发明一个实施例的通信系统1的概况的示意图。参考图1，通信系统1包括网络10、发送设备100、接收设备200和远程控制设备300。
在图1中，网络10是使用LAN、WAN、ADSL、电力线、LVDS连接线、HDMI、无线LAN(IEEE802.11)、蓝牙、WiMax或超宽带无线电(UWB)的任何网络。网络10例如扮演连接发送设备100和接收设备200的家庭网的角色。网络10可以是有线网络或无线网络。
发送设备100通常被配置为诸如存储如视频内容之类的图像数据的HDD录像机和BD录像机之类的记录/再现设备。可替换地，发送设备100例如可以是接收并且中继所广播的节目的调谐器或输出由成像装置成像的图像数据的成像设备。例如，发送设备100从内建的记录介质读取、从外部接收或成像出图像数据，并且之后，对图像数据进行压缩以发送给接收设备200。注意，在这里的压缩中包括诸如信道编解码之类的编码。此外，发送设备100经由接收设备200的屏幕向用户提供用于接受用户的操作的用户界面。
接收设备200被配置为例如使用CRT(阴极射线管)、PDP(等离子显示面板)、液晶显示器或OLED(有机发光二极管)的显示装置。接收设备200经由网络10接收例如从发送设备100发送的图像数据并且在屏幕上显示通过对图像数据进行解码所获得的内容图像。接收设备200还在屏幕上显示用户界面图像(例如，包含菜单和图标的图像)202，以允许用户操作发送设备100或接收设备200。
远程控制设备300输出用来操作发送设备100或接收设备200的操作信号，作为例如根据来自用户的指令的红外信号或无线电信号。当操作信号从远程控制设备300被输出时，操作信号例如被接收设备200检测到。然后，接收设备200经由网络10向发送设备100发送传达操作内容的操作数据。可替换地，从远程控制设备300输出的操作信号可以被例如位于遥远地点的发送设备100直接检测到。
利用上述通信系统1的配置，可以实现这样的利用形式，其中，用户使用安装在家中任何位置的接收设备200来访问位于遥远地点的发送设备100，以欣赏由发送设备100保留的内容。然而，在这样的情况中，在网络10中可能发生由例如因周围环境或通信的暂时拥塞而生成的噪声(引起暂时不稳定状态的因素，例如多径、增益损失和瞬时中断)所引起的通信误差。对于图像数据，不论由通信误差引起的数据损失如何，根据诸如UDP(用户数据报协议)和RTP(实时传输协议)之类的协议，保持实时特性的数据递送都继续。另一方面，如果要向网络10单独发送用来控制用户界面的控制数据，则作为由TCP(传输控制协议)等引起的数据重转的结果，通信被延迟，有损对用户操作的快速响应。因此，以下详细描述的本发明的一个实施例中，通过预先将基于用来控制用户界面的控制数据而生成的用户界面图像叠加到内容图像上，来消除发送/重传控制数据的必要性。
<2.根据一个实施例的发送设备的描述>
图2是例示根据本实施例的发送设备100的配置的框图。参考图2，发送设备100包括应用程序部件110、压缩部件120和通信部件140。
[应用程序部件110]
应用程序部件110根据用户的操作获取某图像数据并且向压缩部件120提供图像数据。应用程序部件110还向压缩部件120提供用来控制用户界面以使得用户操作各个应用程序的第一控制数据和用来控制通信的第二控制数据。
如图3中所示，应用程序部件110例如可以由各个应用程序112a至112n和公共接口(公共IF)114构成。
在图3中的示例中，应用程序112a至112n可以是任何应用程序，例如在发送设备100中操作的内容再现应用程序、广播节目接收应用程序或视频拍摄应用程序。应用程序112a至112n例如响应于来自用户的请求，获取某图像数据和音频数据并且向压缩部件120输出所获得的数据。应用程序112a至112n还执行用来输出前述第一控制数据和第二控制数据和用来经由公共接口114获取操作数据的操作。
公共接口114是共同管理由发送设备100向用户提供的用户界面的接口。公共接口114例如可以是原始的用户界面，例如根据例如DLNA的UI之类的标准化规范进行操作的XMB(Xross Media Bar，跨界导航菜单)或中间件。
例如，公共接口114生成用来控制用户界面的第一控制数据，并且向压缩部件120输出第一控制数据。第一控制数据可以包含与用户界面的显示有关的任何控制数据，例如，可由用户选择的菜单列表、与每个菜单对应的图标的标识符和屏幕上图标所应当显示的位置。公共接口114还向压缩部件120输出用来控制应用级的通信的第二控制数据。
此外，例如，当从图1中示出的远程控制设备300输出的或被接收设备200中继的操作数据被输入时，公共接口114根据操作数据来向应用程序112a至112n中的一个提供操作指令。当如下所述，与所叠加的图像数据有关的误差被通知时，公共接口114可以再次向压缩部件120输出前述第一控制数据。
[压缩部件120]
参考图2，将继续对根据本实施例的发送设备100的配置的描述。
当图像数据和第一控制数据从应用程序部件110被提供时，压缩部件120通过将用户界面图像叠加到内容图像上来生成叠加后的图像数据，并且对叠加后的图像数据进行编码。压缩部件120还将第二控制数据或从应用程序部件110提供的编码后的音频数据与叠加后的图像数据进行复用。本实施例中的内容图像可以是由从应用程序部件110提供的图像数据代表的任何图像。
图4是例示压缩部件120的详细配置的框图。
在图4中的示例中，压缩部件120包括图像叠加部件122、控制发送准备部件124、音频压缩部件126、图像压缩部件128和复用部件130。
图像叠加部件122将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据。
图5是图示出图像叠加部件122进行的图像叠加处理的说明图。在图5中，示出3个图像：图像I1、图像I2和图像I3。这些图像中，图像I1是显示从应用程序部件110提供的图像数据的内容的内容图像。另一方面，图像I2是诸如基于从应用程序部件110提供的第一控制数据中所包含的菜单的列表之类的数据而生成的用户界面图像。在图5中的示例中，图像I2有“菜单1”到“菜单4”4个菜单字符串以及其中所显示的一组对应的图标。图像叠加部件122将用户界面图像I2叠加到内容图像I1上来生成叠加后的图像数据I3。
在图5中的示例中，图像叠加部件122使用户界面图像I2是透明的，将用户界面图像I2叠加到内容图像I1上。但是，图像叠加部件122的图像叠加不限于这样的示例。例如，图像叠加部件122可以不使用户界面图像I2是透明的，将用户界面图像I2叠加到内容图像I1上。可替换地，图像叠加部件122可以将内容图像I1和用户界面图像I2并排排列在任何方向上而不叠加。此外，图像叠加部件122可以仅显示用户界面图像I2作为叠加后的图像数据。这里，图像叠加是指用户界面图像以任何形式插入到发送数据流中。
回到图4，控制发送准备部件124临时保存从应用程序部件110提供的第二控制数据并且之后向后述复用部件130输出第二控制数据。
音频压缩部件126根据诸如PCM、ADPCM、MP3、WMA、AAC、ATRAC3plus和ATRAC3之类的任何音频编码方法来压缩从应用程序部件110提供的音频数据。从通信系统1中的发送设备100发送的图像数据不必一定伴随有音频数据。即，在发送设备100的配置中可以省略音频压缩部件126。
图像压缩部件128对每一编码单位(与一个场中的N行(N大于等于1)相对应)的由图像叠加部件122生成的前述叠加后的图像数据进行编码。即，如果N大于等于1，则图像压缩部件128根据基于行的编解码来压缩由图像叠加部件122生成的前述叠加后的图像数据。
以下将参考图13至图15来描述基于行的小波变换机制，作为基于行的编解码的一个示例。
基于行的小波变换是这样的编解码技术：每次扫描原始图像的一行基带信号时，执行水平方向的小波变换，并且每次读出某一数目的行时，执行垂直方向的小波变换。
图13是示出执行小波变换的编码器800的配置示例的框图。图13中所示的编码器800在3层(3个级别)中执行作为最常见的小波变换的八度分裂(octave splitting)，以生成分级编码后的图像数据。
参考图13，编码器800包括级别1处的电路部件810、级别2处的电路部件820和级别3处的电路部件830。级别1处的电路部件810具有低通滤波器812、下采样器814、高通滤波器816和下采样器818。级别2处的电路部件820具有低通滤波器822、下采样器824、高通滤波器826和下采样器828。级别3处的电路部件830具有低通滤波器832、下采样器834、高通滤波器836和下采样器838。
输入图像信号被电路部件810的低通滤波器812(传递函数H0(z))和高通滤波器816(传递函数H1(z))分裂成多个频带。通过频带分裂获得的低频分量(1L分量)和高频分量(1H分量)分别被下采样器814和下采样器818削减(thin out)为分辨率的一半。
由下采样器814削减出的低频分量(1L分量)的信号被电路部件820的低通滤波器822(传递函数H0(z))和高通滤波器826(传递函数H1(z))进一步分裂成多个频带。通过频带分裂获得的低频分量(2L分量)和高频分量(2H分量)分别被下采样器824和下采样器828削减为分辨率的一半。
此外，由电路部件820的下采样器824削减出的低频分量(2L分量)的信号被电路部件820的低通滤波器832(传递函数H0(z))和高通滤波器836(传递函数H1(z))进一步分裂成多个频带。通过频带分裂获得的低频分量(3L分量)和高频分量(3H分量)分别被下采样器834和下采样器838削减为分辨率的一半。
以这种方式，通过将低频分量分级分裂成多个频带直到某一级别来顺次生成频率分量。在图13的示例中，作为直到级别3的频带分裂的结果，生成：下采样器818所削减出的高频分量(1H分量)，下采样器828所削减出的高频分量(2H分量)，下采样器838所削减出的高频分量(3H分量)，下采样器834所削减出的低频分量(3L分量)。
图14是示出通过对二维图像进行直到级别3的频带分裂所获得的频率分量的示图。在图14中的示例中，通过级别1的频带分裂(水平/垂直方向)得到4个分量1LL、1LH、1HL和1HH的各个子图像。这里，LL指示水平和垂直分量都为L，并且LH指示水平分量为H而垂直分量为L。接着，1LL分量再次被分裂成多个频带来获得2LL、2HL、2LH和2HH的各个子图像。此外，2LL分量被再次分裂成多个频带来获得3LL、3HL、3LH和3HH的各个子图像。
作为以这种方式重复执行小波变换的结果，输出信号形成包含子图像的分级结构。基于行的小波变换是通过进一步基于行来扩展这样的小波变换而获得的。
图15是概念性地示出基于行的小波变换的变换处理的示意图。这里，例如，针对基带的每8行在水平方向执行小波变换。
在这种情况中，如果要在3层中关于8行来执行小波变换，则针对最低级别的频带3LL子图像生成一行编码后的数据并且针对下一级别的子频带3H(子图像3HL、3LH和3HH)中的每一个生成一行编码后的数据。此外，针对下一级别的子频带2H(子图像2HL、2LH和2HH)中的每一个生成两行编码后的数据，进一步，针对最高级别频带1H(子图像1HL、1LH和1HH)中的每一个生成四行编码后的数据。
每个子频带的一组行将称为选区(precinct)。即，作为行块的一种形式(这种形式是一组行)，选区是要作为基于行的小波变换的编码单位的一组行，这里，编码单位一般是指要成为编码处理的单位的一组行。即，编码单位不限于基于行的小波变换中的选区，并且可以是诸如JPEG2000和MPEG4之类的现有分级编码中的编码处理的单位。
参考图15，在图15中的左侧示出的基带信号802中由8行组成的选区(图15中的阴影区)被构造为如图15中的右侧所示的变换之后的基于行的小波变换后的信号804中的以下内容：具有1H中的1HL、1LH和1HH中的每一个的4行(图15中的阴影区)、具有2H中的2HL、2LH和2HH中的每一个的两行(图15中的阴影区)和具有3LL、3HL、3LH和3HH中的每一个的一行(图15中的阴影区)。
根据这样的基于行的小波变换处理，可以通过与JPEG2000中的瓦片分解(tile decomposing)一样，将图片分解成更细粒度尺寸来执行处理，使得发送和接收图像数据时的延迟可以变得更短。此外，与JPEG2000中的瓦片分解相对地，基于行的小波变换执行使用小波系数的划分而不是每基带信号的划分，因此具有这样的特征：瓦片边界中没有出现像块噪声一样的图像质量劣化。
以上已经描述了基于行的小波变换作为基于行的编解码的一个示例。由图4中示出的图像压缩部件128执行的压缩处理不限于基于行的小波变换。图像压缩部件128适用于任何基于行的编解码，例如诸如JPEG2000和MPEG4之类的现有分级编码。
回到图4，复用部件130将由图像压缩部件128编码出的叠加后的图像数据和从控制发送准备部件124输出的第二控制数据以及从音频压缩部件126输出的编码后的音频数据进行复用。然后，复用部件130向通信部件140输出复用后的叠加图像数据。
再回到图2，将继续对根据本实施例的发送设备100的配置的描述。
[通信部件140]
通信部件140包括发送数据生成部件142、发送/接收控制部件144、物理层控制部件146、物理层Tx 148、切换部件150、天线部件152、物理层Rx 154和接收数据分离部件156。
发送数据生成部件142生成包含从压缩部件120输出的叠加后的图像数据的通信分组。当执行例如基于TCP、UDP或IP协议的通信时，发送数据生成部件142通过将TCP或UDP头部和终端识别信息(例如，以太网(注册商标)的MAC地址或IP地址)添加到叠加后的图像数据上来生成IP分组。
发送/接收控制部件144控制TDMA(时分多址)方法、CSMA(载波侦听多址)或FDMA(频分多址)方法中的MAC(媒体接入控制)层。发送/接收控制部件144还可以基于根据导频而非载波的相关性来识别分组的PSMA(Preamble Sense Multiple Access，导频侦听多址)来执行对MAC层的控制。
物理层控制部件146基于来自发送/接收控制部件144或发送数据生成部件142的指令来控制物理层。物理层Tx 148基于来自物理层控制部件146的请求来开始操作并且向切换部件150输出从发送数据生成部件142提供的通信分组。
切换部件150具有用来切换数据的发送和接收的功能。例如，当从物理层Tx 148提供通信分组时，切换部件150经由天线部件152发送这些通信分组。当经由天线部件152接收通信分组时，切换部件150将所接收到的分组提供给物理层Rx 154。
物理层Rx 154基于来自物理层控制部件146的请求来开始操作并且将接收到的分组提供给接收数据分离部件156。
接收数据分离部件156分析从物理层Rx 154提供的接收分组，并且在将要递送给应用程序部件110的数据输出给应用程序部件110之前对数据进行解复用。例如，接收数据分离部件156可以参考接收分组中所包含的TCP或UDP头部的端口号来识别要递送给应用程序部件110的数据。
在通信系统1中，存在可由发送设备100接收的两种数据。这两种数据中，第一数据是在观看由接收设备200显示的用户界面图像的用户的指令被接收之后由远程控制设备300输出的操作数据。第二数据是当检测到有关叠加后的图像数据的误差时由接收设备200返回的有关误差的统计数据。
操作数据被包含在从远程控制设备300输出的操作信号中。发送设备100的通信部件140直接地或经由接收设备200接收来自远程控制设备300的操作信号。然后，由通信部件140从操作信号中分离出的操作数据被输入到应用程序部件110中。如果操作信号例如是作为红外信号从远程控制设备300输出的，则图2中所示的通信部件140外部所设置的红外接口(未示出)可以接收操作信号，以向应用程序部件110输出操作数据。
另一方面，有关误差的统计数据被包含在从接收设备200发送的响应信号中。当从接收设备200接收响应信号时，发送设备100的通信部件140从响应信号中分离出有关误差的统计数据，以向应用程序部件110输入有关误差的统计数据。因此，例如，应用程序部件110可以再次向压缩部件120输出用来控制用户界面的第一控制数据。
[处理流程的示例]
接着，图6是例示由使用图2至图5描述的发送设备100进行的叠加后的图像数据的发送处理的流程的流程图。
参考图6，首先由应用程序部件110向压缩部件120输出将使接收设备200显示的内容图像的图像数据(S102)。此时，如有必要，还向压缩部件120输出音频数据
接着，由应用程序部件110向压缩部件120输出第一控制数据或第二控制数据(S104)。
然后，压缩部件120判定从应用程序部件110输出的控制数据是第一控制数据还是第二控制数据(S106)。如果该控制数据是第一控制数据，则处理进行到S108。另一方面，如果该控制数据不是第一控制数据，则处理进行到S112。
在S108，由压缩部件120的图像叠加部件122使用从应用程序部件110输入的图像数据和第一控制数据来生成用户界面图像被叠加到内容图像上的叠加后的图像数据(S108)。
接着，由图像压缩部件128以与一个场中的N行(N大于等于1)相对应的编码单位来对叠加后的图像数据进行编码。
接着，从应用程序部件110输入的第二控制数据与由图像压缩部件128压缩后的叠加后的图像数据相复用(S112)。此时，如有必要，由音频压缩部件126压缩后的音频数据也被复用。
然后，由通信部件140生成包含复用之后的叠加后的图像数据的通信分组，并且之后将其经由网络10发送给接收设备200(S114)。
已经使用图2至图6描述了根据本实施例的发送设备100。接着，将描述接收从发送设备100发送的叠加后的图像数据的接收设备200的配置。
<3.根据一个实施例的接收设备的描述>
图7是例示根据本实施例的接收设备200的配置的框图。参考图7，接收设备200包括通信部件240、解码部件270和应用程序部件290。
[通信部件240]
通信部件240包括发送数据生成部件242、发送/接收控制部件244、物理层控制部件146、物理层Tx 148、切换部件150、天线部件152、物理层Rx 154和接收数据分离部件256。
发送数据生成部件242基于发送/接收控制部件244的请求来读出要发送给发送设备100的数据，以生成发送分组。例如，发送数据生成部件242生成IP分组并且之后将IP分组输出给物理层Tx 148。
和发送设备100的发送/接收控制部件144类似，发送/接收控制部件244控制MAC层。发送/接收控制部件244还将由例如稍后描述的接收数据分离部件256所检测到的叠加后的图像数据的误差率与某一阈值相比较，并且如果误差率更高，则使得通信部件240向发送设备100发送包括有关误差的统计数据以通知误差的发生的响应信号。稍后将进一步描述对叠加后的图像数据中所包含的误差的检测。
接收数据分离部件256分析从物理层Rx 154提供的接收分组并且在将要递送给解码部件270的数据输出给解码部件270之前对数据进行解复用。例如，当执行基于IP协议的通信时，接收数据分离部件256参考接收分组中所包含的目的地IP地址和目的地端口号，使得可以识别递送给解码部件270的数据。
[解码部件270]
解码部件270例如以与一个场中的N行(N大于等于1)为单位对从接收数据分离部件256输出的叠加后的图像数据进行解码，并且之后将经解码的叠加后的图像数据输出给应用程序部件290。
图8是例示解码部件270的详细配置的框图。参考图8，解码部件270包括应用程序数据分离部件272、音频解码部件274和图像解码部件276。
应用程序数据分离部件272通过参考从接收数据分离部件256输入的数据的应用程序头来确定媒体的类型并且之后分发数据。例如，如果输入数据是编码后的音频数据，则应用程序数据分离部件272将音频数据输出给音频解码部件274。如果输入数据是经过编码的叠加后的图像数据，则应用程序数据分离部件272将叠加后的图像数据输出给图像解码部件276。如果输入的数据是第二控制数据，则应用程序数据分离部件272将第二控制数据输出给应用程序部件290。
当与基于图片的编解码相比较时，在基于行的编解码中可用于图像数据的接收和解码的控制的时间更短。因此，为了以稳定的同步状态对叠加后的图像数据进行解码，应用程序数据分离部件272临时存储从接收数据分离部件256输入的叠加后的图像数据并且通过确定某一同步定时来输出叠加后的图像数据。稍后将使用图11来进一步描述应用程序数据分离部件272的这样的同步处理。
音频解码部件274根据诸如PCM、ADPCM、MP3、WMA、AAC、ATRAC3plus和ATRAC3之类的任何音频编码方法来对从应用程序数据分离部件272输入的音频数据进行解码。音频解码部件274所解码出的音频数据被输出给应用程序部件290。与发送设备100的音频压缩部件126一样，在接收设备200中可以省略音频解码部件274。
图像解码部件276以与一个场中的N行相对应的编码单位对从应用程序数据分离部件272输入的叠加后的图像数据进行解码。由图像解码部件276解码出的叠加后的图像数据被输出给应用程序部件290。
[应用程序部件290]
回到图7，将继续对应用程序部件290的配置的描述。
应用程序部件290对从解码部件270提供的经过解码的叠加后的图像数据进行再现。因此，在接收设备200的屏幕上显示叠加后的图像数据中所包含的内容图像上所叠加的用户界面图像。应用程序部件290使用诸如扬声器之类的音频输出设备来对从解码部件270提供的解码后的音频数据进行再现。
在接收设备200的配置中应当注意的是：不需要将由解码部件270的图像解码部件276解码出的叠加后的图像数据进一步分离成内容图像的图像数据和用户界面图像的第一控制数据。如果通信误差出现，则这样的误差可能被包含在叠加后的图像数据的一部分中。然而，即使在这样的情况中，如果误差率不超过某一量，则由接收设备200显示的图像中的用户界面图像也可以被用户识别，这是因为用户界面图像被叠加在内容图像之上。结果，根据诸如UDP和RTP之类的将重要性附加在实时特性上的协议，可以容易地向用户提供用户界面。
[误差检测]
对接收设备200中的叠加后的图像数据中的误差的检测例如可以由图7中示出的物理层Rx 154或接收数据分离部件256实现。在物理层Rx 154中，例如，可以使用诸如循环冗余校验、Reed-Solomon码、Gold码或Viterbi算法之类的公知技术来检测接收分组中所包含的比特或符号的误差。在接收数据分离部件256中，例如，可以从RTP头部中丢失的序列号来检测分组损失。还可以通过无线电通信中相位偏移或信号强度中的波动来检测通信误差。
发送/接收控制部件244被通知以这种方式检测到的叠加后的图像数据的误差以计算误差率。之后，发送/接收控制部件244例如将预先定义的某一阈值与所计算出的误差率相比较。如果误差率大于预定阈值，即，如果即使叠加后的图像数据被解码和被显示之后用户仍难以正确地识别用户界面图像，则发送/接收控制部件244向发送设备100发送对误差通知的响应信号。如果误差率不大于阈值，即如果确定用户可以识别用户界面图像，则发送/接收控制部件244允许继续对叠加后的图像数据的解码处理。
这里描述由发送/接收控制部件244进行误差率的阈值确定的示例。可替换地，还可以由解码部件270或应用程序部件290来进行阈值确定。
[通信分组的配置示例]
图9示出UDP/IP分组的配置，作为本实施例中可以由接收设备200接收的通信分组的示例。
在图9中，在9a至9d 4个阶段中示出一个IP分组的内部配置。参考9a，IP分组由IP头部和IP数据构成。IP头部例如包含诸如目的地IP地址之类的有关基于IP协议的通信路径控制的控制信息。
接着，参考9b，IP数据又由UDP头部和UDP数据构成。UDP头部例如包含作为应用程序标识信息的目的地端口号。
接着，参考9c，UDP数据又由RTP头部和RTP数据构成。RTP头部包含诸如序列号之类的用来保证例如数据流的顺序性的控制信息。
接着，参考9d，RTP数据由图像数据的头部(图像头)和通过基于行的编解码所编码出的叠加后的图像数据构成。图像头例如包含图片编号、行块编号(或当以一行为单位编码时的行编号)或子频带编号。图像头还可以由每个图片所附加的图片头和每个行块所附加的行块头构成。
[处理流程示例]
接着，图10是例示使用图7至图9所描述的接收设备200进行的叠加后的图像数据的接收处理的流程的流程图。
参考图10，首先由通信部件240接收从发送设备100发送的通信分组(S202)。
接着，例如由通信部件240的发送/接收控制部件244来判断通信路径上所发生的误差率是否大于某一阈值(S204)。如果误差率大于某一阈值，则处理进行到S206。
在S206从接收设备200向发送设备100发送对误差发生的通知的响应信号(S206)。因此，发送设备100可以认识到由于劣化的通信环境，服务提供受到阻碍。
另一方面，如果在S204通信路径上所发生的误差率小于某一阈值，则处理进行到S208。在S208，判断所接收到的通信分组中所包含的数据是否是叠加后的图像数据(S208)。如果所接收到的通信分组中包含的数据不是叠加后的图像数据，则处理进行到S210。
在S210，由解码部件270的音频解码部件274对除了叠加后的图像数据以外的数据，例如，音频数据，进行解码(S210)。音频解码部件274所解码出的音频数据被输出给应用程序部件290。在该步骤，例如，从解码部件270的应用程序数据分离部件272向应用程序部件290输出第二控制数据。
另一方面，如果所接收到的通信分组中所包含的数据是叠加后的图像数据，则由应用程序数据分离部件272执行对叠加后的图像数据的解码起始点的同步处理(S212)。
图11是例示应用程序数据分离部件272进行的同步处理的具体流程的流程图。
参考图11，首先检测输入到应用程序数据分离部件272中的叠加后的图像数据的头部(例如，图9中所示的图像头)，使得从行块编号等中识别出图片的开头(S302)。
接着，在识别出图片的开头之后，应用程序数据分离部件272激活用于测量时间的定时器并且等待解码起始点的到达(S304)。这里，直到解码起始点的等待时间被预先设置为例如能够吸收每编码单位的数据量的波动或由于通信路径上的抖动等引起的延迟的时间。然而，直到解码起始点的等待时间优选地尽可能短，以增强用户界面的响应性。
然后，当解码起始点到来时，应用程序数据分离部件272开始对每编码单位的数据传送时间的测量(S306)。这里，每编码单位的数据传送时间是指显示一个编码单位的叠加后的图像数据所能够花费的时间。例如，当1080/60p(屏幕尺寸为2200x1125，60fps的逐行扫描方法)的视频被解码时，如果加上空白时间，则显示一行所能够花费的时间约为14.8[μs]，如果不加上空白时间，则约为15.4[μs]。如果编码单位是N行的行块，则每编码单位的数据传送时间将是前述显示一行所能够花费的时间的N倍。
此外，应用程序数据分离部件272判断在该时间点是否完成了对特定频率分量的叠加后的图像数据的接收(S308)。该步骤中的特定频率分量例如被预设为具有要对用户显示的最小图像质量的频率分量。特定频率分量可以是叠加后的图像数据中所包含的最低频率分量或根据图像类型所设置的某一频率分量。如果对特定频率分量的叠加后的图像数据的接收未完成，则处理进行到S310。另一方面，如果对特定频率分量的叠加后的图像数据的接收已完成，则处理进行到S312。
如果处理进行到S310，则最少要显示的频率分量(特定频率分量)的叠加后的图像数据可能由于数据延迟或数据误差还未被接收到。在该情况中，向没有成功接收到数据的行(或行块)插入哑数据(S310)，所述行(或行块)没有成功接收到数据是因为如果等待数据的接收，则同步定时会偏移，导致图像显示的延迟。例如，这里所接收到的频率分量可以按原样与仅针对接收失败的频率分量插入的哑数据一起使用。这里所要插入的哑数据例如是前一图片(或前一图片之前的图片)的相同行(或相同行块)的叠加后的图像数据、固定的图像数据或基于运动补偿的预测数据。
另一方面，在S312，从应用程序数据分离部件272向图像解码部件276传送包含特定频率分量的叠加后的图像数据(S312)。叠加后的图像数据的传送继续直到每编码单位的数据传送时间结束为止(S314)。然后，当每编码单位的数据传送时间结束时，处理进行到S316。
在S316，判断是否还留有此时尚未完成传送的待解码的叠加后的图像数据(S316)。如果还有尚未完成传送的待解码的叠加后的图像数据，则删除叠加后的图像数据(S318)。
之后，判断是否完成了对图片中所有行的处理(S320)。如果还留有尚未完成处理的任何行，则处理返回S306以重复对每编码单位的数据传送时间的测量和叠加后的图像数据向图像解码部件276的传送。另一方面，如果所有行的处理都已完成，则用来对一张图片的叠加后的图像数据进行解码的同步处理完成。
回到图10，将继续对叠加后的图像数据的接收处理的流程的描述。
由图像解码部件276对作为应用程序数据分离部件272的同步处理的结果而被传送给图像解码部件276的叠加后的图像数据以编码单位顺次进行解码(S214)。经过解码的叠加后的图像数据从图像解码部件276输出给应用程序部件290。如果在直至S320的处理被完成一次之后检测到指示下一图片的开头的头部，则可以使用第一同步定时而不测量解码起始时间。
然后，应用程序部件290在接收设备200的屏幕上显示经过解码的叠加后的图像数据(S216)。因此，用户可以在屏幕上观看用来操作发送设备100或接收设备200的用户界面图像。
已经使用图10和图11描述了根据本实施例的接收设备200所执行的叠加后的图像数据的接收处理。如从以上描述可以理解的，即使在接收设备200的显示装置中所显示的叠加后的图像数据中包含达到未超过某一阈值这样的程度的通信误差，也可以使得用户在视觉上识别用户界面图像。并且在本实施例中，如果对多级频率分量的预设特定频率分量的叠加后的图像数据的发送/接收成功，则即使丢失其它频率分量也可以显示具有与至少特定频率分量相对应的图像质量的用户界面图像。
[变形例的描述]
作为本实施例的变形例，可以如图12中所示来配置接收设备200的解码部件270。参考图12，接收设备200的解码部件270除了包括图8中所示的应用程序数据分离部件272、音频解码部件274和图像解码部件276之外，还包括终端识别部件278。
终端识别部件278通过参考例如分组中的IP头部来识别从通信部件240输入的应用程序数据的发送源的终端，并且根据识别结果来分发数据。例如，如果数据是从远程控制设备300接收的，则终端识别部件278向应用程序部件290输出数据作为从操作信号获得的操作数据。如果包含叠加后的图像数据的数据是从发送设备100接收的，则终端识别部件278向应用程序数据分离部件272输出这些数据。
根据以上变形例，当操作信号是从远程控制设备300接收的时，接收设备200可以从所接收到的操作信号中获取操作数据来将操作数据中继到发送设备100。即，即使发送设备100和接收设备200被彼此分离地安装使得难以直接向发送设备100发送来自远程控制设备300的操作信号，用户也可以在观看接收设备200中所显示的用户界面图像的同时操作发送设备100。
作为另一变形例，接收设备200的解码部件270或应用程序部件290可以在屏幕上识别由于通信误差而接收失败的行块的位置，以判断是否根据其位置来解码或显示该图像。屏幕上的行块的位置可以从图9中所示的行块编号等来识别。
<4.概要>
已经使用图1至图13描述了根据本发明一个实施例的通信系统1。如上所述，根据本实施例，即使接收设备200的屏幕上所显示的叠加后的图像数据包含达到未超过某一阈值的程度的某些通信误差，用户也可以在视觉上识别用户界面图像。此外，如果对多级频率分量中的预设特定频率分量的叠加后的图像数据的发送/接收成功，则显示具有与至少特定频率分量相对应的图像质量的用户界面图像。因此，在从发送设备100经由网络10向接收设备200提供用户界面的情况中，增强了误差容限。此外，提高了用户操作的响应性。
此外，根据本实施例，由于用来控制用户界面的第一控制数据未被发送给网络，所以可以避免由于增大的用户界面规范复杂度而引起的控制数据的容量的增加和由于增大的协议复杂度而引起的通信效率的降低。
此外，通过使用基于行的编解码，减少了图像的编码和解码以及发送/接收中所处理的一个单位的信息量，带来了诸如高速处理和硬件规模的缩小之类的优点。
在另一实施例中，可以通过基于图片的编解码来对叠加后的图像数据进行编码。还在这样的情况中，用户界面图像在被叠加到内容图像上之后被发送/接收，因此，用来控制用户界面的第一控制数据未被发送给网络。因此，即使在一部分数据中发生通信误差，也可以使得用户能够在视觉上识别用户界面图像。
这里描述的处理序列可以通过硬件或软件来实现。当使得软件来执行处理序列或其一部分时，构成软件的程序被结合到专用硬件中的计算机或图16中所示的通用计算机可以用于其执行。
在图16中，CPU(中央处理单元)902控制通用计算机的总体操作。描述处理序列的一部分或全部的数据或程序被存储在ROM(只读存储器)904中。由CPU 902用来执行处理的执行程序或控制数据被临时存储在RAM(随机存取存储器)906中。
CPU 902、ROM 904和RAM 906经由总线908相互连接。输入/输出接口910也被连接到总线908。输入/输出接口910是将CPU 902、ROM904和RAM 906连接到输入部件912、输出部件914、存储部件916、通信部件918和驱动器920的接口。
输入部件912接受来自用户的指令或经由诸如按钮、开关、控制杆、鼠标或键盘之类的输入装置输入的信息。显示装置914如上所述具有例如CRT、PDP、液晶显示器或OLED之类的屏幕，并且为用户显示内容图像或用户界面图像。
存储部件916例如是由HDD或半导体存储器构成，并且存储程序、程序数据、内容数据等。通信部件918经由网络执行有线或无线的通信处理。必要时在通用计算机中设置驱动器920，并且例如在驱动器920中插入可移除介质922。
本领域技术人员应当理解，根据设计要求和其它因素可以进行各种修改、组合、子组合和更改，只要它们在所附权利要求或其等同物的范围以内即可。
在本实施例中，例如描述了用无线线路作为通信线路的示例。然而，可以使用有线线路而不是无线线路来作为另一实施例。通过用合适的功能替换例如物理层Tx 148、天线部件152和物理层Rx 154，和上述网络10一样，可以使用利用LAN、WAN、ADSL、电力线、LVDS连接线、HDMI、无线LAN(IEEE802.11)、蓝牙、WiMax或超宽带无线电之类的任何网络。
此外，在本实施例中，假定使用TCP或UDP/RTP协议。然而，本发明不限于这样的示例并且适用于可以区分图像数据和控制数据的任何协议。
例如，使用流程图描述的根据一个实施例的发送处理和接收处理不必按照流程图中描述的次序来执行。处理步骤可以包含并行执行或独立地单独执行的步骤。
本申请包含与2008年12月11日在日本专利局提交的日本优先权专利申请JP 2008-315615中所公开的主题有关的主题，其全部内容通过引用被结合于此。

Claims (14)

1.一种发送设备，包括：
图像叠加部件，所述图像叠加部件通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；
图像压缩部件，所述图像压缩部件以与一个场中的N行(N大于等于1)相对应的编码单位对由所述图像叠加部件生成的叠加后的图像数据进行编码；以及
通信部件，所述通信部件发送由所述图像压缩部件编码出的叠加后的图像数据。
2.根据权利要求1所述的发送设备，还包括：
复用部件，所述复用部件将用来控制通信的第二控制数据与由所述图像压缩部件编码出的叠加后的图像数据进行复用，其中
所述通信部件发送被所述复用部件与所述第二控制数据复用的叠加后的图像数据。
3.根据权利要求2所述的发送设备，其中，所述通信部件还与已经接收到所述叠加后的图像数据的另一设备所显示的用户界面图像相关联地接收从外部设备发送的操作信号。
4.一种接收设备，包括：
通信部件，所述通信部件接收叠加后的图像数据，所述数据叠加后的图像数据是通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生成的并且是以与一个场中的N行(N大于等于1)相对应的编码单位被编码的；以及
图像解码部件，所述图像解码部件以所述编码单位对由所述通信部件接收到的所述叠加后的图像数据进行解码。
5.根据权利要求4所述的接收设备，还包括分离部件，所述分离部件在所述叠加后的图像数据被所述图像解码部件解码前从所述叠加后的图像数据分离出用来控制通信的第二控制数据。
6.根据权利要求4所述的接收设备，其中，所述通信部件将所接收到的叠加后的图像数据中所包含的误差率与某一阈值相比较，并且如果误差率不大于所述阈值，则使得所述图像解码部件对所述叠加后的图像数据进行解码。
7.根据权利要求6所述的接收设备，其中，如果所接收到的叠加后的图像数据中所包含的误差率大于所述某一阈值，则所述通信部件向所述叠加后的图像数据的发送源设备发送对误差通知的响应信号。
8.根据权利要求4所述的接收设备，
其中，所述叠加后的图像数据是包含两种或更多种图像数据的被分级编码出的图像数据，所述两种或更多种图像数据包括具有低图像质量的低频图像数据和具有高图像质量的高频图像数据，并且
如果某一频率的低频图像数据被所述通信部件接收到作为所述叠加后的图像数据，则所述图像解码部件对所接收到的叠加后的图像数据进行解码，而不论更高频率的图像数据是否被接收到。
9.一种发送设备，包括：
图像叠加部件，所述图像叠加部件通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；
图像压缩部件，所述图像压缩部件对由所述图像叠加部件生成的叠加后的图像数据进行编码；
复用部件，所述复用部件将用来控制通信的第二控制数据与由所述图像压缩部件编码出的叠加后的图像数据进行复用；以及
通信部件，所述通信部件发送被所述复用部件与所述第二控制数据复用的叠加后的图像数据。
10.一种接收设备，包括：
通信部件，所述通信部件接收叠加后的图像数据，所述叠加后的图像数据是通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生成的并且是与用来控制通信的第二控制数据复用的；
分离部件，所述分离部件从由所述通信部件接收到的叠加后的图像数据中分离出所述第二控制数据；以及
图像解码部件，所述图像解码部件对被所述分离部件从中分离出所述第二控制数据的所述叠加后的图像数据进行解码。
11.一种通信系统，包括：
发送设备，包括：
图像叠加部件，所述图像叠加部件通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；
图像压缩部件，所述图像压缩部件以与一个场中的N行(N大于等于1)相对应的编码单位对由所述图像叠加部件生成的叠加后的图像数据进行编码；以及
发送侧通信部件，所述发送侧通信部件发送由所述图像压缩部件编码出的叠加后的图像数据；以及
接收设备，包括：
接收侧通信部件，所述接收侧通信部件接收由所述发送设备发送的叠加后的图像数据；以及
图像解码部件，所述图像解码部件以所述编码单位对由所述接收侧通信部件接收到的叠加后的图像数据进行解码。
12.一种通信方法，包括以下步骤：
在发送设备中通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；
以与一个场中的N行(N大于等于1)相对应的编码单位对所生成的叠加后的图像数据进行编码；
从所述发送设备向接收设备发送所编码出的叠加后的图像数据；
在所述接收设备中接收由所述发送设备发送的叠加后的图像数据；以及
以所述编码单位对所接收到的叠加后的图像数据进行解码。
13.一种计算机程序产品，具有指令，所述指令使得控制发送设备的计算机用作：
图像叠加部件，所述图像叠加部件通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上来生成叠加后的图像数据；
图像压缩部件，所述图像压缩部件以与一个场中的N行(N大于等于1)相对应的编码单位对由所述图像叠加部件生成的叠加后的图像数据进行编码；以及
通信部件，所述通信部件发送由所述图像压缩部件编码出的叠加后的图像数据。
14.一种计算机程序产品，具有指令，所述指令使得控制接收设备的计算机用作：
通信部件，所述通信部件接收叠加后的图像数据，所述叠加后的图像数据是通过将基于用来控制用户界面的第一控制数据而生成的用户界面图像叠加到内容图像上而生成的并且是以与一个场中的N行(N大于等于1)相对应的编码单位被编码的；以及
图像解码部件，所述图像解码部件以所述编码单位对由所述通信部件接收到的所述叠加后的图像数据进行解码。
CN200910259118A 2008-12-11 2009-12-11 发送设备、接收设备、通信系统、通信方法和程序 Pending CN101753868A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008315615A JP4775432B2 (ja) 2008-12-11 2008-12-11 送信装置、受信装置、通信システム、通信方法、及びプログラム
JP2008-315615 2008-12-11

Publications (1)

Publication Number Publication Date
CN101753868A true CN101753868A (zh) 2010-06-23

Family

ID=42061087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910259118A Pending CN101753868A (zh) 2008-12-11 2009-12-11 发送设备、接收设备、通信系统、通信方法和程序

Country Status (4)

Country Link
US (1) US20100150461A1 (zh)
EP (1) EP2200283A1 (zh)
JP (1) JP4775432B2 (zh)
CN (1) CN101753868A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244779A (zh) * 2010-05-11 2011-11-16 联想(北京)有限公司 数据的发送和接收方法及设备、数据传输系统
CN109752679A (zh) * 2017-11-06 2019-05-14 西门子保健有限责任公司 Mr系统和将数据传输至mr系统的数字控制装置的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7942418B2 (en) * 2008-01-10 2011-05-17 Cfph, Llc Card game with counting
US8565323B1 (en) * 2010-11-30 2013-10-22 Amazon Technologies, Inc. Attention misdirection for streaming video
US8902970B1 (en) 2010-12-01 2014-12-02 Amazon Technologies, Inc. Altering streaming video encoding based on user attention
KR101704662B1 (ko) * 2012-02-29 2017-02-08 고쿠리츠켄큐카이하츠호진 카가쿠기쥬츠신코키코 화상처리용 디지털 필터 및 문자열 경사 착시 생성 장치
KR102468653B1 (ko) * 2016-03-11 2022-11-21 삼성디스플레이 주식회사 표시 패널의 구동 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501569B1 (en) * 1995-09-29 2002-12-31 Sanyo Electric Co., Ltd. Image transmission apparatus
US7096487B1 (en) * 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
JP2003143256A (ja) * 2001-10-30 2003-05-16 Nec Corp 端末装置と通信制御方法
US20040252761A1 (en) * 2003-06-16 2004-12-16 Dilithium Networks Pty Limited (An Australian Corporation) Method and apparatus for handling video communication errors
EP1771002B1 (en) * 2005-09-30 2017-12-27 LG Electronics Inc. Mobile video communication terminal
JP4367651B2 (ja) 2006-04-03 2009-11-18 村田機械株式会社 通信装置
JP4682914B2 (ja) * 2006-05-17 2011-05-11 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4129694B2 (ja) * 2006-07-19 2008-08-06 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP2008042222A (ja) * 2006-08-01 2008-02-21 Sony Corp 送信装置および方法、並びにプログラム
JP2008131569A (ja) * 2006-11-24 2008-06-05 Sony Corp 画像情報伝送システム、画像情報送信装置、画像情報受信装置、画像情報伝送方法、画像情報送信方法、画像情報受信方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244779A (zh) * 2010-05-11 2011-11-16 联想(北京)有限公司 数据的发送和接收方法及设备、数据传输系统
CN102244779B (zh) * 2010-05-11 2014-07-30 联想(北京)有限公司 数据的发送和接收方法及设备、数据传输系统
US10873342B2 (en) 2010-05-11 2020-12-22 Beijing Lenovo Software Ltd. Method and device for sending and receiving data and data transmission system
CN109752679A (zh) * 2017-11-06 2019-05-14 西门子保健有限责任公司 Mr系统和将数据传输至mr系统的数字控制装置的方法

Also Published As

Publication number Publication date
EP2200283A1 (en) 2010-06-23
JP4775432B2 (ja) 2011-09-21
US20100150461A1 (en) 2010-06-17
JP2010141568A (ja) 2010-06-24

Similar Documents

Publication Publication Date Title
US10620827B2 (en) Systems and methods for virtual remote control of streamed media
CN101753868A (zh) 发送设备、接收设备、通信系统、通信方法和程序
CN102572520B (zh) 图像处理设备、图像再现设备以及图像再现系统
JP5350544B2 (ja) スペクトルの利用可能なチャネルを使用したデータのワイヤレス送信
US8677432B2 (en) System and method for providing a personal broadcasting service using a mobile communication terminal
CN101076122B (zh) 通信装置和方法、通信发送接收装置和方法
US8532472B2 (en) Methods and apparatus for fast seeking within a media stream buffer
US20080195744A1 (en) Adaptive media playback
US20110035462A1 (en) Systems and methods for event programming via a remote media player
US8964851B2 (en) Dual-mode compression of images and videos for reliable real-time transmission
CN101472138A (zh) 一种数字机顶盒节目流分享实现系统及方法
CN102158693A (zh) 自适应解码嵌入式视频比特流的方法及接收系统
US9838463B2 (en) System and method for encoding control commands
US20060218249A1 (en) AV transmission system, server device of AV transmission system, and client device
US8891611B2 (en) Method and apparatus for transmitting and receiving graphical data
US11558776B2 (en) Devices and system for transmitting and receiving compressed bitstream via wireless stream and handling transmission error
Huang et al. An embedded multifunctional media system for mobile devices in terrestrial DTV relaying
KR101186422B1 (ko) 서비스 영상 전송 시스템 및 방법
CN107493505B (zh) 一种支持双音频输出的视音频转码的装置和方法
CN101621662A (zh) 电视机上实现信息交互的方法和装置
JP2008236103A (ja) 映像配信システム、映像配信方法、映像配信サーバ及び映像配信プログラム
US20140189766A1 (en) Methods and apparatus for seeking within recorded media stored on a set-top box
KR20230025256A (ko) 전자장치 및 그 제어방법
KR100684003B1 (ko) Ｃｏｎｆｉｇ가 손상된 비디오 비트스트림의 디코딩 방법
CN100518304C (zh) 与视频信息包损耗对应的解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100623