CN101110958B - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN101110958B
CN101110958B CN2007101376110A CN200710137611A CN101110958B CN 101110958 B CN101110958 B CN 101110958B CN 2007101376110 A CN2007101376110 A CN 2007101376110A CN 200710137611 A CN200710137611 A CN 200710137611A CN 101110958 B CN101110958 B CN 101110958B
Authority
CN
China
Prior art keywords
aforementioned
frequency content
view data
data
subregions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101376110A
Other languages
English (en)
Other versions
CN101110958A (zh
Inventor
普天间智
石见英辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101110958A publication Critical patent/CN101110958A/zh
Application granted granted Critical
Publication of CN101110958B publication Critical patent/CN101110958B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种信息处理装置和方法，低延迟且有效地传输图像数据。控制部(31)控制重新排列处理部(33)，将进行基于行的小波变换的分区单位的图像数据按该每个频率成分综合存储区域地存储在重新排列缓冲器(34)。另外，控制部(31)控制打包部(35)，将存储在重新排列缓冲器(34)中的图像数据按每个频率成分读出并包化，控制网络接口(36)将该包依次输出到网络。本发明能够应用于摄像机。

Description

信息处理装置和方法
技术领域
本发明涉及一种信息处理装置和方法、程序以及记录介质，特别是涉及将像质劣化抑制到最小限度、并且能够低延迟且有效地进行处理的信息处理装置和方法、程序以及记录介质。
背景技术
目前，作为通信通路有使用有线的有线通信和使用无线的无线通信。WLAN(Wireless Local Area Network：无线局域网)、Bluetooth(蓝牙)、UWB(Ultra Wide Band：超宽带)、WiMax(Worldwide Interoperability for Microwave Access：全球微波互存互通)等无线通信通路，与有线通信通路相比带宽受限。因此，为了在无线通信通路中传输运动图像，需要对成为传输对象的运动图像进行编码压缩来减少数据量。
作为这种运动图像编解码器，以往经常使用的例如有MPEG(Moving Picture Experts Group：运动图像专家组)-2、MPEG-4、AVC(Advanced Video Coding：高级视频编码)等，但是在这些编解码器中，执行取图片间相关性的处理、用于运动补偿的处理，因此导致发生0.1秒至0.5秒左右的伴随信号处理的编解码器延迟。另外，在这些编解码器中被压缩的位流中有图片间的相关性，因此当某个图片中产生损失时，损失传播到后续的图片，导致由损失造成的像质劣化的影响变大。
另一方面，在DV(Digital Video：数字摄像机)、JPEG(JointPhotographic Experts Group：联合图像专家组)、JPEG2000中进行图片内压缩，因此编解码器的延迟在1个图片中被抑制，并且由损失造成的影响也限制在该图片内。其结果，这些编解码器适合用于实现无线通信通路中的低延迟传输、且提高通信通路中的容错性。
例如，在JPEG2000中使用离散小波变换(下面简称为“小波变换”)。在该小波变换中，作为原图像的基带信号对各水平像素列进行一维小波卷积(one-dimensional wavelet convolution)，分割为包括低频信息的副图像和包括高频信息的副图像这两个副图像。并且，各副图像分别对各垂直像素行进行同样的卷积，分割为低频信息以及高频信息这两个副图像。
其结果，作为原图像的基带信号1如图1所示，被分解为4个子带即副图像(HH、HL、LH、LL)。此外，各副图像具有原图像的1/4大小，并且包括原图像1/4的数据点数。另外，与各副图像对应的下标分别表示与垂直以及水平像素对应的信号的频率成分，例如，(1)HL副图像包括来自水平小波卷积的高频信息和来自垂直小波卷积的低频图像信息，(2)LH副图像包括来自水平小波卷积的低频图像信息和来自垂直小波卷积的高频图像信息。
对所得到的LL副图像重复进行这种小波变换。即，如图1所示，将对原图像进行小波变换而得到的第1分解等级的副图像分别设为1HH、1HL、1LH以及1LL(未图示)时，对1LL副图像进一步进行小波变换，分割为作为第2分解等级的副图像的2HH、2HL、2LH以及2LL(未图示)，对该2LL副图像进一步进行小波变换，分割为作为第3等级的副图像的3HH、3HL、3LH以及3LL。这样，重复进行小波变换，在变换后信号2中副图像形成阶层构造。
有如下方法：当这样传输使用小波变换进行了压缩而得到的图像数据时，将单一分解等级的单一行的所有数据(将子带(例如3HL、3LH以及3HH)的同一行作为邻接行块)一起传输，由此在传送中能够预先识别图像，并且在得知图像不是期望图像的情况下，在较早的时期结束传送(例如参照专利文献1)。
在该方法的情况下，例如关于进行了小波变换的具有如图2所示的阶层构造的变换后信号2，首先2LL副图像的各行从上起以2LL-1、2LL-2、...的顺序传输。接着，2HL副图像、2LH副图像以及2HH副图像的各行从上起按顺序(例如，2HL-1、2LH-1、2HH-1、2HL-2、2LH-2、2HH-2、...的顺序)传输。然后，1HL副图像、1LH副图像以及1HH副图像的各行接着从上起按顺序传输。
另外，作为进一步实现低延迟的编解码器，提出了将JPEG2000进行片分割并编码的低延迟编码方式(例如参照非专利文献1)。这是将一个画面分割为多片并对各片并行地进行编码处理的方法。1个片与1个JPEG2000图像相同地被压缩。因此，以比图片细小的微粒进行处理，能够将编解码器的延迟抑制在1个图片以下。
并且，有使用了基于行的小波变换的编解码器技术。这是每当对原图像的基带信号的1线进行扫描时进行横方向的小波变换，每当读入固定线进行纵方向的小波变换。例如，对基带的每8线进行纵方向的小波变换时，在进行小波3分解的情况下，对于该8线，最低频3LL副图像生成1线，下一个等级的子带3H(3HL、3LH、3HH)各生成1线，并且下一个等级的子带2H(2HL、2LH、2HH)各生成2线，并且最高频1H(1HL、1LH、1HH)各生成4线。
此外，将该各子带的线集合称为分区(precinct)。即1个分区表示成为基于行的小波变换的处理单位的线数。另外，将分区中的各等级的子带(3LL之外由3个子带构成)的线的集合称为对准单元。即，一个分区的子带由4个对准单元(3LL、3H、2H、1H)构成。
例如，在图3的左侧所示的基带信号1中具有8个线的分区(图中斜线部分)构成为如图3的右侧所示，作为在进行基于行的小波变换而得到的变换后信号2的1H中的1HL、1LH以及1HH中的每一个的4线(图中斜线部分)、2H中的2HL、2LH以及2HH中的每一个的2线(图中斜线部分)、3LL、3HL、3HL以及3HH中的每一个的1线(图中斜线部分)。
这种基于行的小波变换处理与JPEG2000的片分割同样地，能够将1个图片分解为更细小的微粒来进行处理，能够通过利用该变换处理而实现低延迟化。但是，在基于行的小波变换的情况下，与JPEG2000的片分割不同，不是利用基带信号1的分割而是利用小波系数的分割，因此，进而还具有不产生片边界中的块噪声的像质劣化的特征。
在无线通信通路传输使用这种基于行的小波变换进行了压缩而得到的数据的情况下，作为提高抗损失的方法，与已有的阶层编码数据(JPEG2000codestream等)的传输同样地，能够从低频依次发送。
专利文献1：日本特开平8-242379号公报
非专利文献1：KDDI研究所，‘JH-3000N’产品目录，April，2006
发明内容
然而，一个分区的数据量相当小，假设对宽为1920像素、高为1080像素、60fps(Frame Per Second：帧每秒)的HD(High-Definition：高清晰度)的影像实施基于行的小波变换的情况下，
(1)一个分区的数据量成为一个图片的数据量的大约1/135(＝8/1080)，
(2)在将编码率设为35Mbps(Bit Per Second：比特每秒)的情况下，一个分区的数据大小大约为1080字节(＝35*1000*1000/8/30/135)。
将该一个分区的数据作为一个包进行传输，在该假定中产生了包损失的情况下，与基带信号的8线相当的数据以带状缺失，因此有可能容易识别像质劣化。
另外，为了有效地利用小波的特长，需要以不同的包传输3LL、3H、2H以及1H，但是当包大小较小时，无线的物理层、MAC(Me dia Access Control：媒体访问控制)层(PHY/MAC)的头、有效负载头(包括分区编号的信息、3LL/3H/2H/1H的区别、Y/C的信息等)的开销将变大。并且，通过增加包数，较多地产生IFS(Inter Frame Space：帧间间隔)、RTS(Request To Send：请求发送)、CTS(Clear To Send：清除发送)，还有可能使传输效率变差。
因而，为了将像质劣化抑制到最小限度、并且低延迟且有效地进行传输，需要考虑了它们的平衡的结构。
此外，专利文献1的方法是在较低速的通信通道上传输使用小波变换进行压缩而得到的图像数据的方法，该方法中的邻接行块综合了通过对原图像1整体的小波变换而生成的各子带的同一等级的同一线，对使用基于行进行小波变换的基于行的小波变换来进行压缩而得到的图像数据，即使适用该传输方法，特别是在低频成分(3LL等)中，有可能数据量少、传输效率低下。即、即使将专利文献1所述的传输方法应用于使用基于行的小波变换来进行压缩而得到的图像数据中，也无法解决数据量少且传输效率低下的问题。
本发明是鉴于这种状况所作出的发明，能够将像质劣化抑制在最小限度，并且低延迟且有效地进行处理，并传输或者再现。为了达成上述目的，在本申请的一侧面中，采用如下方法：将以作为基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的图像数据，按每个频率成分进行存储，将存储的多个分区的图像数据按每个前述频率成分读出并进行包化，并且将进行了包化的每个频率成分的多个分区的图像数据发送到其它装置。
另外，在本发明的其它侧面中，采用如下结构：将以作为基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的图像数据，按每个频率成分进行存储，将该存储的多个分区的图像数据按每个频率成分读出并进行解码，并且输出该进行了解码的每个频率成分的多个分区的图像数据。
另外，本发明提供一种信息处理装置，将进行了基于行的小波变换而得到的图像数据发送到其它装置，其特征在于，具备：存储单元，其将以作为前述基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的前述图像数据，按每个频率成分进行存储；打包单元，其将由前述存储单元存储的前述多个分区的图像数据，按前述每个频率成分读出并进行包化；以及发送单元，其将由前述打包单元进行包化的前述每个频率成分的多个分区的图像数据发送到前述其它装置。
另外，本发明提供一种信息处理方法，是将进行了基于行的小波变换而得到的图像数据发送到其它装置的信息处理装置的信息处理方法，其特征在于，执行如下步骤：将以作为前述基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的前述图像数据，按每个频率成分进行存储；将存储的前述多个分区的图像数据按前述每个频率成分读出并进行包化；将进行了包化的前述每个频率成分的多个分区的图像数据发送到前述其它装置。
另外，本发明提供一种信息处理装置，将进行了基于行的小波变换而得到的图像数据进行再现，其特征在于，具备：存储单元，其将以作为前述基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的前述图像数据，按每个频率成分进行存储；解码单元，其将由前述存储单元存储的前述多个分区的图像数据，按前述每个频率成分读出并进行解码；输出单元，其输出由前述解码单元进行了解码的前述每个频率成分的多个分区的图像数据。
另外，本发明提供一种信息处理方法，是将进行了基于行的小波变换而得到的图像数据进行再现的信息处理装置的信息处理方法，其特征在于，执行如下步骤：将以作为前述基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的前述图像数据，按每个频率成分进行存储；将存储的前述多个分区的图像数据按前述每个频率成分读出并进行解码；输出进行了解码的前述每个频率成分的多个分区的图像数据。
根据本发明的侧面，能够处理图像数据。特别是能够将像质劣化抑制在最小限度，并且低延迟且有效地处理数据并传输或者再现。
附图说明
图1是说明小波变换的样子的图。
图2是说明将进行了小波变换而得到的数据与处于单一分解等级的单一行的全部数据一起传输的样子的图。
图3是说明基于行的小波变换的样子的例子的图。
图4是表示与应用了本发明的发送装置的一个实施方式有关的结构例的图。
图5是表示发送控制处理流程的例子的流程图。
图6是表示数据存储处理流程的例子的流程图。
图7是说明向重新排列缓冲器写入数据的样子的示意图。
图8是说明从重新排列缓冲器读出数据的样子的示意图。
图9是表示打包处理流程的例子的流程图。
图10是表示3LL用打包处理流程的例子的流程图。
图11是说明数据结构变换的样子的示意图。
图12是说明包的结构例的示意图。
图13是说明包的其它结构例的示意图。
图14是说明包的另外其它结构例的示意图。
图15是说明包的另外其它结构例的示意图。
图16是表示包发送处理流程的例子的流程图。
图17是表示3LL用包发送处理流程的例子的流程图。
图18是说明发送队列的快闪的产生样子的图。
图19是表示应用了本发明的发送装置的其它结构例的图。
图20是表示应用了本发明的再现装置的结构例的图。
图21是表示应用了本发明的个人计算机的结构例的图。
附图标记说明
11：发送装置；21：编解码器；31：控制部；32：编解码器接口；33：重新排列处理部；34：重新排列缓冲器；35：打包部；36：网络接口；41：数据量计数器；51：第1缓冲器；52：第2缓冲器；101：定时管理部；111：再现装置；135：解码器；136：输出接口；141：显示部。
具体实施方式
在本发明中，当传输利用基于行的小波变换进行了压缩而得到的图像数据时，直到达到适合传送效率的数据量为止存储多个块(多个分区)的数据，将它们综合打包并传输。此时，即使在如无线通信通路那样的比较容易产生通信错误的通信通路中传输的情况下，也为了提高接收图像质量而使用具有实时性的重新发送机构，并且进行如更低的频率成分(对像质改善的贡献度高的成分)确实到达那样的优先控制来传输。
图4是表示与应用了本发明的发送装置的一个实施方式有关的结构例的图。
发送装置11是如下装置：将在编解码器21中进行了基于行的小波变换而得到的图像数据打包(包化)，通过以LAN(LocalArea Network：局域网)、因特网等为代表的网络(未图示)将该包发送到其它装置(未图示)。
发送装置11具有：控制部31，其控制发送装置11各部的动作；编解码器接口(I/F)32，其从编解码器21以分区单位获取图像数据；重新排列处理部33，其将由编解码器接口32获取的图像数据按其频率成分即相同频率等级的每块(副图像)进行重新排列，同时存储到重新排列缓冲器34的规定的存储器位置上；重新排列缓冲器34，其存储由重新排列处理部33重新排列的数据；打包部35，其从低频成分获取由重新排列缓冲器34重新排列的数据，依次进行包化；网络接口(I/F)36，其将在打包部35中打包的数据(包)发送到网络。
控制部31控制编解码器接口32，以分区单位获取在编解码器21中进行了基于行的小波变换而得到的图像数据，控制重新排列处理部33，按每个频率成分重新排列该获取的图像数据并存储到重新排列缓冲器34中。即，在重新排列缓冲器34中，多个分区数据按每个频率成分综合(存储区域被分开)存储。
当更具体地说明时，例如在不重新排列而存储的情况下，相对重新排列缓冲器34的存储区域的地址顺序，各数据按其存储顺序排列。与此相对，在控制部31如上所述地控制重新排列处理部33的情况下，相对于地址顺序，以与存储顺序不同的顺序(按每个频率成分综合)排列各数据。
另外，控制部31控制打包部35，将重新排列缓冲器34中存储的图像数据按重新排列的顺序(将多个分区从低频成分向高频成分按每个频率成分)读出并包化，并控制网络接口36，将该包依次输出到网络。另外，控制部31在从接收侧没有过来ACK的情况等，根据需要控制打包部35以及网络接口36，再次从重新排列缓冲器34读出数据并包化来进行传输(执行包的重新发送)。
控制部31内置有对重新排列缓冲器34中存储的图像数据的数据量进行计数的数据量计数器41，根据其计数值来控制各部。
重新排列缓冲器34具有第1缓冲器51以及第2缓冲器52这两个缓冲器，能够在一方的缓冲器中读入数据的同时，读出存储在另一方缓冲器中的数据。
控制部31根据数据量计数器41的计数值来控制第1缓冲器51以及第2缓冲器52的输入输出的切换，使重新排列处理部33向一方的缓冲器存储图像数据的同时，使打包部35从另一方的缓冲器获取图像数据。
当重新排列处理部33将规定数据量(例如，该缓冲器能够存储的最大数据量)的图像数据存储到一方的缓冲器中时，控制部31切换输入从而向另一方的缓冲器进行存储。另外，此时，控制部31同时还切换输出，使打包处理部35从存储了规定数据量的图像数据的缓冲器(直到切换前为止进行数据存储的缓冲器)读出图像数据。
控制部31重复进行如上的重新排列缓冲器34的输入输出切换，进行数据存储的同时进行数据的打包。
此外，控制部31在该切换时，进一步切换到打包部35对切换前对缓冲器数据进行的打包处理、以及中止网络接口36进行的该包的输出并对新缓冲器的数据的处理。
由此，能够将多个分区综合处理，按每个频率成分包化并传输，因此发送装置11能够确保1个包的数据量(包的大小)，从而能够抑制传输效率的恶化。另外，在要确保数据发送时的处理的实时性的情况下，例如关于无法在规定的处理时间(例如，缓冲器中存储的多个分区的数据的解码所需的时间)内发送的数据，产生终止发送的必要性，但由于是从低频依次传输并且还进行包的重新发送的结构，因此能够在该时间带内确实地发送与低频成分对应的包。其结果，即使在传输时数据损失的情况下，也能够减少带给图像的影响。
由此，发送装置11能够将像质劣化抑制在最小限度，并且低延迟且有效地进行传输。
下面说明具体处理流程。
最初参照图5的流程图说明由控制部31执行的发送控制处理的流程的例子。
当发送控制处理开始时，控制部31在步骤S1中对数据量计数器41的计数值进行初始化，在步骤S2中控制重新排列处理部33，开始如下的数据存储处理：该数据存储处理将编解码器接口32获取的、在编解码器21中进行了基于行的小波变换而得到的图像数据按每个频率成分进行重新排列并存储到重新排列缓冲器34的第1缓冲器51或者第2缓冲器52中。对于数据存储处理的详细情况将后述。
在步骤S3中，控制部31使用数据量计数器41，对通过数据存储处理存储的数据量进行计数。控制部31在步骤S4中根据该数据量计数器41的计数值，判断在重新排列缓冲器34的第1缓冲器51或者第2缓冲器52中是否存储了规定的数据量。
第1缓冲器51以及第2缓冲器52分别具有能够多个分区存储图像数据的程度的存储区域。例如，在1个分区是8线、且能够存储n个分区(n是2以上的整数)的数据的情况下，第1缓冲器51以及第2缓冲器52分别具有能够存储8×n线的数据的程度的存储区域。
在步骤S4中，控制部31根据数据量计数器41的计数值，在判断为存储数据的缓冲器中还没有存储规定的数据量而能够进一步存储图像数据的情况下，使处理返回步骤S2，重复之后的处理。另外，在步骤S4中，在判断为缓冲器中存储了其能够存储的最大数据量(多个分区)的图像数据、这以上无法存储的情况下，控制部31使处理进入到步骤S5。
在步骤S5中，控制部31控制打包部35，结束执行中的打包处理。并且，控制部31在步骤S6中结束执行中的包发送处理。
而且，在步骤S7中，控制部31切换重新排列缓冲器34的输入输出。例如，使重新排列处理部33向第1缓冲器51存储数据、并使打包部35读出存储在第2缓冲器52中的数据时，控制部31使重新排列处理部33向第2缓冲器52存储数据，使打包部35读出存储在第1缓冲器51中的数据。在相反的情况下也同样地进行切换。
当缓冲器的输入输出切换结束时，控制部31在步骤S8中控制打包部35，对存储在切换后的新缓冲器中的数据开始打包处理，在步骤S9中控制网络接口36，使发送该进行了打包的包的包发送处理开始。
在步骤S10中，控制部31判断来自编解码器21的数据供给是否结束，在判断为没有结束的情况下，处理返回到步骤S1，重复之后的处理。另外，在步骤S10中，在判断为来自编解码器21的数据供给结束的情况下，控制部31结束发送控制处理。
接着，参照图6的流程图说明在图5的步骤S2中开始的数据存储处理流程的例子。
在步骤S31中，重新排列处理部33被控制部31控制，从编解码器接口(I/F)32以分区单位获取从编解码器21获取的数据，在步骤S32中将每分区的数据分离为频率成分，在步骤S33中将该数据按每个频率成分写入到第1缓冲器51或者第2缓冲器52的规定存储区域，结束数据存储处理。
每当进行基于行的小波变换时，也就是说以分区单位，编解码器21将该变换后的数据提供给发送装置11。编解码器接口32以提供的顺序(即以分区单位)获取该数据。该分区单位的数据中包括各频率成分。例如，在编解码器21将数据进行3分解的情况下，在编解码器接口32获取的数据中包含有包括最低频全部为4个的频率成分(各频率等级的副图像1H、2H、3H以及3LL)。
重新排列处理部33将各分区的数据分离为每个频率成分即各频率等级的副图像3LL、3H、2H以及1H，在后述的打包处理中为了能够容易地综合打包多个分区的同频率区域，将各频率成分分别保存到重新排列缓冲器34的相互不同的区域中(例如，在第1缓冲器51的存储区域内将各频率成分保存到分别互不相同的区域中。保存在第2缓冲器52中的情况也相同)。
图7是说明重新排列缓冲器34(第1缓冲器51以及第2缓冲器52)中的数据存储的样子的例子的图。
如图7所示，重新排列处理部33将数据像分区k、分区k+1、分区k+2、分区k+3、分区k+4、...那样，按照编解码器接口32所获取的顺序，按每个分区存储到重新排列缓冲器34的第1缓冲器51或者第2缓冲器52中。但是，此时重新排列处理部33将各分区的频率成分存储到相互不同的区域中。即，重新排列处理部33为了分别综合各分区的1H、2H、3H、3LL，按每个频率成分区别其存储区域来存储。
这样，以矩阵状管理的多个分区的数据，由打包部35如图8所示例如从低频成分按每个频率成分(以3LL、3H、2H、1H的顺序)读出。即，以多个分区单位进行打包处理以及发送处理。
下面，参照图9的流程图说明在图5的步骤S8中开始的打包处理流程的例子。
当被控制部31控制而开始打包处理时，打包部35从重新排列缓冲器34(第1缓冲器51或者第2缓冲器52)将多个分区的数据从低频成分起按顺序读出并进行打包。即，打包部35在步骤S51中打包3LL，在步骤S52中打包3H，在步骤S53中打包2H，在步骤S54中打包1H，结束对缓冲器中存储的数据的打包处理。
参照图10的流程图说明在步骤S51中执行的3LL用打包处理。
在步骤S71中，打包部35在变量k上设置重新排列缓冲器34的第1缓冲器51或者第2缓冲器52中存储的数据的开头的分区编号。
打包部35在步骤S72中对分区编号为k的3LL进行包化，在步骤S73中使变量k的值递增“+1”，在步骤S74中判断是否处理了缓冲器内的全部分区的3LL。在判断为存在未处理的数据的情况下，打包部35使处理返回步骤S72，对其次的分区重复进行处理。即，打包部35在步骤S74中，重复步骤S72至步骤S74的处理直到判断为处理了全部的3LL为止。
在步骤S74中，在判断为处理了全部的3LL的情况下，打包部35结束3LL用打包处理，使处理返回图9的步骤S51，执行步骤S52以后的处理。打包部35对3H、2H以及1H的各频率成分进行与3LL用打包处理相同的打包处理。因而，在步骤S52至步骤S54中执行的打包处理的详细流程与图10的流程图相同，因此省略它们的说明。
通过如上的各处理，当从编解码器21输出时，如图11A所示，作为按每个分区综合的结构的数据，在打包后如图11B所示，多个分区的数据按每个频率成分被包化。即，在编解码后如图11A所示，分别附加了对准单元头的各分区的各频率成分通过分区头按每个分区被综合。与此相对，在打包后如图11B所示，多个分区的数据按每个频率成分通过包头进行综合(进行包化)。
图12是表示按每5个分区将数据打包的情况的包的结构例的图。如图12所示，包61由包头71、作为各分区数据的数据81至数据85、以及添加到各分区数据中的子头91至子头95构成。即，在这种情况下，第1缓冲器51或者第2缓冲器52中存储的多个分区的数据如图12所示，按该每个频率成分综合为1个包(即，3分解的情况下生成4个包)。
此外，如图13至图15所示，打包部35也可以从第1缓冲器51或者第2缓冲器52中存储的多个分区的数据的各频率成分生成多个包。
在图13的例子的情况下，数据81至数据83作为包61-1而被包化，数据84以及数据85作为包61-2而被包化。该分割位置可以是任何地方，例如也可以分割为数据81和数据82至数据85。另外，如图14所示，打包部35也可以将数据83二分割为前半的数据83-1和后半的数据83-2，生成包括数据81、数据82以及数据(前半)83-1的包61-1、和包括数据(后半)83-2、数据84以及数据85的包61-2。并且，如图15所示，当然也可以将数据81至数据85分别作为互不相同的包(包61-1至包61-5)而进行包化。
并且，既能够以上述以外的模式进行包化，当然也可以组合多个模式。例如也能够在各频率成分中以互不相同的模式进行包化。
下面，参照图16的流程图说明通过图5的步骤S9的处理开始的包发送处理的流程。
网络接口36被控制部31控制，以在打包部35中打包的顺序、即从低频成分按顺序按每个频率成分发送包。即，网络接口36在步骤S91中发送3LL的包，在步骤S92中发送3H的包，在步骤S93中发送2H的包，在步骤S94中发送1H的包。当结束步骤S94的处理时，网络接口36结束包发送处理。
参照图17的流程图说明在图16的步骤S91中执行的3LL用包发送处理流程的例子。
当3LL用包发送处理开始时，网络接口36在步骤S111中从打包部35获取3LL的包，在步骤S112中将该获取的3LL的包发送到网络。
在步骤S113中，网络接口36判断是否从控制部31获取了发送队列的快闪请求。当在重新排列缓冲器34的第1缓冲器51或者第2缓冲器52之中重新排列处理部33存储了数据的一侧的缓冲器中被存储规定的数据量时，控制部31在图5的步骤S6中通过对网络接口36提供发送队列的快闪请求，从而请求消去(快闪)网络接口36的发送队列的内容，废弃发送未完成的包。
网络接口36在步骤S113中判断是否获取了来自该控制部31的快闪请求。在判断为没有获取快闪请求的情况下，网络接口36使处理进入步骤S114，判断是否从作为包发送目的地的接收机获取了ACK信号(应答)，例如在判断为即使经过规定时间也没有获取ACK的情况下，处理进入到步骤S115，重新发送3LL的包。
当进行包的重新发送时，网络接口36使处理进入到步骤S116。此外，在步骤S114中，在判断为从接收机获取了ACK的情况下，网络接口36省略步骤S115的处理，处理进入到步骤S116。
在步骤S116中，网络接口36判断3LL的全部包的发送是否完成，在判断为没有完成的情况下，处理返回到步骤S111，对下个包重复之后的处理。另外，在步骤S116中，在判断为3LL的全部包的发送完成的情况下，网络接口36结束3LL用包发送处理，处理返回到图16的步骤S91，执行步骤S92以后的处理。
即，在网络传输中，使用ARQ(Automatic Repeat reQucst)(自动重新发送请求)进行损失的包的恢复。在ARQ的控制中，如果低频例如3LL的数据没有到达接收侧(如果无法接收ACK)，则网络接口36重复相同包的重新发送，在3LL的全部包到达接收机后，进行作为下一个频率成分的3H的包的送出(图16的步骤S92)。
另外，在步骤S113中，在判断为获取了快闪请求的情况下，网络接口36使处理进入到步骤S117，在该时刻结束图16的流程图所示的包发送处理。即，网络接口36在图5的步骤S6中当从控制部31获取快闪请求时，根据该请求消去(快闪)发送队列，结束对设为当前处理对象的分区群的发送处理。即，这种情况下，省略图16的步骤S92以后的处理。控制部31执行图5的步骤S7以后的处理，切换重新排列缓冲器34的输入输出，控制打包部35以及网络接口36使得从新缓冲器中读出数据并包化来发送。
当对3LL结束如上的包发送处理时，网络接口36被控制部31控制，对3H、2H以及1H的各数据依次进行与图17的流程图所示的3LL用包发送处理相同的处理。即，关于图16所示的步骤S91至步骤S94的各个，执行与图17所示的处理相同的(各副图像用的)包发送处理，但是省略关于它们的说明。此外，在通过图17的步骤S117的处理来强制结束包发送处理的情况下，将省略图16的之后的步骤的处理。例如，在图16的步骤S93中作为发送2H的包的处理而执行了图17的处理的情况下，在通过步骤S117的处理而结束了包发送处理的情况下，强制结束图16的包发送处理，并省略步骤S94的处理。
当使网络接口36对全频率区域的数据执行如上的包发送处理时，控制部31与强制结束包发送处理的情况同样地，结束图16所示的包发送处理，以规定的定时对存储在其它缓冲器中的下一个分区群的数据新开始包发送处理(图5的步骤S9)。
即，如图18所示，网络接口36按照3LL、3H、2H、1H的顺序发送各频率成分的包。此时，网络接口36根据需要关于各包还进行重新发送。
在图18的例子中，网络接口36在发送了3LL的包后进行3LL的包的重新发送，在发送了3H的包后进行3H的包的重新发送，在发送了2H的包后进行2H的包的重新发送，之后进行1H的发送。然后，在正在发送1H的包的时刻T，当完成向重新排列缓冲器34的数据存储时，网络接口36从控制部31获取发送队列的快闪请求，不发送1H的剩余数据而废弃，开始对下一个分区群的数据的处理。
这样，通过在每个规定的定时使队列快闪、即中止重新发送控制，保证图像数据全体的发送处理的实时性。另外，进行了小波变换而得到的数据，越是低频，向像质的贡献度越高。因而，通过从低频成分顺序向接收机发送，低频成分比广域成分更优先发送，由此根据在接收机中接收到的包的量来改善像质。
此外，以上说明了编解码器21以分区单位将进行了基于行的小波变换而得到的数据提供给发送装置11，但是例如在编解码器21以频率成分单位多次输入数据的情况下，重新排列处理部33能够省略图6的步骤S32的处理。
另外，以上说明了重新排列缓冲器34具有第1缓冲器51以及第2缓冲器52这两个缓冲器，但是重新排列缓冲器34当然也可以具有3个以上的缓冲器，还可以由1个缓冲器构成。但是，控制部31有必要按照该缓冲器的个数来控制各缓冲器的输入输出。另外，在将进行了基于行的小波变换而得到的图像数据实时发送的情况下，需要多个缓冲器。此外，该多个缓冲器的存储容量既可以相互相同，也可以相互不同。
并且，以上说明了当重新排列处理部33在第1缓冲器51或者第2缓冲器52中存储规定量的数据时控制部31进行发送队列的快闪请求，但是不限于此，例如也可以使用定时器来控制请求的定时。
图19是表示应用了本发明的发送装置11的其它实施方式的图。在图19的例子的情况下，控制部31替代数据量计数器41而具有定时管理部101，该定时管理部101具有测量时间的功能。定时管理部101测量预先确定的规定时间，控制部31按照该测量的时间来控制部各部。即，在这种情况下，每隔固定的时间重复进行重新排列缓冲器34的输入输出切换、发送队列的快闪。
此外，定时管理部101也可以根据数据量按比例分配计算快闪发送队列的定时，或根据画面上的位置(能够由Precinct编号简单识别)的重要性按比例分配计算快闪发送队列的定时。画面上的位置的重要性的按比例分配计算，是指例如在如电影的内容的情况下，将包含有字幕的可能性高的画面下部的发送时间设定得长。
但是，生成1个分区所需的基带线数有在正常状态下是8线(小波分解等级为3的情况)的情况，还有在画面的上端由于例外处理而需要37线、或在下端附近能够以8线以下生成的情况，分区的线数未必是固定的。因而，在定时器的发送队列的快闪定时的控制中，有可能无法充分确保包送出时间。因此，如图4所示，以下方法效率最高：即，将向下一个重新排列缓冲器的数据存储完成的事件作为触发，控制发出发送队列的快闪请求的定时。
如上所述，在延迟请求所允许的范围(或者缓冲器容量所允许的范围)内存储使用了基于行的小波变换的来自编解码器的输出，并进行重新排列，综合传输多个分区的数据，从而能够维持传输效率。并且通过由低频成分发送数据，对于损失能够将像质劣化抑制到最小限度。
另外，通过使用如上的发送装置11，例如在无线通信通路中维持通过量，并且能够以低延迟使像质劣化最小限度地传输，从而能够实时压缩TV影像，实现通过无线在其它终端视听的产品、高质量且超低延迟的电视电话。并且，在将如上的发送装置11应用在照相机产品上的情况下，能够实现低延迟的无线照相机系统(以无线通信通路传输拍摄的影像、并利用处于远离场所处的监视器观看的系统)。特别是在实时性为重要因素的监控摄像机(security camera)的领域中期待大的效果。
此外，以上说明了将本发明应用在将图像数据作为包而发送的发送装置中的情况，但是本发明不限于此，例如如同数字静像照相机、数字摄像机中的向预览画面的显示，也能够实时应用在再现压缩的图像的简易再现器中。
图20是表示应用了本发明的再现装置的实施方式的图。图20所示的再现装置111具有基本上与图4的发送装置11相同的结构，但是与发送装置11不同，代替打包部35而具有解码器135，代替网络接口36而具有输出接口(I/F)136。
解码器135与打包部35同样地从重新排列缓冲器34读出数据，代替进行包化而对读出的数据进行解码(decode)。即，解码器135将多个分区的数据进行综合从低频成分顺序进行解码。输出接口136将由此进行解码的图像数据显示在显示部141中。
例如，关于拍摄的影像确认图形是否满足要求、在紧追具有运动的被摄体的情况下(例如高速移动的汽车、动物等)是否准确地紧追被摄体等，这对于用户而言是非常重要的。在这种简易再现器中，显示的图像像质对于用户而言并不那么重要，而只要知道大概的轮廓即可，因此有时不需要高频成分(1H)，在由软件进行解码处理的情况下，根据CPU(Central ProcessingUnit：中央处理单元)的处理速度，有时解码无法在实际时间内结束。
因此，再现装置111如上所述，综合多个分区的数据而从低频成分按顺序进行解码，当CPU处理在实际时间内没有结束时，不进行关于高频成分的解码处理，开始下一个多个分区数据的解码。由此，显示在显示部141上的图像在省略了关于广域成分的解码的情况下像质降低，但是能够确保该图像显示的实时性，能够以快的定时来显示图像、或抑制运动图像中的慢速拍摄等。
此外，当以分区单位进行这种解码处理的时间制约(快闪请求定时)时，由于时间块变细(例如图像是1080/60i的情况下，每1个分区474us)，因此有可能CPU中的时间精确度无法满足。因此，通过以多个分区单位来设置时间制约，控制部31能够容易地进行时间控制。相反地，当设为综合图像全体的分区时，直到显示开始为止的延迟变长，简易再现的优点稍有损失，因此最好以5分区至8分区程度作为单位进行综合。
如上所述，通过以5至8程度综合分区，从画面上部进行解码和显示，用户仅通过观察画面上部的图像就能够判断是否进行了满意的拍摄。因而，实现了缩短参照用户的预览图像的时间，因此能够削减预览图像的显示时间，还能够抑制功耗。
此外，在图20中，说明了再现装置111获取由编解码器21输出的数据并进行再现，但是也可以例如代替编解码器32而使用网络接口，获取从发送装置提供的数据并再现。在这种情况下，再现装置111还作为与该发送装置对应的接收装置而发挥功能。即，本发明还能够应用在接收装置中。当然，除了上述装置以外，例如通信装置、摄像装置、记录装置或者图像处理装置等只要是对进行了基于行的小波变换而得到的图像数据进行处理的装置，则本发明就能够应用在任何信息处理装置中。
上述一系列的处理既也可以由硬件执行，也可以由软件执行。这种情况下，例如也可以构成为如图21所示的个人计算机。
在图21中，个人计算机200的CPU201根据存储在ROM(Read Only Memory：只读存储器)202中的程序或者从存储部213加载到RAM(Random Access Memory：随机存取存储器)203中的程序执行各种处理。在RAM203中还适当存储有CPU201执行各种处理所需的数据等。
CPU201、ROM202以及RAM203通过总线204相互连接。在该总线204上还连接有输入输出接口210。
在输入输出接口210上连接有由键盘、鼠标等构成的输入表211、由CRT(Cathode Ray Tube：阴极射线管)、LCD(LiquidCrystal Display：液晶显示器)等构成的显示器、以及由扬声器等构成的输出部212、由硬盘等构成的存储部213、由调制解调器等构成的通信部214。通信部214通过包括因特网的网络进行通信处理。
在输入输出接口210上还根据需要连接有驱动器215，适当安装磁盘、光盘、磁光盘或者半导体存储器等可移动介质221，从它们读出的计算机程序根据需要安装在存储部213中。
在由软件执行上述一系列处理的情况下，构成该软件的程序是从网络、记录介质安装的。
该记录介质例如如图21所示，与装置主体分开，不仅由为了向用户发送程序而发布的记录有程序的磁盘(包括软盘)、光盘(包括CD-ROM(Compact Disk-Read Only Memory：光盘只读存储器)、DVD(Digital Versatile Disk：数字多功能光盘))、磁光盘(包括MD(Mini-Disk：迷你光盘)(注册离标))、或由半导体存储器等构成的可移动介质221构成，还由在预先装入到装置主体中的状态下发送给用户的记录有程序的ROM 202、存储部213中包含的硬盘等构成。
此外，在本说明书中，记述记录在记录介质中的程序的步骤，不仅包括沿着记载的顺序按照时间序列进行的处理，而且也包括不一定按照时间序列进行处理、而并行地或者单独地执行的处理。
另外，在本说明书中，系统是指由多个设备(装置)构成的装置整体。
此外，以上也可以将作为一个装置说明的结构分割作为多个装置而构成。相反地，也可以将以上作为多个装置进行说明的结构综合而作为一个装置构成。另外，当然也可以在各装置的结构上附加上述之外的结构。并且，如果作为系统整体的结构、动作实质上相同，则也可以将某装置结构的一部分包含在其他装置的结构中。即，本发明的实施方式并不限于上述的实施方式，在不超出本发明精神的范围内能够进行各种变更。
产业上的可利用性
本发明例如能够应用在摄像机中。

Claims (10)

1.一种信息处理装置，将进行了基于行的小波变换而得到的图像数据发送到其它装置，其特征在于，具备：
存储单元，其将以作为前述基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的前述图像数据，按每个频率成分进行存储；
打包单元，其将由前述存储单元存储的前述多个分区的图像数据，按前述每个频率成分读出并进行包化；以及
发送单元，其将由前述打包单元进行包化的前述每个频率成分的多个分区的图像数据发送到前述其它装置。
2.根据权利要求1所述的信息处理装置，其特征在于，还具备：
获取单元，其获取以前述分区单位提供的前述图像数据；以及
频率成分分离单元，其将由前述获取单元获取的前述图像数据按每个频率成分进行分离，
前述存储单元存储由前述频率成分分离单元按每个频率成分分离的前述图像数据。
3.根据权利要求1所述的信息处理装置，其特征在于，
前述打包单元按前述每个频率成分从低频成分朝向高频成分读出前述图像数据并将其包化，
前述发送单元按前述每个频率成分从低频成分朝向高频成分发送前述图像数据。
4.根据权利要求1所述的信息处理装置，其特征在于，
前述发送单元对通信通路中的包损失进行重新发送，在发送的前述图像数据确认来自前述其它装置的应答后，发送下一个等级的频率成分。
5.根据权利要求1所述的信息处理装置，其特征在于，
前述存储单元具有分别将按每个频率成分划分的多个分区的前述图像数据按每个频率成分进行存储的多个存储部；
所述信息处理装置还具备切换单元，该切换单元切换前述多个存储部中各存储部的输入输出。
6.根据权利要求5所述的信息处理装置，其特征在于，
还具备数据量计数器单元，该数据量计数器单元对存储在一个前述存储部中的前述图像数据的数据量进行计数，
前述切换单元根据前述数据量计数器单元的计数值，切换前述存储单元的各存储部的输入输出，废弃前述发送单元的发送未完成的包。
7.根据权利要求5所述的信息处理装置，其特征在于，
还具备测量时间的计时单元，
前述切换单元以基于由前述计时单元测量的时间的定时，切换前述存储单元的各存储部的输入输出，并且废弃前述发送单元的发送未完成的包。
8.一种信息处理方法，是将进行了基于行的小波变换而得到的图像数据发送到其它装置的信息处理装置的信息处理方法，其特征在于，执行如下步骤：
将以作为前述基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的前述图像数据，按每个频率成分进行存储；
将存储的前述多个分区的图像数据按前述每个频率成分读出并进行包化；
将进行了包化的前述每个频率成分的多个分区的图像数据发送到前述其它装置。
9.一种信息处理装置，将进行了基于行的小波变换而得到的图像数据进行再现，其特征在于，具备：
存储单元，其将以作为前述基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的前述图像数据，按每个频率成分进行存储；
解码单元，其将由前述存储单元存储的前述多个分区的图像数据，按前述每个频率成分读出并进行解码；
输出单元，其输出由前述解码单元进行了解码的前述每个频率成分的多个分区的图像数据。
10.一种信息处理方法，是将进行了基于行的小波变换而得到的图像数据进行再现的信息处理装置的信息处理方法，其特征在于，执行如下步骤：
将以作为前述基于行的小波变换的处理单位的线数即分区单位提供且按每个频率成分划分的多个分区的前述图像数据，按每个频率成分进行存储；
将存储的前述多个分区的图像数据按前述每个频率成分读出并进行解码；
输出进行了解码的前述每个频率成分的多个分区的图像数据。
CN2007101376110A 2006-07-19 2007-07-19 信息处理装置和方法 Expired - Fee Related CN101110958B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006196993 2006-07-19
JP2006-196993 2006-07-19
JP2006196993A JP4129694B2 (ja) 2006-07-19 2006-07-19 情報処理装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
CN101110958A CN101110958A (zh) 2008-01-23
CN101110958B true CN101110958B (zh) 2010-06-23

Family

ID=39042819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101376110A Expired - Fee Related CN101110958B (zh) 2006-07-19 2007-07-19 信息处理装置和方法

Country Status (3)

Country Link
US (1) US9083950B2 (zh)
JP (1) JP4129694B2 (zh)
CN (1) CN101110958B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4475336B2 (ja) 2008-02-08 2010-06-09 ソニー株式会社 タイムスタンプ付加装置およびタイムスタンプ付加方法、並びにプログラム
FR2935864B1 (fr) * 2008-09-05 2011-07-01 Commissariat Energie Atomique Procede de codage par blocs d'une image matricielle de pixels, programme d'ordinateur et dispositif de capture d'images correspondants
JP5240513B2 (ja) 2008-09-11 2013-07-17 ソニー株式会社 情報処理装置および方法
JP4775432B2 (ja) * 2008-12-11 2011-09-21 ソニー株式会社 送信装置、受信装置、通信システム、通信方法、及びプログラム
JP4883076B2 (ja) * 2008-12-12 2012-02-22 ソニー株式会社 情報処理装置および方法
JP4760902B2 (ja) * 2008-12-17 2011-08-31 ソニー株式会社 情報処理装置および方法
JP2010239288A (ja) * 2009-03-30 2010-10-21 Sony Corp 情報処理装置および方法
JP5218318B2 (ja) * 2009-07-27 2013-06-26 日本電気株式会社 ウェーブレット変換符号化方法および装置
JP2011223359A (ja) 2010-04-09 2011-11-04 Sony Corp 遅延制御装置、制御方法、及び通信システム
JP2011234341A (ja) 2010-04-09 2011-11-17 Sony Corp 受信装置およびカメラシステム
CN102244779B (zh) * 2010-05-11 2014-07-30 联想(北京)有限公司 数据的发送和接收方法及设备、数据传输系统
US9401099B2 (en) * 2010-05-11 2016-07-26 AI Squared Dedicated on-screen closed caption display
US8856682B2 (en) 2010-05-11 2014-10-07 AI Squared Displaying a user interface in a dedicated display area
JP5796994B2 (ja) * 2010-06-08 2015-10-21 株式会社日立国際電気 処理システム、基板処理装置、処理システムのデータ処理方法、収集ユニット及び記録媒体並びに半導体装置の製造方法
JP5610199B2 (ja) * 2010-06-09 2014-10-22 ソニー株式会社 受信装置、受信方法、及び通信システム
JP5527603B2 (ja) 2010-06-24 2014-06-18 ソニー株式会社 情報処理装置および情報処理方法
JP5760600B2 (ja) 2011-03-31 2015-08-12 ソニー株式会社 通信装置、受信装置、通信方法、および通信システム
JP5895671B2 (ja) 2012-03-30 2016-03-30 富士通株式会社 情報処理装置、画像送信方法及び画像送信プログラム
WO2013154024A1 (ja) 2012-04-13 2013-10-17 ソニー株式会社 情報処理装置および方法、並びに、プログラム
US10070017B2 (en) 2012-04-13 2018-09-04 Sony Corporation Controlling synchronization between devices in a network
DK3481068T3 (da) 2012-04-13 2020-11-16 Ge Video Compression Llc Billedkodning med lav forsinkelse
KR102162119B1 (ko) * 2012-06-29 2020-10-06 지이 비디오 컴프레션, 엘엘씨 비디오 데이터 스트림 개념
EP3063757B1 (en) 2014-03-18 2018-10-10 MediaTek Inc. Data processing apparatus capable of using different compression configurations for image quality optimization and/or display buffer capacity optimization and related data processing method
JP2016021600A (ja) 2014-07-11 2016-02-04 株式会社リコー 画像符号化装置、画像処理装置、画像送受信システム、画像符号化方法及び制御プログラム
TW202020664A (zh) * 2018-11-26 2020-06-01 深圳大心電子科技有限公司 讀取資料排序方法及儲存裝置
CN117875845A (zh) * 2024-03-08 2024-04-12 宁德时代新能源科技股份有限公司 数据拆分方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1381146A (zh) * 2000-04-04 2002-11-20 皇家菲利浦电子有限公司 利用小波变换的视频编码方法
CN1445997A (zh) * 2002-03-19 2003-10-01 三洋电机株式会社 图像处理方法和采用该图像处理方法的图像编码装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2295936B (en) * 1994-12-05 1997-02-05 Microsoft Corp Progressive image transmission using discrete wavelet transforms
JP3213222B2 (ja) 1995-11-02 2001-10-02 株式会社リコー 符号化方法
US6034945A (en) * 1996-05-15 2000-03-07 Cisco Technology, Inc. Method and apparatus for per traffic flow buffer management
JP3213582B2 (ja) * 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
US6707948B1 (en) * 1997-11-17 2004-03-16 The Regents Of The University Of California Image compression for memory-constrained decoders
JP2000059781A (ja) 1998-08-07 2000-02-25 Ricoh Co Ltd ウェーブレット変換装置
US6970604B1 (en) * 1998-10-05 2005-11-29 Media Tek Inc. Apparatus and method for forming a coding unit
JP3512346B2 (ja) * 1998-10-15 2004-03-29 ソニー株式会社 ウェーブレット復号化装置及び方法
US6546143B1 (en) * 1999-03-12 2003-04-08 Hewlett-Packard Development Company Efficient wavelet-based compression of large images
FR2792432B1 (fr) * 1999-04-15 2001-07-13 Canon Kk Dispositif et procede de transformation de signal numerique
JP4097108B2 (ja) 1999-07-06 2008-06-11 株式会社リコー ウェーブレット変換装置及び符号化復号化装置
US6370197B1 (en) * 1999-07-23 2002-04-09 Memorylink Corporation Video compression scheme using wavelets
US7116717B1 (en) * 1999-12-15 2006-10-03 Bigband Networks, Inc. Method and system for scalable representation, storage, transmission and reconstruction of media streams
US6671413B1 (en) * 2000-01-24 2003-12-30 William A. Pearlman Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
EP1655971A2 (en) * 2000-09-19 2006-05-10 Matsushita Electric Industrial Co., Ltd. Image signal transmitter
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP3490425B2 (ja) * 2002-03-14 2004-01-26 松下電器産業株式会社 受信装置及び受信方法
US7450768B2 (en) * 2002-10-02 2008-11-11 Ricoh Company, Ltd. Apparatus and method for processing image data based on object movement speed within a frame
US7558441B2 (en) * 2002-10-24 2009-07-07 Canon Kabushiki Kaisha Resolution conversion upon hierarchical coding and decoding
US7483575B2 (en) * 2002-10-25 2009-01-27 Sony Corporation Picture encoding apparatus and method, program and recording medium
JP4449400B2 (ja) 2002-10-25 2010-04-14 ソニー株式会社 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP4179498B2 (ja) * 2002-11-20 2008-11-12 株式会社リコー 画像処理装置及び画像処理方法
JP2004186871A (ja) * 2002-12-02 2004-07-02 Ricoh Co Ltd 画像処理装置、撮像装置、プログラム及び記憶媒体
EP1465371B1 (en) * 2003-03-31 2014-05-07 Apple Inc. Apparatus and associated method for setting up a dynamic polling interval in a radio telecommunications system
US7583844B2 (en) * 2005-03-11 2009-09-01 Nokia Corporation Method, device, and system for processing of still images in the compressed domain
US9141567B2 (en) * 2006-07-11 2015-09-22 Harman International Industries, Incorporated Serial communication input output interface engine

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1381146A (zh) * 2000-04-04 2002-11-20 皇家菲利浦电子有限公司 利用小波变换的视频编码方法
CN1445997A (zh) * 2002-03-19 2003-10-01 三洋电机株式会社 图像处理方法和采用该图像处理方法的图像编码装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平8-242379A 1996.09.17

Also Published As

Publication number Publication date
JP2008028541A (ja) 2008-02-07
JP4129694B2 (ja) 2008-08-06
US20080063078A1 (en) 2008-03-13
CN101110958A (zh) 2008-01-23
US9083950B2 (en) 2015-07-14

Similar Documents

Publication Publication Date Title
CN101110958B (zh) 信息处理装置和方法
CN101076122B (zh) 通信装置和方法、通信发送接收装置和方法
US8964921B2 (en) Information processing apparatus, method, and program
US8527846B2 (en) Information processing device, method and program
US8311122B2 (en) Information processing apparatus and method
US10306268B2 (en) Information processing device and method
JP5493471B2 (ja) 情報処理装置および方法
JP2004192140A (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2007142614A (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
US8634665B2 (en) Image processing apparatus and image processing method
CN101174918B (zh) 发送设备、发送方法和通信系统
US20130093853A1 (en) Information processing apparatus and information processing method
JP2005094578A (ja) 画像サーバ装置、クライアント装置、動画像配信方法、プログラム、及び、情報記録媒体
CN101299819A (zh) 可伸缩视频编码中的三维小波子带排序及码流封包方法
JP5610199B2 (ja) 受信装置、受信方法、及び通信システム
CN104427405A (zh) 用于发送编码视频流的装置及其发送方法
JP2004215021A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2011147050A (ja) 画像処理装置および方法
JPWO2013154024A1 (ja) 情報処理装置および方法、並びに、プログラム
JP4155566B2 (ja) 画像再生装置及び方法
JP4740800B2 (ja) 画像処理装置、画像処理方法、及びそれを用いた監視システム
JP2004135107A (ja) 画像処理装置及びその方法
Jayaseelan Estimation of LRD present in H. 264 video traces using wavelet analysis and proving the paramount of H. 264 using OPF technique in wi-fi environment.
JP2004072147A (ja) 画像配信システム、画像再生システム及び画像配信再生システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100623

Termination date: 20210719

CF01 Termination of patent right due to non-payment of annual fee