CN102396225B - 用于可靠实时传输的图像和视频的双模式压缩 - Google Patents

用于可靠实时传输的图像和视频的双模式压缩 Download PDF

Info

Publication number
CN102396225B
CN102396225B CN201080016613.4A CN201080016613A CN102396225B CN 102396225 B CN102396225 B CN 102396225B CN 201080016613 A CN201080016613 A CN 201080016613A CN 102396225 B CN102396225 B CN 102396225B
Authority
CN
China
Prior art keywords
block
coding
encoding
image
natural image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080016613.4A
Other languages
English (en)
Other versions
CN102396225A (zh
Inventor
刘伟
穆罕默德·格哈拉维-阿尔克汉萨利
艾利·塔巴塔拜
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43299827&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102396225(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102396225A publication Critical patent/CN102396225A/zh
Application granted granted Critical
Publication of CN102396225B publication Critical patent/CN102396225B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01L—CYCLICALLY OPERATING VALVES FOR MACHINES OR ENGINES
    • F01L1/00—Valve-gear or valve arrangements, e.g. lift-valve gear
    • F01L1/12—Transmitting gear between valve drive and valve
    • F01L1/18—Rocking arms or levers
    • F01L1/185—Overhead end-pivot rocking arms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01L—CYCLICALLY OPERATING VALVES FOR MACHINES OR ENGINES
    • F01L1/00—Valve-gear or valve arrangements, e.g. lift-valve gear
    • F01L1/26—Valve-gear or valve arrangements, e.g. lift-valve gear characterised by the provision of two or more valves operated simultaneously by same transmitting-gear; peculiar to machines or engines with more than two lift-valves per cylinder
    • F01L1/267—Valve-gear or valve arrangements, e.g. lift-valve gear characterised by the provision of two or more valves operated simultaneously by same transmitting-gear; peculiar to machines or engines with more than two lift-valves per cylinder with means for varying the timing or the lift of the valves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于可靠实时传输的图像/视频的双模式压缩包括可伸缩的基于块的视频压缩。该方法在信道带宽变化的情况下提供得当的质量劣化。避免了用于编码的预测，并且处理不那么复杂，要求较少的存储器。该方法涉及独立地处理每个块，优点在于错误不会被传播到当前块的边界之外。使用两种不同编码模式，即，用于所获取的图像的自然图像编码和用于计算机生成的图像的图形编码。通过比较两种模式对于要被编码的具体块的性能来选择适合的编码模式。由编码器根据可用信道带宽生成被嵌入比特流。

Description

用于可靠实时传输的图像和视频的双模式压缩
技术领域
本发明涉及图像处理领域。更具体地，本发明涉及用于可靠实时传输的双模式图像/视频压缩。
背景技术
存在两种正在发展的相互补充的技术，从而产生了对解决有关这两者的组合的问题的需要。1)高清晰(HD)视频是比标准清晰视频包含更多数据从而使能更清楚更生动的视频的下一代视频。因为HD视频包含如此多的数据，所以要将数据从一个位置传输到另一个位置(特别是无线地)，要利用大量带宽。为了在保留HD质量的同时减少所利用的带宽，在传输数据时利用编码/压缩方案。2)数据的实时传输使能诸如视频会议和在线游戏之类的实时交互式应用。在实时视频传输中，让数据速率与可用带宽的变化相适应是重要的，这要求对视频数据执行可伸缩编码/压缩方案。
无线传输的一个示例是Wireless HD 1.0(无线HD 1.0)。Wireless HD1.0标准定义了用于消费电子(CE)音频和视频设备的连接的无线视频区域网络(WVAN)。WirelessHD(无线HD)系统的关键属性在于其支持距离为10米的室内高服务质量(QoS)的无压缩1080p A/V流的无线传输。
对距离为10米的高数据吞吐量的需求要求大的所分配频谱。在许多国家在60GHz频带中存在大量可以不经许可使用的频谱。在北美和日本，总共7GHz被分配使用，其中的5GHz是重叠的。在北美，57～64GHz频带被分配，而在日本，59～66GHz被分配。另外，韩国和欧盟也已经批准了类似的分配。调控机构允许非常高的有效发送功率(发射机功率和天线增益的组合)，高于10W的有效全向辐射功率(EIRP)。高EIRP
和宽分配带宽将允许高吞吐量连接，然而，这些高吞吐量连接是极具方向性的。
Wireless HD 1.0规范定义了使能快速适应环境变化的有向连接的无线协议。这是通过如下方式实现的：动态地操纵发射机处的天线波束，与此同时，将接收机天线集中于来自发射机的进入功率的方向。该动态波束成形和波束操纵不仅利用直接路径，还允许在视线连接被阻挡时，使用反射和其它间接路径。对天线能量的这种动态调节在小于1毫秒中完成。
WVAN包括一个协调器和零个或多个台站。协调器调度信道中的时间来确保无线资源被优先用于支持A/V流。作为WVAN的一部分的其它设备称为台站。台站可以是网络中的数据的源和/或接收器。作为协调器的设备也充当WVAN中的台站，并且可以充当数据的源和/或接收器，<http://www.wirelesshd.org/technology.html>
发明内容
该双模式压缩方案包括可伸缩的基于块的视频压缩。该方法在信道带宽变化的情况下提供得当的质量劣化。避免了用于编码的预测，并且处理不那么复杂，要求较少的存储器，并且避免了由于比特速率变化引起的漂移错误。该方法涉及独立地处理每个块，优点在于错误不会被传播到当前块的边界之外。使用两种不同编码模式，即，用于所获取图像的自然图像编码和用于计算机生成图像的图形编码。图形编码被专门设计用于计算机生成的内容，诸如(但不限于)图形和文本，对于这些图形和文本，传统的自然图像编码方案(例如基于DCT的编码方案)不怎么起作用。通过比较两种模式对于要被编码的具体块的性能来选择适合的编码模式。由编码器生成被嵌入比特流。
在一个方面中，一种编程于设备中的控制器中的压缩方法，包括：将图像分割成一个或多个块；判断图像的块是来自自然图像还是来自计算机生成的图像；如果该块来自自然图像，则对该块施加自然图像编码，生成已编码的比特流；以及如果该块来自计算机生成的图像，则对该块施加图形编码，生成已编码的比特流。自然图像编码包括：对该块施加二维离散 余弦变换(DCT)(或其它频谱变换)，并且从最高有效位平面(MSB)到最低有效位平面(LSB)对产生的变换系数进行编码以使得所生成的比特流被嵌入。图形编码模式包括：从最高有效位平面(MSB)到最低有效位平面(LSB)对该块中的像素进行编码；并且不对该块执行变换。该方法还包括：在不同位平面中施加不等同的错误防护。模式是基于这两种编码模式对于正被编码的块的性能来确定的。该方法还包括将已编码的比特流存储在编码后缓冲器中。该方法还包括：基于可用信道带宽针对每个块从编码后缓冲器提取信息，发送用于该块的模式信息，并且丢弃其余比特。该方法还包括：将提取的信息和模式信息发送至物理层。该控制器是从包括经编程计算机可读介质和专用电路的组中选出的。该方法还包括在块之间进行比特共享。该设备是从包括以下项的组中选出的：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机计算机、掌上电脑、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄录像机、相机电话、iPhone、iPod 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
在另一个方面中，一种编程于设备中的控制器中的压缩系统，该系统包括：模式判决模块，该模式判决模块用于判断图像的块是来自自然图像还是来自计算机生成的图像；自然图像编码模块，该自然图像编码模块用于，如果该块来自自然图像，则通过对该块施加自然图像编码来生成已编码的比特流；以及图形编码模块，该图形编码模块用于，如果该块来自计算机生成的图像，则通过对该块施加图形编码来生成已编码的比特流。该系统还包括编码前缓冲器，该编码前缓冲器用于将图像分割成一个或多个块。自然图像编码包括：对该块施加二维离散余弦变换(DCT)(或其它频谱变换)，并且从最高有效位平面(MSB)到最低有效位平面(LSB)对产生的变换系数进行编码以使得所生成的比特流被嵌入。图形编码模式包括：从最高有效位平面(MSB)到最低有效位平面(LSB)对该块中的像素进行编码；并且不对该块执行变换。模式判决模块基于这两种编码模式对于正被编码的块的性能来确定所述模式。该系统还包括编码后缓冲器，该编码后缓冲器用于存储已编码的比特流。该系统还包括组帧 (framing)模块，该组帧模块用于基于可用信道带宽针对每个块从编码后缓冲器提取信息，发送用于该块的模式信息，并且丢弃其余比特。组帧模块将提取的信息和模式信息发送至物理层。控制器是从包括经编程计算机可读介质和专用电路的组中选出的。该设备是从包括以下项的组中选出的：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机计算机、掌上电脑、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄录像机、相机电话、iPhone、iPod 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
在另一个方面中，一种相机设备，包括：视频获取组件，该视频获取组件用于获取视频；存储器，该存储器用于存储应用，所述应用用于将图像分割成一个或多个块，判断图像的块是来自自然图像还是来自计算机生成的图像，如果该块来自自然图像，则对该块施加自然图像编码，生成已编码的比特流，并且如果该块来自计算机生成的图像，则对该块施加图形编码，生成已编码的比特流；以及耦接至该存储器的处理组件，该处理组件被配置用于处理所述应用。
在另一方面中，一种设备的网络，包括：网络；服务器设备，该服务器设备用于存储高清晰视频并且用于通过所述网络传送高清晰视频的压缩版本，其中该高清晰视频的压缩版本是通过如下处理生成的：将视频的每个图像分割成一个或多个块，判断图像的块是来自自然图像还是来自计算机生成的图像，如果该块来自自然图像，则对该块施加自然图像编码，生成已编码的比特流，以及如果该块来自计算机生成的图像，则对该块施加图形编码，生成已编码的比特流；以及播放器设备，该播放器设备用于接收高清晰视频的压缩版本并且用于播放该高清晰视频的压缩版本。该高清晰视频的压缩版本在被播放之前被解码。
附图说明
图1图示出根据一些实施例的视频编码的框图。
图2图示出根据一些实施例的组帧的框图。
图3图示出根据一些实施例的数据压缩方法的流程图。
图4图示出根据一些实施例的被配置为实现双模式压缩方法的示例性计算设备的框图。
图5图示出根据一些实施例的设备的网络。
具体实施方式
在此描述用于可靠实时图像/视频传输的双模式压缩方案。在WiHD1.0中，视频信号不被压缩。为了适应可用信道带宽变化，像素的子集被丢弃。在双模式压缩方案中，使用在此描述的一种低复杂度的可伸缩视频编码器/解码器(编解码器)。当可用信道带宽变化时，该双模式编解码器提供得当的视频质量劣化。
在双模式编解码器中，不使用来自先前帧的信息来进行编码，不需要帧缓冲器来用于先前的帧，并且不寻求运动估计。这降低了存储器要求和复杂度。该实现方式是基于块的，其中编码器和解码器独立地处理每个块。这也使用较少的存储器并且不那么复杂。比特流能够被嵌入以使得每个块能够在任何地方被停止。因为比特流是被嵌入的，所以其易于适应带宽变化。不需要代码转换并且不需要生成多个比特流。还容易与不等同的错误防护相结合。双模式压缩具有高效率并且具有用于计算机生成的图像的模式，并且在编码效率和错误恢复力之间进行了折中。双模式压缩还具有低的等待时间。
图1图示出根据一些实施例的视频编码的框图。视频在进入编码器之前被输入编码前缓冲器100中。从编码前缓冲器100，固定大小(例如8×8)的块被发送至模式判决模块102。模式判决模块102判断是使用自然图像编码还是图形编码(例如计算机生成的图像)来对块进行编码。自然图像是例如由相机或摄录像机获得的那些图像，而计算机生成的图像是由计算设备生成的那些图像。取决于模式判决模块102中的判决，块去往自然图像编码模块104或图形编码模块106。单个被嵌入比特流从自然图像编码模块104或图形编码模块106被生成并被存储到编码后缓冲器108中。自然图像编码模式和图形编码模式产生完全嵌入的比特流。存储于编码后缓冲器108处的信息能够被整形为任意比特速率以适应可用信道带 宽。
编码器单独地处理每个块。不使用预测(帧间的或帧内的)。在可伸缩编码中，如果使用预测，则用于预测的像素在编码器/解码器处是不同的，这会导致错误漂移失真。
对于自然图像编码模式，对块施加二维(2D)离散余弦变换(DCT)(或其它频谱变换)。从最高有效位平面(MSB)到最低有效位平面(LSB)对所产生的变换系数编码，以使得所产生的比特流被嵌入。这提供低复杂度的可伸缩编码。还可以在不同位平面中施加不等同的错误防护。
对于图形编码模式，不对块执行变换。从MSB到LSB对像素进行编码。对于图形编码，可以执行任意适当的编码方法。在一些实施例中，利用嵌入式图形编码，如在____________提交的代理案卷号为SONY-41900、题为“EMBBEDED GRAPHICS CODING FOR IMAGES WITH SPARSE HISTOGRAMS”的美国专利申请中所描述的，在此通过引用该申请而将其结合于此。
模式(自然的或图形的)是基于两种编码模式对于正被编码的块的性能来判定的。极低复杂度的测量被用于该判定。
图2图示出根据一些实施例的组帧的框图。如图1中所述，已编码的比特流被存储在编码后缓冲器108中。组帧模块200被用于基于可用信道带宽来针对每个块从编码后缓冲器108提取信息。用于每个块的模式信息被发送。其余比特被丢弃。因此，当可用带宽窄时，较少的比特被发送，但是并没有严重地劣化视频的质量。在组帧之后，信息被发送至物理层(例如计算机联网的OSI模型的PHY)。
在一些实施例中，允许多个块共享总的比特预算，这称为比特共享。共享比特预算的块称为片段(slice)。在使能比特共享的情况下，通过智能的速率分配，困难的块比容易的块接收更多比特，以使得总体编码性能得到提高。然而，错误可以从一个块传播到另一个块，但是绝不会传播到该片段之外。在此所述的编解码器可以被修改以允许块之间的比特共享，因此以可能降低错误恢复力为代价提高编码性能。通过使用片段或子片段 (而不是块)作为编码单位可以控制该折中。
图3图示出根据一些实施例的数据压缩方法的流程图。在步骤300中，诸如视频之类的数据被分割成块，诸如8×8块，例如视频的每个帧被分割成8×8块。在步骤302中，进行模式判决。判断图像的块是自然图像还是计算机生成的图像。模式(自然的或图形的)是基于两种编码模式对于正被编码的块的性能来判定的。极低复杂度的测量被用于该判定。在步骤304中，如果判定块是自然图像，则发生自然图像编码处理。对于自然图像编码模式，对块施加二维(2D)离散余弦变换(DCT)(或其它频谱变换)。从最高有效位平面(MSB)到最低有效位平面(LSB)对所产生的变换系数进行编码，以使得所产生的比特流被嵌入。这提供低复杂度的可伸缩编码。还可以在不同位平面中施加不等同的错误防护。在步骤306中，如果判定块是计算机生成的图像，则发生图形编码处理。对于图形编码模式，不对块执行变换。从MSB向LSB对像素进行编码。在步骤308中，已编码的比特流被存储在编码后缓冲器中。在步骤310中，发生组帧。组帧包括基于可用信道带宽针对每个块从编码后缓冲器提取信息。用于每个块的模式信息被发送，但是其余比特被丢弃。在步骤312中，提取的信息和模式信息被发送至物理层。
图4图示出根据一些实施例被配置为实现双模式压缩方法的示例性计算设备400的框图。计算设备400可以用于获取、存储、计算、传送和/或显示诸如图像和视频之类的信息。例如，计算设备400可以获取并存储视频。可以在获取视频期间或之后，或者在将视频从设备400向另一设备传送时使用本压缩方法。一般地，适合于实现计算设备400的硬件结构包括网络接口402、存储器404、处理器406、(一个或多个)I/O设备408、总线410和存储设备412。处理器的选择不是关键的，只要选择具有足够速度的合适处理器即可。存储器404可以是现有技术中已知的任何传统计算机存储器。存储设备412可以包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、闪存卡或任意其它存储设备。计算设备400可以包括一个或多个网络接口402。网络接口的示例包括连接至以太网或其它类型的LAN的网络卡。(一个或多个)I/O设备408可以包括以下项中的一个或 多个：键盘、鼠标、监视器、显示器、打印机、调制解调器、触摸屏、按钮接口和其它设备。用于执行压缩方法的(一个或多个)压缩应用430可被存储在存储设备412和存储器404中并像通常处理应用那样被处理。图4中示出的更多或更少的组件可以被包括在计算设备400中。在一些实施例中，包括压缩硬件420。尽管图4中的计算设备包括用于压缩的应用430和硬件420，但是该压缩方法可以以硬件、固件、软件或它们的任意组合被实现在计算设备上。例如，在一些实施例中，压缩应用430被编程在存储器中并使用处理器被执行。在另一示例中，在一些实施例中，压缩硬件420是经编程硬件逻辑，包括被专门设计来实现压缩方法的逻辑门。
在一些实施例中，(一个或多个)压缩应用430包括若干应用和/或模块。如在此所述，诸如模式判决模块、自然图像编码模块、图形编码模块和组帧模块之类的模块可以用于压缩。在一些实施例中，模块还包括一个或多个子模块。在一些实施例中，可以包括更少或另外的模块。
合适计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型主机计算机、掌上电脑、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄录像机、相机电话、iPod /iPhone、视频播放器、DVD刻录机/播放器、电视机、家庭娱乐系统或任意其它合适的计算设备。
图5图示出根据一些实施例的设备的网络500。设备网络500包括通过网络502耦接的一个或多个设备504。网络502可以是任意(一个或多个)网络，诸如因特网或局域网。设备504可以是任意设备，诸如在此所述的计算设备。在一些实施例中，设备504被直接地耦接。设备504可以使用在此所述的压缩实现方式来传送已压缩的HD视频。例如，带有编码器的服务器540存储并如在此所述那样压缩HD视频，并随后将已压缩的数据传送给带有解码器的移动设备504，以使得用户可以观看诸如视频之类的压缩数据。可以包括更少或另外的设备。
为了利用该压缩方法，用户例如在数码摄录像机上获取视频/图像，并且在该视频被获取的同时或之后或者在向诸如计算机之类的另一设备发送视频时，本压缩方法自动压缩视频的每个图像，以使得视频被适当地压缩 以保持高质量视频。该压缩方法自动进行而无需用户介入。
在操作时，在此所述的压缩方法在一些实施例中提供低硬件成本(例如，不需要许多逻辑门电路)、低复杂度、低延迟、极高视觉质量的压缩，并且不依赖于用于编码的其他块或帧。本压缩方法可以用在任何实现中，包括但不限于无线高清晰(无线HD)。
在此所述的图像压缩方法可以用于视频和/或图像。
高清晰视频可以是任意格式的，包括但不限于HDCAM、HDCAM-SR、DVCPRO HD、D5 HD、XDCAM HD、HDV和AVCHD。
用于可靠实时传输的图像和视频的双模式压缩的一些实施例
1.一种编程于设备中的控制器中的压缩方法，包括：
a.将图像分割成一个或多个块；
b.判断所述图像的块是来自自然图像还是来自计算机生成的图像；
c.如果该块来自自然图像，则对该块施加自然图像编码，生成已编码的比特流；以及 
d.如果该块来自计算机生成的图像，则对该块施加图形编码，生成所述已编码的比特流。
2.如条款1所述的方法，其中，自然图像编码包括：
a.对该块施加频谱变换；以及
b.从最高有效位平面(MSB)到最低有效位平面(LSB)对所产生的变换系数进行编码，以使得所生成的比特流被嵌入。
3.如条款1所述的方法，其中，所述图形编码模式包括：
a.从最高有效位平面(MSB)到最低有效位平面(LSB)对该块中的像素进行编码；以及
b.不对该块执行变换。
4.如条款1所述的方法，还包括：在不同位平面中施加不等同的错误防护。
5.如条款1所述的方法，其中，所述模式是基于这两种编码模式对于正被编码的块的性能来确定的。
6.如条款1所述的方法，还包括：将所述已编码的比特流存储在编码后缓冲器中。
7.如条款6所述的方法，还包括：基于可用信道带宽针对每个块从所述编码后缓冲器提取信息，发送用于该块的模式信息，并且丢弃其余比特。
8.如条款7所述的方法，还包括：将提取的信息和所述模式信息发送至物理层。
9.如条款1所述的方法，其中，所述控制器是从包括经编程计算机可读介质和专用电路的组中选出的。
10.如条款1所述的方法，还包括：在块之间进行比特共享。
11.如条款1所述的方法，其中，所述设备是从包括以下项的组中选出的：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机计算机、掌上电脑、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄录像机、相机电话、iPhone、iPod 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
12.一种编程于设备中的控制器中的压缩系统，该系统包括：
a.模式判决模块，所述模式判决模块用于判断图像的块是来自自然图像还是来自计算机生成的图像；
b.自然图像编码模块，所述自然图像编码模块用于，如果该块来自自然图像，则通过对该块施加自然图像编码来生成已编码的比特流；以及
c.图形编码模块，所述图形编码模块用于，如果该块来自计算机生成的图像，则通过对该块施加图形编码来生成所述已编码的比特流。
13.如条款12所述的系统，还包括：编码前缓冲器，所述编码前缓冲器用于将图像分割成一个或多个块。
14.如条款12所述的系统，其中自然图像编码包括：
a.对该块施加频谱变换；以及
b.从最高有效位平面(MSB)到最低有效位平面(LSB)对所产生的变换系数进行编码，以使得所生成的比特流被嵌入。
15.如条款12所述的系统，其中，所述图形编码模式包括：
a.从最高有效位平面(MSB)到最低有效位平面(LSB)对该块中的像素进行编码；以及
b.不对该块执行变换。
16.如条款12所述的系统，其中，所述模式判决模块基于这两种编码模式对于正被编码的块的性能来确定所述模式。
17.如条款12所述的系统，还包括编码后缓冲器，所述编码后缓冲器用于存储所述已编码的比特流。
18.如条款17所述的系统，还包括组帧模块，所述组帧模块用于基于可用信道带宽针对每个块从所述编码后缓冲器提取信息，发送用于该块的模式信息，并且丢弃其余比特。
19.如条款18所述的系统，其中，所述组帧模块将提取的信息和所述模式信息发送至物理层。
20.如条款12所述的系统，其中，所述控制器是从包括经编程计算机可读介质和专用电路的组中选出的。
21.如条款12所述的系统，其中，所述设备是从包括以下项的组中选出的：个人计算机、膝上型计算机、计算机工作站、服务器、大型主机计算机、掌上电脑、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数码相机、数码摄录像机、相机电话、iPhone、iPod 视频播放器、DVD刻录机/播放器、电视机和家庭娱乐系统。
22.一种相机设备，包括：
a.视频获取组件，所述视频获取组件用于获取视频；
b.存储器，所述存储器用于存储应用，所述应用用于：
i.将图像分割成一个或多个块；
ii.判断所述图像的块是来自自然图像还是来自计算机生成的图像；
iii.如果该块来自自然图像，则对该块施加自然图像编码，生成已编码的比特流；以及 
iv.如果该块来自计算机生成的图像，则对该块施加图形编码，生成所述已编码的比特流；以及
c.耦接至所述存储器的处理组件，所述处理组件被配置用于处理所述应用。
23.一种设备的网络，包括：
a.网络；
b.服务器设备，所述服务器设备用于存储高清晰视频并且用于通过所述网络传送所述高清晰视频的压缩版本，其中所述高清晰视频的压缩版本是通过如下处理生成的：
i.将视频的每个图像分割成一个或多个块；
ii.判断图像的块是来自自然图像还是来自计算机生成的图像；
iii.如果该块来自自然图像，则对该块施加自然图像编码，生成已编码的比特流；以及 
iv.如果该块来自计算机生成的图像，则对该块施加图形编码，生成所述已编码的比特流；以及
c.播放器设备，所述播放器设备用于接收所述高清晰视频的压缩版本并且用于播放所述高清晰视频的压缩版本。
24.如条款23所述的设备的网络，其中，所述高清晰视频的压缩版本在被播放之前被解码。
已经根据包含有便于理解本发明的操作和结构的基本原理的细节的具体实施例描述了本发明。在此对具体实施例及其细节的提及并不意欲限制所附权利要求的范围。本领域技术人员容易清楚：在不脱离由权利要求限定的本发明的精神和范围的前提下可以对被选用于说明的实施例进行其它各种修改。

Claims (11)

1.一种编程于设备中的控制器中的压缩方法，包括：
a.将图像分割成一个或多个块；
b.判断所述图像的块是来自自然图像还是来自计算机生成的图像；
c.如果该块来自自然图像，则对该块施加自然图像编码，生成已编码的比特流；
d.如果该块来自计算机生成的图像，则对该块施加图形编码，生成所述已编码的比特流；
e.在块之间进行比特共享，其中，共享比特的块构成片段，并且错误不能传播到片段之外，其中比特共享是指在所述块之间共享总的比特预算；
f.将所述已编码的比特流存储在编码后缓冲器中；以及
g.基于可用信道带宽针对每个块从所述编码后缓冲器提取信息，发送用于该块的模式信息，并且丢弃其余比特。
2.如权利要求1所述的方法，其中，自然图像编码包括：
a.对该块施加频谱变换；以及
b.从最高有效位平面(MSB)到最低有效位平面(LSB)对所产生的变换系数进行编码，以使得所生成的比特流被嵌入。
3.如权利要求1所述的方法，其中，所述图形编码模式包括：
a.从最高有效位平面(MSB)到最低有效位平面(LSB)对该块中的像素进行编码；以及
b.不对该块执行变换。
4.如权利要求1所述的方法，还包括：在不同位平面中施加不等同的错误防护。
5.如权利要求1所述的方法，其中，所述模式是基于这两种编码模式对于正被编码的块的性能来确定的。
6.如权利要求1所述的方法，还包括：将提取的信息和所述模式信息发送至物理层。
7.一种编程于设备中的控制器中的压缩系统，该系统包括：
a.模式判决模块，所述模式判决模块用于判断图像的块是来自自然图像还是来自计算机生成的图像；
b.自然图像编码模块，所述自然图像编码模块用于，如果该块来自自然图像，则通过对该块施加自然图像编码来生成已编码的比特流；
c.图形编码模块，所述图形编码模块用于，如果该块来自计算机生成的图像，则通过对该块施加图形编码来生成所述已编码的比特流；
d.比特共享模块，所述比特共享模块被配置用于在块之间进行比特共享，其中，共享比特的块构成片段，并且错误不能传播到片段之外，其中比特共享是指在所述块之间共享总的比特预算；
f.编码后缓冲器，所述编码后缓冲器被配置用于存储所述已编码的比特流；以及
g.组帧模块，所述组帧模块被配置用于基于可用信道带宽针对每个块从所述编码后缓冲器提取信息，发送用于该块的模式信息，并且丢弃其余比特。
8.如权利要求7所述的系统，还包括：编码前缓冲器，所述编码前缓冲器用于将图像分割成一个或多个块。
9.如权利要求7所述的系统，其中自然图像编码包括：
a.对该块施加频谱变换；以及
b.从最高有效位平面(MSB)到最低有效位平面(LSB)对所产生的变换系数进行编码，以使得所生成的比特流被嵌入。
10.如权利要求7所述的系统，其中，所述图形编码模式包括：
a.从最高有效位平面(MSB)到最低有效位平面(LSB)对该块中的像素进行编码；以及
b.不对该块执行变换。
11.如权利要求7所述的系统，其中，所述模式判决模块基于这两种编码模式对于正被编码的块的性能来确定所述模式。
CN201080016613.4A 2009-06-09 2010-06-08 用于可靠实时传输的图像和视频的双模式压缩 Expired - Fee Related CN102396225B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US18556009P 2009-06-09 2009-06-09
US61/185,560 2009-06-09
US12/792,408 US8964851B2 (en) 2009-06-09 2010-06-02 Dual-mode compression of images and videos for reliable real-time transmission
US12/792,408 2010-06-02
PCT/US2010/037824 WO2010144488A2 (en) 2009-06-09 2010-06-08 Dual-mode compression of images and videos for reliable real-time transmission

Publications (2)

Publication Number Publication Date
CN102396225A CN102396225A (zh) 2012-03-28
CN102396225B true CN102396225B (zh) 2015-06-24

Family

ID=43299827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080016613.4A Expired - Fee Related CN102396225B (zh) 2009-06-09 2010-06-08 用于可靠实时传输的图像和视频的双模式压缩

Country Status (6)

Country Link
US (1) US8964851B2 (zh)
JP (1) JP2012523789A (zh)
KR (1) KR101266667B1 (zh)
CN (1) CN102396225B (zh)
BR (1) BRPI1014220A2 (zh)
WO (1) WO2010144488A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710622B1 (ko) * 2009-07-28 2017-02-28 삼성전자주식회사 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치
US8600179B2 (en) * 2009-09-17 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
US9210302B1 (en) 2011-08-10 2015-12-08 Google Inc. System, method and apparatus for multipoint video transmission
US8922671B2 (en) * 2013-03-11 2014-12-30 Sony Corporation Method of compression of images using a natural mode and a graphics mode
TWI514854B (zh) * 2013-03-29 2015-12-21 Univ Nat Yunlin Sci & Tech Establishment of Adjustable Block - based Background Model and Real - time Image Object Detection
US9420295B2 (en) 2014-01-10 2016-08-16 Sony Corporation Joint mode decision with shared bit-budget condition
FR3038180A1 (fr) * 2015-06-26 2016-12-30 Orange Adaptation d'un profil de transmission d'une communication web temps reel
US9609275B2 (en) 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
CN111212289A (zh) * 2020-01-13 2020-05-29 华侨大学 基于dct能量分布与梯度特征的屏幕内容视频快速编码方法
WO2023224300A1 (ko) * 2022-05-16 2023-11-23 현대자동차주식회사 예측-변환 생략을 이용하는 비디오 코딩을 위한 방법 및 장치
CN116347080B (zh) * 2023-03-27 2023-10-31 苏州利博特信息科技有限公司 基于下采样处理的智能算法应用系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256415B1 (en) * 1998-06-10 2001-07-03 Seiko Epson Corporation Two row buffer image compression (TROBIC)
CN1625893A (zh) * 2002-02-01 2005-06-08 皇家飞利浦电子股份有限公司 利用变长色码对调色板处理的彩色图像进行压缩
CN101217668A (zh) * 2008-01-14 2008-07-09 浙江大学 基于块分类的混合图像压缩方法

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4546385A (en) * 1983-06-30 1985-10-08 International Business Machines Corporation Data compression method for graphics images
US5850261A (en) * 1992-10-15 1998-12-15 Sony Corporation Efficient variable length encoder and decoder
JPH06133284A (ja) 1992-10-15 1994-05-13 Sony Corp エンコーダ及びデコーダ
GB9422738D0 (en) * 1994-11-10 1995-01-04 Univ Western Ontario Context-based, adaptive, progressive, lossless compression of still continuous -tone images
US5724100A (en) * 1996-02-26 1998-03-03 David Sarnoff Research Center, Inc. Method and apparatus for detecting scene-cuts in a block-based video coding system
WO1997042757A2 (en) 1996-05-06 1997-11-13 Philips Electronics N.V. Simultaneously displaying a graphic image and a video image
US6052205A (en) * 1997-02-14 2000-04-18 Ricoh Company, Ltd. Image data encoding/decoding method and apparatus configured to compress both natural gray scale images and binary images
JP3284932B2 (ja) * 1997-08-05 2002-05-27 松下電器産業株式会社 画像処理装置
US6091777A (en) * 1997-09-18 2000-07-18 Cubic Video Technologies, Inc. Continuously adaptive digital video compression system and method for a web streamer
US6272180B1 (en) * 1997-11-21 2001-08-07 Sharp Laboratories Of America, Inc. Compression and decompression of reference frames in a video decoder
EP0940994B1 (en) * 1998-03-06 2014-04-16 Canon Kabushiki Kaisha Image processing apparatus and method and storage medium storing steps realizing such method
CA2261833A1 (en) 1999-02-15 2000-08-15 Xue Dong Yang Method and system of region-based image coding with dynamic streaming of code blocks
CN1138392C (zh) 1999-09-10 2004-02-11 信息产业部武汉邮电科学研究院 一种千兆以太网与波分复用体系融合的适配方法
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
US6567081B1 (en) * 2000-01-21 2003-05-20 Microsoft Corporation Methods and arrangements for compressing image-based rendering (IBR) data using alignment and 3D wavelet transform techniques
US6549674B1 (en) * 2000-10-12 2003-04-15 Picsurf, Inc. Image compression based on tiled wavelet-like transform using edge and non-edge filters
US6985632B2 (en) * 2000-04-17 2006-01-10 Canon Kabushiki Kaisha Image processing system, image processing apparatus, and image processing method
US6654503B1 (en) * 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless image coder
US6501397B1 (en) * 2000-05-25 2002-12-31 Koninklijke Philips Electronics N.V. Bit-plane dependent signal compression
US7085424B2 (en) * 2000-06-06 2006-08-01 Kobushiki Kaisha Office Noa Method and system for compressing motion image information
US6898323B2 (en) * 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
KR100322485B1 (ko) * 2001-07-05 2002-02-07 이동욱 다중채널 영상신호 부호화 장치 및 그 방법
JP2003032496A (ja) * 2001-07-12 2003-01-31 Sanyo Electric Co Ltd 画像符号化装置および方法
US7194140B2 (en) * 2001-11-05 2007-03-20 Canon Kabushiki Kaisha Image processing apparatus and method which compresses image data of each region using a selected encoding method
US7117423B2 (en) * 2002-04-24 2006-10-03 Georgia Tech Research Corp. Methods and systems for multiple substream unequal error protection and error concealment
WO2003092296A1 (en) * 2002-04-26 2003-11-06 Nec Corporation Moving picture data code conversion/transmission method and device, code conversion/reception method and device
JP4003628B2 (ja) * 2002-12-02 2007-11-07 ソニー株式会社 画像符号化装置及び方法、並びにプログラム
JP2004248152A (ja) * 2003-02-17 2004-09-02 Ricoh Co Ltd 画像圧縮装置、画像伸張装置、画像圧縮方法、画像伸張方法、プログラム、及び記録媒体
WO2004092888A2 (en) * 2003-04-07 2004-10-28 Modulus Video, Inc. Scalable array encoding system and method
JP4081758B2 (ja) * 2003-05-08 2008-04-30 ソニー株式会社 処理ビットモデルブロック、処理ビットモデル化方法、符号化装置、シンボルモデルブロック、シンボルモデル化方法、復号化装置、及び画像処理装置
US20080159640A1 (en) * 2003-11-06 2008-07-03 Chaoqiang Liu Document Image Encoding Decoding
DE602004017689D1 (de) * 2003-11-21 2008-12-24 Samsung Electronics Co Ltd Vorrichtung und Methode zur Erzeugung von kodierten Blockanordnungen für ein Alpha-Kanalbild sowie Alpha-Kanalkodierungs und -dekodierungsvorrichtung und -methode.
SE0401850D0 (sv) * 2003-12-19 2004-07-08 Ericsson Telefon Ab L M Image processing
KR100654431B1 (ko) * 2004-03-08 2006-12-06 삼성전자주식회사 가변 ｇｏｐ 사이즈를 갖는 스케일러블 비디오 코딩방법및 이를 위한 스케일러블 비디오 인코더
US20060044576A1 (en) * 2004-07-30 2006-03-02 Kabushiki Kaisha Toshiba Apparatus for image processing
US7689051B2 (en) 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
US20050265459A1 (en) * 2004-06-01 2005-12-01 Bhattacharjya Anoop K Fixed budget frame buffer compression using block-adaptive spatio-temporal dispersed dither
US20050276493A1 (en) * 2004-06-01 2005-12-15 Jun Xin Selecting macroblock coding modes for video encoding
US20060133494A1 (en) * 2004-12-17 2006-06-22 Rahul Saxena Image decoder with context-based parameter buffer
EP1872590B1 (en) * 2005-04-19 2014-10-22 Telecom Italia S.p.A. Method and apparatus for digital image coding
US7505624B2 (en) * 2005-05-27 2009-03-17 Ati Technologies Ulc Block-based image compression method and apparatus
US20070030894A1 (en) 2005-08-03 2007-02-08 Nokia Corporation Method, device, and module for improved encoding mode control in video encoding
US20070110151A1 (en) * 2005-11-14 2007-05-17 Ess Technology, Inc. System and method for video frame buffer compression
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
JP4745865B2 (ja) * 2006-02-28 2011-08-10 富士通セミコンダクター株式会社 符号化装置および方法
JP2008048240A (ja) * 2006-08-18 2008-02-28 Nec Electronics Corp ビットプレーン復号装置およびビットプレーン復号方法
US8170101B2 (en) * 2006-10-27 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for low-complexity data compression
JP4825644B2 (ja) 2006-11-14 2011-11-30 ルネサスエレクトロニクス株式会社 画像復号装置、画像符号化装置、およびシステムｌｓｉ
US8107743B2 (en) * 2007-03-30 2012-01-31 Sharp Kabushiki Kaisha Image processing device, image processing method, and storage medium
EP1978749B1 (en) * 2007-04-06 2017-08-30 Canon Kabushiki Kaisha Compression of multidimensional look-up tables for colour space conversion
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US20090067495A1 (en) * 2007-09-11 2009-03-12 The Hong Kong University Of Science And Technology Rate distortion optimization for inter mode generation for error resilient video coding
EP2081155B1 (en) * 2008-01-21 2011-11-16 Telefonaktiebolaget LM Ericsson (publ) Prediction-based image processing
US8031959B2 (en) * 2008-02-22 2011-10-04 Himax Technologies Limited Compression system for a bit-plane
JP5359302B2 (ja) * 2008-03-18 2013-12-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8275208B2 (en) * 2008-07-02 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image using image separation based on bit location
US8285062B2 (en) * 2009-08-05 2012-10-09 Sony Corporation Method for improving the performance of embedded graphics coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256415B1 (en) * 1998-06-10 2001-07-03 Seiko Epson Corporation Two row buffer image compression (TROBIC)
CN1625893A (zh) * 2002-02-01 2005-06-08 皇家飞利浦电子股份有限公司 利用变长色码对调色板处理的彩色图像进行压缩
CN101217668A (zh) * 2008-01-14 2008-07-09 浙江大学 基于块分类的混合图像压缩方法

Also Published As

Publication number Publication date
KR20120013321A (ko) 2012-02-14
JP2012523789A (ja) 2012-10-04
CN102396225A (zh) 2012-03-28
US20100309984A1 (en) 2010-12-09
WO2010144488A3 (en) 2011-02-10
US8964851B2 (en) 2015-02-24
KR101266667B1 (ko) 2013-05-31
BRPI1014220A2 (pt) 2017-05-16
WO2010144488A2 (en) 2010-12-16

Similar Documents

Publication Publication Date Title
CN102396225B (zh) 用于可靠实时传输的图像和视频的双模式压缩
US10123015B2 (en) Macroblock-level adaptive quantization in quality-aware video optimization
CN106713915B (zh) 对视频数据进行编码的方法
US8942292B2 (en) Efficient significant coefficients coding in scalable video codecs
TWI510097B (zh) 視頻編碼方法和系統
JP6449329B2 (ja) ディスプレイストリーム圧縮（ｄｓｃ）において量子化パラメータ（ｑｐ）を選択するためのシステムおよび方法
TWI741239B (zh) 視頻資料的幀間預測方法和裝置
CN104604203A (zh) 在场景改变之后的图像中的编码和发射参数的调适
US20180184089A1 (en) Target bit allocation for video coding
JP2018509067A (ja) ほぼ視覚的無損失なビデオ再圧縮
US20200322613A1 (en) Rate Control for Video Splicing Applications
EP4075800A1 (en) Encoding method and encoder
US20220329818A1 (en) Encoding method and encoder
Le et al. Computing offloading over mmWave for mobile VR: Make 360 video streaming alive
JP2019512970A (ja) ディスプレイストリーム圧縮における量子化パラメータの適応計算のための装置および方法
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
WO2019109955A1 (zh) 帧间预测方法、装置及终端设备
US11323706B2 (en) Method and apparatus for aspect-ratio dependent filtering for intra-prediction
WO2021057686A1 (zh) 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置
WO2021056575A1 (zh) 一种低延迟信源信道联合编码方法及相关设备
JP2021527362A (ja) イントラ予測のための方法及び装置
KR20060043050A (ko) 영상 신호의 인코딩 및 디코딩 방법
CN116195255A (zh) 支持基于观看方向的比特流随机访问
CN116097652A (zh) 基于视口变化的双流动态gop访问
US10531096B2 (en) Decoder, method and system for decoding multimedia streams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150624

CF01 Termination of patent right due to non-payment of annual fee