CN101689297B - 采用边缘和低分辨率信号的高效图像表示 - Google Patents
采用边缘和低分辨率信号的高效图像表示 Download PDFInfo
- Publication number
- CN101689297B CN101689297B CN200880022303.6A CN200880022303A CN101689297B CN 101689297 B CN101689297 B CN 101689297B CN 200880022303 A CN200880022303 A CN 200880022303A CN 101689297 B CN101689297 B CN 101689297B
- Authority
- CN
- China
- Prior art keywords
- edge
- image
- value
- chain
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种用于编码图像的示例性方法包括接收图像数据、检测图像数据中的边缘,选择检测到的边缘中的至少一些,将所选边缘编码为所选边缘信息;对图像数据进行降采样;将降采样后的图像编码为降采样后的图像信息以及复用所选边缘信息和降采样后的图像信息。在这种方法中,所选边缘信息和降采样后的图像信息可以被存储为经编码的图像文件。还公开了各种其它示例性方法、设备、系统。
Description
背景
媒体内容(例如,图像和视频)通常以压缩形式存在,以减少存储空间并帮助传输。例如,媒体服务器通常访问压缩后的媒体并将压缩后的媒体流化至能够解压缩媒体以用于演示的客户机。压缩被广泛用于各种应用中的传输、存储和回放。
经压缩的媒体通常由以下过程生成。首先,从原始的媒体内容的时间和/或空间邻居预测原始的媒体内容。其次,经预测的残差被变换至频域。最后,系数被量化并被熵编码以生成经压缩的表示。一般而言,自然图像和视频包含经预测后仍然存在的丰富的边缘和轮廓。这些边缘构成媒体的高频部分,高频部分较难编码,因为信号能量在变换到频域后变得有些分散。通常,边缘和轮廓包含重要的结构性媒体内容,然而,基于变换的表示在保留和利用边缘和轮廓上存在问题。
例如,考虑“蚊子噪声”,该“蚊子噪声”是一种出现在MPEG以及采用依赖离散余弦变换(DCT)的有损技术被压缩的其它视频帧中的对象的清晰边缘周围的边缘忙碌失真。更具体地,蚊子噪声随解码引擎通过逆向变换模型来逼近被丢弃的数据而在解压缩时产生。在视频中,蚊子噪声随在边缘的帧对帧随机混叠而出现(例如,类似蚊子在人的头周围飞,边缘存在于人的头和固体背景之间)。一般而言,随着TV和计算机屏幕变得更大,蚊子噪声以及其它伪像变得更显著。
对于仅依赖DCT(一种类似于离散傅立叶变换但只采用实数的傅立叶相关的变换)的图像压缩技术,边缘和轮廓是完全不可见的。另外一种类型的变换,即小波变换,是一种时频变换,然而,基于小波的压缩技术仅使用上下文模型中的结构信息以用于算术编码。因此,DCT和小波技术欠缺以保存边缘和轮廓信息的方式来表示媒体的能力另外,在基于DCT和基于小波的压缩技术两者中,访问压缩流或压缩文件中的结构信息是不容易的。此处呈现允许保存边缘和轮廓信息以及允许对这种信息进行访问的技术。
概述
一种用于编码图像的示例性方法包括接收图像数据、检测图像数据中的边缘,选择检测到的边缘中的至少一些,将所选边缘编码为所选边缘信息;对图像数据进行降采样;将降采样后的图像编码为降采样后的图像信息以及复用所选边缘信息和降采样后的图像信息。在这种方法中,所选边缘信息和降采样后的图像信息可以被存储为经编码的图像文件。还公开了各种其它示例性方法、设备、系统。
附图简述
参考附图描述了非限制性的和非穷尽的实施例,其中除非另外指定,否则在各个视图中相同的附图标记指示相同的部分。
图1是采用DCT算法的常规有损压缩/解压缩过程的图示,在该过程中,边缘噪声可出现在从压缩图像中重构的图像;
图2是编码和解码图像的示例性方法的图示,该方法结合图像编码和解码采用边缘编码和解码;
图3是用于边缘检测和边缘选择的示例性技术的图示,其中边缘选择根据率-失真准则而发生;
图4是边缘区域、边缘区域的简档(profile)以及边缘区域的简档的二次导数的图示;
图5是沿边缘应用的6抽头滤波器以及跨边缘应用的6抽头滤波器的图示;
图6是用于采用链编码方向来编码边缘的边缘编码的示例性技术的图示;
图7是用于两个不同场景的可能的边缘链码方向的图示;
图8是为能够将码边缘信息串成链的示例性模型提供信息的一对表;
图9是用于起始点映射的示例性方法的图示;
图10是可用于实现此处所讨论的各种示例性方法的部分或全部的示例性计算设备的各个组件的图示。
详细描述
概览
一种示例性技术采用基于变换和基于像素的方法保存边缘和轮廓信息。该技术缩小用于在频域表示的低频区域并在像素域保持所选的高频区域。因此,对于一给定图像,图像的各低频部分可由低分辨率信号来描述,该低分辨率信号能够采用常规的基于变换的方法来被有效处理,而图像的各高频部分可由边缘来描述,该边缘以高分辨率被提取以便直接在像素域处理。当媒体内容被重构时,可采用高频信号可将缩小的图像从低分辨率插值至例如其原始的分辨率。由于边缘信息是媒体表示中的独立分量,它可以被获得以用于各种目的(例如,索引、搜索、分类、机器视觉、科学分析等)。
多种技术还允许访问压缩流中的这种结构信息。例如,搜索应用程序可访问该信息以进行更好的媒体搜索。
各图包括用于进行一个或多个动作的代表典型的软件模块的框。例如,框可以是当执行时进行一个或多个动作的处理器可执行指令。在某些实例中,这种框可以被实现为硬件或硬件和软件。对于硬件,MPEG-4编码器和/或解码器芯片是通常用于电视机顶盒、DVD播放器、DVD录制机、数字媒体适配器、便携式媒体播放器等硬件的示例。
静止图像
各种常规的静止图像压缩技术由联合图像专家组(JPEG)定义。作为许多基于DCT的处理的典型,基线JPEG有损处理涉及由以下进行的编码:(i)将输入图像的各分量分割成8×8个块;(ii)对每个块进行二维DCT;(iii)均匀量化各DCT系数;(iv)从先前块中对应的项中减去量化后的DC系数;以及(v)采用可变长度码(VLC)对量化后的系数进行熵编码。解码是通过逆序地对编码器的各运算进行逆变化来进行的。例如,解码涉及:(i)熵解码;(ii)进行1-D DC预测;(iii)进行逆量化;(iv)对8×8块进行DCT逆变换;以及(v)重构基于8×8块的图像。尽管该处理不限于8×8块,优选n为整数的2n×2n的方块。
视频
各种常规视频压缩技术由运动图像专家组(MPEG)定义,MPEG为陆地数字、电缆和卫星电视、DVD、数码录像机(DVR)等提供了一种相对广泛的标准。MPEG类似于JPEG对各帧采用有损DCT压缩。MPEG还采用通过仅对各周期性帧之间的差异进行编码来进一步压缩数据的帧间编码。采用帧间编码,视频序列可由关键帧来表示,该关键帧包含完整内容以及增量帧,关键帧采用帧间的递增差异来编码。例如,增量帧通常包括有过改变的图像块以及运动向量(例如,双向等)的信息或从上一帧起移动过的图像块的信息。在视频内容是比较静态的情况下,增量帧易于被压缩最多。
边缘噪声
如在背景一节中所解释的,有损DCT压缩并没有充分处理边缘和轮廓。特别地,随压缩率增加,高频内容噪声增加。被称为“边缘忙碌”的一种失真发现失真集中在对象的边缘。边缘忙碌还可进一步由媒体内容的时间和空间特征来表征。例如,当由于量化器的波动使得重构的边缘从一个扫描线到另一个扫面线在位置上略有变动时,边缘忙碌发生。如已提到的,边缘忙碌的一种更特定的类型是蚊子噪声,该蚊子噪声是一种出现在MPEG以及采用DCT进行压缩的其它视频帧中的对象的清晰边缘周围的失真。
图1显示一图示以示出由有损DCT压缩/解压缩过程100产生的边缘噪声。该过程以将采用有损DCT压缩108被压缩的原始图像104为始。该压缩过程108包括变换算法120、量化变换系数的算法122以及编码量化后的系数的算法124(例如,熵编码器)。在该示例中,压缩过程108采用量化表130和码表132以供支持。该压缩图像可以作为比特流112被传输至解压缩在其中发生的目的地。
对于比特流112,信息可以是一种数据分组形式。各种媒体系统(例如,媒体播放器)可接收分组格式的媒体。另外,可以可选地包括报头和/或其它信息,其中该信息与该分组相关,例如,分组的填充、比特率和/或其它格式信息(例如,误差修正等)。
该解压缩过程116一般涉及解码经量化的系数114、解量化系数142以及进行逆变换140。如已经解释的,在边缘特别是高对比度边缘存在的情况下,“能量”可通过变换至频域而被分散。当进行逆变换时,分散的能量又可终结为一个除对应的原始像素之外的像素。重构图像104’将此示为沿边缘的噪声,注意该噪声可以沿所有边缘存在,特别是沿高对比度边缘而存在。
示例性方法
图2示出用于由边缘和低分辨率信号来表示图像的示例性方法200。该方法200包括由编码器201执行的编码阶段以及由解码器203执行的解码阶段。例如,媒体服务器可包括编码器201,且客户机计算设备可包括解码器203。在这样一个示例中,经编码的图像244可作为文件或流通过网络从媒体服务器被传输到客户机计算机设备。如此所述的,编码阶段可包括一个或多个预处理步骤以及特定的编码步骤,并且解码阶段可包括特定的解码步骤和一个或多个后处理步骤。
参考来自通常被称为“福曼”测试视频(参见,例如,与国际电话电报咨询委员会相关联的测试媒体)的标准测试视频文件的第一图像,示出该方法200。该图像被隔离成低频部分和高频部分,注意低频部分和高频部分中的每一个可表示图像的各种区域。更具体地,高频部分表示边缘,低频部分表示驻留在边缘之间的各区域。因此,方法200包括高频处理(图2左侧)、低频处理(图2右侧)以及用于区别和用于合并低频和高频信息的处理(图2中间)。
在编码阶段,边缘检测和选择框210检测原始图像中的边缘,将这些边缘变薄至预定宽度(例如,一个像素的宽度),然后通过采用率-失真准则来选择边缘中的一些边缘。总之,检测和选择框210以一种可经由边缘编码框215无损描述的方式定义图像的高频部分。以下进一步讨论边缘编码的示例性方法的细节。
对于图像的低频部分,降采样框230采用边缘降采样图像以创建低分辨率图像。降采样过程可在所选边缘的帮助下操作(见从框210至框230的虚线)降采样后,图像编码框235对低分辨率图像进行编码。
如图2所示,所选边缘和低分辨率图像被复用框240编码(例如,压缩)并复用以形成经编码的图像244。经编码的图像244可以是适用于存储或传输的数据文件或者数据流(例如,分组或其它格式)。在提供视频的情况下,可采用编码器201处理视频的各图像以生成经编码的视频。
如以下更详细地描述,一种用于编码所选边缘215的过程可将所选边缘编码为起始点和一系列链方向值(例如,链码)。该信息可以被存储为能被搜索引擎访问的数据结构和/或它能够被用来基于所选边缘信息索引图像(例如,起始点信息和链方向信息)。例如,索引可基于诸如边缘个数(例如,基于二进制起始点映射的信息)和边缘长度(例如,链码中的值的个数)等边缘特征对图像进行索引。
如所述的,常规编码技术并不分开编码边缘,因此,边缘信息对于索引、搜索等是不能现成获得的。考虑图像在其中被获取以用于质量控制的机器视觉示例。该图像可包括与某些质量方面相关的边缘信息,而其它“非边缘”区域对其它质量方面是有用的。在该示例中,分开的边缘编码允许搜索算法来仅基于边缘信息发现边缘异常(例如,对应于一个坏的产品的起始点的个数和/或短的平均边缘长度)。在特定图像被标识为与可能的有缺陷的产品相关联的情况下,降采样后的信息可用来重构高分辨率图像以便更全面地理解缺陷(参见,例如以下解码阶段的描述)。
方法200的解码阶段包括解码器244接收经编码的图像244。该解码过程被分叉成由边缘解码框252执行的边缘解码步骤以及由图像解码框272执行的图像解码步骤。因此,两种经编码的数据被接收。一个是能采用对应的图像解码方案272被解码的低分辨率图像,另一个是能采用示例性边缘解码方案252被解码的边缘。经边缘解码252和图像解码272后,生成框280通过采用解码边缘对经解码的低分辨率图像进行升采样来生成高分辨率图像。因此,方法200的解码阶段可解码所选边缘信息以及降采样后的图像信息以生成具有比降采样后的图像分辨率高的升采样后的图像。
总之,方法200用于采用边缘和低分辨率信号的高效图像表示。这种技术可减少与边缘相关联的噪声,允许基于边缘特征等的索引。
边缘检测
图3示出方法200的检测和选择框210的细节。更具体地,图3示出边缘检测框212和边缘选择框214,以及高分辨率的福曼图像、福曼图像的边缘以及福曼图像的所选边缘。参考图4的边缘区域402的示意图(例如,福曼图像的边缘)描述边缘检测框212。一般而言,自然图像中的边缘区域可以被简单地建模成亮度渐变区域,如由边缘区域402的空白圈(或者像素),阴影圈和深色圈所指示的。边缘区域402包括单个边缘以及在一定宽度或4个像素到三个像素的规模内的双边缘点。
最经典的边缘检测技术将边缘的概念定义为经高斯滤波的图像的拉普拉斯算子的交零(zero-crossing)位置。例如,图4示出边缘区域的简档以及位于边缘区域402的双边缘点之间的单个边缘点的二次导数404。在图4的示例中,边缘位置在区域的中心。因此,本地结构被描述为图边缘区域402所示的具有规模或宽度参数的单个交零边缘。然而,因为边缘区域的规模和宽度随自然图像任意变化,所以该描述缺少精确性而可能导致性能损失。
如图4所示,双边缘点将整个区域402分成三个子区域(边缘的左侧、边缘以及边缘的右侧)。这些子区域的每一个相对较平滑,没有大的密度不连续(例如,图4的灰度示例)。如此处所述,不管所采用的边缘检测类型如何(例如,滤波器或其它边缘检测技术),降采样(例如框230)或升采样(例如,框280)的步骤应该在子区域不穿过边缘的图像子区域内操作。相应于该方法,边缘可被维持为尽可能地锐利。
边缘选择
从原始图像中提取的边缘能够减少升采样后的图像的失真,而用于对其进行编码的比特数也应该被考虑。示例性边缘选择过程214采用率-失真准则来确定边缘的效率。该率-失真准则可由以下方程式表示:
其中Dedge是原始图像与利用某边缘的升采样后的图像之间的失真,将在以下进一步讨论,Redge是编码边缘所需的比特数。对于该方法,边缘的更高优先级导致更高的编码性能。根据重构图像所要求的质量,具有较高优先级的若干边缘被优先地选择作为图像的高频部分。
采用边缘进行降采样/升采样
图5示出降采样和升采样的各个方面,其中滤波器沿边缘操作502以及其中滤波器跨边缘操作504。尽管这些边缘在图像中是不连续的,它们沿轮廓是平滑的。即,边缘上的像素可以通过在同一边缘上的其相邻像素来恢复。事实上,它们可以使用由H.264和MEPG-4高级视频编码(AVC)ITU-T标准采用的6抽头滤波器来被降采样或升采样,但降采样或升采样应沿边缘方向502。注意,MEPG-4可伸缩视频编码(SVC)标准仍然不完整,但预期它可以定义至少用于亮度分量的同样的6抽头滤波器。
对于非边缘像素,这些像素位于两边缘间的平滑区域中,它们被所述的6抽头滤波器降采样或升采样。当滤波器穿过边缘,它将被截掉并且该区域内的像素值将被延伸,如图5的滤波器跨边缘方案504所示。
边缘编码
图6示出用于图2的示例性边缘编码215的两个方案602、604。链码方向方案602示出用于形成链的各种方向,而边缘示例方案604示出链是如何从具有与方向602相一致的各种链接的起始点形成的。由于两个边缘图像之间的强方向相关度,链编码被用来描述边缘。链码被定义成从0到7,并被赋予当前像素的从右边一个起始的8个相邻点。这在边缘示例604中被示出。任意边缘描述包括起始点的位置和从第一方向到最后的链码序列。例如,图5的示意图502,504中的边缘可以由起始点的位置和链码序列7-6-7-0-7-6(例如,对应于602的链方向的序列)来表示。
在为全部所选边缘生成链码序列后,“边缘图像”被分成两部分。一个部分是每个所选边缘的链码序列,它能通过基于上下文的适应算术编码被编码;另一个部分是全部边缘的起始点,它能通过二进制映射被表示。如以下所解释的,该映射中的每个点以二进制编码指示该点是否是起始点“1”或非“0”。
基于上下文的适应算术链编码
为了为算术编码建立上下文模型,考虑两个方面。首先,考虑哪些上下文是可用的和有用的;其次,考虑需要多少上下文模型以及每个上下文模型的概率分布。
假设“C”是当前链码,P0是前一个,P1是P0的前一个。从图2和图3所示的边缘图像,大多数边缘具有强方向性和连续性。因此,P0和P1可以是对C的良好预测。第三上下文是“L”,它是由低分辨率图像预测得到的方向。
图7示出两个示意图702,704,以示出链编码的一些特征。示意图702涉及前一个方向是水平或垂直方向的实例,示意图704涉及前一个方向是对角线的实例(参见,例如,图6的链码方向602)。在边缘宽度被设置成一个像素的情况下,所有边缘是一个像素宽,且链不能回溯至已经被通过的像素,这意味着当链中的一个像素确定其8个相邻像素中的哪一个来提供下一个链接方向后,其它7个相邻像素不能被用来派选择之用。因此,根据示意图702,如果P0是水平或垂直的,C被限制为三种可能值:P0,P0+1,P0-1。在P0是对角方向的情况下,根据示意图704,C受限于五种可能值:P0,P0+1,P0-1,P0+2,P0-2。由于这个原因,示例性上下文模型被分类成两个类别。此外,根据统计数据,一些模型可以被并于每个类别。例如,如果P0、P1及L均等于某个方向“a”,则C是最可能为“a”的。该示例性链编码技术导致13个模型,在图8中示出。具体地,图8示出被分类成用于水平或垂直的前一个方向802的模型0_0至0_4以及用于对角方向的前一个方向804的模型1_0至1_7的示例性链编码模型800。
用于起始点映射的四树几何编码
图9示出使用用于起始点映射的四树几何编码的示例性技术900。在各种常规的方法中,每个边缘的起始点通过固定长度比特被编码。然而,由于图像尺寸随增加的处理速度以及减少的存储成本而增加,比特数变得越来越大。为了解决这个问题,示例性二进制映射被用来表示图像的所有起始点。在图9的实例中,方法900采用四树几何算法来编码起始点映射。图像映射910示出图像中的起始点,在该图像中,每个起始点对应所选边缘的开始。图像映射910以二进制形式被表示,其中像素位置是,例如,或者“1”或者“0”,以指示该位置是否对应于起始点。
图像映射910随后根据四树几何编码被划分成四部分,以产生图像映射920,其中每个部分的一个比特用来指示该部分是否包含至少一个起始点:“1”是和“0”否。如果一部分确实包含至少一个起始点,则该部分被可递归地划分成更小部分,直至其到达预先设定的尺寸的最终块(end block);否则,部分不需要被进一步划分。最终块尺寸可根据需要进行选择,例如,最终块可以是一个或多个尺寸2×2、2×3、3×2和3×3(例如,按像素)。一旦到达最终块分辨率,在每个块中,如果其包含仅一个起始点,则该点的索引被编码。否则,该框的整个比特图案被编码成确保所有起始点的信息被保留。
示例计算设备
图10示出可用于实现此处所讨论的各种示例性方法的部分或全部的示例性计算设备1000的各个组件。
图10所示的计算设备只是计算环境的一个示例,且并非旨在对计算机和网络体系结构的使用范围或功能提出任何限制。也不应将该计算环境解释为对示例操作环境中所示出的任一组件或其组合有任何依赖性或要求。
参考图10,用于实现示例性的编码和/或解码过程的示例性系统包括诸如计算设备1000等计算设备。在一个非常基本的配置中,计算设备1000通常包括至少一个处理单元1002和系统存储器1004。取决于计算设备的确切配置和类型,系统存储器1004可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或是两者的某种组合。系统存储器1004通常包括操作系统1005、一个或多个程序模块1006,并且可包括程序数据1007。该基本配置在图10中由虚线1008内的组件示出。
操作系统1005可包括基于组件的框架1020,其支持组件(包括属性和事件)、对象、继承、多态性、反射,并且提供面向对象的基于组件的应用程序编程接口(API),诸如由华盛顿州雷蒙德市的微软公司制造的.NETTM框架的API。
计算设备1000还可具有附加特征或功能。例如,计算设备1000还可包括附加数据存储设备(可移动和/或不可移动),诸如,例如磁盘、光盘或磁带。这样的附加存储在图10中由可移动存储1009和不可移动存储1010示出。计算机存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器1004、可移动存储1009和不可移动存储1010都是计算机存储介质的示例。因此,计算机存储介质包括但不限于,RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或能用于存储所需信息且可以由计算设备1000访问的任何其它介质。任何这样的计算机存储介质都可以是设备1000的一部分。计算设备1600还可具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等输入设备1012。还可包括诸如显示器、扬声器、打印机等输出设备1014。这些设备在本领域是公知的,因此不必在此详细讨论。
计算设备1000还可包含允许该设备诸如通过网络来与其它计算设备1016进行通信的通信连接1018。通信连接1016是通信介质的一个示例。通信介质通常由诸如载波或其它传输机制等已调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据来体现,并包括任何信息传递介质。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被设定或更改的信号。作为示例而非限制,通信介质包括有线介质,诸如有线网络或直接线连接,以及无线介质,诸如声学、RF、红外线和其它无线介质。如此处所使用的术语计算机可读介质包括存储介质和通信介质两者。
各种模块和技术在此可在诸如程序模块等由一个或多个计算机或其它设备执行的计算机可执行指令的一般上下文中描述。一般而言,程序模块包括用于执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。这些程序模块等可以作为本机代码执行或诸如在虚拟机或其它即时(just-in-time)编译执行环境中下载和执行。通常,程序模块的功能可以在各个实施例中按需进行组合或分布。
这些模块和技术的实现可以存储在某种形式的计算机可读介质上或通过某种形式的计算机可读介质传输。计算机可读介质可以是可由计算机访问的任何可用介质。作为示例而非限制,计算机可读介质可包括“计算机存储介质”和“通信介质”。
然而,本领域技术人员可认识到此处所描述的技术也可在没有这些具体细节中的一个或多个的情况下,或者用其它方法、资源、材料等来实施。在其它情况下,仅仅为了避免混淆各示例性技术的各方面而未详细地示出或描述公知的结构、资源或操作。
虽然示出和描述了各示例和应用,但可以理解,这些技术不限于上述精确配置和资源。可以对此处所公开的方法和系统的安排、操作和细节作出对本领域技术人员显而易见的各种修改、改变和变更,而不背离其实际范围。
Claims (17)
1.一种用于编码图像的方法,该方法至少部分地由计算设备执行,该方法包括:
接收图像数据;
检测该图像数据中的边缘,选择检测到的边缘中的至少一些,并将所选边缘编码为所选边缘信息,其中该选择检测到的边缘中的一些包括将率-失真准则应用于该检测到的边缘,该率-失真准则包括用于边缘的优先级值,该优先级值基于边缘失真值、非边缘失真值和编码该边缘所需的比特数的值;
降采样图像数据并将降采样后的图像编码为降采样后的图像信息;以及
复用所选边缘信息和降采样后的图像信息。
2.如权利要求1所述的方法,其特征在于,该检测边缘包括过滤该图像数据。
3.如权利要求1所述的方法,其特征在于,该编码所选边缘包括链编码。
4.如权利要求3所述的方法,其特征在于,对于水平或垂直的前一个链方向,下一个链方向对应于三个链方向中的一个。
5.如权利要求3所述的方法,其特征在于,对于呈对角线的前一个链方向,下一个链方向对应于五个链方向中的一个。
6.如权利要求3所述的方法,其特征在于,该链编码包括用于水平或垂直的前一个链方向的模型以及用于呈对角线的前一个链方向的模型。
7.如权利要求3所述的方法,其特征在于,该链编码将边缘编码为一系列链方向值。
8.如权利要求1所述的方法,其特征在于,该编码所选边缘包括起始点的二进制映射,其中每个边缘包括由二进制值表示的起始点。
9.如权利要求8所述的方法,其特征在于,该二进制映射包括采用四树几何划分图像的区域,并且其中该划分包括到达以像素指定的预定的最终块尺寸时终止对区域的划分。
10.如权利要求1所述的方法,其特征在于,该编码所选边缘包括将每个所选边缘编码为起始点和一系列链方向值。
11.如权利要求1所述的方法,其特征在于,该复用包括将所选边缘信息以及降采样后的图像信息存储为经编码的图像文件。
12.如权利要求11所述的方法,其特征在于,该经编码的图像文件包括按可被搜索引擎访问的数据结构的所选边缘信息。
13.如权利要求1所述的方法,其特征在于,还包括将用于该图像的所选边缘信息存储在文件中并至少部分地基于所选边缘信息索引该文件。
14.如权利要求1所述的方法,其特征在于,还包括解码经复用的所选边缘信息和降采样后的图像信息以生成具有比该降采样后的图像分辨率高的升采样后的图像。
15.一种用于编码图像中的边缘的方法,该方法至少部分地由计算设备执行,该方法包括:
接收图像数据;
检测该图像数据中的边缘;
采用率-失真准则选择检测到的边缘中的至少一些,该率-失真准则包括用于边缘的优先级值,该优先级值基于边缘失真值、非边缘失真值和编码该边缘所需的比特数的值;
将所选边缘编码为所选边缘信息,其中该所选边缘信息包括二进制起始点映射和链码。
16.如权利要求15所述的方法,其特征在于,还包括基于所选边缘信息索引该图像。
17.一种用于编码图像中的边缘的系统,该系统至少部分地由计算设备执行,该系统包括:
用于接收图像数据的装置;
用于检测该图像数据中的边缘的装置;
用于采用率-失真准则选择检测到的边缘中的至少一些的装置,该率-失真准则包括用于边缘的优先级值,该优先级值基于边缘失真值、非边缘失真值和编码该边缘所需的比特数的值;
用于将所选边缘编码为所选边缘信息的装置,其中该所选边缘信息包括二进制起始点映射和链码。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/770,154 US8116581B2 (en) | 2007-06-28 | 2007-06-28 | Efficient image representation by edges and low-resolution signal |
US11/770,154 | 2007-06-28 | ||
PCT/US2008/067814 WO2009006056A2 (en) | 2007-06-28 | 2008-06-22 | Efficient image representation by edges and low-resolution signal |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101689297A CN101689297A (zh) | 2010-03-31 |
CN101689297B true CN101689297B (zh) | 2012-09-05 |
Family
ID=40160601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200880022303.6A Active CN101689297B (zh) | 2007-06-28 | 2008-06-22 | 采用边缘和低分辨率信号的高效图像表示 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8116581B2 (zh) |
EP (1) | EP2171684A4 (zh) |
CN (1) | CN101689297B (zh) |
WO (1) | WO2009006056A2 (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009290552A (ja) * | 2008-05-29 | 2009-12-10 | Fujifilm Corp | 動画圧縮装置および動画圧縮プログラム |
US20100278232A1 (en) * | 2009-05-04 | 2010-11-04 | Sehoon Yea | Method Coding Multi-Layered Depth Images |
US8761531B2 (en) * | 2009-07-09 | 2014-06-24 | Qualcomm Incorporated | Image data compression involving sub-sampling of luma and chroma values |
KR20110011361A (ko) * | 2009-07-28 | 2011-02-08 | 삼성전자주식회사 | 샘플링을 이용한 영상 데이터 인코딩/디코딩 장치 및 인코딩/디코딩 방법 |
US9055305B2 (en) * | 2011-01-09 | 2015-06-09 | Mediatek Inc. | Apparatus and method of sample adaptive offset for video coding |
US10477225B2 (en) * | 2011-03-28 | 2019-11-12 | UtopiaCompression Corporation | Method of adaptive structure-driven compression for image transmission over ultra-low bandwidth data links |
CN103931193B (zh) * | 2011-09-21 | 2017-11-21 | Lg电子株式会社 | 编码/解码图像的方法和装置 |
US9761028B2 (en) * | 2013-02-13 | 2017-09-12 | Konica Minolta Laboratory U.S.A., Inc. | Generation of graphical effects |
KR102272108B1 (ko) * | 2015-02-27 | 2021-07-05 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US10789495B2 (en) * | 2016-12-21 | 2020-09-29 | Volkswagen Ag | System and method for 1D root association providing sparsity guarantee in image data |
GB2568261B (en) * | 2017-11-08 | 2022-01-26 | Displaylink Uk Ltd | System and method for presenting data at variable quality |
CN109242807B (zh) * | 2018-11-07 | 2020-07-28 | 厦门欢乐逛科技股份有限公司 | 渲染参数自适应的边缘软化方法、介质及计算机设备 |
US10664997B1 (en) * | 2018-12-04 | 2020-05-26 | Almotive Kft. | Method, camera system, computer program product and computer-readable medium for camera misalignment detection |
CN111654706B (zh) * | 2020-05-06 | 2022-06-28 | 山东浪潮科学研究院有限公司 | 一种视频压缩方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5761341A (en) * | 1994-10-28 | 1998-06-02 | Oki Electric Industry Co., Ltd. | Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform |
CN1332576A (zh) * | 2000-09-29 | 2002-01-23 | 深圳市中兴通讯股份有限公司 | 一种用于图像压缩传输的量化与码流控制方法 |
US6542545B1 (en) * | 1999-10-01 | 2003-04-01 | Mitsubishi Electric Reseach Laboratories, Inc. | Estimating rate-distortion characteristics of binary shape data |
CN1761323A (zh) * | 2005-09-25 | 2006-04-19 | 海信集团有限公司 | AVS,h.264视频帧间编码基于边缘方向的帧内预测方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3987412A (en) * | 1975-01-27 | 1976-10-19 | International Business Machines Corporation | Method and apparatus for image data compression utilizing boundary following of the exterior and interior borders of objects |
US4777651A (en) * | 1984-06-25 | 1988-10-11 | Tektronix, Inc. | Method of pixel to vector conversion in an automatic picture coding system |
DE3542484A1 (de) * | 1985-11-30 | 1987-07-02 | Ant Nachrichtentech | Verfahren zur erkennung von kantenstrukturen in einem bildsignal |
US5392365A (en) | 1991-12-23 | 1995-02-21 | Eastman Kodak Company | Apparatus for detecting text edges in digital image processing |
JPH07288815A (ja) * | 1994-04-20 | 1995-10-31 | Oki Electric Ind Co Ltd | 動画像符号化装置及び動画像復号化装置 |
US6226414B1 (en) * | 1994-04-20 | 2001-05-01 | Oki Electric Industry Co., Ltd. | Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform |
US5600772A (en) * | 1994-08-17 | 1997-02-04 | Printronix, Inc. | Bit map character convertor using chain-codes for the character filling process |
JP3562661B2 (ja) * | 1994-12-12 | 2004-09-08 | ソニー株式会社 | 画像信号符号化方法及び画像信号復号方法 |
KR0171151B1 (ko) * | 1995-03-20 | 1999-03-20 | 배순훈 | 곡률 계산 기법을 이용한 이미지 윤곽 근사화 장치 |
US5790269A (en) * | 1995-12-12 | 1998-08-04 | Massachusetts Institute Of Technology | Method and apparatus for compressing and decompressing a video image |
US5787203A (en) * | 1996-01-19 | 1998-07-28 | Microsoft Corporation | Method and system for filtering compressed video images |
US6990248B2 (en) * | 1996-05-09 | 2006-01-24 | Koninklijke Philips Electronics N.V. | Segmented video coding and decoding method and system |
KR100209419B1 (ko) * | 1996-07-09 | 1999-07-15 | 전주범 | 영상신호로 표현된 객체의 윤곽선 부호화 방법 |
US6370192B1 (en) | 1997-11-20 | 2002-04-09 | Hitachi America, Ltd. | Methods and apparatus for decoding different portions of a video image at different resolutions |
US6501860B1 (en) * | 1998-01-19 | 2002-12-31 | Canon Kabushiki Kaisha | Digital signal coding and decoding based on subbands |
US6400844B1 (en) | 1998-12-02 | 2002-06-04 | Xerox Corporation | Method and apparatus for segmenting data to create mixed raster content planes |
US6259803B1 (en) | 1999-06-07 | 2001-07-10 | The United States Of America As Represented By The Secretary Of The Navy | Simplified image correlation method using off-the-shelf signal processors to extract edge information using only spatial data |
US7440635B2 (en) | 2000-05-30 | 2008-10-21 | Sharp Laboratories Of America, Inc. | Method for removing ringing artifacts from locations near dominant edges of an image reconstructed after compression |
US6904176B1 (en) | 2001-09-19 | 2005-06-07 | Lightsurf Technologies, Inc. | System and method for tiled multiresolution encoding/decoding and communication with lossless selective regions of interest via data reuse |
US7388988B2 (en) * | 2002-01-14 | 2008-06-17 | Hewlett-Packard Development Company, L.P. | Systems and methods for processing boundary information of a graphical object |
US7376896B2 (en) * | 2002-01-15 | 2008-05-20 | International Business Machines Corporation | System for recording world wide web browsing sessions navigation on a real-time basis and for subsequently displaying the recorded sessions as surrogate browsing sessions with user enabled real-time modification |
US7023487B1 (en) | 2002-01-25 | 2006-04-04 | Silicon Image, Inc. | Deinterlacing of video sources via image feature edge detection |
WO2004004359A1 (en) * | 2002-07-01 | 2004-01-08 | E G Technology Inc. | Efficient compression and transport of video over a network |
US7280700B2 (en) * | 2002-07-05 | 2007-10-09 | Microsoft Corporation | Optimization techniques for data compression |
US7139442B2 (en) | 2002-12-16 | 2006-11-21 | Xerox Corporation | Template matching applied to selector planes for multiple raster content (MRC) representation of documents |
US7283589B2 (en) * | 2003-03-10 | 2007-10-16 | Microsoft Corporation | Packetization of FGS/PFGS video bitstreams |
US7313285B2 (en) * | 2003-05-30 | 2007-12-25 | Lucent Technologies Inc. | Method and apparatus for compressing and decompressing images captured from viewpoints throughout N-dimensional space |
US6894628B2 (en) * | 2003-07-17 | 2005-05-17 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and methods for entropy-encoding or entropy-decoding using an initialization of context variables |
US7433535B2 (en) * | 2003-09-30 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Enhancing text-like edges in digital images |
JP2006246351A (ja) | 2005-03-07 | 2006-09-14 | Matsushita Electric Ind Co Ltd | 画像符号化装置および画像復号化装置 |
US8467448B2 (en) * | 2006-11-15 | 2013-06-18 | Motorola Mobility Llc | Apparatus and method for fast intra/inter macro-block mode decision for video encoding |
JP4031523B2 (ja) | 2007-08-09 | 2008-01-09 | 京セラミタ株式会社 | 複合機 |
-
2007
- 2007-06-28 US US11/770,154 patent/US8116581B2/en active Active
-
2008
- 2008-06-22 CN CN200880022303.6A patent/CN101689297B/zh active Active
- 2008-06-22 EP EP08771696.5A patent/EP2171684A4/en not_active Ceased
- 2008-06-22 WO PCT/US2008/067814 patent/WO2009006056A2/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5761341A (en) * | 1994-10-28 | 1998-06-02 | Oki Electric Industry Co., Ltd. | Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform |
US6542545B1 (en) * | 1999-10-01 | 2003-04-01 | Mitsubishi Electric Reseach Laboratories, Inc. | Estimating rate-distortion characteristics of binary shape data |
CN1332576A (zh) * | 2000-09-29 | 2002-01-23 | 深圳市中兴通讯股份有限公司 | 一种用于图像压缩传输的量化与码流控制方法 |
CN1761323A (zh) * | 2005-09-25 | 2006-04-19 | 海信集团有限公司 | AVS,h.264视频帧间编码基于边缘方向的帧内预测方法 |
Non-Patent Citations (1)
Title |
---|
匡蕴娟,等.多种链编码在数字图像中的标定算法.《计算机应用研究》.2007,(第2期), * |
Also Published As
Publication number | Publication date |
---|---|
US20090003720A1 (en) | 2009-01-01 |
WO2009006056A2 (en) | 2009-01-08 |
WO2009006056A3 (en) | 2009-03-05 |
EP2171684A2 (en) | 2010-04-07 |
CN101689297A (zh) | 2010-03-31 |
US8116581B2 (en) | 2012-02-14 |
EP2171684A4 (en) | 2013-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101689297B (zh) | 采用边缘和低分辨率信号的高效图像表示 | |
JP5957559B2 (ja) | 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置 | |
EP3354030B1 (en) | Methods and apparatuses for encoding and decoding digital images through superpixels | |
Kou | Digital image compression: algorithms and standards | |
CN101243685B (zh) | 数字媒体数据的编码方法、处理方法及处理装置 | |
JP2012527168A (ja) | 視覚データを圧縮するための変換の選択 | |
EP1679658A2 (en) | Image signal transforming method, image signal inversely-transforming method, image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program | |
EP4175298A1 (en) | Encoder and method of encoding a sequence of frames | |
CN116582685A (zh) | 一种基于ai的分级残差编码方法、装置、设备和存储介质 | |
KR20020064786A (ko) | 웨이블릿 분해를 사용하는 비디오 인코딩 방법 | |
Hussain et al. | Developed JPEG Algorithm applied in image compression | |
Kadhim | Image compression using discrete cosine transform method | |
KR102113904B1 (ko) | 보간을 이용한 연산 방법, 인코더, 및 디코더 | |
Babu et al. | Hyperspectral image compression algorithms—a review | |
KR101703330B1 (ko) | 이미지 재부호화 방법 및 그 장치 | |
WO2023197032A1 (en) | Method, apparatus and system for encoding and decoding a tensor | |
Sayood | Data Compression. | |
Singh et al. | COMPARATIVE STUDIES OF VARIOUS TECHNIQUES FOR IMAGE COMPRESSION ALGORITHM | |
PL | A Study on Image Compression Technology | |
Mietens et al. | New dct computation algorithm for video quality scaling | |
Gao et al. | Relative sparsity estimation based compressive sensing for image compression applications | |
Dutoit et al. | How are digital images compressed in the web? | |
JP2003023633A (ja) | 画像復号化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: MICROSOFT TECHNOLOGY LICENSING LLC Free format text: FORMER OWNER: MICROSOFT CORP. Effective date: 20150507 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20150507 Address after: Washington State Patentee after: Micro soft technique license Co., Ltd Address before: Washington State Patentee before: Microsoft Corp. |