CN103797804A - 利用差分和群集的视频压缩系统和方法 - Google Patents

利用差分和群集的视频压缩系统和方法 Download PDF

Info

Publication number
CN103797804A
CN103797804A CN201280042610.7A CN201280042610A CN103797804A CN 103797804 A CN103797804 A CN 103797804A CN 201280042610 A CN201280042610 A CN 201280042610A CN 103797804 A CN103797804 A CN 103797804A
Authority
CN
China
Prior art keywords
difference
edge
outward flange
node
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280042610.7A
Other languages
English (en)
Inventor
马克·莫里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ORGANIZATIONAL STRATEGIES INTERNATIONAL Pte Ltd
Original Assignee
ORGANIZATIONAL STRATEGIES INTERNATIONAL Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ORGANIZATIONAL STRATEGIES INTERNATIONAL Pte Ltd filed Critical ORGANIZATIONAL STRATEGIES INTERNATIONAL Pte Ltd
Publication of CN103797804A publication Critical patent/CN103797804A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种视频压缩系统和方法,用于隔离和捕获用于视频压缩的视频数据,从而消除对运动矢量和区块的需要。在从视频输入设备(诸如摄像机)捕获数据时,数据被捕获并隔离到不同图像数据的群集中。群集然后被扫描、填充、标记、分割和混合,以便压缩视频数据。

Description

利用差分和群集的视频压缩系统和方法
相关专利申请的交叉引用
本专利申请是基于提交于2011年8月30日的美国非临时性专利申请13/220,812的国际专利申请,该美国非临时性专利申请的公开内容在此全文以引用方式明确地并入本申请中。
背景技术
1.技术领域
本公开文献涉及视频压缩领域。更具体地说,本公开文献涉及隔离和捕获用于视频压缩的视频数据。
2.背景技术信息
随着视频数据越来越多地在计算机系统中使用于多种应用(诸如视频会议和视频录制)中,计算机系统经常不能跟上视频数据的计算要求。视频数据流通常具有非常大的带宽要求,这个非常大的带宽要求可能使即使最高速的处理器的性能承受负担以压缩视频数据来进行存储或者在计算机网络或电话系统上进行传送。这个压缩通常是由计算机系统中的中央处理单元(CPU)执行的,而由于CPU不能跟上视频数据从而导致图像清晰度的损失。具有多个运动元素的复杂场景是最大的挑战,因为它们在压缩和数据传送处理期间向CPU施加了巨大的负担。
因此,要支持实时视频传输就要求大量的数据压缩。但是,数据压缩可能牺牲画面质量。因此,人们已经付出了大量努力来开发允许在带宽受限的数据连接上进行高质量视频的实时传输的压缩技术。在视频压缩系统中,主要的目标是以尽可能少的容量来表示视频信息。在MPEG和H.26标准中介绍了最常用的视频编码方法。
视频数据压缩中耗时的步骤是计算连续视频帧之间的差值。CPU通常通过将当前视频帧读入存储器中并且计算当前视频帧与前一视频帧之间的差值来计算差值帧,其中该前一视频帧先前已经被存储到计算机系统中的存储器内。对差值进行计算通常涉及在当前视频帧和前一视频帧之间执行“异或”运算。一般而言,可以使用任何有效地表示两个连续视频帧之间差值的函数,而只对相关压缩算法进行很小的修改。因此,可以使用大量可能的函数来计算连续视频帧之间的差值。
发明内容
本发明涉及用于隔离和捕获用于视频压缩的视频数据的视频压缩领域。
在一个实施例中,提供了一种用于在网络系统中压缩视频数据的方法,包括从视频输入端接收当前视频帧、计算当前视频帧与前一视频帧之间的差值、以及处理所计算的差值以确定用于压缩的图像数据群集。
在一个方面中,该方法包括扫描该图像数据群集以定位围绕该图像数据群集的外边缘节点;和确定图像数据中未处理的差值点;并且在发现未处理的差值点时,将这些点标记为围绕该图像数据群集的外边缘节点,并且当已经发现所有未处理的差值点时,对表示外边缘节点的外边缘数据进行压缩。
在另一方面中,该方法包括消除冗余边缘节点;沿着外边缘节点的内部扫描以检测相邻内部边缘;扫描外边缘节点和相邻边缘节点以定位未填充内部点;递归地填充未填充内部点和色彩捕获;以及利用递归填充来定位浮动内部边缘。
在另一方面中,该方法包括将当前视频帧与未来视频帧捕获色彩之和放置到区块中;将当前视频帧与该未来视频帧捕获色彩之差放置到区块中;以及压缩这些区块。
在本发明的另一实施例中,提供了一种存储用于在网络系统中压缩视频数据的程序的非暂态性计算机可读介质,该网络系统包括接收当前视频帧的计算机,该程序能由该计算机执行并且包括计算当前视频帧与前一视频帧之间的差值以及处理所计算的差值以确定用于压缩的图像数据群集。
在再一实施例中,提供了一种用于在网络系统中压缩视频数据的网络系统,包括发送当前视频帧的发送器;从发送器接收当前视频帧的接收器;以及处理器:计算当前视频帧与前一视频帧之间的差值;并且处理所计算的差值以确定用于压缩的图像数据群集。
附图说明
图1示出了根据本发明一个实施例的一个示例性系统。
图2示出了根据本发明另一实施例的另一示例性系统。
图3示出了根据本发明处理差值的一个示例性示意图。
图4示出了根据本发明使用的一个示例性罗盘。
图5A至5E示出了根据本发明的一个示例性图像数据扫描。
图6A至6D示出了根据本发明的另一示例性图像数据扫描。
图7A和7B示出了根据本发明的另一示例性图像数据扫描。
图8A至8C示出了根据本发明的另一示例性图像数据扫描。
图9A至9C示出了根据本发明的另一示例性图像数据扫描。
图10A和10B示出了根据本发明的另一示例性图像数据扫描。
图11A和11B示出了根据本发明的另一示例性图像数据扫描。
图12A至12C示出了根据本发明的另一示例性图像数据扫描。
图13示出了根据本发明的图像数据的分组和存储的一个示例性示意图。
图14A和14B示出了根据本发明对图像数据进行混合的一个示例性处理。
图15A至15I示出了根据本发明对不清楚图像进行校正的一个示例性实施例。
图16A和16B示出了根据本发明对不清楚图像进行校正的一个示例性实施例。
图17示出了根据本发明检查图像数据的一种示例性方法。
图18A至18F示出了根据本发明堆叠或合并差值的一个示例性示意图。
图19示出了根据本发明的一个示例性流程图。
具体实施方式
因此,根据上面的描述,本公开文献通过其多个方面、实施例和/或具体特征或子部件中一个或多个旨在提供下面具体指出的优点中的一个或多个。
本公开文献涉及视频压缩领域。更具体地,本公开文献涉及隔离和捕获用于视频压缩的视频数据。
因此,本发明提供了一种允许通过捕获视频帧之间差值来重放运动视频的视频压缩技术。该技术利用帧之间的关键差值以群集发生这一事实。
图1示出了根据本发明一实施例的一个示例性系统。系统1例如包括外围设备可以连接到的网络N,外围设备例如是计算机SC和RC。外围设备可以包括处理器和可以被运行以使外围设备执行本文中所公开的方法或基于计算机的功能中任何一个或多个的一组指令(诸如算法)、以及捕获静止和视频图像数据的视频输入端。视频输入端可以作为外围设备的部件或者作为单独设备被并入。还要认识到的是,虽然示例性实施例中的外围设备是计算机,但是它们并不限于这样的实施例。例如,外围设备可以是任何移动设备,诸如智能电话、移动电话、平板计算机、膝上型计算机、PDA等。外围设备可以作为单独设备工作,或者可以例如利用网络(可以使用任何类型的网络,如本领域中很容易理解的那样)连接到其他计算机系统或外围设备。此外,该系统不限于所示出的实施例,并且可以包括任何数量或变型形式的网络和/或外围设备。
图2示出了根据本发明另一实施例的另一示例性系统。这里描述的系统应用使用基于网络服务的接口来对用户进行验证并且将用户与他们的资源连接。这些资源由从通常在整个企业内部位于多个部门和分部中的各种不同信息存储库提取的信息构成。这些存储库可以在文字处理器文档(例如Word)、复杂关系数据库(即ORACLE,MySQL,SQL服务器)、文档管理系统(例如Documentum)、平面文件数据库、以及甚至由作为普通用户与系统交互的应用从屏幕“刮来的”信息的组合中。
图3示出了根据本发明处理差值的一个示例性示意图。可以在客户机端、用户端、服务器端、或在远程位置(或其任何组合)处进行的视频数据处理通过使用下面的系统和方法来完成。差分30标识基于例如各种阈值需要改变的视频数据中的像素。为了实现该标识,使用罗盘32来在扫描数据时表示方向和坐标。主边缘扫描40用于用边缘节点围绕差值群集,并且利用半岛-峡沟跳变(peninsula-isthmus hopping)42和主边缘西南侧处理44来消除冗余边缘节点,如下面将更详细介绍的那样。一旦完成,相邻边缘扫描48就标识与主边缘紧邻的内部边缘,并且填充起始点50指定从哪里开始填充处理,其标识内部像素和浮动边缘。通过使用取消标记填充34来减少内部边沿的数量,通过使用主边缘回滚36来移除重要性低的主边缘,并且通过使用扩展标记38来减少内部边沿和半岛-峡沟跳变。为了进一步有助于数据压缩,颜色桶46包括色谱信息,诸如内部YBCBR或RGB颜色信息,并且具有通过将区块分割为更小区块来标识压缩区部而确定的可变尺寸。混合52然后减少不期望的锐边沿的出现,并且模糊预防54通过分离当前和未来边缘之间重叠和不重叠区域而减少了由压缩而导致的失真(即“模糊”)的量。此外,边缘锐化56特征通过使边缘附近的颜色平滑过渡以减少方形像素的出现而进一步减少了由压缩而导致的失真的量。也可以使用其它技术(诸如界限检查旁路58和差值堆叠60)来分别消除对界限检查的需要以及将差值合并在一起以减少带宽。上述方法中的每一个都将在下面详细地讨论。
如上所述,为了填充二维差值阵列,将当前图像中每个像素与先前图像中的像素进行比较。如果一像素的颜色改变大于指定阈值,则该像素被标记为具有差值。为了确定图像内像素的位置或方位,使用罗盘32。图4示出了根据本发明使用的一个示例性罗盘。利用该罗盘,只需要三个比特来表示一个方向。因为存在八个方向,并且不需要返回到前一像素或位置,所以对于图像内的任何方向移动,可能有七个方向。例如,如果前一边缘节点在向东的方向上移动而变为当前像素,则下一像素的方向不会是朝西(这会是前一像素)。因此,可以使用三个比特来表示罗盘上的八个方向(北、东北、东、东南、南、西南、西和西北)。由于一个比特不用于方向目的(7个比特被使用,而不是8个),所以其可以被用作指示包括附加数据的特殊节点的标志(例如该标志用于标记相邻边缘原点、相邻边缘的结束和半岛-峡沟跳变器着陆点)。应该理解的是,所描述的发明仅仅是一个实施例,而并不限于说明书和附图的范围。例如,可以使用更多或更少的方向、比特等。
图5A至5E示出了根据本发明的一个示例性图像数据扫描。为了找到图像的外(主)边缘,执行差值阵列的初始扫描,如图5A中所示。将利用一个实例来描述数据扫描,该实例并不旨在对本发明的范围进行限制。在一个实施例中,初始扫描开始于图像的左上方,并且对于阵列中的每一行从左向右移动。但是应该理解,可以本领域技术人员已知的任何方式执行扫描。当检测到数据中的第一差值时,认识到下一差值不会是在西方、西北方、北方或东北方的数据(即像素)。否则,这些像素会已经在扫描期间被定位。因此,扫描继续向东、然后顺时针、通过所有罗盘坐标,直到确定下一差值(图5B)。一旦确定下一差值,则扫描以与先前方向相关的开始方向继续进行,如图5C和5D中所示。例如,如果先前方向是南方,则开始方向在向东北的坐标中(图5C)。如果先前方向是东南,则开始方向在向东北的坐标中(图5D)。参考图5E,继续扫描直到返回到主边缘原点,除非存在特殊情形(下面将参考半岛-峡沟跳变和主边缘西南侧处理来讨论)。在完成扫描后,主边缘可以被表示为x、y坐标(原点)以及三比特方向节点序列。一旦确定新差值群集边缘中的点(边缘和内部点),初始扫描就将继续而不扫描先前捕获的点。
图6A至6D示出了根据本发明的另一示例性图像数据扫描。图6A示出了半岛形状的数据,其中数据的像素以凸起的方式从数据主体向外延伸。图6B示出了峡沟形状的数据,其中数据的像素形成连接两个较大数据体的窄带。数据中像素的半岛和峡沟形成这二者都为扫描带来了难度。为了避免处理已经处理过的边缘节点,使用特殊半岛-峡沟跳变,如图6C和6D中所示。半岛-峡沟跳变开始于首先检测到半岛或峡沟的边缘节点(“跳变点”)HP并且将“跳变”到“着陆点”LP。如图中所示,跳变点被表示为HP,着陆点被表示为LP。半岛-峡沟跳变主要用于主边缘,这是由于着陆点信息的处理和存储大小的缘故。然而,浮动边缘(下面将会介绍)也可以使用半岛-峡沟跳变来实现类似的优点。
图7A和7B示出了根据本发明的另一图像数据扫描。如果主边缘原点出现在峡沟上,则整个“西南侧”SWS将被跳过,如图7A中所示。为了解决这个问题,在半岛-峡沟处理期间搜索着陆点时执行以下操作,并且主边缘原点被检测。在原点附近执行扫描,并且还没有作为边缘节点被处理的任何差值点被设置为着陆点LP。这将允许跳变功能在主边缘原点之上“跳过”,如箭头SKP所示。然后继续在主边缘的“西南侧”附近扫描,如图7B中所示。
图8A至8C示出了根据本发明的另一示例性图像数据扫描。一旦已经进行主边缘扫描,就为相邻边缘扫描(处理)数据。通过沿着主边缘的内部扫描以搜索任何具有向北、东、南和西无差异的差值(除了已经检测到的相邻边缘节点),来执行相邻边缘扫描。检测到的边缘将变为相邻边缘原点。向东北、东南、西南和西北无差异将通过其它相邻边缘原点被检测或被变为浮动边缘(下面将介绍)。或者,扫描可以针对无差异检查所有方向,并且忽略“角落”单点相邻边缘。相邻边缘具有顺时针侧和逆时针侧(即以顺时针方向和逆时针方向执行扫描)。在顺时针方向上,对于差值执行扫描,其中从无差异方向顺时针地开始一个方向。在逆时针方向上,对于差值执行扫描,其中从无差异方向逆时针地开始一个方向,如图8B和8C所示。例如,在逆时针方向上,当先前方向是北时,开始方向是东北,当先前方向是东北时,开始方向是东南,依次类推。继续对每个侧进行处理,直到找到先前处理过的边缘节点。要注意的是,相邻边缘也可以具有其它相边缘,这可以通过为其它相邻边缘原点扫描相邻边缘来递归地处理(并且在结束点,执行完整围绕扫描)。
图9A至9C示出了根据本发明的另一示例性图像数据扫描。通过扫描主边缘和相邻边缘来定位内部未填充点(即填充起始点)。当找到填充起始点时,递归地执行填充处理,以填充并非边缘节点的向北、东、南和西的每个未填充点(图9A)。在处理填充时,具有向北、东、南或西无差异点的点被设置为浮动边缘(图9B)。浮动边缘使用用于原点的x、y坐标,但是以顺时针和逆时针方向且没有半岛-峡沟跳变地类似于相邻边缘以其它方式被处理。浮动边缘也可以具有紧挨着它们的相邻边缘。或者,浮动边缘可以使用半岛-峡沟跳变,并且丢弃逆时针方向。如图9C中所示,以单个填充起始点不能到达一些点。因此,可能需要提供不止一个填充起始点。
图10A和10B示出了根据本发明的另一示例性图像数据扫描。为了减少内部边沿的数量,根据以下处理来填充指定差值(即未标记)区域。未标记阈值被选择为未标记区域为了避免被填充而包括的最少像素数量。在创建相邻或浮动边缘之前,需要相邻或浮动边缘的未标记区域被填充。这是利用临时二维填充阵列来实现的,递归底填充向北、东、南和西的非差异点。如果不满足阈值,则未标记点被标志为差值点,使得TGB被包括在颜色桶中(下面将介绍),并且相邻或浮动边缘不被创建。例如,如图10A和10B中所示,如果未标记阈值大于3并且小于或等于7,则相邻边缘会被创建,但是浮动边缘会被填充。
图11A和11B示出了根据本发明的另一示例性图像数据扫描。在这个实例中,很小一组差值被检测到并被标志以被忽略。这些较小的组通常是例如由相机振动和通量导致的。当主边缘中所有点(像素)的数量太小(由阈值确定)时,执行主边缘回滚。在后来在处理中出现的帧中,回滚差值可能最终累积并且被捕获。首先,确定回滚阈值。如果边缘节点和内部像素的总数低于该阈值,则所有像素(像素组)将被回滚(即差值将被标记为非差异,并且将在初始扫描期间被忽略)。
图12A至12C示出了根据本发明的另一示例性图像数据扫描。为了减少主边缘、半岛-峡沟跳变和内部边沿的数量,执行扩展标记处理(图12A)。在与取消标记填充结合时,执行扩展标记处理将有助于减少表示边缘所需要的字节数量。然而,不在已经被回滚的边缘上执行扩展标记处理。在扩展标记处理中,每个边缘(主边缘和内部边缘)被导航并从该边缘标记出一个像素作为北、东、南和西方向上的差值。从与先前方向相反的方向开始下一顺时针(N/E/S/W)罗盘位置,并且顺时针继续直到来自下一方向的先前位置(例如,对于内部边缘的逆时针侧,从与先前方向相反的方向逆时针方向地移动一个N/E/S/W位置,并且逆时针继续直到从下一方向到达先前逆时针位置)。在峡沟点、半岛顶端以及内部边缘起始和结束点处,在每个方向上标记出一个点,如图12B所示。因此,邻近边缘将被合并,并且半岛将消失。在内部边缘上扩展标记时,未标记区域将收缩,从而有很大可能性它将通过取消标记填充处理被填充。将利用新标记差值点重新处理边缘处理,并且新相邻和浮动边缘可以通过取消标记处理而被移除(图12C)。内部YBCBR或RGB被放置到颜色桶(下面介绍)中。所得到的扩展边缘具有更平滑的形状,这允许更容易的压缩。
图13示出了根据本发明的图像数据的分组和存储的一个示例性示意图。颜色桶被用于为内部填充区域分组和存储颜色信息,并且用于存储与边缘点相关联的颜色信息。例如,颜色桶在存储器中以8×8、4×4和2×2区块存储YBCBR或RGB数据以有利于压缩。应该理解的是,区块维度在边缘边沿附近是可变的,并且以这种方式分离像素颜色减少了由压缩所导致的溢色的量。可以使用任何压缩方法,诸如离散余弦变换(DCT)或小波变换,如容易理解的那样。为了填充颜色桶,在一个实施例中执行以下处理。对于每一行从左上角向右上角扫描图像数据。在找到需要色彩捕获的像素时,通过利用x和y坐标执行并除以8、并且截取余数且使用余数来确定8×8桶内的坐标,来找到8×8桶。为每一行执行从左向右的另一扫描。计数器被使用并且递增,以便跟踪在8×8颜色桶中捕获多少像素YBCBR或RGB。继续扫描,在处理8×8桶上跳过。于是,YBCBR数量少于预定数量的8×8桶被划分为4×4区块使用。YBCBR数量等于或大于预定数量的8×8桶使间隙以平均化方法填充以进行压缩。YBCBR数量少于预定数量的4×4桶然后被划分为2×2区块使用。YBCBR数量等于或大于预定数量的4×4桶使间隙以平均化方法填充以进行压缩类似地,相应地压缩所有YBCBR都存在的2×2桶。少于所有YBCBR存在的2×2桶使其缩小8倍以进行压缩。
图14A和14B示出了根据本发明混合图像数据的一个示例性处理。执行混合以减少其中类似颜色经常改变的颜色边沿(在附图中用灰色阴影表示)。在混合之前,建立混合深度、相似度阈值和对角权重。混合深度被定义为非差异区域内的像素数量(该数量可以事先限定或者自动确定)。例如,对于未扩展边缘和等于1的混合深度,紧挨着边缘节点的非差异像素将被混合。另一方面,例如对于活动的扩展标记,等于1的混合深度会混合边缘上的每一个像素。例如等于2的混合深度会混合边缘像素和边缘之外的一个像素,而等于3的混合深度会混合来自第二深度的一个像素。相似度阈值被定义为邻近影响像素与当前或目标像素要多相似才能触发混合。相似度阈值用于防止混合具有精确颜色边沿的区域。最后,平直和对角权重限定邻近像素对相互的影响有多强。针对混合的像素(目标像素)的颜色将使其颜色被邻近混合影响改变。例如,如果混合影响对角线于目标(在朝着NE/SE/SW/NW的方向上),则该影响与在朝着N/E/S/W的方向上的混合影响相比,将对颜色改变具有更小的效应。应该理解的是,可以使用任何用于确定影响效应的方法,如本领域中容易理解的那样,并且本发明并不限于所描述的实施例。
图15A至15I示出了根据本发明对不清楚图像进行校正的示例性实施例。在这个实施例中,执行基本颜色校正。由于颜色压缩,图像中对象的边沿经常变得不清楚或模糊。由于通过对未压缩原始图像进行差分来生成边缘,所以会出现由于运动图像而产生“摇晃模糊”的情形。例如,参考图15A和15B,如果数据的原始8×8区块没有任何边缘穿过该区块,则在压缩后任何颜色边沿都将是不清楚的。如果导致颜色边沿的对象移动,则清晰度(模糊)将摇晃,因为其发生在差分区域之外。为了防止发生拖尾模糊,边缘被用于标识拖尾边沿位于何处,并且然后将该边沿附近的颜色放置到单独的颜色桶中。这例如是通过以下方式来实现的:使用单个帧缓冲器来“预测”未来帧中的一个边缘,因为这个未来帧将包括当前运动对象的拖尾边沿。图15C、15D和15E分别示出了运动对象的前一帧、当前帧和未来帧。图15F、15G、15H和151分别示出这个运动对象的当前边缘、未来边缘、当前减未来帧和当前加未来帧。利用未来边缘的填充区域,存在于当前边缘和未来边缘二者中的点被放置到颜色桶中。存在于当前边缘中但不存在于未来边缘中的点将进入另一颜色桶中。来自当前差值群集的颜色被放置到这两个颜色桶中。为了消除冗余处理,未来边缘被用作为用于下一帧的当前边缘。
图16A和16B示出了根据本发明对不清楚图像进行校正的一个示例性实施例。通过使用具有拖尾边沿检测(上面参考图15A至15I所述)的边沿聚焦差分,捕获运动对象的最可见边沿。利用由边缘扫描所获知的边缘坐标,边沿的锐化被简化。以这种方式,在视频被放大(并且各个像素可以被伸展以覆盖多个像素)时,可以使紧靠着对比颜色的边缘附近的任何伸展像素看起来更不是方块,从而大大地提高了总体图像质量。例如,图16A示出了没有边缘锐化的放大图像的像素,而图16B示出了已经处理边缘锐化的放大图像的像素。此外,边沿聚焦差分可以与全局运动补偿(其针对相机运动进行调节)一起使用,并且可以仍然应用于图像数据的全局偏移帧之间。
图17示出了根据本发明检查图像数据的一个示例性示意图。为了消除对检查图像界限的需要,在每个数据阵列周围添加8像素宽边界。在边沿处理时,将不使用超出该边界的坐标。相反,每个x和y坐标被偏移8个像素以平移到实际坐标和从实际坐标平移。
图18A至18F示出了根据本发明对差值进行堆叠或合并的一个示例性示意图。利用差分技术,每个差值被传送给客户机,以便避免总体图像质量。利用差分,重要的是每个差值被传送给客户机。任何丢失的差值将损害整个图像。如果存在传输延迟并且几个差值正待传送给客户机,则可能应用“差值堆叠”来将差值堆叠或合并为单个差值以减少带宽。可以跳过用于为新堆叠群集寻找外边缘原点而执行的从左到右扫描。堆叠的外原点将是相对于被堆叠的边缘最高最左边的外原点。“堆叠的差值”的最新近颜色将被捕获,并且不进行扩展标记或取消标记填充。作为另一性能改进,可以相互独立解码的压缩颜色区块可以保持被压缩,直到堆叠完成。被新区块完全覆写的这些区块中的任何区块可以被忽略,从而减少解压缩的区块数量。
图19示出了根据本发明的一个示例性流程图。下面介绍根据本发明一个实施例的处理流程。处理通常在客户机外围设备之一处执行,但是并不限于这样的实施例。处理开始于S10,其中在第一图像(例如当前图像)和第二图像(例如先前图像)之间计算差值。在S15,差值被聚集并且被扫描以形成围绕聚集数据的边缘节点。在S15中,还可以利用半岛-峡沟跳变和主边缘西南侧处理来消除冗余边缘节点。在扫描时(S20),如果发现未处理的差值点,则处理前进到S25。在S25,外边缘被定位。在S30,利用取消标记填充减少内部边沿的数量,并且利用主边缘回滚移除重要性低的外边缘,并且利用扩展标记减少内部边沿和半岛-峡沟跳变。相邻内部边缘扫描在S35标识与外边缘紧邻的内部边缘,并且填充起始点指定在S40从哪里开始填充处理,其在S45标识内部像素和浮动边缘。如果在S20没有发现未处理的差值点,则边缘在S50被压缩,当前加未来颜色在S52被放置在区块中并压缩,并且色谱信息(诸如YBCBR或RGB)被放置到区块中,混合减少了不期望的锐边沿的出现,并且所得到的数据在S54被压缩。
还要指出的是,边缘压缩可以基于边缘在一个总体方向上行进扩展的时间段的一般趋势(这经常沿着运动对象附近的平滑边沿发生)。为了加以利用,可以执行边缘扫描以找出存在相同三方向高频率的伸展。代替如上所述的用罗盘坐标表示方向,可以使用霍夫曼(Huffman)编码来压缩它们。
虽然已经参考几个示例性实施例介绍了本发明,但是应该理解,所使用的词句是描述和举例说明的词句,而不是限制性的词句。可以在不背离本发明在其各个方面的范围和精神的情况下,对所附权利要求(当前陈述的和修改后的)的范围内进行修改。虽然已经参考特定装置、材料和实施例描述了本发明,但是本发明并不旨在限于所公开的细节;相反,本发明涵盖所附权利要求的范围内的所有功能等同结构、方法和使用。
本文所描述的实施例的举例说明旨在提供对各种实施例的结构的一般性理解。举例说明并不是要用作对使用本文所公开的结构或方法的设备和系统的所有元素和特征的完整描述。本领域技术人员在阅读本公开文献后可以想到很多其他实施方式。其他实施方式可以被使用和从本公开文献中导出,从而可以在不背离本公开文献的范围的情况下,进行结构和逻辑替代和修改。此外,图示仅仅是代表性的,并且可能不是按比例绘制的。图示中的某些比例可能被放大,而其他比例可能被缩小。因此,应该将公开内容和附图看作示例性的,而非限制性的。
本公开文献中的一个或多个实施例可能在本文中单独地和/或组合地被用术语“发明”来称呼,这仅仅是为了方便的原因,而并不是要自行将本专利申请的范围限制到任何特定发明或发明构思。此外,虽然本文中已经图示和描述了具体实施例,但是应当理解,设计为实现相同或类似目的的任何后续设置可以被替代用于所示出的具体实施例。本公开文献旨在涵盖各种实施例的任何和所有后续修改或变型形式。本领域技术人员在阅读说明书后将想到上述实施例的组合和本文中没有具体介绍的其他实施例。
说明书摘要是按照37C.F.R.§1.72(b)提供的,并且在认为其不会被用于解释或限制权利要求范围和含义的情况下被提交。此外,在前面的具体实施方式中,多个特征可能被分组在一起或者在单个实施例中被描述,以使公开内容流畅。本公开文献不应被解释为反映了以下意图:要求保护的实施例需要比每个权利要求中明确记载的特征更多的特征。相反,如下面权利要求所反映的,发明主题可以涉及比任何所公开的实施例的所有特征少。因此,下面的权利要求被并入具体实施方式中,其中每个权利要求各自独立地表示限定单独请求保护的主题。
上面公开的主题应被认为是示例性的,而不是限制性的,并且所附权利要求旨在涵盖落在本公开文献真实精神和范围内的所有这样的修改形式、增强形式、和其他实施例。因此,在法律允许的最大范围内,本公开文献的范围应通过对后面的权利要求及其等同形式的允许的最宽泛解释来确定,并且不应被前面的详细描述限制或局限。

Claims (12)

1.一种用于在网络系统中压缩视频数据的方法,包括:
从视频输入端接收当前视频帧;
计算所述当前视频帧与前一视频帧之间的差值;和
处理所计算的差值以确定用于压缩的图像数据群集。
2.根据权利要求1所述的方法,还包括:
扫描所述图像数据群集以定位围绕所述图像数据群集的外边缘节点;和
确定所述图像数据中未处理的差值点;和
在找到所述未处理的差值点时,将所述点标记为围绕所述图像数据群集的外边缘节点,并且
在已经找到所有所述未处理的差值点时,压缩代表所述外边缘节点的外边缘数据。
3.根据权利要求2所述的方法,还包括:
消除冗余边缘节点;
沿着所述外边缘节点的内部扫描,以检测相邻内部边缘;
扫描所述外边缘节点和相邻边缘节点,以定位未填充内部点;
递归地填充未填充内部点和色彩捕获;以及
利用所述递归填充来定位浮动内部边缘。
4.根据权利要求2所述的方法,还包括:
将所述当前视频帧和未来视频帧捕获色彩之和放置在区块中;
将所述当前视频帧和所述未来视频帧捕获色彩之差放置在区块中;以及
压缩所述区块。
5.一种非暂态性计算机存储介质,存储用于在网络系统中压缩视频数据的程序,所述网络系统包括接收当前视频帧的计算机,所述程序能由所述计算机运行并且包括:
计算所述当前视频帧与前一视频帧之间的差值;和
处理所计算的差值以确定用于压缩的图像数据群集。
6.根据权利要求5所述的方法,还包括:
扫描所述图像数据群集以定位围绕所述图像数据群集的外边缘节点;和
确定所述图像数据中未处理的差值点;和
在找到所述未处理的差值点时,将所述点标记为围绕所述图像数据群集的外边缘节点,并且
在已经找到所有所述未处理的差值点时,压缩表示所述外边缘节点的外边缘数据。
7.根据权利要求6所述的方法,还包括:
消除冗余边缘节点;
沿着所述外边缘节点的内部扫描,以检测相邻内部边缘;
扫描所述外边缘节点和相邻边缘节点,以定位未填充内部点;
递归地填充未填充内部点和色彩捕获;以及
利用所述递归填充来定位浮动内部边缘。
8.根据权利要求6所述的方法,还包括:
将所述当前视频帧和未来视频帧捕获色彩之和放置在区块中;
将所述当前视频帧和所述未来视频帧捕获色彩之差放置在区块中;以及
压缩所述区块。
9.一种用于在网络系统中压缩视频数据的网络系统,包括:
发送器,发送当前视频帧;
接收器,从所述发送器接收当前视频帧;和
处理器:
计算所述当前视频帧和前一视频帧之间的差值;和
处理所计算的差值以确定用于压缩的图像数据群集。
10.根据权利要求9所述的系统,其中所述处理器:
扫描所述图像数据群集,以定位围绕所述图像数据群集的外边缘节点;以及
确定所述图像数据中未处理的差值点;以及
在找到所述未处理的差值点时,将所述点标记为围绕所述图像数据群集的外边缘节点,并且
在已经找到所有所述未处理的差值点时,压缩表示所述外边缘节点的外边缘数据。
11.根据权利要求10所述的系统,其中所述处理器:
消除冗余边缘节点;
沿着所述外边缘节点的内部扫描,以检测相邻内部边缘;
扫描所述外边缘节点和相邻边缘节点,以定位未填充内部点;
递归地填充未填充内部点和色彩捕获;以及
利用所述递归填充来定位浮动内部边缘。
12.根据权利要求10所述的系统,其中所述处理器:
将所述当前视频帧和未来视频帧捕获色彩之和放置在区块中;
将所述当前视频帧和所述未来视频帧捕获色彩之差放置在区块中;以及
压缩所述区块。
CN201280042610.7A 2011-08-30 2012-08-29 利用差分和群集的视频压缩系统和方法 Pending CN103797804A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/220,812 2011-08-30
US13/220,812 US9071818B2 (en) 2011-08-30 2011-08-30 Video compression system and method using differencing and clustering
PCT/US2012/052835 WO2013033191A1 (en) 2011-08-30 2012-08-29 Video compression system and method using differencing and clustering

Publications (1)

Publication Number Publication Date
CN103797804A true CN103797804A (zh) 2014-05-14

Family

ID=47743715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280042610.7A Pending CN103797804A (zh) 2011-08-30 2012-08-29 利用差分和群集的视频压缩系统和方法

Country Status (8)

Country Link
US (1) US9071818B2 (zh)
CN (1) CN103797804A (zh)
AU (1) AU2012302066B2 (zh)
DE (1) DE112012003572T5 (zh)
HK (1) HK1197331A1 (zh)
MY (1) MY184279A (zh)
SG (1) SG11201400979UA (zh)
WO (1) WO2013033191A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071818B2 (en) * 2011-08-30 2015-06-30 Organizational Strategies International Pte. Ltd. Video compression system and method using differencing and clustering
AU2012325919B2 (en) * 2011-10-21 2017-10-26 Hendricks Corp. PTE. LTD An interface for use with a video compression system and method using differencing and clustering
CN104205863B (zh) * 2012-03-27 2017-10-27 三菱电机株式会社 数字广播接收装置和数字广播接收方法
US20230179828A1 (en) * 2020-04-28 2023-06-08 Lg Electronics Inc. Signal processing device and video display device comprising same
US11770584B1 (en) * 2021-05-23 2023-09-26 Damaka, Inc. System and method for optimizing video communications based on device capabilities

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612744A (en) * 1993-12-29 1997-03-18 Electronics And Telecommunications Research Institute Image signal transmitting system using image frames differences
US20040091151A1 (en) * 2001-04-12 2004-05-13 Hui Jin Method for segmenting and recognizing an image in industry radiation imaging
US20050193311A1 (en) * 1996-10-25 2005-09-01 Arnab Das Content-based video compression

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6041078A (en) * 1997-03-25 2000-03-21 Level One Communications, Inc. Method for simplifying bit matched motion estimation
CN1182726C (zh) * 1999-10-29 2004-12-29 皇家菲利浦电子有限公司 视频编码方法
US6674904B1 (en) * 1999-12-14 2004-01-06 Intel Corporation Contour tracing and boundary detection for object identification in a digital image
US7669051B2 (en) * 2000-11-13 2010-02-23 DigitalDoors, Inc. Data security system and method with multiple independent levels of security
US7546334B2 (en) * 2000-11-13 2009-06-09 Digital Doors, Inc. Data security system and method with adaptive filter
US9311499B2 (en) * 2000-11-13 2016-04-12 Ron M. Redlich Data security system and with territorial, geographic and triggering event protocol
US20020112181A1 (en) * 2000-12-12 2002-08-15 Smith Mark Elwin Multilevel secure network access system
US6823382B2 (en) * 2001-08-20 2004-11-23 Altaworks Corporation Monitoring and control engine for multi-tiered service-level management of distributed web-application servers
JP2007189657A (ja) * 2005-12-16 2007-07-26 Fuji Xerox Co Ltd 画像評価装置、画像評価方法及びプログラム
US20080005666A1 (en) * 2006-06-29 2008-01-03 Making Everlasting Memories, Llc System and method for publishing information and content
KR101354759B1 (ko) * 2007-01-03 2014-01-22 엘지전자 주식회사 단말기의 디지털 저작권 관리방법
US8655939B2 (en) * 2007-01-05 2014-02-18 Digital Doors, Inc. Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor
US8468244B2 (en) * 2007-01-05 2013-06-18 Digital Doors, Inc. Digital information infrastructure and method for security designated data and with granular data stores
US8099711B2 (en) * 2008-01-08 2012-01-17 International Business Machines Corporation System and method for multi-level security filtering of model representations
US8218888B2 (en) * 2008-02-25 2012-07-10 Mitsubishi Electric Corporation Motion blur detecting apparatus and method, image processing apparatus, and image display apparatus
US8868096B2 (en) * 2008-04-30 2014-10-21 Alexander Poltorak Multi-tier quality of service wireless communications networks
US20100005179A1 (en) * 2008-07-03 2010-01-07 Raytheon Company Multi-Level Secure Network
CN102077590A (zh) * 2008-07-03 2011-05-25 夏普株式会社 滤波装置
TWI391878B (zh) * 2009-12-01 2013-04-01 Mstar Semiconductor Inc 區塊邊界偵測方法及區塊邊界偵測裝置
JP5359998B2 (ja) * 2010-06-15 2013-12-04 日本電気株式会社 情報処理システム、情報処理方法及び情報処理プログラム
US8453212B2 (en) * 2010-07-27 2013-05-28 Raytheon Company Accessing resources of a secure computing network
US9615116B2 (en) * 2011-06-16 2017-04-04 Pasafeshare Llc System, method and apparatus for securely distributing content
US9071818B2 (en) * 2011-08-30 2015-06-30 Organizational Strategies International Pte. Ltd. Video compression system and method using differencing and clustering
US20130063241A1 (en) * 2011-09-10 2013-03-14 Mihai Simon Secure monitoring device, system, and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612744A (en) * 1993-12-29 1997-03-18 Electronics And Telecommunications Research Institute Image signal transmitting system using image frames differences
US20050193311A1 (en) * 1996-10-25 2005-09-01 Arnab Das Content-based video compression
US20040091151A1 (en) * 2001-04-12 2004-05-13 Hui Jin Method for segmenting and recognizing an image in industry radiation imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GONZALEZ, R ET.AL.: "《Digital image processing. New Jersey》", 31 December 2007 *

Also Published As

Publication number Publication date
SG11201400979UA (en) 2014-07-30
WO2013033191A1 (en) 2013-03-07
US20130051476A1 (en) 2013-02-28
MY184279A (en) 2021-03-30
NZ622775A (en) 2015-07-31
US9071818B2 (en) 2015-06-30
AU2012302066B2 (en) 2016-12-15
DE112012003572T5 (de) 2014-06-18
AU2012302066A1 (en) 2014-04-10
HK1197331A1 (zh) 2015-01-09

Similar Documents

Publication Publication Date Title
JP7276697B2 (ja) ポイントクラウドジオメトリパディング
US11044478B2 (en) Compression with multi-level encoding
KR102224668B1 (ko) 영상 데이터 부호화/복호화 방법 및 장치
CN116248864A (zh) 利用包含追加区域的分割单位的影像解码方法以及装置
CN103797804A (zh) 利用差分和群集的视频压缩系统和方法
KR20240049654A (ko) 영상 데이터 부호화/복호화 방법 및 장치
US11922599B2 (en) Video super-resolution processing method and apparatus
US9865077B2 (en) Redundant pixel mitigation
US9167260B2 (en) Apparatus and method for video processing
CN103716643A (zh) 用于使用内容信息改进视频编码的系统和方法
US20180184096A1 (en) Method and apparatus for encoding and decoding lists of pixels
JP2023040177A (ja) 画像データ符号化/復号化方法及び装置
CN1322443A (zh) 综合运动估值的方法
US7397856B2 (en) Method and apparatus for storing and processing picture information of temporally successive pictures
JP2012129791A (ja) 画像符号化装置
CN103827847A (zh) 与利用差分和群集的视频压缩系统和方法一起使用的接口
Hu et al. Temporal error concealment using quad-tree prediction and coherency sensitive hashing for HEVC
NZ622775B2 (en) Video compression system and method using differencing and clustering
Yu et al. Parallelized Contour Based Depth Map Coding in DIBR
CN114071188A (zh) 处理视频数据的方法、装置及计算机可读存储介质
JP2002152740A (ja) カラー画像符号化装置、カラー画像符号化方法及び記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1197331

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140514

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1197331

Country of ref document: HK