CN1711551A - 用于基于小波的视频编码的感兴趣区域跟踪方法和装置 - Google Patents

用于基于小波的视频编码的感兴趣区域跟踪方法和装置 Download PDF

Info

Publication number
CN1711551A
CN1711551A CNA2003801031365A CN200380103136A CN1711551A CN 1711551 A CN1711551 A CN 1711551A CN A2003801031365 A CNA2003801031365 A CN A2003801031365A CN 200380103136 A CN200380103136 A CN 200380103136A CN 1711551 A CN1711551 A CN 1711551A
Authority
CN
China
Prior art keywords
pixel
picture frame
target area
search
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003801031365A
Other languages
English (en)
Other versions
CN1711551B (zh
Inventor
M·K·B·H·米勒德
F·策比尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Inc
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1711551A publication Critical patent/CN1711551A/zh
Application granted granted Critical
Publication of CN1711551B publication Critical patent/CN1711551B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种用于跟踪图像帧序列中的感兴趣区域的方法和装置，其中将在先帧的目标区域的边界投影到当前帧上，以致可以建立当前帧中的搜索区。针对当前帧中的搜索区中的每个像素，在前一帧中建立搜索窗，以在该搜索窗中找出匹配像素。如果该匹配像素处于在前帧的ROI中，则将当前帧中的相应像素初步认定为当前帧的ROI内的像素。这一后向匹配是使用小波域中的低通子频带进行的。然后使用高频子频带中的边缘检测细化当前帧中的初步ROI。

Description

用于基于小波的视频编码的感兴趣区域跟踪方法和装置
技术领域
本发明总地来讲涉及基于子频带分解的图像编解码器，并且更加具体地讲，涉及贯穿一系列图像的运动物体的编码。
背景技术
我们一般都知道，图像压缩在减小用于传送或存储的图像数据量方面是很有效的。具体来说，通过引入象JPEG2000这样的可伸缩图像编码格式，使得接收图像文件的一小段并且还要在接收端重构高质量图像成为可能。从图像中略去的部分通常包含描述存在于图像中的高频分量的信息，相当于人类视觉系统(HVS)不是很敏感的细节。
JPEG指的是针对图像压缩的联合图像专家组。在1988年，这个委员会通过了它的第一个标准，称为JPEG基准，它基于离散余弦变换(DCT)和霍夫曼(Huffman)编码。在2001年，JPEG委员会开发了一种新的压缩标准，名为JPEG2000。这种新标准实现了低位速率操作，速率失真和主观图像质量性能优于现有的标准，而没有牺牲速率失真频谱中其它点上的性能。更重要的是，JPEG2000能够实现由同样的码流表示提取压缩图像不同的分辨率和像素逼真度。它还提供了诸如感兴趣区域(ROI)编码和随机访问图像区之类的功能。这使得用户能够由图像的JPEG2000位流表示针对任何目标装置仅仅操作、存储或传送该图像的基本信息。
JPEG2000是基于子频带分解的位平面编码器。它在变换阶段使用小波。将图像分解为多个拆分结果。每个拆分结果由代表低和/或高频率分量的子频带构成。然后从最重要的位平面开始，在位平面内对这些子频带中的采样进行编码。小波变换和位平面编码方案的采用实现了JPEG2000的可伸缩性特色。
运动JPEG2000是一种视频压缩方法，它基于使用JPEG2000的帧内编码。按照运动JPEG2000，将视频序列中的帧编码为独立的图像，即，不进行图像之间的预测。这种编码方案提供了重要的功能，比如质量和分辨率的可伸缩性、对于误码的强健性和帧编辑。不过，与其它的标准相比，比如MPEG-4(使用运动向量估计来编码中间帧)，在压缩能力方面，这种编码方案效果较差。另一方面，可以利用JPEG2000的特点来提高运动JPEG2000的压缩能力，比如ROI编码。
ROI编码是JPEG2000中一种有用的功能。在对图像进行编码的时候，它能够比同一图像中的其它区域更多地在ROI中分配位。通过不均等地对图像的各部分进行编码，以致与不太重要的对象相比，重要的对象可以每像素得以赋予更多的位，获得了更好的视频序列视觉感受，这使得这一特点非常有用，尤其是在低数据速率应用中更为有益。要将视频序列中的重要对象编码为ROI，对这些对象进行跟踪对于产生高质量的视频流非常重要。
ROI跟踪是很多与视觉相关的应用中的重要要素，比如基于视觉的控制、人机交互、监视、农业自动化、医学成像和图像重构。视频序列中的ROI跟踪的主要困难是由于帧序列内的目标区域中的可能变化造成的。这些变化通常是由于姿势、形状变形、照度和目标的局部或全部遮挡而造成的。在设计跟踪算法的时候，应当将这些变化的缘由考虑进来，以便保证强健性和可靠性。
在现有技术中，大多数ROI跟踪方法依赖于多级处理策略，这种策略由三个连续的步骤组成。在第一步中，进行基于颜色的前景分段，并且将与目标区域颜色相近的区屏蔽起来。第二步包括，利用分段图像的水平和垂直求和投影，通过求所估计向量的最小值定位ROI，或者采用基于目标区域的大小、形状、位置、纵横比和颜色一致性的试探法定位ROI。最后一个阶段是细化和平滑区域边界。
Hager等人(《采用几何和照度的参数模型的有效区域跟踪(Efficient Region Tracking with Parametric Models ofGeometry and Illumination)》，IEEE模式分析和机器智能会报(IEEETransactions on Pattern Analysis and Machine Intelligence)，第20卷，第10期，1998年10月)利用了线性模型来简化光流公式，并且利用了一组基本向量通过对目标的训练序列进行奇值分解来模拟照度的变化。Kruger等人(《用于实时面部跟踪的小波子空间方法(Wavelet Subspace Method for Real-time Face Tracking)》，图形识别会议纪要，第23届DAGM论坛(Proc.PatternRecognition，23th DAGM Symposium)，德国慕尼黑，2002年)使用大量的小波函数来构建代表目标特征的小波网络，然后根据小波系数之间的欧几里得距离跟踪ROI。
Kundu(美国专利US5974192)公开了一种根据纹理、起支配作用的边缘像素以及强度和颜色匹配图像序列中的块的方法。Ponticos(美国专利US6035067)公开了一种使用“势阱”利用预先定义的用于对图像区域进行分类的标准来防止前景对象的大运动的方法。Poggio等人(美国专利US6421463)公开了一种在图像中搜索对象的方法，其中必须使用小波系数模板对搜索系统进行训练。
现有方法的主要缺点是运算复杂。而且，它们中的一部分需要针对同样类型、颜色或形状的ROI对跟踪算法进行训练。
这样，提供具有低运算复杂性和适于运动JPEG2000编解码器的存储成本的用于任意形状和类型的ROI跟踪的方法和装置是颇有益处且众望所归的。
发明内容
本发明的主要目的是提供一种用于跟踪图像序列中的对象的至少一部分的方法和装置，其中将这些图像编码为独立的图像，并且跟踪不需要模板和预先训练过的对象。这一目的可以通过将通过色度空间中的像素匹配进行的低频带中的边缘检测与通过使用亮度分量进行的边缘分析在高频带中进行的检测到的边缘的细化相结合而实现的。
这样，按照本发明的第一个方面，提供了一种在图像帧序列中的在先图像帧的目标区域的基础上跟踪图像帧中的目标区域的方法，所述图像帧序列中的每一个帧包括多个像素。所述方法的特征在于
根据所述在先帧中的目标区域的至少一部分确定所述图像帧中的搜索区，所述搜索区包括多个第一像素，每个像素具有至少一个相应第一像素值；和
针对搜索区中的第一像素：
确定所述在先帧中的另一个搜索区，所述另一个搜索区包括在前帧中的多个像素当中的多个第二像素，每个第二像素具有至少一个相应第二像素值和区域状态；
在第二像素值当中找出与所述第一像素的第一像素值之间的匹配，以定位参考第二像素；和
根据参考第二像素的区域状态确定所述第一像素中的至少一个的区域状态，以根据所述至少一个第一像素的区域状态确定所
述图像帧中的目标区域。
第二像素的区域状态代表所述第二像素是否位于所述在前帧中的目标区域内。
由此，在前帧中的目标区域的至少一部分具有用于定义所述图像帧中的相应轮廓的轮廓，并且第一像素包括与所述图像帧中的相应轮廓相邻的像素。
所述图像帧的目标区域包括边界，并且所述图像帧中的所述多个像素包括与该边界相邻的多个第三像素，每个第三像素具有至少一个相应的第三像素值。所述方法的特征此外还在于
确定第三像素的边缘类型，以根据第三像素的边缘类型修改所述图像帧中的目标区域。
第三像素值代表高子频带中的小波系数的亮度分量。
按照本发明的第二个方面，提供了一种计算机程序，用在具有用于将图像帧序列编码为码流的装置的图像编码器中，所述图像帧序列具有至少一个第一图像帧和在前第二图像帧，第一和第二图像帧中的每一个均具有多个像素，其中第二图像帧具有目标区域，所述计算机程序的特征在于：
用于根据第二图像帧中的目标区域的至少一部分定义第一图像帧中的搜索区的代码，所述搜索区包括多个第一像素，每个像素具有至少一个相应第一像素值；和
用于针对搜索区中的第一像素进行下述操作的代码：
确定第二图像帧中的另一个搜索区，所述另一个搜索区包括第二图像帧中的多个像素当中的多个第二像素，每个第二像素具有至少一个相应第二像素值和区域状态；
根据第二像素值当中与所述第一像素的第一像素值之间的匹配确定所述另一个搜索区中的参考第二像素；和
根据参考第二像素的区域状态确定所述第一像素中的至少一个的区域状态，以根据所述至少一个第一像素的区域状态确定第一图像帧中的目标区域。
第二像素的区域状态代表所述第二像素是否位于所述在前帧中的目标区域内。
由此，第一和第二像素值代表低子频带中的小波系数的色度分量的至少之一。
有利地，第一图像帧的目标区域包括边界，并且第一图像帧中的所述多个像素包括与该边界相邻的多个第三像素，每个第三像素具有至少一个相应的第三像素值。所述计算机程序的特征此外还在于
用于确定第三像素的边缘类型以便根据第三像素的边缘类型修改第一图像帧中的目标区域的代码。
由此，第三像素值代表高子频带中的小波系数的亮度分量。
按照本发明的第三个方面，提供了一种图像编码器，用于对包括至少一个第一图像帧和在先第二图像帧的图像帧序列进行编码，第一和第二图像帧中的每一个包括多个像素，第二图像帧具有目标区域，所述图像编码器具有：
用于将各个图像帧分解成多个子频带分量的装置；和
用于将子频带分量编码成码流的装置。所述图像编码器的特征在于
第一算法，响应于子频带分量，用于根据第二图像帧中的目标区域的至少一部分定义第一图像帧中的搜索区，搜索区包括多个第一像素，每个像素具有至少一个相应第一像素值；和
第二算法，响应于第一像素，用于：
确定第二图像帧中的另一个搜索区，所述另一个搜索区包括第二图像帧中的多个像素当中的多个第二像素，每个第二像素具有至少一个相应第二像素值和区域状态；
根据第二像素值当中与所述第一像素的第一像素值之间的匹配确定所述另一个搜索区中的参考第二像素；和
根据参考第二像素的区域状态确定所述第一像素中的至少一的区域状态，以根据所述至少一个第一像素的区域状态确定第一图像帧中的目标区域。
该图像编码器适用于以高于所述第一图像帧中的另一个区域的视觉质量对第一图像帧中的所述目标区域进行编码。
按照本发明的第四个方面，提供了一种图像编码系统，具有用于将图像帧序列编码为码流的编码器和用于根据该码流重构图像帧序列的解码器，其中图像帧序列包括至少一个第一图像帧和在先第二图像帧，第一和第二图像帧中的每一个均包括多个像素，第二图像帧具有目标区域，所述编码器具有：
用于将各个图像帧分解成多个子频带分量的装置；和
用于将子频带分量编码成码流的装置。所述编码器的特征在于
第一算法，响应于子频带分量，用于根据第二图像帧中的目标区域的至少一部分定义第一图像帧中的搜索区，搜索区包括多个第一像素，每个像素具有至少一个相应第一像素值；和
第二算法，响应于第一像素，用于：
确定第二图像帧中的另一个搜索区，所述另一个搜索区包括第二图像帧中的多个像素当中的多个第二像素，每个第二像素具有至少一个相应第二像素值和区域状态；
根据第二像素值当中与所述第一像素的第一像素值之间的匹配确定所述另一个搜索区中的参考第二像素；和
根据参考第二像素的区域状态确定所述第一像素中的至少一个的区域状态，以根据所述至少一个第一像素的区域状态确定第一图像帧中的目标区域。
在结合附图1到5阅读说明书的情况下，本发明将会变得清晰明了。
附图说明
附图1是说明将在先图像帧中的ROI的边界投影到当前图像帧中的示意性表示。
附图2是说明当前图像帧中用于像素匹配的包围着投影得到的ROI边界的区域中的像素的示意性表示。
附图3a是说明估计的当前帧中的ROI的示意性表示。
附图3b是说明水平和垂直边缘检测的示意性表示。
附图4是说明按照本发明的ROI搜索过程的流程图。
附图5是说明能够进行按照本发明的ROI跟踪的图像编码系统的框图。
具体实施方式
按照本发明，将ROI跟踪方法设计成针对序列通过运动JPEG2000进行压缩。该方法由两个步骤构成，这两个步骤在小波域中的低分辨率子频带中进行。在第一个步骤中，通过根据在先帧中的相应目标区域进行后向像素匹配，进行当前帧中的目标区域的估计。使用低频子频带降低了运算复杂程度并且还在跟踪之中引进了稳定性。后向像素匹配估计针对运动采用模型的需要。优选地，第一步是使用用于跟踪的色度或色品(U，V)分量来进行的。与亮度不同，色度分量通常在整个视频序列内是稳定的，并且具有很小的变化。这使得跟踪算法对照度的变化更加强健，从而消除了对入射照度估计的训练序列的需要。在第二步中，使用亮度分量Y的高频子频段(即，HL和LH)来进行边缘检测，以细化所估计的当前帧中的目标区域。使用Y分量能够实现边缘的强健检测，即使当目标区域与同一颜色类型的另一个区域相接触时也是如此。
附图1表示按照本发明的ROI搜索中的第一个步骤，该第一个步骤是为了在当前图像帧k中获得估计的ROI边界。如附图1中所示，将ROI20在图像帧(k-1)中的轮廓投影到图像帧k上。帧(k-1)是在先帧。投影到帧k上的轮廓3O表示为虚线圆。由外边界32和内边界34界定出来的像素带用作当前帧k中的搜索区130。像素带130的宽度是2d。如附图2所示，搜索区130表示ROI轮廓的运动空间，而d是任何位移向量的上边界。只有搜索区130内的像素或者“相关”像素才根据色度分量的低通小波系数进行后向匹配。应当注意，由圆表示的ROI 20的边界仅仅用于图解说明的目的。一般来说，ROI的边界或轮廓的形状是不规则的，并且搜索区130由一组包围着投影得到的ROI轮廓的“相关”像素占据。
后向像素匹配包括将每个“相关”像素映射为在先帧(k-1)中的另一个像素。映射判据是色度分量(U，V)的低通小波系数之间的欧几里得距离。通过小窗口内的局部搜索使得这一度量标准最小。如附图2所示，使用帧k中的像素40来找出帧(k-1)中围绕着相应像素的搜索窗50内的匹配。搜索窗的面积为(2r+1)2，其中r是大于或等于d的整数。如果将像素40表示为xk(i，j)，则搜索窗50包括一组像素xk-1(p，q)，其中(i-r)≤p≤(i+r)，(j-r)≤q≤(j+r)。对于帧k中的搜索区130内的每个像素，进行后向搜索是为了在搜索窗50内找到帧(k-1)内的相应最佳像素xopt。具体来说，如果wk帧k的低通频带，而wk-1是相同的帧(k-1)的低通频道，那么将最佳像素xopt定义为
x opt = min p , q | w k ( i , j ) - w k - 1 ( p , q ) | - - - ( 1 )
同样，搜索窗50是一组可能的匹配，并且匹配是通过依据色度分量求wk(i，j)和wk-1(p，q)之间的欧几里得距离的最小值而实现的。忽略亮度分量Y使得该算法对照度的变化更加强健。应当注意，分量wk(i，j)和wk-1(p，q)与色度空间中的小波系数有关。如果我们将U空间和V空间中的小波系数记为u和v，则w既可以是u也可以是v，或者优选地，w是具有值(u，v)的2D向量。
ROI搜索中的下一步骤是得到各个像素xk(i，j)的区域状态-属于图像的背景(非ROI)还是属于ROI。像素xk(i，j)的区域状态取决于相应像素xopt的区域状态，后者是已知的。这样，如果帧(k-1)中的最佳像素在ROI中，则将相应像素xk(i，j)也设定为在ROI中。类似地，如果帧(k-1)的最佳像素在背景中，则将相应像素xk(i，j)也设定为是背景像素。应当注意，必须将序列中的第一个帧的ROI提供给搜索算法，从而可以据此标注第一帧ROI内和外的每个像素的区域状态。
搜索区130内具有背景状态的那些像素xk(i，j)将用来形成用于定义估计的帧k中的ROI的屏蔽。附图3a是在帧k中经过屏蔽之后估计得到的ROI的示意性表示。
优选地，使用针对最小欧几里得距离规定的上边界来判定匹配是否成功。所规定的上边界例如可以根据面积密度的平均值来设定。如果公式1中的xopt大于所规定的上边界，则将该xopt相应的像素xk(i，j)的区域状态设定为背景。
下一个步骤是调谐过程，这一步骤用于在所估计的ROI的边界像素的基础上细化帧k中的ROI。调谐过程的目的是通过这些边界像素周围的局部搜索检测任何边缘，以确定帧k中最终的ROI。按照本发明，用于调谐过程的搜索域由亮度空间中的HL和LH子频带的系数构成，这分别实现了垂直和水平边缘的提取(附图3b)。使用亮度分量Y能够实现边缘的强健检测，即使当目标区域域同一颜色类型的另一个区域相接触时也是如此。具有较大量级的像素有可能是边缘像素。如果边缘像素恰巧是在背景中，那么在将其包含在ROI中之前应当核对其颜色系数。必须当心不要将不同颜色的像素包括到ROI的轮廓区域中。这样的像素可能会在对整个图像序列进行跟踪的时候导致误差的蔓延。
算法
在将帧(k-1)的ROI轮廓投影到帧k上之后，对帧k中的ROI的搜索是按照下述算法进行的：
遍及帧k中的搜索区域内的所有“相关”像素xk(i，j)进行循环；
为各个xk(i，j)在帧(k-1)中定义一个搜索窗；
遍及所有窗口像素xk-1(p，q)进行循环；
计算欧几里得距离[wk(i，j)-wk-1(p，q)]；
选择最小欧几里得距离，以确定xopt；
按照xopt判定xk(i，j)的区域状态；
根据xk(i，j)的区域状态建立估计的ROI边界；
遍及估计得到的ROI的边界像素进行循环；
区分边界类型；
比较高频系数并且核对颜色系数，以选定边缘像素。
应当注意，上述算法中使用的数学运算是减法和比较。不需要使用乘法。假设编码器已经求出了小波系数，该算法中的最高复杂性在于搜索循环。因为跟踪是以低分辨率进行的，并且目标对象一般来说仅占据图像的一小部分(压缩效率所要求的)，所以循环的平均总数也是很小的。
按照本发明，跟踪一系列图像帧中的一个图像帧内的目标区域的方法在流程图500中进行了概括，如附图4所示。
如附图4所示，在步骤510中，将帧(k-1)中的ROI轮廓投影到帧k上。在步骤512中，建立包含帧k中的包围投影得到的ROI轮廓的多个像素的搜索区。在步骤514中，对于搜索区中的每个像素xk(i，j)，根据欧几里得距离确定帧(k-1)中的搜索窗内的最佳像素xk-1(p，q)。在步骤516中，根据相应的最佳像素确定xk(i，j)的区域状态。如果在步骤518中将搜索区中每个xk(i，j)的区域状态都确定为已判定的，那么在步骤520中根据xk(i，j)的区域状态建立帧k中估计的ROI。在步骤522中，使用亮度空间中的高频子频带来检测估计得到的ROI边界周围的边缘像素，以便细化帧k中的ROI。如果在步骤524中判定当前帧k是序列中的最后一帧，则处理继续进行到下一序列。否则，该处理循环回到步骤510，以确定下一帧中的ROI。
附图5中给出了能够执行按照本发明的目标区域跟踪方法的图像编码系统。该图像编码系统600包括编码器610和解码器630。如附图5中所示，将由多个各自可分成三个颜色平面(R，G，B)的数字图像帧组成的图像序列700提供给转换器模块612。转换器612将数字图像帧转换成YUV格式的一系列数字图像帧710。使用前向小波变换模块614将各个图像帧710中的像素变换为各种不同子频带中的小波系数。将经过变换的图像数据720提供给多分辨率分配模块616，在这个模块616中将每像素更多的位分配给帧中的重要图像区域。最好，将第一个帧中的各个重要图像区域的边界提供给ROI跟踪模块618，以使后续帧中的重要图像区域能够得以自动跟踪。ROI跟踪模块618使用按照本发明的ROI跟踪算法来判定后续帧中的重要图像区域。将多分辨率图像数据730传送给用于编码和压缩的编码模块620。可以对码流740进行实时传送，或者对其进行存储，以备将来使用。在接收端，解码器630在码流740的基础上对输入图像序列700进行重构。如图所示，使用解码模块632来根据码流740对经过变换的数据进行重构。由逆小波变换模块634将重构后的经变换数据750变换为YUV空间内的一系列数字图像帧760。在由转换模块636进行了转换之后，图像数据变成了三个颜色平面(R，G，B)内的一系列数字图像770。
仿真结果
对三个不同的图像序列“MOBILE”、“FOREMAN”和“IRENE”使用了按照本发明的ROI跟踪方法。所有序列具有CIF大小(公用中间格式)和每秒30帧的速率。为了以较低的速率工作，在“MOBILE”和“FOREMAN”序列中每个跟踪重复过程跳过了3个帧，从而跟踪是以每秒7.5帧的速率进行的。在“IRENE”序列中，保持了原始的帧频。
在“MOBILE”序列中，ROI是具有小的周围白色区域的红球。该球进行来来回回的旋转和平移运动，并且与其它相近颜色的区域进行接触。
在“FOREMAN”序列中，所跟踪的人脸改变姿势和位置。在序列的末端，出现场景的急剧变化并且目标区域得以完全关闭。
在“IRENE”序列中，选取了两个ROI，它们各自位于演讲者的两只手上。这两只手表现出了相对快速的位置、姿势和颜色变化。这两只手还与其它肤色区域相重叠，比如脖子区域，这使得跟踪更加困难。
在仿真过程中，将第一帧中的ROI提供给该算法。在每次重复过程中，仅使用在先帧的小波变换。搜索是以第二分辨率(LL子频段)进行的，并且将上边界d选取为等于6个像素，从而搜索窗的大小为16×16像素(r＝8)。在“MOBILE”和“FOREMAN”序列中，最小欧几里得距离的上边界为3。在“IRENE”序列中，没有设定上边界，以便补偿ROI中颜色的变化。
在“MOBILE”序列中，主要的困难是存在很多颜色与目标相近的背景区域。这些区域中的一部分一开始并没有出现在场景中(全部或部分包含)。在第一个帧中，目标区域不包含整个球，因为仅仅出现了球的一部分。仿真结果表明，本跟踪算法能够在视频序列中自始至终保持对球的跟踪。不过，随着重复过程的进行，将背景区域的一部分包含到了ROI中。所包含的区域在颜色和位置上非常接近于目标区域，并且它们一开始并不在该场景中。
在“FOREMAN”序列中，本算法表现出了跟踪面部的能力，尽管在序列的某些周期期间面部姿态以相对较快的运动发生改变。随着重复过程的进行，本算法将脖子的一部分包含在了ROI中。所包含的区域没有分隔边缘地与脸部连在一起。由于颜色分量的相近造成墙壁的一部分也包含在ROI中。仿真结果还表现出了本算法检测目标区域从场景中完全遮挡的能力。
在“IRENE”序列中，以每秒30帧的速率对演讲者的两只手都进行了跟踪。由于位置、姿势(翻面和不同的手指位置)和颜色的明显变化，造成这样的目标区域很难跟踪。为了克服颜色变化的问题，放宽了最小欧几里得距离的上边界。在一些帧中，两只手都会翻面。不过，本算法依然能够跟踪ROI，错过的仅仅是右手的一部分。在一些帧中，尽管与脖子和面部重叠，也实现了良好的跟踪性能。当手从其它肤色区域移开时，错失了与背景相关的右手的主要部分。最终，对右手的整个ROI完全消失了。这主要是因为右手移动相对较快，并且因此很难进行跟踪。应当注意，能够在本算法中加入反馈功能来防止ROI消失。例如，如果在经过了一定数量的帧时ROI逐渐变小，则可以增大搜索区和搜索窗。
按照本发明的目标区域跟踪方法的主要优点是，不依赖于关于感兴趣区域的先验信息。例如，在跟踪人脸过程中，本算法不依赖于诸如颜色值之类的特定特征，和眼睛及嘴的特殊性。通常，离线进行目标训练是需要特性信息的。按照本发明的跟踪算法适用于用户指定的非特定的感兴趣区域。
ROI跟踪在图像编解码(比如JPEG2000)中是一项非常有用的功能。它能够实现，在编码图像帧的时候，将比图像帧中其它区域多的位分配给目标区域。这样，可以实现目标区域周围的高视觉质量。
虽然本发明是针对其优选实施方式加以介绍的，但是本领域的技术人员应当理解，可以对前述内容和各种不同的其它变化进行其形式上和细节的省略和转义，而不会超出本发明的范围。

Claims (22)

1.一种在图像帧序列中的在先图像帧的目标区域的基础上跟踪图像帧中的目标区域的方法，所述图像帧序列中的每一个帧包括多个像素，所述方法的特征在于：
根据所述在先帧中的目标区域的至少一部分确定所述图像帧中的搜索区，所述搜索区包括多个第一像素，每个像素具有至少一个相应第一像素值；和
对于搜索区中的第一像素：
确定所述在先帧中的另一个搜索区，所述另一个搜索区包括在前帧中的多个像素当中的多个第二像素，每个第二像素具有至少一个相应第二像素值和区域状态；
在第二像素值当中找出与所述第一像素的第一像素值之间的匹配，以定位参考第二像素；和
根据参考第二像素的区域状态确定所述第一像素中的至少一个的区域状态，以根据所述至少一个第一像素的区域状态确定所述图像帧中的目标区域。
2.按照权利要求1所述的方法，其特征在于，第二像素的区域状态代表所述第二像素是否位于所述在前帧中的目标区域内。
3.按照权利要求1或2所述的方法，其特征在于，所述在前帧中的目标区域的所述至少一部分具有用于定义所述图像帧中的相应轮廓的轮廓，并且其中第一像素包括与所述图像帧中的相应轮廓相邻的像素。
4.按照权利要求1到3中任何一项所述的方法，其中所述图像帧的目标区域包括边界，并且所述图像帧中的所述多个像素包括与该边界相邻的多个第三像素，每个第三像素具有至少一个相应的第三像素值，所述方法的特征此外还在于
确定第三像素的边缘类型，以根据第三像素的边缘类型修改所述图像帧中的目标区域。
5.按照权利要求4所述的方法，其特征在于，边缘类型是根据小波系数的亮度分量确定的。
6.按照权利要求1到5中任何一项所述的方法，其特征在于，第一和第二像素值代表小波系数。
7.按照权利要求1到6中任何一项所述的方法，其特征在于，第一和第二像素值代表低子频带中的小波系数。
8.按照权利要求1到6中任何一项所述的方法，其特征在于，第一和第二像素值代表低子频带中的小波系数的色度分量的至少之一。
9.按照权利要求4或5所述的方法，其特征在于，第三像素值代表小波系数。
10.按照权利要求4或5所述的方法，其特征在于，第三像素值代表高子频带中的小波系数。
11.按照权利要求4、5、9和10中任何一项所述的方法，其特征在于，第三像素值代表高子频带中的小波系数的亮度分量。
12.一种计算机程序，用在具有用于将图像帧序列编码为码流的装置的图像编码器中，所述图像帧序列具有至少一个第一图像帧和在前第二图像帧，第一和第二图像帧中的每一个具有多个像素，其中第二图像帧具有目标区域，所述计算机程序的特征在于：
用于根据第二图像帧中的目标区域的至少一部分定义第一图像帧中的搜索区的代码，所述搜索区包括多个第一像素，每个像素具有至少一个相应第一像素值；和
用于针对搜索区中的第一像素进行下述操作的代码：
确定第二图像帧中的另一个搜索区，所述另一个搜索区包括第二图像帧中的多个像素当中的多个第二像素，每个第二像素具有至少一个相应第二像素值和区域状态；
根据第二像素值当中与所述第一像素的第一像素值之间的匹配确定所述另一个搜索区中的参考第二像素；和
根据参考第二像素的区域状态确定所述第一像素中的至少一个的区域状态，以根据所述至少一个第一像素的区域状态确定第一图像帧中的目标区域。
13.按照权利要求12所述的计算机程序，其特征在于，第一和第二像素值代表低子频带中的小波系数的色度分量的至少之一。
14.按照权利要求12或13所述的计算机程序，其中第一图像帧的目标区域包括边界，并且第一图像帧中的所述多个像素包括与该边界相邻的多个第三像素，每个第三像素具有至少一个相应的第三像素值，所述计算机程序的特征此外还在于
用于确定第三像素的边缘类型以便根据第三像素的边缘类型修改第一图像帧中的目标区域的代码。
15.按照权利要求14所述的计算机程序，其特征在于，第三像素值代表高子频带中的小波系数的亮度分量。
16.按照权利要求12到15中任何一项所述的计算机程序，其特征在于，第二像素的区域状态代表所述第二像素是否位于第二图像帧中的目标区域内。
17.一种图像编码器，用于对包括至少一个第一图像帧和在先第二图像帧的图像帧序列进行编码，第一和第二图像帧中的每一个均包括多个像素，第二图像帧具有目标区域，所述图像编码器具有：
用于将各个图像帧分解成多个子频带分量的装置；和
用于将子频带分量编码成码流的装置，所述图像编码器的特征在于
第一算法，响应于子频带分量，用于根据第二图像帧中的目标区域的至少一部分定义第一图像帧中的搜索区，搜索区包括多个第一像素，每个像素具有至少一个相应第一像素值；和
第二算法，响应于第一像素，用于：
确定第二图像帧中的另一个搜索区，所述另一个搜索区包括第二图像帧中的多个像素当中的多个第二像素，每个第二像素具有至少一个相应第二像素值和区域状态；
根据第二像素值当中与所述第一像素的第一像素值之间的匹配确定所述另一个搜索区中的参考第二像素；和
根据参考第二像素的区域状态确定所述第一像素中的至少一个的区域状态，以根据所述至少一个第一像素的区域状态确定第一图像帧中的目标区域。
18.按照权利要求17所述的图像编码器，其特征在于，第一和第二像素值代表低子频带中的小波系数的色度分量的至少之一。
19.按照权利要求17或18所述的图像编码器，其中第一图像帧的目标区域包括边界，并且第一图像帧中的所述多个像素包括与该边界相邻的多个第三像素，每个第三像素具有至少一个相应的第三像素值，所述计算机程序的特征此外还在于
用于确定第三像素的边缘类型以便根据第三像素的边缘类型修改第一图像帧中的目标区域的代码。
20.按照权利要求19所述的图像编码器，其特征在于，第三像素值代表高子频带中的小波系数的亮度分量。
21.按照权利要求17到20中任何一项所述的图像编码器，其特征在于，图像编码器适用于以高于所述第一图像帧中的另一个区域的视觉质量对第一图像帧中的所述目标区域进行编码。
22.一种图像编码系统，具有用于将图像帧序列编码为码流的编码器和用于根据该码流重构图像帧序列的解码器，其中图像帧序列包括至少一个第一图像帧和在先第二图像帧，第一和第二图像帧中的每一个均包括多个像素，第二图像帧具有目标区域，所述编码器具有：
用于将各个图像帧分解成多个子频带分量的装置；和
用于将子频带分量编码成码流的装置，所述编码器的特征在于
第一算法，响应于子频带分量，用于根据第二图像帧中的目标区域的至少一部分定义第一图像帧中的搜索区，搜索区包括多个第一像素，每个像素具有至少一个相应第一像素值；和
第二算法，响应于第一像素，用于：
确定第二图像帧中的另一个搜索区，所述另一个搜索区包括第二图像帧中的多个像素当中的多个第二像素，每个第二像素具有至少一个相应第二像素值和区域状态；
根据第二像素值当中与所述第一像素的第一像素值之间的匹配确定所述另一个搜索区中的参考第二像素；和
根据参考第二像素的区域状态确定所述第一像素中的至少一个的区域状态，以根据所述至少一个第一像素的区域状态确定第一图像帧中的目标区域。
CN2003801031365A 2002-11-12 2003-11-07 用于基于小波的视频编码的感兴趣区域跟踪方法和装置 Expired - Fee Related CN1711551B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/293,976 2002-11-12
US10/293,976 US6757434B2 (en) 2002-11-12 2002-11-12 Region-of-interest tracking method and device for wavelet-based video coding
PCT/IB2003/005009 WO2004044830A1 (en) 2002-11-12 2003-11-07 Region-of-interest tracking method and device for wavelet-based video coding

Publications (2)

Publication Number Publication Date
CN1711551A true CN1711551A (zh) 2005-12-21
CN1711551B CN1711551B (zh) 2010-04-28

Family

ID=32229759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2003801031365A Expired - Fee Related CN1711551B (zh) 2002-11-12 2003-11-07 用于基于小波的视频编码的感兴趣区域跟踪方法和装置

Country Status (10)

Country Link
US (1) US6757434B2 (zh)
EP (2) EP2405382B9 (zh)
JP (1) JP4308142B2 (zh)
KR (1) KR100765411B1 (zh)
CN (1) CN1711551B (zh)
AT (1) ATE538447T1 (zh)
AU (1) AU2003280037A1 (zh)
ES (2) ES2379072T3 (zh)
HK (1) HK1165592A1 (zh)
WO (1) WO2004044830A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045570A (zh) * 2011-01-13 2011-05-04 北京中星微电子有限公司 一种图像编码方法及装置
CN101344920B (zh) * 2008-07-21 2011-09-14 北大方正集团有限公司 对视频数据帧中特定区域进行检测的方法和设备
CN101599178B (zh) * 2008-06-06 2012-09-05 索尼株式会社 跟踪点检测设备和方法
CN103314583A (zh) * 2011-01-05 2013-09-18 皇家飞利浦电子股份有限公司 保留ppg相关信息的视频编码和解码设备及方法
US8699748B2 (en) 2010-10-13 2014-04-15 Industrial Technology Research Institute Tracking system and method for regions of interest and computer program product thereof
CN103839255A (zh) * 2013-12-05 2014-06-04 福建师范大学 视频抠像篡改检测方法及装置

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542035B2 (en) * 1995-11-15 2009-06-02 Ford Oxaal Method for interactively viewing full-surround image data and apparatus therefor
JP2004186871A (ja) * 2002-12-02 2004-07-02 Ricoh Co Ltd 画像処理装置、撮像装置、プログラム及び記憶媒体
JP4148462B2 (ja) * 2003-01-20 2008-09-10 株式会社リコー 画像処理装置、電子カメラ装置及び画像処理方法
US20040190021A1 (en) * 2003-03-31 2004-09-30 Foster Thomas J. Post rip image rendering in an electrographic printer to prevent character shift
US20050007453A1 (en) * 2003-05-02 2005-01-13 Yavuz Ahiska Method and system of simultaneously displaying multiple views for video surveillance
US7528881B2 (en) * 2003-05-02 2009-05-05 Grandeye, Ltd. Multiple object processing in wide-angle video camera
US20100002070A1 (en) 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
US7529424B2 (en) * 2003-05-02 2009-05-05 Grandeye, Ltd. Correction of optical distortion by image processing
US20050028215A1 (en) * 2003-06-03 2005-02-03 Yavuz Ahiska Network camera supporting multiple IP addresses
US7162095B2 (en) * 2003-06-13 2007-01-09 National Chung Cheng University Method of automatically determining the region of interest from an image
US8638846B1 (en) * 2003-06-23 2014-01-28 At&T Intellectual Property Ii, L.P. Systems and methods for encoding and decoding video streams
JP4151963B2 (ja) * 2003-09-19 2008-09-17 株式会社リコー 画像サーバ装置、クライアント装置、動画像配信方法、プログラム、及び、情報記録媒体
US7893985B1 (en) 2004-03-15 2011-02-22 Grandeye Ltd. Wide angle electronic camera with improved peripheral vision
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
US7366359B1 (en) * 2004-07-08 2008-04-29 Grandeye, Ltd. Image processing of regions in a wide angle video camera
WO2006040687A2 (en) * 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
US20060062478A1 (en) * 2004-08-16 2006-03-23 Grandeye, Ltd., Region-sensitive compression of digital video
NO321642B1 (no) * 2004-09-27 2006-06-12 Tandberg Telecom As Fremgangsmate for koding av bildeutsnitt
US8860780B1 (en) 2004-09-27 2014-10-14 Grandeye, Ltd. Automatic pivoting in a wide-angle video camera
US9141615B1 (en) 2004-11-12 2015-09-22 Grandeye, Ltd. Interactive media server
US7505607B2 (en) * 2004-12-17 2009-03-17 Xerox Corporation Identifying objects tracked in images using active device
US7894531B1 (en) 2005-02-15 2011-02-22 Grandeye Ltd. Method of compression for wide angle digital video
US8977063B2 (en) * 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
KR100728222B1 (ko) 2005-03-25 2007-06-13 한국전자통신연구원 공간영역에서의 완전한 스케일러빌리티를 위한 계층적 부호화/복호화 방법 및 장치
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
US8964029B2 (en) * 2005-04-29 2015-02-24 Chubb Protection Corporation Method and device for consistent region of interest
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images
US7903306B2 (en) * 2005-07-22 2011-03-08 Samsung Electronics Co., Ltd. Sensor image encoding and/or decoding system, medium, and method
US20070031038A1 (en) * 2005-08-03 2007-02-08 Honeywell International Inc. Boolean complement methods and systems for video image processing a region of interest
WO2007024351A2 (en) * 2005-08-26 2007-03-01 Idt Corporation Region of interest tracking and integration into a video codec
US8208758B2 (en) 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
US8019170B2 (en) * 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8723951B2 (en) * 2005-11-23 2014-05-13 Grandeye, Ltd. Interactive wide-angle video server
EP1966648A4 (en) * 2005-12-30 2011-06-15 Nokia Corp METHOD AND DEVICE FOR ADJUSTING THE AUTOFOCUS OF A VIDEO CAMERA BY FOLLOWING A REGION OF INTEREST
US7778445B2 (en) * 2006-06-07 2010-08-17 Honeywell International Inc. Method and system for the detection of removed objects in video images
JP4210954B2 (ja) * 2006-08-22 2009-01-21 ソニー株式会社 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP5490544B2 (ja) 2007-01-16 2014-05-14 トムソン ライセンシング 画像におけるアーティファクトを低減するシステム及び方法
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
ATE522788T1 (de) * 2007-09-12 2011-09-15 Pepperl & Fuchs Verfahren und vorrichtung zum bestimmen der position eines fahrzeugs, computerprogramm und computerprogrammprodukt
BRPI0911189A2 (pt) * 2008-04-11 2018-05-22 Thomson Licensing sistema e método para melhorar a visibilidade de um objeto em uma imagem digital
JP4561919B2 (ja) * 2008-04-21 2010-10-13 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8538200B2 (en) * 2008-11-19 2013-09-17 Nec Laboratories America, Inc. Systems and methods for resolution-invariant image representation
US9516346B2 (en) * 2009-09-01 2016-12-06 Manipal Institute Of Technology Image processing system and method
RU2431196C1 (ru) * 2010-03-31 2011-10-10 Закрытое Акционерное Общество "Импульс" Способ определения уровня яркости в зоне интереса цифрового медицинского рентгеновского изображения
US9135514B2 (en) * 2010-05-21 2015-09-15 Qualcomm Incorporated Real time tracking/detection of multiple targets
CN102129698A (zh) * 2011-03-08 2011-07-20 华中科技大学 一种基于感兴趣区域的图像编码方法
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8891627B1 (en) 2011-04-18 2014-11-18 Google Inc. System and method for coding video using color segmentation
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US20150312575A1 (en) * 2012-04-16 2015-10-29 New Cinema, LLC Advanced video coding method, system, apparatus, and storage medium
US10469851B2 (en) 2012-04-16 2019-11-05 New Cinema, LLC Advanced video coding method, system, apparatus, and storage medium
CN103002280B (zh) * 2012-10-08 2016-09-28 中国矿业大学 基于hvs&roi的分布式编解码方法及系统
JP2016502429A (ja) * 2012-11-07 2016-01-28 アイ ドロップ イメージング テクノロジー リミテッド ライアビリティ カンパニー 薬物送達の実施およびモニタリング
US10045032B2 (en) * 2013-01-24 2018-08-07 Intel Corporation Efficient region of interest detection
US10121254B2 (en) 2013-08-29 2018-11-06 Disney Enterprises, Inc. Methods and systems of detecting object boundaries
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
GB2539027B (en) 2015-06-04 2019-04-17 Thales Holdings Uk Plc Video compression with increased fidelity near horizon
US10037610B1 (en) * 2017-10-03 2018-07-31 StradVision, Inc. Method for tracking and segmenting a target object in an image using Markov Chain, and device using the same
CN112313951A (zh) * 2018-06-28 2021-02-02 苹果公司 低延迟视频编码和传输的速率控制
CN113542745B (zh) * 2021-05-27 2024-06-25 绍兴市北大信息技术科创中心 一种率失真编码优化方法
US11509836B1 (en) 2021-12-29 2022-11-22 Insight Direct Usa, Inc. Dynamically configured processing of a region of interest dependent upon published video data selected by a runtime configuration file
US11704891B1 (en) 2021-12-29 2023-07-18 Insight Direct Usa, Inc. Dynamically configured extraction, preprocessing, and publishing of a region of interest that is a subset of streaming video data
US11778167B1 (en) 2022-07-26 2023-10-03 Insight Direct Usa, Inc. Method and system for preprocessing optimization of streaming video data

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5079630A (en) * 1987-10-05 1992-01-07 Intel Corporation Adaptive video compression system
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
GB2276999B (en) * 1993-04-08 1997-10-08 Sony Uk Ltd Motion compensated video signal processing
GB9308952D0 (en) 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
DE69525127T2 (de) * 1994-10-28 2002-10-02 Oki Electric Ind Co Ltd Gerät und Verfahren zur Kodierung und Dekodierung von Bildern unter Verwendung einer Kantensynthese und einer Wavelet-Rücktransformation
KR0170932B1 (ko) * 1994-12-29 1999-03-20 배순훈 영상의 시각적, 기하학적 특성에 따른 고속 움직임 추정장치
US6483946B1 (en) * 1995-10-25 2002-11-19 Sarnoff Corporation Apparatus and method for encoding zerotrees generated by a wavelet-based coding technique
US5974192A (en) 1995-11-22 1999-10-26 U S West, Inc. System and method for matching blocks in a sequence of images
US6041078A (en) * 1997-03-25 2000-03-21 Level One Communications, Inc. Method for simplifying bit matched motion estimation
JP2001524297A (ja) * 1997-07-11 2001-11-27 サーノフ コーポレイション マルチスケールゼロツリーエントロピー符号化装置および方法
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
US6421463B1 (en) 1998-04-01 2002-07-16 Massachusetts Institute Of Technology Trainable system to search for objects in images
US6418166B1 (en) * 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US6546117B1 (en) * 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
US6654502B1 (en) * 2000-06-07 2003-11-25 Intel Corporation Adaptive early exit techniques in image correlation

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599178B (zh) * 2008-06-06 2012-09-05 索尼株式会社 跟踪点检测设备和方法
CN101344920B (zh) * 2008-07-21 2011-09-14 北大方正集团有限公司 对视频数据帧中特定区域进行检测的方法和设备
US8699748B2 (en) 2010-10-13 2014-04-15 Industrial Technology Research Institute Tracking system and method for regions of interest and computer program product thereof
CN103314583A (zh) * 2011-01-05 2013-09-18 皇家飞利浦电子股份有限公司 保留ppg相关信息的视频编码和解码设备及方法
CN102045570A (zh) * 2011-01-13 2011-05-04 北京中星微电子有限公司 一种图像编码方法及装置
CN102045570B (zh) * 2011-01-13 2016-12-07 北京中星微电子有限公司 一种图像编码方法及装置
CN103839255A (zh) * 2013-12-05 2014-06-04 福建师范大学 视频抠像篡改检测方法及装置
CN103839255B (zh) * 2013-12-05 2017-03-01 福建师范大学 视频抠像篡改检测方法及装置

Also Published As

Publication number Publication date
KR100765411B1 (ko) 2007-10-11
JP4308142B2 (ja) 2009-08-05
KR20050086520A (ko) 2005-08-30
EP1570413B1 (en) 2011-12-21
HK1165592A1 (en) 2012-10-05
ATE538447T1 (de) 2012-01-15
ES2424248T3 (es) 2013-09-30
US6757434B2 (en) 2004-06-29
EP2405382B9 (en) 2013-08-21
EP2405382B1 (en) 2013-05-08
ES2379072T3 (es) 2012-04-20
EP1570413B8 (en) 2012-03-21
JP2006505861A (ja) 2006-02-16
WO2004044830A1 (en) 2004-05-27
CN1711551B (zh) 2010-04-28
EP2405382A1 (en) 2012-01-11
EP1570413A4 (en) 2010-03-24
AU2003280037A1 (en) 2004-06-03
US20040091158A1 (en) 2004-05-13
EP1570413A1 (en) 2005-09-07

Similar Documents

Publication Publication Date Title
CN1711551A (zh) 用于基于小波的视频编码的感兴趣区域跟踪方法和装置
CN100338956C (zh) 产生压缩的代码转换提示元数据的方法和设备
CA2407143C (en) Texture replacement in video sequences and images
CN104754340B (zh) 一种无人机侦察图像压缩方法
US7162095B2 (en) Method of automatically determining the region of interest from an image
CN101049006A (zh) 图像编码方法及装置以及图像解码方法及装置
JP5815003B2 (ja) 画像中のアーチファクトを軽減するシステムおよび方法
Zhang et al. Video compression artifact reduction via spatio-temporal multi-hypothesis prediction
CN101272489B (zh) 视频图像质量增强的编解码装置与编解码方法
CN1668108A (zh) 析像度变换方法及装置
CN1723711A (zh) 用于数字视频处理的一元化量度(umdvp)
Stoffels et al. Object‐oriented image analysis for very‐low‐bitrate video‐coding systems using the CNN universal machine
CN1882083A (zh) 一种降低图像方块效应的方法
Zhao et al. CBREN: Convolutional neural networks for constant bit rate video quality enhancement
CN1713729A (zh) 一种视频压缩方法
CN1784008A (zh) 高清晰视频超强压缩编码方法及解码方法
WO2002062072A1 (en) Method for post-processing decoded video image, using diagonal pixels
CN1201592C (zh) 检测是否按照根据块编码技术对图像进行编码的方法
TWI226189B (en) Method for automatically detecting region of interest in the image
Gomez-Moreno et al. Extracting illumination from images by using the wavelet transform
CN1784906A (zh) 编码和/或解码画面组的方法
CN1720746A (zh) 测量区块假像的方法
Chen Advancing video compression with error resilience and content analysis
Shyamsunder et al. Compression of patient monitoring video using motion segmentation technique
Lazri et al. A Framework for Multi-plane Image Layer Merging

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NOKIA 2011 PATENT TRUST CO.

Free format text: FORMER OWNER: NOKIA OYJ

Effective date: 20120220

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee

Owner name: 2011 INTELLECTUAL PROPERTY ASSET TRUST CO.

Free format text: FORMER NAME: NOKIA 2011 PATENT TRUST CO.

CP01 Change in the name or title of a patent holder

Address after: Delaware

Patentee after: 2011 Intellectual Property Asset Trust

Address before: Delaware

Patentee before: NOKIA 2011 patent trust

TR01 Transfer of patent right

Effective date of registration: 20120220

Address after: Delaware

Patentee after: NOKIA 2011 patent trust

Address before: Espoo, Finland

Patentee before: NOKIA Corp.

ASS Succession or assignment of patent right

Owner name: CORE WIRELESS LICENSING S.A.R.L.

Free format text: FORMER OWNER: 2011 INTELLECTUAL PROPERTY ASSET TRUST CO.

Effective date: 20120417

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120417

Address after: Luxemburg Luxemburg

Patentee after: NOKIA Inc.

Address before: Delaware

Patentee before: 2011 Intellectual Property Asset Trust

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100428

Termination date: 20211107

CF01 Termination of patent right due to non-payment of annual fee