CN101283364A - 提取运动目标边界 - Google Patents

提取运动目标边界 Download PDF

Info

Publication number
CN101283364A
CN101283364A CNA200680034196XA CN200680034196A CN101283364A CN 101283364 A CN101283364 A CN 101283364A CN A200680034196X A CNA200680034196X A CN A200680034196XA CN 200680034196 A CN200680034196 A CN 200680034196A CN 101283364 A CN101283364 A CN 101283364A
Authority
CN
China
Prior art keywords
item
target
motion vector
dynamic model
predicated error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200680034196XA
Other languages
English (en)
Other versions
CN101283364B (zh
Inventor
马里奥·帕尼科尼
詹姆斯·J·卡里格
苗周荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of CN101283364A publication Critical patent/CN101283364A/zh
Application granted granted Critical
Publication of CN101283364B publication Critical patent/CN101283364B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种提取运动目标边界的方法包括：估计目标的初始运动向量，目标的运动用目标图像和参考图像之间的位置的变化来表示；估计背景区域的初始向量，目标看来在背景区域上运动；使用所估计的向量来寻找动态模型求解的第一次迭代；以及完成动态模型求解的至少一次后续迭代以提取目标边界。

Description

提取运动目标边界
技术领域
本发明涉及视频压缩领域。
背景技术
运动目标提取方法通常在视频压缩技术中使用以在视频序列中提取运动目标的轮廓。传统方法经常明确引入一个模型来提取轮廓。这些传统方法在轮廓演进时可能具有诸如轮廓离散化之类的严重问题并且难于控制长度和曲率。
例如，可以执行运动块的简单分割来捕获多运动目标以便降低预测误差。该过程可以通过使用将预测误差大的块分成子块以改善运动估计的四叉树分割来完成。通常使用运动目标边界的直线模型来对预测误差大的块进行四叉树分割。
运动分割中的其他方法依赖于光流估计或参数化(即，仿射)运动模型。这些方法在目标边界附近具有诸如遮挡效应(occlusion effect)之类的问题。使用包含先验概率项的MAP/贝叶斯方法可以在分割场(segmentation field)中获得某种程度的平滑度，从而在目标边界处获得某种程度的平滑度。这些方法不含任何用于解释目标边界和运动场(motion field)的明确耦合模型，限制了分割场的连通性。
在某些传统方法中，使用曲率演进模型来捕获运动目标边界。但是，这些方法不涉及运动估计，并且它们只依赖于模型中的时间差分算子来进行目标边界演进。
需要一种执行区域竞争以使目标从初始条件开始生长并到达如下状态的运动目标提取方法，所述状态在预测误差降低、边界稳定性(即，目标中无孔，轮廓平滑)以及与图像特征的耦合之间提供平衡。
发明内容
一种提取运动目标边界的方法包括：估计目标的初始运动向量，目标的运动用目标图像和参考图像之间的位置的变化来表示；估计背景区域的初始向量，目标看来在背景区域上运动；使用所估计的向量来寻找动态模型求解的第一次迭代；以及完成动态模型求解的至少一次后续迭代以提取目标边界。
附图说明
本发明通过示例的方式加以阐述，并且通过结合附图参考下面的描述将得到更好的理解，图中：
图1示出从背景区域中提取运动目标边界的方法的示例；
图2示出利用动态模型生长的边界场(boundary field)的示例；
图3A示出在利用动态模型使用一幅参考图像时可能发生的遮挡的示例，且图3B、3C和3D示出避免在利用动态模型使用多幅参考图像时发生遮挡的示例。
图4示出为背景运动场生成假设的方法的示例。
图5示出为目标运动场生成假设的示例。
图6示出边界场的一部分和法向量的示例。
图7示出图像耦合驱动项(driving term)的效果的示例。
图8示出形成的目标边界场的示例并图示局部边界运动向量。
图9示出使用提取运动目标边界的方法对视频数据的图像(或帧，或场)进行编码的视频编码的示例。
图10示出对视频数据的图像(或帧，或场)进行解码的示例。
图11示出使用提取运动目标边界方法的系统的示例。
具体实施方式
下面的描述中，参考形成本文一部分的附图，所述附图中通过图解的方式示出可实施本发明的具体实施例。应该理解，在不脱离本发明范围的前提下，可以使用其他实施例，并做出结构改变。例如，本领域技术人员将理解，用来描述各种实施例的术语场或帧或图像在关于视频数据来使用时一般可互换。
一种目标提取方法通过使用动态模型演进以视频图像表示的运动前景目标的边界来估计该目标的轮廓。该动态模型允许紧密而连贯的结构出现。在某些实施例中，动态模型使用二维边界场来提取目标边界，所述二维边界场在图像的每个像素处被定义，所以不需要受约束的或参数化的边界模型。动态模型还使用局部目标运动场来沿边界提供解释目标的非刚性运动的运动向量。动态模型结合了扩散项和退火项以将边界耦合到图像梯度特征。目标提取方法执行对过去和未来预测误差的假设检验以使得由遮挡引起的误差最小化。该方法允许目标边界处的目标运动向量处理更复杂的局部目标运动。在运动分割或视频编码应用中可以使用该方法来生成运动向量采样以得到目标图像的改进的时间预测。
从背景区域中提取运动目标边界以及从背景中提取单个目标的轮廓的方法的示例示于图1。在110中，定义动态模型。在120中，用于边界场的初始种子被放在目标图像区域中。在125中，确定运动向量的初始值。在130中，动态模型的状态通过时间步前移以演进边界场。在140中，表示背景和运动目标的运动向量被重新估计。在150中，该方法确定是否达到结束准则。若是，则方法终止于160。否则，方法返回130。
边界场的动态模型
定义二维边界场B(x，y)的动态模型，其中B是图像中位置(x，y)处的像素值。B的正值指示相应像素在目标内，负值指示像素在背景中。该方法从B(x，y)的初始条件开始并迭代地演进边界场以形成对目标边界更好的估计。
在某些实施例中，该方法通过数值求解动态模型并将其沿时间推移来演进边界场。于是，边界场被表示为时间的函数B(x，y，t)，其中初始条件Bo(x，y)开始于初始时刻0，所以
Bo(x，y)＝B(x，y，t＝0)
初始条件为：
Bo(x，y)～1    目标内部区域
Bo(x，y)～-1    其他地方
两种状态之间含有跳变。如果关于目标边界的先验知识可用，则该初始条件中也可植入这种知识以改善性能。在某些实施例中，边界场的初始值为：
B 0 ( x , y ) = - 1 2 + exp ( - a ( ( x + x 0 ) 2 + ( y - y 0 ) 2 )
其中(xo，yo)为种子的中心，a衡量种子的尺寸。
该方法使用下面的演进公式沿边界场B(x，y)的梯度▽来使种子生长，其中B(x，y)～0：
∂ t B ( x , y , t ) = T | ▿ B ( x , y ) | - - - ( 1 )
从而根据下式演进动态模型：
B(x，y，t+τ)＝B(x，y，t)+τT|▽B(x，y，t)|            (2)
其中T是合成驱动项，τ是使状态从t时刻前进到t+τ时刻的时间步长参数。重复该方法直至达到诸如收敛之类的结束准则。
通过动态模型生长的边界场的示例示于图2。目标图像示于块205。为了确定目标图像205中目标202的边界，将种子212放在目标图像中，如块210所示。为了确定目标204的边界，将种子214放在目标图像中，如块210所示。种子212的边界如块220和230所示演进形成由白色区域222表示的目标区域。类似地，种子214的边界演进形成由灰色区域224表示的目标区域。如块230所示，通过种子214确定的总的灰色目标区域234具有不与较大部分相连的较小部分，以及较大部分内的背景区域。类似地，由白色区域表示的总目标区域232具有一些断开的部分。下面讨论的稳定性驱动项用来控制断开的区域。整个目标202的边界242如块240所示被捕获。类似地，种子214的边界演进直至整个目标204的边界244被捕获。
公式(2)中的合成驱动项是多项的组合，所述多项例如是预测误差、稳定性、耦合和模板驱动项：
T＝λ1T过去/未来预测误差+λ2T稳定性+λ3T图像耦合+λ4T模板     (3)
每个加权值{λi}确定相应驱动项的相对强度。过去/未来预测误差驱动项包括来自过去和未来的参考图像处理的误差。该驱动项在假设检验方法中被考虑用来解释遮挡和未覆盖区域，如下所述。稳定性驱动项T稳定性用来保证B(x，y)维持平滑度，使得提取的运动层具有一定的紧密度并且提取的运动目标边界具有一定的连通度。耦合驱动项T图像耦合与图像中的空间活动性有关。例如，目标可以与局部空间活动性有关，例如目标边界与图像梯度之间的关联。驱动项T模板考虑关于图像中的边界的现有知识，如果该知识存在的话。
将公式(3)的驱动项表达式纳入公式(2)的动态模型，得到：
Figure A20068003419600141
= ∂ t B 1 ( x , y ) + ∂ t B 2 ( x , y ) + ∂ t B 3 ( x , y ) + ∂ t B 4 ( x , y ) - - - ( 4 )
过去和未来预测误差驱动项
过去和未来预测误差驱动项表示在某一像素位置处使用背景运动向量和使用目标运动向量之间的预测误差区别。背景运动向量的估计用vb(x，y)表示，目标运动向量用vo(x，y)表示。该驱动项表示为：
T过去/未来预测误差＝δ2(vb(x，y))-ε2(v0(x，y))         (5)其中ε2(vo)是使用运动向量vo(x，y)时某一像素位置处的预测误差，ε2(vb)是使用运动向量vb(x，y)时该像素位置处的预测误差。用该项代入公式(3)的动态模型，得到该项的贡献为：
∂ t B 1 ( x + y ) = ( ϵ 2 ( v b ) - ϵ 2 ( v 0 ) ) | ▿ B ( x , y ) | - - - ( 6 )
这样，在像素位置(x，y)处，若使用目标运动向量时预测误差较小(即，ε2(vb)-ε2(vo)为正)，则因为时间导数为正，所以B(x，y)增加，并且像素朝目标移动，这表示为像素位置的B(x，y)值为正。类似地，在像素位置(x，y)处，若使用背景运动向量时预测误差较小(即，ε2(vb)-ε2(vo)为负)，则因为时间导数为负，所以B(x，y)减小，并且像素朝背景移动，这表示为像素位置的B(x，y)值为负。
若参考图像中存在遮挡，则预测误差增加。图3A示出当只使用一幅(过去或未来)参考图像时由边界提取方法产生的遮挡的示例。在块310中，目标图像具有遮挡区域317，它是被过去参考图像中的目标315覆盖而不被目标图像中的目标315覆盖的像素。由于依赖于过去参考图像的该遮挡区域，遮挡区域317附近存在与真实目标边界对应不佳的运动目标边界，这是因为提取运动目标边界时使用一个过去参考场来迭代求解动态模型。为了避免产生遮挡，如果可能应使用未来参考图像来预测遮挡区域中的像素，这是因为遮挡区域317中的像素未被未来参考图像中的目标315覆盖。类似地，在块320中，遮挡区域327是被目标图像中的目标315覆盖而不被未来参考图像中的目标315覆盖的区域。当只有一个未来参考场在提取运动目标边界时被用于迭代求解动态模型时，结果是在遮挡区域327附近与真实目标边界对应不佳的运动目标边界。因此，如果可能应使用过去参考图像来预测遮挡区域327中的像素。
图3A所示遮挡区域可以通过在提取运动目标边界时使用过去和未来参考图像二者来避免，如图3B、3C和3D所示。为了处理遮挡，使用过去和未来运动信息。在动态模型迭代的任何时刻，使用目标的生长状态以及目标和背景的运动来确定哪些像素应使用过去或未来参考图像进行运动估计。如图3B所示，使用未来参考图像330和过去参考图像350来提取目标图像340中的运动目标的边界。如图3C所示，在块370的黑色区域341中初始化动态模型以产生由黑方块表示的背景区域和运动目标边界内的种子342。如块380所示，迭代求解动态模型来延伸运动目标的边界以产生运动目标区域344。运动目标具有运动向量346，该运动向量346示出目标的运动指向目标图像的右侧。因此，为了避免产生遮挡区域，动态模型使用未来的参考图像330来估计虚线347左边区域381的运动向量和预测误差，并且该模型使用过去参考图像350来估计虚线347右边区域382的运动向量和预测误差。在某些实施例中，对使用过去参考图像还是使用未来的参考图像的确定通过执行对背景和目标运动向量的假设检验而在每个像素处进行，如下所述。作为由目标周围的白线表示的提取边界349的最终结果示于图3D，它的产生不含遮挡区域因此具有较好的提取质量。
更详细的关于使用过去参考场还是未来参考场的逐像素确定通过将预测误差驱动项如下展开来进行：
∂ t B 1 ( x + y ) = ( ϵ 2 ( v b hyp ) - ϵ 2 ( v 0 hyp ) ) | ▿ B ( x , y ) | - - - ( 7 )
其中vhyp表示像素位置(x，y)处运动向量的假设。对背景运动向量的假设检验按图4所示来执行。使用过去或未来参考图像，目标的运动向量或者表示为vo 过去(x，y)或vo 未来(x，y)。使用过去或未来参考图像，背景的运动向量或者表示为vb 过去(x，y)或vb 未来(x，y)。在410中，若运动向量vb 过去与当前目标状态和运动一致，且vb 未来与当前目标状态和运动不一致，则在415中选择vb 过去。否则，在420中，若运动向量vb 过去与当前目标状态和运动不一致，且vb 未来与当前目标状态和运动一致，则在425中选择vb 未来。否则，若两个运动向量都一致，则在435中选择预测误差最小的运动向量，
Figure A20068003419600162
对前景目标运动向量的假设检验按图5所示来执行。在505中，接收边界场B(x，y)的值。在510中，确定B(x，y)是否大于等于S。若是，则在520中，选择
Figure A20068003419600163
若不是，则在530中，选择
Figure A20068003419600164
从而，若像素(x，y)的当前状态具有使B(x，y)≥S的值，意味着该像素很可能在目标内部，则本方法使用
Figure A20068003419600165
Figure A20068003419600166
来为目标运动向量选择较小的预测误差，这有利于目标生长。另一方面，若像素(x，y)的当前状态具有使B(x，y)＜S的值，意味着该像素更可能在背景中，则本方法使用
Figure A20068003419600168
来为目标运动向量选择较大的预测误差以有利于背景生长。
在本例中，因为目标和背景由B(x，y)的零值区分，所以参数S被设为0。目标或背景运动向量的假设选择使用过去和未来参考图像信息以及当前目标状态信息以更好地处理遮挡。
稳定性驱动项
稳定性驱动项允许紧密、稳定的结构从非线性模型中出现，该项表示为：
Figure A20068003419600169
其中
Figure A200680034196001610
为边界场的法向量，定义为：
Figure A20068003419600171
这是垂直于曲线B(x，y)＝常数的方向。将该项代入公式(3)，得到：
Figure A20068003419600172
这样，若|▽B(x，y)|非零的边界附近目标的轮廓具有正曲率(即，从正区域向外的形状)，则为正，且B(x，y)减小以拉直曲线。类似地，若|▽B(x，y)|非零的边界附近目标的轮廓具有负曲率(即，从正区域向内的形状)，则
Figure A20068003419600174
为负，且B(x，y)增加以拉直曲线。
稳定性驱动项控制目标边界拓扑的弯曲度。该项充当减少轮廓长度的扩散项。图6示出边界场610的一部分和法向量620的示例。稳定性驱动项拉直边界场的轮廓，如虚线630所示。明确的扩散项也可添加到公式(9)来更直接地控制正或负小区域的去除(即，扩散)，如公式(10)所示：
Figure A20068003419600175
公式(10)右边的拉普拉斯项使得边界场相对平滑和均匀。
图像耦合驱动项
运动目标边界可能与一些局部空间图像活动性有关。例如，通常目标边界具有垂直于边界的强度梯度。这种类型的局部空间活动性关联包含在使用图像耦合驱动项的模型中：
Figure A20068003419600176
其中
Figure A20068003419600177
垂直于边界场，|▽I(x，y)|为图像强度梯度的幅度。将该项代入公式(3)得到该因子的贡献为：
Figure A20068003419600178
于是，若图像梯度接近目标边界宽度，则边界沿图像梯度对准。图7示出图像耦合驱动项的效果示例。边界曲线710的一部分靠近图像结构720，诸如强度梯度中的局部峰。图像耦合驱动项吸引该边界靠近图像结构，如曲线730和虚线740所示。
模板驱动项
模板驱动项例如在从先前序列中学习关于场景中目标的信息或具有关于目标期待形状的先验信息的实施例中使用。该信息为目标边界提供模板。目标边界模板驱动因子的特征可以是二维函数
Figure A20068003419600181
的交叉点。模板驱动项表示为：
Figure A20068003419600182
于是，若边界场B(x，y)在目标边界附近的像素位置处大于模板
Figure A20068003419600183
Figure A20068003419600184
则B(x，y)减小。类似地，若边界场B(x，y)在目标边界附近的像素位置处小于模板
Figure A20068003419600185
则B(x，y)增加。最后，达到
Figure A20068003419600186
的平衡。
动态模型根据公式(4)来演进空间二维边界场B(x，y)。参数{λ1，λ2，λ3}确定每一项的相对权重。在某些实施例中，λ3开始被设为0并慢慢增加以便它在目标边界生长的稍后阶段中更有效。通常，由于没有关于目标边界的可用先验知识，因此对于整个方法λ4被设为0。驱动项是边界场B(x，y)和运动场的函数。驱动项的非线性合作效果允许运动目标边界场的稳定演进和出现。
当在动态模型中更新边界场时，需要在每次迭代中为每个像素“x”计算使用背景和目标运动之间的预测误差。背景运动通常十分鲁棒和稳定，所以单个背景运动可用于所有像素。但是在某些示例中，目标运动可能涉及非局部运动或非刚性运动。在这些示例中，目标运动的整体和局部/边界运动向量在某些实施例中被使用。
图8示出形成的目标边界场的示例。在t1时刻，目标图像800中目标的已识别部分示于810，剩余的目标图像被视为背景区域。随着边界场在t2时刻演进，目标的已识别部分按820所示生长。边界运动向量830沿运动目标的边界放置，且运动向量的值被估计。边界运动向量的值使用当前t2时刻被识别为目标一部分的像素来确定。即，只有目标820的已识别部分内部的像素被用来估计边界运动向量830。在离边界预定距离以内，使用目标的已识别部分内部的区域来估计每个边界运动向量。因此每个边界运动向量指示小部分目标的运动。使用来自已识别部分的像素来估计目标的整体运动向量v整体，以指示整个目标的整体运动。
通常，可以使用整体运动向量v整体来表示目标中每个像素的目标运动。对于沿边界的像素，为了处理目标的多个部分沿不同方向运动的非刚性运动，可以使用该像素附近的、或与该像素有局部空间关联的边界运动向量来表示目标运动。例如，若一个目标为人，整体运动向量可能指示该人在向右移动，而沿人手的边界运动向量可能指示该手相对于整体运动向量在向左移动。
在一个实施例中，边界提取方法在用于对视频数据的图像(或帧，或场)进行编码的视频编码中使用，如图9所示。在910中，编码器收到输入目标图像。包含与目标图像有关的经解码图像数据的一组参考图像在编码过程期间对编码器可用，也在解码过程期间对解码器可用。在915中，运动目标边界被提取。在920中，编码器生成与目标图像相关的运动向量的不规则采样或分布。在930中，采样模式信息(例如，表示该模式的比特)被发送到解码器。
在940中，时间预测滤波过程被应用到不规则运动采样模式中。该自适应滤波过程使用运动向量、不规则采样模式和参考图像来生成目标图像的预测。在950中，运动向量值被编码并发送到解码器。在960中，生成残差，所述残差是目标图像的实际目标数据减去来自自适应滤波过程的预测误差。在970中，残差被编码，且在980中被发送到解码器。
在另一个实施例中，在对视频数据的图像(或帧，或场)进行解码时使用运动向量的自适应采样模式，如图10所示。在1010中，接收经编码的残差。在1020中，解码器对收到的经编码残差进行解码。在1030中，解码器接收采样模式信息、参考图像和运动向量值。然后，在1040中，解码器应用自适应时间滤波过程以生成时间预测。在1050中，通过将经解码的残差添加到时间预测上而生成经解码的目标图像。
图11示出使用自适应影响区域滤波器的系统的示例。数字摄像机1110捕获电子形式的图像，并使用在压缩和编码过程期间使用运动向量选择方法的压缩设备1120来处理图像。经编码的图像通过电子传输介质1130被发送到数字回放设备1140。图像被在解码过程期间使用滤波器的解码设备1150解码。摄像机1110用于说明包含本发明实施例的各种图像处理装置(例如，其他图像捕获设备、图像编辑器、图像处理器、个人或商业计算平台等)。同样地，解码设备1150用于说明对图像数据进行解码的各种设备。
虽然在特定系统环境中根据实施例描述了本发明，但是本领域技术人员将意识到本发明可加以修改地在落入所附权利要求书的精神和范围内的其他和不同的硬件以及软件环境中实施。

Claims (42)

1.一种由电子数据处理器执行的方法，包括以下过程：
估计目标的初始运动向量，所述目标的运动用目标图像和参考图像之间的位置的变化来表示；
估计背景区域的初始向量，所述目标看来在所述背景区域上运动；
使用所估计的向量来寻找动态模型求解的第一次迭代；以及
完成所述动态模型求解的至少一次后续迭代以提取所述目标的边界。
2.如权利要求1所述的方法，其中所述动态模型求解的所述后续迭代或每一次后续迭代包括时间步迭代。
3.如权利要求1所述的方法，其中所述动态模型包含来自如下集合的项，所述集合由预测误差项、稳定性项、图像耦合项和模板项组成。
4.如权利要求1所述的方法，
其中所述动态模型包含预测误差项；
其中所述预测误差项包含通过使用与所述目标相关的运动向量而获得的预测误差和通过使用与所述背景区域相关的运动向量而获得的预测误差之间的差别。
5.如权利要求1所述的方法，
其中所述动态模型包含稳定性项；
其中所述稳定性项包含与提取所述背景的曲率相关的曲率项；并且
其中所述稳定性项包含与提取所述运动目标的平滑度或紧密度相关的扩散项。
6.如权利要求1所述的方法，
其中所述动态模型包含图像耦合项；
其中所述图像耦合项与垂直于所述目标边界的强度梯度相关；并且
其中所述强度梯度与紧接着所述目标的所述目标图像的一部分相关。
7.如权利要求1所述的方法，
其中所述动态模型包含模板项；并且
其中所述模板项为所述运动目标边界提供模板。
8.如权利要求1所述的方法，其中所述动态模型求解的任一次迭代包含预测误差估计过程，其中：
若所述目标图像中的像素紧接着与所述未来参考帧有关的被估计遮挡区域，则使用过去参考帧来估计所述预测误差；并且
若所述目标图像中的像素紧接着与所述过去参考帧有关的被估计遮挡区域，则使用未来参考帧来估计所述预测误差。
9.如权利要求8所述的方法，其中所述预测误差估计过程包含对背景运动场的假设检验过程，所述假设检验过程为：
检验第一背景运动场与所述目标的当前状态的一致性，其中所述第一背景运动场基于过去参考帧；
检验第二背景运动场与所述目标的当前状态的一致性，其中所述第二背景运动场基于未来参考帧；并且
使用所述检验结果来选择所述第一背景场或所述第二背景场。
10.如权利要求8所述的方法，其中所述预测误差估计过程包含对目标运动场的假设检验过程，所述假设检验过程为：
若B(x，y)≥S，
则选择
Figure A20068003419600031
否则选择
Figure A20068003419600032
其中vo 过去/未来包含基于过去或未来参考场的所述目标的运动向量，ε包含所述预测误差，vo hyp包含对所述运动向量的假设，S包含阈值，且B(x，y)包含像素(x，y)处的边界场状态。
11.如权利要求1所述的方法，其中所述动态模型包含：
B(x，y，t+τ)＝B(x，y，t)+τT|▽B(x，y，t)|；
其中所述B(x，y，t)包含t时刻在像素(x，y)处的边界场状态，它为每个像素(x，y)定义t时刻的目标或背景状态，所述▽B(x，y，t)包含边界场的梯度，所述T包含将来自多个边界特征的效果合并的合成驱动项，并且所述τ包含使状态从t时刻前进到t+τ时刻的时间步长参数。
12.如权利要求11所述的方法，其中所述T包含：
T＝λ1T过去/未来预测误差+λ2T稳定性+λ3T图像耦合+λ4T模板；
其中所述λ1，λ2，λ3，λ4包含加权因子，所述T过去/未来预测误差包含预测误差项，所述T稳定性包含稳定性项，所述T图像耦合包含图像耦合项，所述T模板包含模板项。
13.如权利要求1所述的方法，还包括：
在完成所述动态模型求解的特定次数的迭代后估计所述目标的第二运动向量；以及
在完成所述动态模型求解的特定次数的迭代后估计所述背景区域的第二运动向量。
14.如权利要求13所述的方法，其中估计所述目标的所述第二运动向量和所述背景区域的所述第二运动向量包括：
估计整体运动向量和局部边界运动向量，其中所述整体运动向量和所述局部边界运动向量表示所述目标的运动；以及
使用所估计的局部边界运动向量来为紧接着所述目标中含有非刚性运动的区域的像素计算所述动态模型中的预测误差项。
15.一种存储指令程序的计算机可读介质，所述指令在被处理系统执行时使所述系统执行包含如下步骤的方法：
估计目标的初始运动向量，所述目标的运动用目标图像和参考图像之间的位置的变化来表示；
估计背景区域的初始向量，所述目标看来在所述背景区域上运动；
使用所估计的向量来寻找动态模型求解的第一次迭代；以及
完成所述动态模型求解的至少一次后续迭代以提取所述目标的边界。
16.如权利要求15所述的计算机可读介质，其中所述动态模型求解的所述后续迭代或每一次后续迭代包括时间步迭代。
17.如权利要求15所述的计算机可读介质，其中所述动态模型包含来自如下集合的项，所述集合由预测误差项、稳定性项、图像耦合项和模板项组成。
18.如权利要求15所述的计算机可读介质，
其中所述动态模型包含预测误差项；
其中所述预测误差项包含通过使用与所述目标相关的运动向量而获得的预测误差和通过使用与所述背景区域相关的运动向量而获得的预测误差之间的差别。
19.如权利要求15所述的计算机可读介质，
其中所述动态模型包含稳定性项；
其中所述稳定性项包含与提取所述背景的曲率相关的曲率项；并且
其中所述稳定性项包含与提取所述运动目标的平滑度或紧密度相关的扩散项。
20.如权利要求15所述的计算机可读介质，
其中所述动态模型包含图像耦合项；
其中所述图像耦合项与垂直于所述目标边界的强度梯度相关；并且
其中所述强度梯度与紧接着所述目标的所述目标图像的一部分相关。
21.如权利要求15所述的计算机可读介质，
其中所述动态模型包含模板项；并且
其中所述模板项为所述运动目标边界提供模板。
22.如权利要求15所述的计算机可读介质，其中所述动态模型求解的任一次迭代包含预测误差估计过程，其中：
若所述目标图像中的像素紧接着与所述未来参考帧有关的被估计遮挡区域，则使用过去参考帧来估计所述预测误差；并且
若所述目标图像中的像素紧接着与所述过去参考帧有关的被估计遮挡区域，则使用未来参考帧来估计所述预测误差。
23.如权利要求22所述的计算机可读介质，其中所述预测误差估计过程包含对背景运动场的假设检验过程，所述假设检验过程为：
检验第一背景运动场与所述目标的当前状态的一致性，其中所述第一背景运动场基于参考帧；
检验第二背景运动场与所述目标的当前状态的一致性，其中所述第二背景运动场基于未来参考帧；并且
使用所述检验结果来选择所述第一背景场或所述第二背景场。
24.如权利要求22所述的计算机可读介质，其中所述预测误差估计过程包含对目标运动场的假设检验过程，所述假设检验过程为：
若B(x，y)≥S，
则选择
否则选择
Figure A20068003419600062
其中vo 过去/未来包含基于过去或未来参考场的所述目标的运动向量，ε包含所述预测误差，vo hyp包含对所述运动向量的假设，S包含阈值，且B(x，y)包含像素(x，y)处的边界场状态。
25.如权利要求22所述的计算机可读介质，其中所述动态模型包含：
B(x，y，t+τ)＝B(x，y，t)+τT|▽B(x，y，t)|；
其中所述B(x，y，t)包含t时刻在像素(x，y)处的边界场状态，所述▽B(x，y，t)包含边界场的梯度，所述T包含将来自多个边界特征的效果合并的合成驱动项，并且所述τ包含使状态从t时刻前进到t+τ时刻的时间步长参数。
26.如权利要求25所述的计算机可读介质，其中所述T包含：
T＝λ1T过去/未来预测误差+λ2T稳定性+λ3T图像耦合+λ4T模板；
其中所述λ1，λ2，λ3，λ4包含加权因子，所述T过去/未来预测误差包含预测误差项，所述T稳定性包含稳定性项，所述T图像耦合包含图像耦合项，所述T模板包含模板项。
27.如权利要求15所述的计算机可读介质，还包括：
在完成所述动态模型求解的特定次数的迭代后估计所述目标的第二运动向量；以及
在完成所述动态模型求解的特定次数的迭代后估计所述背景区域的第二运动向量。
28.如权利要求27所述的计算机可读介质，其中估计所述目标的所述第二运动向量和所述背景区域的所述第二运动向量包括：
估计整体运动向量和局部边界运动向量，其中所述整体运动向量和所述局部边界运动向量表示所述目标的运动；以及
使用所估计的局部边界运动向量来为紧接着所述目标中含有非刚性运动的区域的像素计算所述动态模型中的预测误差项。
29.一种装置包括：
微处理器，所述微处理器执行以下动作：估计目标的初始运动向量，所述目标的运动用目标图像和参考图像之间的位置的变化来表示；估计背景区域的初始向量，所述目标看来在所述背景区域上运动；使用所估计的向量来寻找动态模型求解的第一次迭代；以及
完成所述动态模型求解的至少一次后续迭代以提取所述目标的边界。
30.如权利要求29所述的装置，其中所述动态模型求解的所述后续迭代或每一次后续迭代包括时间步迭代。
31.如权利要求29所述的装置，其中所述动态模型包含来自如下集合的项，所述集合由预测误差项、稳定性项、图像耦合项和模板项组成。
32.如权利要求29所述的装置，
其中所述动态模型包含预测误差项；
其中所述预测误差项包含通过使用与所述目标相关的运动向量而获得的预测误差和通过使用与所述背景区域相关的运动向量而获得的预测误差之间的差别。
33.如权利要求29所述的装置，
其中所述动态模型包含稳定性项；
其中所述稳定性项包含与提取所述背景的曲率相关的曲率项；并且
其中所述稳定性项包含与提取所述运动目标的平滑度或紧密度相关的扩散项。
34.如权利要求29所述的装置，
其中所述动态模型包含图像耦合项；
其中所述图像耦合项与垂直于所述目标边界的强度梯度相关；并且
其中所述强度梯度与紧接着所述目标的所述目标图像的一部分相关。
35.如权利要求29所述的装置，
其中所述动态模型包含模板项；并且
其中所述模板项为所述运动目标边界提供模板。
36.如权利要求29所述的装置，其中所述微处理器使用预测误差估计过程来执行所述动态模型求解的任一次迭代，所述预测误差估计过程中：
若所述目标图像中的像素紧接着与所述未来参考帧有关的被估计遮挡区域，则使用过去参考帧来估计所述预测误差；并且
若所述目标图像中的像素紧接着与所述过去参考帧有关的被估计遮挡区域，则使用未来参考帧来估计所述预测误差。
37.如权利要求36所述的装置，其中所述预测误差估计过程包含对背景运动场的假设检验过程，所述假设检验过程为：
检验第一背景运动场与所述目标的当前状态的一致性，其中所述第一背景运动场基于过去参考帧；
检验第二背景运动场与所述目标的当前状态的一致性，其中所述第二背景运动场基于未来参考帧；并且
使用所述检验结果来选择所述第一背景场或所述第二背景场。
38.如权利要求36所述的装置，其中所述预测误差估计过程包含对目标运动场的假设检验过程，所述假设检验过程为：
若B(x，y)≥S，
则选择
Figure A20068003419600081
否则选择
Figure A20068003419600082
其中vo 过去/未来包含基于过去或未来参考场的所述目标的运动向量，ε包含所述预测误差，v0 hyp包含对所述运动向量的假设，S包含阈值，且B(x，y)包含像素(x，y)处的边界场状态。
39.如权利要求29所述的装置，其中所述动态模型包含：
B(x，y，t+τ)＝B(x，y，t)+τT|▽B(x，y，t)|；
其中所述B(x，y，t)包含t时刻在像素(x，y)处的边界场状态，所述▽B(x，y，t)包含边界场的梯度，所述T包含将来自多个边界特征的效果合并的合成驱动项，并且所述τ包含使状态从t时刻前进到t+τ时刻的时间步长参数。
40.如权利要求29所述的装置，其中所述T包含：
T＝λ1T过去/未来预测误差+λ2T稳定性+λ3T图像耦合+λ4T模板；
其中所述λ1，λ2，λ3，λ4包含加权因子，所述T过去/未来预测误差包含预测误差项，所述T稳定性包含稳定性项，所述T图像耦合包含图像耦合项，所述T模板包含模板项。
41.如权利要求29所述的装置，其中所述微处理器在完成所述动态模型求解的特定次数的迭代后估计所述目标的第二运动向量；并且在完成所述动态模型求解的特定次数的迭代后估计所述背景区域的第二运动向量。
42.如权利要求41所述的装置，其中所述微处理器通过估计整体运动向量和局部边界运动向量并使用所估计的局部边界运动向量来为紧接着所述目标中含有非刚性运动的区域的像素计算所述动态模型中的预测误差项来估计所述目标和所述背景区域的所述第二运动向量，其中所述整体运动向量和所述局部边界运动向量表示所述目标的运动。
CN200680034196XA 2005-09-16 2006-09-14 电子数据处理器及由其执行的方法 Expired - Fee Related CN101283364B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/229,285 US7596243B2 (en) 2005-09-16 2005-09-16 Extracting a moving object boundary
US11/229,285 2005-09-16
PCT/US2006/036121 WO2007035538A2 (en) 2005-09-16 2006-09-14 Extracting a moving object boundary

Publications (2)

Publication Number Publication Date
CN101283364A true CN101283364A (zh) 2008-10-08
CN101283364B CN101283364B (zh) 2013-07-10

Family

ID=37884183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680034196XA Expired - Fee Related CN101283364B (zh) 2005-09-16 2006-09-14 电子数据处理器及由其执行的方法

Country Status (6)

Country Link
US (1) US7596243B2 (zh)
EP (1) EP1946244A4 (zh)
JP (1) JP5312942B2 (zh)
KR (1) KR101396618B1 (zh)
CN (1) CN101283364B (zh)
WO (1) WO2007035538A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257534A (zh) * 2008-10-24 2011-11-23 Ati技术无限责任公司 确定运动向量的方法、装置及软件
CN105678326A (zh) * 2015-12-31 2016-06-15 华南理工大学 一种基于曲率的二维目标轮廓的编码方法
CN108537234A (zh) * 2018-03-22 2018-09-14 南京邮电大学 基于字典学习的规律背景和矩形目标图像的定界方法
CN109565595A (zh) * 2016-06-24 2019-04-02 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026606A1 (en) * 1999-03-11 2011-02-03 Thomson Licensing System and method for enhancing the visibility of an object in a digital picture
RU2225035C1 (ru) * 2003-04-21 2004-02-27 Общество с ограниченной ответственностью "Р.Т.С.-Сервис" Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства
CN101690249B (zh) * 2007-06-26 2012-06-20 皇家飞利浦电子股份有限公司 用于编码3d视频信号的方法和系统、用于3d视频信号解码器的方法和系统
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
US8300949B2 (en) 2010-05-18 2012-10-30 Sharp Laboratories Of America, Inc. Edge detection technique having improved feature visibility
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JPWO2012128242A1 (ja) * 2011-03-18 2014-07-24 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9158971B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
AU2014216000A1 (en) 2014-08-22 2016-03-10 Canon Kabushiki Kaisha A non-uniform curve sampling method for object tracking
WO2016076449A1 (en) * 2014-11-11 2016-05-19 Movon Corporation Method and system for detecting an approaching obstacle based on image recognition
CN108242059B (zh) * 2016-12-26 2021-03-12 深圳怡化电脑股份有限公司 图像边界查找方法和装置
US10643336B2 (en) 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
CN110443266B (zh) * 2018-05-04 2022-06-24 上海商汤智能科技有限公司 对象预测方法及装置、电子设备和存储介质
US10964033B2 (en) * 2018-08-07 2021-03-30 Qualcomm Incorporated Decoupled motion models for object tracking
US11030774B2 (en) * 2019-03-19 2021-06-08 Ford Global Technologies, Llc Vehicle object tracking

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3877105D1 (zh) 1987-09-30 1993-02-11 Siemens Ag, 8000 Muenchen, De
US5690934A (en) * 1987-12-31 1997-11-25 Tanox Biosystems, Inc. Peptides relating to the extracellular membrane-bound segment of human alpha chain
US5047850A (en) * 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US5872866A (en) * 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
GB9519923D0 (en) * 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
WO1997040628A1 (en) * 1996-04-19 1997-10-30 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
DE19648016A1 (de) 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
CN1217852A (zh) 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
US6259802B1 (en) * 1997-06-30 2001-07-10 Siemens Corporate Research, Inc. Object tracking technique using polyline contours
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) * 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6263103B1 (en) * 1998-11-30 2001-07-17 Mitsubishi Electric Research Laboratories, Inc. Estimating scenes using statistical properties of images and scenes
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
JP2000308064A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
EP1277347A1 (en) 2000-04-11 2003-01-22 Koninklijke Philips Electronics N.V. Video encoding and decoding method
AU2002228884A1 (en) 2000-11-03 2002-05-15 Compression Science Video data compression system
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
MXPA05000335A (es) 2002-07-09 2005-03-31 Nokia Corp Metodo y sistema para seleccionar tipo de filtro de interpolacion en codificacion de video.
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102257534A (zh) * 2008-10-24 2011-11-23 Ati技术无限责任公司 确定运动向量的方法、装置及软件
CN105678326A (zh) * 2015-12-31 2016-06-15 华南理工大学 一种基于曲率的二维目标轮廓的编码方法
CN109565595A (zh) * 2016-06-24 2019-04-02 华为技术有限公司 一种使用基于分割的视频编码块划分的视频编码设备和方法
US10931965B2 (en) 2016-06-24 2021-02-23 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
CN108537234A (zh) * 2018-03-22 2018-09-14 南京邮电大学 基于字典学习的规律背景和矩形目标图像的定界方法

Also Published As

Publication number Publication date
US7596243B2 (en) 2009-09-29
EP1946244A4 (en) 2012-09-19
KR20080063770A (ko) 2008-07-07
WO2007035538A2 (en) 2007-03-29
KR101396618B1 (ko) 2014-05-21
JP2009509417A (ja) 2009-03-05
WO2007035538A8 (en) 2008-02-21
US20070065025A1 (en) 2007-03-22
JP5312942B2 (ja) 2013-10-09
WO2007035538A3 (en) 2007-12-13
EP1946244A2 (en) 2008-07-23
CN101283364B (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
CN101283364B (zh) 电子数据处理器及由其执行的方法
KR102144381B1 (ko) 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치
US8682063B2 (en) Methods and apparatus for dynamic color flow modeling
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
CN107610049B (zh) 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法
JP2003196661A (ja) 視覚型動き解析及び視覚型追跡のためのアピアランスモデル
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
CN107862376A (zh) 一种基于双流神经网络的人体图像动作识别方法
KR102320999B1 (ko) 폴트 톨러런스 및 플럭츄에이션 로버스트를 위한 복수의 뉴럴 네트워크를 사용하여 흔들리는 카메라로 인해 생성된 비디오에서 지터링을 제거하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US20150228085A1 (en) Image processing device
CN111768401A (zh) 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
KR20190115542A (ko) 보행자 검출 장치 및 방법
KR102162451B1 (ko) 학습네트워크 기반의 비디오 보간 방법 및 비디오 보외 방법
CN111652231B (zh) 一种基于特征自适应选择的铸件缺陷语义分割方法
JP2009026326A (ja) 集団学習装置及び方法
Li et al. From here to there: Video inbetweening using direct 3d convolutions
Baumgartner et al. A new image segmentation framework based on two-dimensional hidden Markov models
CN113255479A (zh) 轻量化人体姿态识别模型训练方法、动作切分方法及装置
CN104778670A (zh) 一种基于多元统计模型的分形小波自适应图像去噪方法
Ho et al. Sme-net: Sparse motion estimation for parametric video prediction through reinforcement learning
CN112258420A (zh) 基于dqn的图像增强处理方法及装置
CN104125470A (zh) 一种视频数据传输方法
CN116030516A (zh) 基于多任务学习与全局循环卷积的微表情识别方法及装置
CN112258434A (zh) 一种静态场景下细节保持多曝光图像融合算法
Fenyi et al. Gaussian based Image Segmentation Algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130710

Termination date: 20150914

EXPY Termination of patent right or utility model