CN1554194A - 运动估计和/或补偿 - Google Patents

运动估计和/或补偿 Download PDF

Info

Publication number
CN1554194A
CN1554194A CNA028177827A CN02817782A CN1554194A CN 1554194 A CN1554194 A CN 1554194A CN A028177827 A CNA028177827 A CN A028177827A CN 02817782 A CN02817782 A CN 02817782A CN 1554194 A CN1554194 A CN 1554194A
Authority
CN
China
Prior art keywords
image
search
region
skew
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028177827A
Other languages
English (en)
Other versions
CN1303818C (zh
Inventor
Ak
A·K·里门斯
̹��
R·J·舒特坦
J·M·科特尼斯
O·A·奥乔
ά
K·A·维塞斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Data Technology LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8180917&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1554194(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1554194A publication Critical patent/CN1554194A/zh
Application granted granted Critical
Publication of CN1303818C publication Critical patent/CN1303818C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

提供了估计和/或补偿视频图像中的运动，其中选择该视频图像的图像段(B12)，在该图像段周围规定搜索区域(S)，该规定基于该图像段可能运动向量(V)的范围，并且检索与所述搜索区域相关的图像数据。规定该收缩区域，以使其中心具有相对于该图像段中心的偏移。该偏移可由全局运动参数确定。

Description

运动估计和/或补偿
本发明涉及一种用于补偿和/或估计视频图像中的运动的方法。
在HervéBenoit的“数字电视、MPEG-1，MPEG-2和DVB系统的原理”(伦敦，1997第40-42页)中公开了通过使用运动估计，根据前面的和/或随后的图像来预测P和B图像。运动估计包括使用被称为块匹配的技术来规定一运动向量，该向量确保在第二图像上的“到达”区域和第一图像上的“出发”区域之间的相关性。这是在宏块级(16×16象素)上完成的，通过在小搜索窗口中从前一图像移动当前图像的宏块，并且将之与该窗口的所有可能宏块进行比较，以发现最相似的一块。在要被编码的实际块同匹配块之间的差别(或者预测误差)被计算，并且使用与对I图像的块相似的方式编码。这一过程被称为运动补偿。
运动估计和/或补偿的另一应用是视频扫描速率转换，其中视频信号处理系统的输出图像速率不同于输入图像速率。这种应用也可以从运动向量的使用中得益，如Gerard de Haan等在“利用3D递归搜索块匹配的真正运动估计”(True-motion Estimation 3-D RecursiveSearch block Matching)，IEEE Transactions on Circuits and Systemsfor Video Technology，Vol.3，No.5，October 1993，以及Gerard deHaan在“用于运动补偿的解交织、降噪和图像速率转换的IC”(IC forMotion-compensated De-interlacing，Noise Reduction andPicture-rate conversion)，IEEE Transactions on ConsumerElectronics，Vol.45，No.3，August 1999中所述。
对于这种编码或者扫描速率转换方法以及运动估计和/或运动补偿的其它实际应用，运动向量的确定通常基于块匹配，由此，对于所选的、通常为方形的、编码图像的象素块(典型地包含16×16或者8×8象素)，以位于其中央的象素块规定一个环绕的子区域，该子区域通常包含例如88×40象素。该子区域被应用为在前一图像相同空间位置的象素块周围的一个搜索区域或者窗口，以搜索位于该搜索区域或者窗口内的、具有匹配于被选象素块的视频信号信息的象素块。也参看Hentschel，“视频信号处理”(Video-Signalverarbeitung)，B.G.Teubner Stuttgart 1998，第214-217页。
在当前系统中，该搜索区域或者窗口的图像数据通常被存储在本地缓冲器或芯片(on-chip)存储器中，对于该存储器有极大的带宽要求。
搜索区域涉及一片区域，其中包括该图像段(例如宏块)在它所有可能的运动向量范围内移动的所有可能位置。因而，在搜索区域的大小和运动向量范围之间有直接关系。较大的搜索区域常常可以改善运动估计和/或补偿。然而，较大的搜索区域需要更多的资源，特别是缓冲存储器的容量，它涉及到硅面积。这导致在质量和实施成本之间的折中。
本发明的一个目的是提供一种改善的运动估计和/或补偿。
所以，本发明提供了如独立权利要求所述的运动估计和/或补偿、编码、编码的数字视频信号、存储器产品、分配系统以及再现设备。在从属权利要求中限定了有益的实施方式。
根据本发明的第一方面，该搜索区域被限定为使它的中心偏离该图像段的中心。通过引入偏移，搜索区域可以被限定在一个有利的位置。例如，如果期望运动是在给定方向上，搜索窗口可以被限定为在该方向上有偏移，使得在期望的运动方向上可能有较大的运动向量范围。实际上，在有利的方向上放大搜索窗口是以在相反方向上减小搜索区域为代价的。通过该搜索区域或窗口的中心偏离实际处理的图像段(被选择的图像段，例如8×8象素块)的中心，局部搜索区域或窗口的位置相对于该图像段将变得不对称。代替(全局)运动，也可以使用其它图像特征来限定该搜索区域的偏移。当涉及搜索区域的图像数据是从图像存储器中检索时(其中该图像数据被临时存储在缓冲存储器中)，本发明的这一方面对于这种应用特别有益。
在实际的实施例中，该偏移只在视频图像的水平方向上。这样做是有益的，因为在视频中水平方向上的运动是最常见的。
在实际的实施例中，该偏移由全局运动参数确定。该参数可以是从图像序列内的全局运动中提取，或者局部地适应于部分图像中的运动属性。在全局运动方向上运动向量的最大范围将会增加，并且提供全局运动的补偿。
依照本发明实施例的运动估计和/或补偿可以被应用于涉及运动估计和/或者补偿之使用的所有数字视频信号处理功能，诸如在编码/压缩数字视频信号中的运动补偿预测、降噪中的运动补偿滤波、视频格式转换中的运动补偿内插、交织视频信号的运动补偿解交织等等。
以下将参考附图更详细地解释本发明，其中
图1示例了具有现有技术已知的向量限制的搜索区域，
图2示例了依照本发明实施例对全局运动补偿的搜索区域，
图3示例了依照本发明实施例，用在例如视频扫描速率转换中可能的运动估计器结构的简化框图，
图4示出了依照本发明实施例的分配系统，以及
图5示出了依照本发明实施例的再现设备。
在图1中，给出了应用运动向量V以便根据连续视频图像序列的前一图像，在该序列中内插一幅图像。这种内插通常被用在视频扫描速率转换中，例如从50Hz转换到100Hz的图像格式。
每个运动向量V描述了在第一图像P1中图像段B1和在第二图像P2中图像段B2之间位置的差别。在一维预测中，第二图像P2通常是前一图像，尽管第二图像P2也可以是随后的图像。根据本说明书，运动向量被规定在二维平面内并且具有X分量和Y分量。
在实际的实施例中，图像段B1和B2是例如8×8像素的块。运动向量的确定基于现有技术中已知的所谓块匹配技术。在第二图像P2中，对应于第一图像P1中的所选块B1，所选块B12被规定。搜索区域S取决于B1/B12的运动向量可能的范围，该S在块B12的周围被规定。通常，搜索区域S可以包含在水平和垂直方向上象素块B12的许多象素块，并且对于8×8像素的块，搜索区域S的大小可以是例如88×40像素。通过在搜索区域或窗口S中搜索最佳匹配象素块B1的块B2，来确定被分配给块B1/B12的运动向量V。
通过使用块匹配技术，该搜索过程可以借助于改变在某种程度上取决于运动估计的实际应用的复杂性的等级而实现，但是涉及从存储在预测存储器里的一组所谓候选向量中最佳向量的典型选取。此处不解释该搜索过程的细节，但是如上所述，在Gerard de Haan等的“利用3D递归搜索块匹配的真正运动估计”IEEE Transactions onCircuits and Systems for Video Technology，Vol.3，No.5，October1993以及Gerard de Haan在“用于运动补偿的解交织、降噪和图像速率转换的IC”，IEEE Transactions on Consumer Electronics，Vol.45，No.3，August 1999中给出了对于各种选择的复杂分析。
以这种方式，可以确定图像P1所有块的运动向量。该运动向量可以被用于内插图像，以获得期望的视频格式转换。
运动向量V的最大范围涉及到搜索区域或窗口S的大小，并且由于实际象素块位于搜索区域或窗口中央，该最大运动向量V的水平和垂直分量的最大范围在示例的例子中在水平和垂直方向上将分别为40和16像素，这分别对应于8和5个象素的块。
图2示例了依照本发明实施例的运动估计和/或运动补偿，其中分配给图像P2的像素块B12的搜索区域或窗口S被规定为，使其中央偏离象素块B12的位置一个偏移CO。该偏移有益地由全局运动参数确定，后者被提取自例如包含了当前处理的图像在内的图像序列中的全局运动，该全局运动通常是由于摄像机以扫视或者倾斜的形式运动引起的。因此，搜索区域或窗口S可以相对于块B12被不对称定位，并且用于确定运动向量的最大范围可以在一个水平方向和/或一个垂直方向上扩展。在图2所示的例子中，对于搜索区域或窗口S的中心偏移CO在水平方向上等于10像素，在垂直方向上等于8像素，获得在水平方向上(向右)50像素和在垂直方向上(向上)24像素的最大范围。
在相对于块B12不对称偏移搜索区域或窗口S的简单实施中，确定中心偏移CO的全局运动参数可以根据为一个或者多个前面的图像所建立的运动向量的平均向量来确定。
在更先进的系统中，先前计算的向量场的统计数字可以被用于计算最大向量值，以确定中心偏移CO。
在图3中用于例如视频扫描速率转换的可能运动估计器结构的简化框图中，输入图像被提供到图像存储器1，包含对其要确定运动向量的图像段之分组的实际图像对P1和P2被从该图像存储器1传送到块匹配器2。在块匹配器2中，通过应用从局部缓冲器或者搜索区域存储器3传送到块匹配器2的搜索区域S，以及通过使用从向量存储器4传送到块匹配器2的一组候选运动向量CV，来实现在图像P2中对于和图像P1中的被选图像块匹配的图像段组或块的搜索。
临时存储在缓冲存储器3中的搜索区域S是从图像P2获得的，后者被存储在图像存储器1’中。图像存储器1和1’可以在一个图像存储器中实施。
向量存储器4存储为第二图像P2的段分组或块所确定的所有运动向量和在图像P1中要搜索的图像块，候选向量组通常包含运动向量，这些向量是为前一图像中具有相同位置的图像块、或者为实际图像中相邻的图像块确定的。
根据本发明，通过修改对于搜索区域的规定，以使其中心偏离当前正在研究中的该段分组或者块的图像位置，使得放大对于给定大小的搜索区域S的运动向量的可能范围成为可能。
在简单实施中，如确定运动补偿参数CP所示，可以通过在向量分析器5中分析先前从向量存储器4中找到的向量来实施这种修改。
在块匹配器2中处理的块匹配过程在现有技术中是已知的，并且涉及通过应用候选向量而定位的那些块的比较或匹配。
通过这一过程，每个匹配误差M被传送到向量选择器6，后者选择最佳匹配并在向量存储器4中存储相应的候选向量，以便在将来的运动向量的确定中使用。
图3中所示的简单运动估计器结构只是实施本发明的一个例子。作为一个备选可能，来自前面处理的图像块或者以前图像的运动补偿参数可以被存储在全局运动估计存储器中，可以利用适当的选择装置从其中收回实际使用的运动补偿参数。
图4示出了依照本发明实施例的分配系统10。该分配系统10包括装置100，用于获得视频图像序列。装置100可以是摄像机，但也可以是输入单元，诸如用于接收携带视频图像序列的信号的天线。装置100还可以是用于记录载体的读取单元。该分配系统还包括编码器101，用于编码该视频图像序列，以获得编码数字视频信号S。编码器101包括使用非对称搜索区域的运动估计和/或补偿装置，例如图3的装置。该分配系统10还包括输出单元102，用于输出编码视频信号S，例如通过把信号S存储在存储器产品20上。优选地，输出单元102将非对称搜索区域的偏移表示作为预测信息合并到编码视频信号S中。该偏移被清楚地包含在信号中，但也可以被隐含地包含在运动向量范围内。
图5示出了依照本发明实施例、诸如电视或者数字接收机的再现设备300。再现设备300包括输入单元301，以获得包含编码视频图像序列的编码数字视频信号。该输入单元301可以类似于分配系统的输入单元101，被合适地安排用来接收编码视频图像。编码视频图像序列可以从存储产品20’中获得。该再现设备30还包括处理器302，使用非对称搜索区域来执行特别是运动补偿和/或估计。另外，处理器302可以包括图3中所给出的设备。输出单元303(例如显示器)输出处理的视频图像。在装置302中执行的处理可以是利用非对称搜索区域执行运动估计和/或运动补偿的扫描速率转换。如果再现设备正在处理从图4的分配系统10所获得的信号S，则搜索区域可以由包含在信号S中的运动向量信息确定。
应当注意的是，上述实施例示例说明而非限制本发明，并且本领域技术人员能够设计各种替换实施方式，而不脱离附加的权利要求的范围。在权利要求中，括号中的任何参考标号都不应理解为对权利要求的限制。单词“包含”并不排除除了权利要求中所列之外的，其它元件或者步骤的存在。本发明可以利用包含各种不同元件的硬件实施，或者利用被适当编程的计算机实施。在一个设备中，权利要求列举了多个装置，这些装置中的某些可以被实现为一个以及相同的硬件。在相互不同的从属权利要求中只是记载了某些措施，但并非表示不能使用这些措施的组合来获益。

Claims (17)

1.一种用于在视频图像中估计和/或补偿运动的方法，该方法包括：
选择给定视频图像(P2)的图像段(B12)；
规定在该图像段周围的搜索区域(S)，该规定基于该图像段的可能运动向量(V)的范围；以及
检索与所述搜索区域有关的图像数据；
该方法的特征在于，该搜索区域(S)被规定使其中心相对于该图像段(B12)中心具有偏移(C0)。
2.权利要求1所述的方法，其中所述偏移只在该视频图像的水平方向上。
3.权利要求1所述的方法，其中所述偏移只在该视频图像的垂直方向上。
4.权利要求1所述的方法，其中所述偏移依赖于在该视频图像中所述图像段的位置。
5.权利要求1所述的方法，其中所述偏移对于在该视频图像内的图像段的所有位置具有相同的值。
6.权利要求1所述的方法，其中该偏移由全局运动参数确定。
7.权利要求6所述的方法，其中所述全局运动参数取决于至少一个前面的视频图像的运动向量场的属性。
8.权利要求7所述的方法，其中所述全局运动参数取决于在所述运动向量场中运动向量的最小值和最大值。
9.权利要求7所述的方法，其中所述全局运动参数取决于在所述运动向量字段中运动向量的平均值。
10.权利要求6所述的方法，其中所述全局运动参数由单独的运动估计器确定。
11.一种对视频图像序列进行编码(101)的方法，该方法包括估计和/或补偿运动，该运动估计和/或补偿包括：
选择给定视频图像的图像段(B12)；
规定在该图像段周围的搜索区域(S)，该规定基于该图像段的可能运动向量(V)的范围；以及
检索与所述搜索区域有关的图像数据；
其特征在于，该搜索区域(S)被规定为使其中心具有相对于该图像段中心的偏移，并且其中所述偏移的表示作为预测信息被合并到编码视频信号中。
12.一种用于估计和/或补偿视频图像中的运动的设备(101，301)，该设备包括：
用于选择给定视频图像的图像段(B12)的装置(2，4)；
用于规定在该图像段周围的搜索区域(S)的装置(2，3)，该规定是基于该图像段的可能运动向量(V)的范围；以及
用于检索与所述搜索区域有关的图像数据的装置(2，3)；
该设备的特征在于用于规定的该装置包括用于规定该搜索区域以使得其中心具有相对于该图像段中心的偏移的装置。
13.一种用于对视频图像序列进行编码的编码器(101)，该编码器包含用于估计和/或补偿运动的装置，该运动估计和/或补偿装置包括：
用于选择给定视频图像的图像段(B12)的装置；
用于规定在该图像段周围的搜索区域(S)的装置，该规定基于该图像段的可能运动向量(V)的范围；以及
用于检索与所述搜索区域有关的图像数据的装置；
该编码器的特征在于，该规定装置包括用于规定该搜索区域以使其中心具有相对于该图像段中心的偏移的装置，并且其中，该编码器还包括用于将所述偏移的表示作为预测信息合并到编码视频信号中的装置。
14.一种编码的数字视频信号(S)，包括视频图像的编码序列以及运动向量信息，用于根据至少一个相邻视频图像来预测至少一个给定视频图像，该编码数字视频信号的特征在于包含为该给定视频图像的给定图像段规定一个搜索区域的信息，以使得该搜索区域的中心具有相对于该图像段中心的偏移。
15.一种存储产品，包含权利要求14中所述的编码数字视频信号。
16.一种分配系统(10)，包括：
用于获得视频图像序列的装置(100)；
如权利要求13中所述的编码器(101)，用于对该视频图像序列进行编码，以获得编码数字视频信号(S)，以及
输出单元(102)，用于输出该编码视频信号。
17.一种再现设备(300)，包括：
输入单元(300)，用于获得包含编码视频图像序列的编码数字视频信号；以及
如权利要求12所述的设备(301)，用于对至少一个给定的视频图像进行运动补偿和/或估计，以获得处理的视频图像，以及
用于输出该处理的视频图像的装置(302)。
CNB028177827A 2001-09-12 2002-08-29 运动估计和/或补偿 Expired - Fee Related CN1303818C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01203440 2001-09-12
EP01203440.1 2001-09-12

Publications (2)

Publication Number Publication Date
CN1554194A true CN1554194A (zh) 2004-12-08
CN1303818C CN1303818C (zh) 2007-03-07

Family

ID=8180917

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028177827A Expired - Fee Related CN1303818C (zh) 2001-09-12 2002-08-29 运动估计和/或补偿

Country Status (8)

Country Link
US (1) US7929609B2 (zh)
EP (1) EP1430724B1 (zh)
JP (1) JP4472986B2 (zh)
KR (1) KR100905880B1 (zh)
CN (1) CN1303818C (zh)
AT (1) ATE404019T1 (zh)
DE (1) DE60228101D1 (zh)
WO (1) WO2003024116A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101416524B (zh) * 2006-04-07 2011-03-09 微软公司 运动估计搜索范围和扩展的运动矢量范围的动态选择
CN102100059A (zh) * 2008-07-16 2011-06-15 索尼公司 用于运动估计迭代搜索的简单下一搜索位置选择
CN102271253A (zh) * 2010-06-07 2011-12-07 索尼公司 使用运动估计的图像处理方法和图像处理装置
CN101326550B (zh) * 2005-12-15 2013-12-25 美国亚德诺半导体公司 利用预测指导的抽取搜索的运动估计
CN104053005A (zh) * 2013-03-11 2014-09-17 英特尔公司 使用分级相平面相关性和块匹配的运动估计
CN107197307A (zh) * 2016-03-15 2017-09-22 安讯士有限公司 用于编码视频流的方法和系统
CN108702512A (zh) * 2017-10-31 2018-10-23 深圳市大疆创新科技有限公司 运动估计方法和装置
WO2022104678A1 (zh) * 2020-11-20 2022-05-27 深圳市大疆创新科技有限公司 视频编解码方法、装置、可移动平台和存储介质

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US7386373B1 (en) * 2003-01-07 2008-06-10 Garmin International, Inc. System, method and apparatus for searching geographic area using prioritized spatial order
US6745115B1 (en) 2003-01-07 2004-06-01 Garmin Ltd. System, method and apparatus for searching geographic area using prioritized spacial order
US8131095B2 (en) * 2003-02-03 2012-03-06 Actimagine Process and device for the compression of portions of images
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
JP2005223631A (ja) * 2004-02-05 2005-08-18 Sony Corp データ処理装置およびその方法と符号化装置および復号装置
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US9495385B2 (en) 2004-10-01 2016-11-15 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US7812986B2 (en) 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US10192279B1 (en) 2007-07-11 2019-01-29 Ricoh Co., Ltd. Indexed document modification sharing with mixed media reality
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
KR100714698B1 (ko) * 2005-08-29 2007-05-07 삼성전자주식회사 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치
EP1841232A1 (en) * 2006-03-31 2007-10-03 Sony Deutschland Gmbh Method and apparatus to improve the convergence speed of a recursive motion estimator
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US7933452B2 (en) * 2006-12-11 2011-04-26 Florida Atlantic University System and methods of image retrieval
KR101356735B1 (ko) * 2007-01-03 2014-02-03 삼성전자주식회사 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법
WO2009034486A2 (en) * 2007-09-10 2009-03-19 Nxp B.V. Method and apparatus for line-based motion estimation in video image data
TW200937349A (en) * 2008-02-19 2009-09-01 Elan Microelectronics Corp Image displacement detection method
US8559518B2 (en) * 2008-06-30 2013-10-15 Samsung Electronics Co., Ltd. System and method for motion estimation of digital video using multiple recursion rules
US8462852B2 (en) * 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
GB2480422B (en) * 2010-02-25 2014-07-09 Imagination Tech Ltd Object tracking using graphics engine derived vectors in a motion estimation system
CN102986224B (zh) 2010-12-21 2017-05-24 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
RU2013106319A (ru) * 2013-02-13 2014-08-20 ЭлЭсАй Корпорейшн Основанная на характерных точках надежная регистрация трехмерного твердого тела
CN104301703A (zh) * 2013-07-16 2015-01-21 联咏科技股份有限公司 匹配搜寻方法与匹配搜寻系统
JP6527460B2 (ja) * 2015-12-25 2019-06-05 日本電信電話株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69126930T2 (de) * 1990-09-03 1998-02-19 Philips Electronics Nv Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet
JPH05328333A (ja) 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
US6182069B1 (en) * 1992-11-09 2001-01-30 International Business Machines Corporation Video query system and method
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
KR0148154B1 (ko) * 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
JPH10262258A (ja) 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
JP3226020B2 (ja) 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
US6285711B1 (en) * 1998-05-20 2001-09-04 Sharp Laboratories Of America, Inc. Block matching-based method for estimating motion fields and global affine motion parameters in digital video sequences
US6128047A (en) * 1998-05-20 2000-10-03 Sony Corporation Motion estimation process and system using sparse search block-matching and integral projection
US6574370B1 (en) 1998-07-22 2003-06-03 Mitsubishi Denki Kabushiki Kaisha Image encoding system
EP0982952A3 (en) 1998-08-28 2000-05-17 Hitachi, Ltd. Moving picture recording/regenerating system
JP3939907B2 (ja) 1998-08-28 2007-07-04 株式会社ルネサステクノロジ 信号処理装置
US6876702B1 (en) * 1998-10-13 2005-04-05 Stmicroelectronics Asia Pacific (Pte) Ltd. Motion vector detection with local motion estimator
JP4280353B2 (ja) * 1999-03-19 2009-06-17 キヤノン株式会社 符号化装置、画像処理装置、符号化方法、及び記録媒体
CN1147159C (zh) * 1999-04-27 2004-04-21 三星电子株式会社 实时运动图像编码的高速运动估计方法及其装置
US7551673B1 (en) * 1999-05-13 2009-06-23 Stmicroelectronics Asia Pacific Pte Ltd. Adaptive motion estimator
ES2276696T3 (es) * 1999-09-21 2007-07-01 Koninklijke Philips Electronics N.V. Metodo de estimacion de movimiento global.
US7072398B2 (en) * 2000-12-06 2006-07-04 Kai-Kuang Ma System and method for motion vector generation and analysis of digital video clips
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
KR100727910B1 (ko) * 2000-10-11 2007-06-13 삼성전자주식회사 하이브리드형 고속 움직임 추정 방법 및 그 장치
US20050207663A1 (en) * 2001-07-31 2005-09-22 Weimin Zeng Searching method and system for best matching motion vector

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101326550B (zh) * 2005-12-15 2013-12-25 美国亚德诺半导体公司 利用预测指导的抽取搜索的运动估计
CN101416524B (zh) * 2006-04-07 2011-03-09 微软公司 运动估计搜索范围和扩展的运动矢量范围的动态选择
CN102100059A (zh) * 2008-07-16 2011-06-15 索尼公司 用于运动估计迭代搜索的简单下一搜索位置选择
CN102100059B (zh) * 2008-07-16 2013-11-27 索尼公司 用于运动估计迭代搜索的简单下一搜索位置选择
CN102271253A (zh) * 2010-06-07 2011-12-07 索尼公司 使用运动估计的图像处理方法和图像处理装置
CN104053005B (zh) * 2013-03-11 2018-11-06 英特尔公司 使用分级相平面相关性和块匹配的运动估计
CN104053005A (zh) * 2013-03-11 2014-09-17 英特尔公司 使用分级相平面相关性和块匹配的运动估计
CN107197307A (zh) * 2016-03-15 2017-09-22 安讯士有限公司 用于编码视频流的方法和系统
CN107197307B (zh) * 2016-03-15 2018-10-16 安讯士有限公司 用于编码视频流的方法和系统
US10075727B2 (en) 2016-03-15 2018-09-11 Axis Ab Method and system for encoding a video stream
CN108702512A (zh) * 2017-10-31 2018-10-23 深圳市大疆创新科技有限公司 运动估计方法和装置
WO2019084801A1 (zh) * 2017-10-31 2019-05-09 深圳市大疆创新科技有限公司 运动估计方法和装置
US11019356B2 (en) 2017-10-31 2021-05-25 SZ DJI Technology Co., Ltd. Motion estimation method and device
WO2022104678A1 (zh) * 2020-11-20 2022-05-27 深圳市大疆创新科技有限公司 视频编解码方法、装置、可移动平台和存储介质

Also Published As

Publication number Publication date
KR100905880B1 (ko) 2009-07-03
EP1430724A1 (en) 2004-06-23
CN1303818C (zh) 2007-03-07
JP2005503085A (ja) 2005-01-27
WO2003024116A1 (en) 2003-03-20
EP1430724B1 (en) 2008-08-06
DE60228101D1 (de) 2008-09-18
JP4472986B2 (ja) 2010-06-02
ATE404019T1 (de) 2008-08-15
KR20040035777A (ko) 2004-04-29
US7929609B2 (en) 2011-04-19
US20030063673A1 (en) 2003-04-03

Similar Documents

Publication Publication Date Title
CN1303818C (zh) 运动估计和/或补偿
US8406303B2 (en) Motion estimation using prediction guided decimated search
Tham et al. A novel unrestricted center-biased diamond search algorithm for block motion estimation
US6782054B2 (en) Method and apparatus for motion vector estimation
CN101946514B (zh) 使用自适应搜索范围的真实运动矢量估计
KR100530223B1 (ko) 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
CN1262496A (zh) 使用正交变换域中的块匹配进行运动估测的方法和装置
WO2003005696A2 (en) Method and apparatus for motion estimation between video frames
CN1154051A (zh) 用于检测运动矢量的方法和装置
JP2004518341A (ja) 単一のテレビジョン信号フィールド中で並行して生ずるフィルム及びビデオオブジェクトの認識
US7305032B2 (en) Image matching device and method for motion pictures
CN1706189A (zh) 带有降质的图像处理单元
JP2000512091A (ja) 動作ベクトル処理
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
EP1859627A1 (en) Global motion estimation
US5689312A (en) Block matching motion estimation method
EP1586201A1 (en) Efficient predictive image parameter estimation
US6574370B1 (en) Image encoding system
US5731851A (en) Method for determining feature points based on hierarchical block searching technique
Ng et al. A new fast motion estimation algorithm based on search window sub-sampling and object boundary pixel block matching
CN100531397C (zh) 用于设置数字视频的运动矢量的方法
KR19990041461A (ko) 부화소 단위의 움직임 추정 방법 및 이를 위한 장치
CN107333174B (zh) 一种基于场景切变检测的视频处理方法
WO1999044369A1 (en) Device and method for coding image
KR0180161B1 (ko) 움직임 벡터 처리 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20090116

Address after: Holland Ian Deho Finn

Patentee after: NXP B.V.

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090116

ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST)CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100819

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN, NETHERLANDS TO: CAYMAN ISLANDS, GRAND CAYMAN ISLAND

TR01 Transfer of patent right

Effective date of registration: 20100819

Address after: Grand Cayman, Cayman Islands

Patentee after: Trident microsystem (Far East) Co.,Ltd.

Address before: Holland Ian Deho Finn

Patentee before: NXP B.V.

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130218

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130218

Address after: California, USA

Patentee after: ENTROPIC COMMUNICATIONS, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident microsystem (Far East) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180607

Address after: American Minnesota

Patentee after: Dynamic data technology LLC

Address before: California, USA

Patentee before: Entropic Communications, Inc.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070307

Termination date: 20210829

CF01 Termination of patent right due to non-payment of annual fee