CN1816152B - 在数据帧中进行扫描的方法和设备 - Google Patents

在数据帧中进行扫描的方法和设备 Download PDF

Info

Publication number
CN1816152B
CN1816152B CN200610006978.4A CN200610006978A CN1816152B CN 1816152 B CN1816152 B CN 1816152B CN 200610006978 A CN200610006978 A CN 200610006978A CN 1816152 B CN1816152 B CN 1816152B
Authority
CN
China
Prior art keywords
frame
pixel
scanning
predictor
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200610006978.4A
Other languages
English (en)
Other versions
CN1816152A (zh
Inventor
乔纳森·克维克
让·伊夫·巴博诺
迪迪埃·杜瓦扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN1816152A publication Critical patent/CN1816152A/zh
Application granted granted Critical
Publication of CN1816152B publication Critical patent/CN1816152B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

本发明涉及一种扫描在表现出时间递归的一系列图像中的像素的方法和设备。根据本发明，从一个帧到下一帧对同一行中的像素的扫描次序进行反转。本发明可应用于运动估计。

Description

在数据帧中进行扫描的方法和设备
技术领域
本发明涉及一种扫描视频帧中的像素的设备和方法。
本发明可应用于图像或视频处理领域，更具体地，可应用于运动估计领域。
背景技术
许多图像处理算法采用了空时递归，或者消除等式系统中的任何含糊，或者提高收敛速度，或者甚至收敛起来非常简单。例如，通过考虑从直接空间相邻性(与视频中的当前像素相邻的像素)来计算与当前像素相关的结果所推导出的结果(时间预测子的概念)，或者甚至考虑在先前图像其间计算出的结果(时间预测子的概念)，来反映这一点。
在视频处理的情况下，当接收到其时，正常处理在后一种情况下的结果，即，在图像中从左到右、逐行和从顶部到底部。
在题为“Method and device for estimating motion in asequence of animated images”的代表人为Thomson ConsumerElectronics公司于1989年9月22日递交的欧洲专利0360698示出了一种在同一帧中的行中进行交替扫描的方法。这样的方法主要应用于空间递归，并且为了最佳运算，需要对当前计算行的至少一个空间预测子。
发明内容
本发明提出了使扫描方向从一帧交替到下一帧。反转帧扫描作用于时间递归，于是，时间预测子与空间预测子直接“相位相反”，因为它们均是从相反的扫描中推导出的。
为此，本发明提出了一种扫描在表现出时间递归的一系列图像中的像素的方法。根据本发明，从一个帧到下一帧对同一行中的像素的扫描次序进行反转。
优选地，从一个帧到下一帧对行的扫描次序进行反转。
根据第二方案，本发明还涉及一种估计当前帧相对于参考帧的运动的方法，针对图像中的每一个像素，包括以下步骤：
-估计空间预测子(predictor)；
-估计时间预测子；
根据本发明，从一个帧到下一帧对同一行的像素的扫描次序进行反转，从而按照相反方向获得从扫描中推导出的空间和时间预测子。
根据优选实施例，针对每一个像素，计算三个空间预测子和一个时间预测子。
根据第三方案，本发明还涉及一种扫描在表现出时间递归的一系列图像中的像素的设备。根据本发明，从一个帧到下一帧对同一行中的像素的扫描次序进行反转。
根据第四方案，本发明还涉及一种估计当前帧相对于参考帧的运动的设备，包括：
-针对图像中的每一个像素估计空间预测子的装置；
-针对图像中的每一个像素估计时间预测子的装置。
根据本发明，扫描这些像素的次序符合权利要求1或2所述的方法，从而按照相反方向获得从扫描中推导出的空间和时间预测子。
附图说明
参考附图，通过非限定性的典型实施例和优选实现，本发明将得到更好地理解和展示，其中：
图1示出了根据本发明优选实施例的设备；
图2示出了在不同帧中的扫描方向的第一示例；
图3示出了在不同帧中的扫描方向的第二示例；
图4a示出了在图2和3的扫描模式中所使用的偶数帧的空间和时间预测子；
图4b示出了在图2的扫描模式中所使用的奇数帧的空间和时间预测子；以及
图4c示出了在图3的扫描模式中所使用的奇数帧的空间和时间预测子。
具体实施方式
以下描述基于运动估计应用。当然，可以考虑其他图像处理操作，并且将其包括在本发明的环境内。在其他典型实施例中，能够设想滤波、加权等。
在存储信号之前，由格式化装置4来接收非交织的视频信号Vin。这些装置4被设计为对输入视频信号执行处理操作，例如滤波、提取和对亮度或色度分量的计算。
设置了存储器3来存储在装置4的输出处的转换后的视频信号。
优选地，存储器3是快速存取SDRAM或DDRAM型存储器。存储器3具有足够的容量来存储大量视频帧。
存储器3与具有小于存储器3的容量的内部存储器2相连，并且该内部存储器2用于存储至少一行当前数据帧和一行先前数据帧。优选地，该存储器2以内部寄存器的形式来实现。其存储了当前像素所位于的行、以及计算离当前点的DFD(移位帧差值)所需的行数。由于按左-右的方向来接收视频，当从右到左来进行针对运动矢量计算的像素扫描时，将该行存储在存储器2中，以便后来在空间预测子计算中使用。
存储器2还接收从先前帧推导出且由时间投影模块5产生的时间信息作为输入。该时间信息包括时间预测子。
模块1针对当前帧的每一个像素计算运动矢量。该模块接收当前行和先前行的当前像素和相邻像素的亮度值、以及时间和空间预测子，作为输入。
帧的扫描方向(也被称为处理方向)如图2所定义。
在视频的输入方向上对偶数帧进行处理，而在另一方向上对奇数帧进行处理，从帧的第一行到帧的最后一行对这些行进行处理。
该视频处理保持从信息的顶部到底部的传播，但是每隔一个图像的扫描方向的反转具有两个效果：
-时间递归环中的扫描反转，根据相反方向的扫描来获得时间和空间预测子；
-空间递归环中的扫描反转，每一个图像对计算方向进行反转。
由于决不得益于传统扫描的左/右传播，这增强了处理的精度：水平“平均时间扫描”为零。
递归趋向于在扫描方向上传播运动值。这反映在运动值相对于这些对象的略微空间偏移。每隔一个图像的计算方向的反转限制了水平平均偏移。
对于每一个当前像素，计算出时间预测子和三个空间预测子，如图4a和4b所示。
时间预测子的位置对应于由P1所表示的当前像素的位置。
空间预测子由P2、P3和P4表示。
模块1计算以下功能：
Res(current_pixel)＝
Function(Spacepredictors，Timepredictors)
在该运动估计应用中，Res(current_pixel)对应于针对当前像素的运动矢量。
该函数应用于亮度值。
针对每一个当前像素，根据本领域的技术人员已知的方法，计算DFD值，作为梯度值。选择最佳预测子，并根据DFD和该梯度来计算校正项，从而在模块1的输出处产生运动矢量。
时间投影模块5执行对下一帧中的运动矢量的时间投影。将该时间投影传送到存储器2，以便当计算下一帧的像素的运动矢量时使用。
优选地，从一个帧到下一帧对最佳预测子的选择次序进行反转。如果DFD值匹配，则针对偶数帧选择最左侧的预测子，并且针对奇数帧选择最右侧的预测子。这也限制了有利的收敛方向。这还提供了特定计算时间的优点，因为难以访问位于与当前像素相同的行上的空间预测子。
图3示出了也对偶数帧和奇数帧的扫描进行交替的实施例，但是利用了与图2所提出的扫描不同的方式。实际上，在本发明所涵盖的该实施例中，按照在行级别上接收视频的反转方向来对奇数帧进行扫描，并且对这些行的处理以帧的最后一行开始以回复到第一行。
针对该实施例的时间和空间预测子如图4c所述(针对奇数帧)和如图4a所述(针对偶数帧)。
本发明还涵盖了按照视频输入方向的反转方向、或从右到左对偶数帧进行处理、以及从左到右对奇数帧进行处理的实施例。
在其他实施例中，根据应用或视频内容，时间和空间预测子的数量可以是不同的。
在其他实施例中，该视频处理可以应用于视频的颜色分量。

Claims (6)

1.一种估计当前帧相对于参考帧的运动的方法，针对图像中的每一个像素，包括以下步骤：
-估计空间预测子；
-估计时间预测子；
其特征在于从一个帧到下一帧对同一行中的像素的扫描次序进行反转，从而按照相反方向获得从扫描中推导出的空间和时间预测子，所述预测子的位置取决于扫描次序。
2.根据权利要求1所述的估计运动的方法，其特征在于：从一个帧到下一帧反转行的扫描次序。
3.根据权利要求1或2所述的估计运动的方法，其特征在于：针对每一个像素，计算三个空间预测子和一个时间预测子。
4.一种估计当前帧相对于参考帧的运动的设备，包括：
-针对图像中的每一个像素估计空间预测子的装置；
-针对图像中的每一个像素估计时间预测子的装置，其特征在于：从一个帧到下一帧对同一行中的像素的扫描次序进行反转，从而按照相反方向获得从扫描中推导出的空间和时间预测子，所述预测子的位置取决于扫描次序。
5.根据权利要求4所述的设备，其特征在于：从一个帧到下一帧反转行的扫描次序。
6.根据权利要求4或5所述的设备，其特征在于：针对每一个像素，计算三个空间预测子和一个时间预测子。
CN200610006978.4A 2005-02-04 2006-01-26 在数据帧中进行扫描的方法和设备 Expired - Fee Related CN1816152B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0550345 2005-02-04
FR0550345 2005-02-04

Publications (2)

Publication Number Publication Date
CN1816152A CN1816152A (zh) 2006-08-09
CN1816152B true CN1816152B (zh) 2010-09-08

Family

ID=34954233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610006978.4A Expired - Fee Related CN1816152B (zh) 2005-02-04 2006-01-26 在数据帧中进行扫描的方法和设备

Country Status (6)

Country Link
US (1) US20060187355A1 (zh)
EP (1) EP1689192A3 (zh)
JP (1) JP4972321B2 (zh)
KR (1) KR20060089667A (zh)
CN (1) CN1816152B (zh)
TW (1) TW200630904A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534858B (zh) * 2015-09-10 2019-09-06 展讯通信（上海）有限公司 真实运动估计方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0360698B1 (fr) * 1988-09-23 1994-12-14 THOMSON multimedia Procédé et dispositif d'estimation de mouvement dans une séquence d'images animées

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4541116A (en) * 1984-02-27 1985-09-10 Environmental Research Institute Of Mi Neighborhood image processing stage for implementing filtering operations
US5552824A (en) * 1993-02-18 1996-09-03 Lynx System Developers, Inc. Line object scene generation apparatus
US5657077A (en) * 1993-02-18 1997-08-12 Deangelis; Douglas J. Event recording system with digital line camera
US5517587A (en) * 1994-09-23 1996-05-14 International Business Machines Corporation Positioning method and apparatus for line scanned images
JPH1184343A (ja) * 1997-09-01 1999-03-26 Canon Inc 画像表示装置
US7471724B2 (en) * 2003-06-23 2008-12-30 Vichip Corp. Limited Method and apparatus for adaptive multiple-dimensional signal sequences encoding/decoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0360698B1 (fr) * 1988-09-23 1994-12-14 THOMSON multimedia Procédé et dispositif d'estimation de mouvement dans une séquence d'images animées

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Haan De G et al.Sub-pixel motion estimation with 3-D rescursive search block-matching.Signal Processing:Image Communication6 3.1994,6(3),229-239. *

Also Published As

Publication number Publication date
CN1816152A (zh) 2006-08-09
US20060187355A1 (en) 2006-08-24
JP2006216052A (ja) 2006-08-17
EP1689192A3 (en) 2011-10-26
TW200630904A (en) 2006-09-01
EP1689192A2 (en) 2006-08-09
KR20060089667A (ko) 2006-08-09
JP4972321B2 (ja) 2012-07-11

Similar Documents

Publication Publication Date Title
KR100203913B1 (ko) 모션 벡터 생성기
EP0840982B1 (en) Motion estimation
KR102062696B1 (ko) 분할 코딩을 이용한 효과적인 예측
US5521644A (en) Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields
CN102088589B (zh) 基于双向的局部和全局运动估计的帧率转换
US20090085846A1 (en) Image processing device and method performing motion compensation using motion estimation
US20050238102A1 (en) Hierarchical motion estimation apparatus and method
EP1835751B1 (en) Motion picture encoding device and method
CN112806014A (zh) 图像编码/解码方法和装置
EP1472881B1 (en) Unit for and method of estimating a current motion vector
US8000386B2 (en) Method and device for image interpolation systems based on motion estimation and compensation
US8144775B2 (en) Method and device for generating candidate motion vectors from selected spatial and temporal motion vectors
EP0966836B1 (en) Methods and apparatus for comparing blocks of pixels
US20030118104A1 (en) System, method, and software for estimation of motion vectors
CN1816152B (zh) 在数据帧中进行扫描的方法和设备
JP7480319B2 (ja) 画像およびビデオ圧縮のイントラ予測
US20050047502A1 (en) Method and apparatus for the efficient representation of interpolated video frames for motion-compensated coding
EP1267575B1 (en) A method for converting the scanning format of images, a system and computer program product therefor
EP2076050B1 (en) Motion estimation apparatus and method for moving picture coding
CN100474917C (zh) 插补扫描装置
US20090148067A1 (en) Image processing method and related apparatus for performing image processing operation according to image blocks in horizontal direction
JP2013126123A (ja) 画像処理装置、撮像装置及び画像処理方法
US8494292B2 (en) Image processing apparatus
US8368809B2 (en) Frame rate conversion with motion estimation in a plurality of resolution levels
JP3271096B2 (ja) ディジタル画像信号処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100908

Termination date: 20140126