CN100553342C - 移动检测装置 - Google Patents

移动检测装置 Download PDF

Info

Publication number
CN100553342C
CN100553342C CNB2005800154348A CN200580015434A CN100553342C CN 100553342 C CN100553342 C CN 100553342C CN B2005800154348 A CNB2005800154348 A CN B2005800154348A CN 200580015434 A CN200580015434 A CN 200580015434A CN 100553342 C CN100553342 C CN 100553342C
Authority
CN
China
Prior art keywords
motion
image
vector
moves
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005800154348A
Other languages
English (en)
Other versions
CN1954616A (zh
Inventor
井上昭彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1954616A publication Critical patent/CN1954616A/zh
Application granted granted Critical
Publication of CN100553342C publication Critical patent/CN100553342C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

整数像素精度移动检测用参照图像数据和编码对象宏块图像数据被从SDRAM(41)传送到局部存储器(41)。由整数像素精度移动检测器(21)实施整数像素精度移动检测，基于其结果，决定1/4像素精度移动检测用参照图像数据的传送区域。在1/2像素精度移动检测用参照图像数据的传送后，通过1/2像素精度移动检测器(22)进行的1/2像素精度移动检测和1/4像素精度移动检测用参照图像数据的传送被同时执行。通过1/4像素精度移动检测器(23)执行1/4像素精度移动检测。其结果，能够削减管线段数和管线缓冲器数，并且能够使管线处理高速化。

Description

移动检测装置
技术领域
本发明涉及活动图像编码技术，特别涉及从被编码图像和参照图像检测被编码图像的移动向量的移动检测装置。
背景技术
当今，活动图像的传输技术和存储技术在丰富我们的生活上成为非常重要的技术。
例如，使用携带信息终端的远距离的可视电话成为可能。在该可视电话中，由于能够与声音同步互相传输活动图像，因此与以往相比，能够实现具有丰富的表现力的通信。可视电话的传输路径为无线，当前的传输速度为64kbps(bit per second)。将来，可能高速化到2Mbps程度。但是，在比较低的传输速度下，为了提高进行传输的图像的画质，活动图像的传输技术，特别是活动图像的压缩编码技术非常重要。
另一方面的重要技术——活动图像的存储技术每年都在发展。近年来，可以采用DVD(Digital Versatile Disk)录像机以数字方式录制电视节目。DVD录像机每年提高销售台数，VHS录像机全部被DVD录像机取代也只是时间的问题。与VHS录像机同样，在DVD录像机中，可以长时间以高画质录像也是重要的销售点。DVD录像机所使用的记录介质(DVD-RAM、DVD-RW、蓝光盘等)的记录密度逐年提高，但现状下，尚不能以高画质长时间录制高清(high vision)节目。为了在记录介质的有限的区域内保持画质的同时录制长时间的图像，以低比特率将图像编码而不降低画质的活动图像编码技术变得重要。
在活动图像编码技术中提出各种方式。作为图像压缩技术的标准规格，有ITU-T(国际电通信联合电通信标准化部门)的H.261、H.263、ISO(国际标准化机构)的MPEG-1、MPEG-2、MPEG-4等。(MPEG是Moving PictureExperts Group的简称)。
在这些活动图像编码处理中，作为编码的对象的输入图像被分割为由纵16像素×横16像素的亮度分量、纵8像素×横8像素的色差分量(Cb)、纵8像素×横8像素的色差分量(Cr)构成的宏块(macroblock)。各宏块从参照图像中搜索最类似的块(进行所谓的移动检测处理)，并取与搜索到的参照图像的块的差分。然后，在该差分被变换到频域之后，被可变长度编码而变换为比特流。
在这些编码处理中，对画质影响很大的处理是移动检测处理。在MPEG编码处理装置中，首先说明重要的构成要素——移动检测单元。
移动检测存在各种方法，但最有代表性的方法是块匹配法。块匹配法是如下的方法，即在当前图像的宏块和从参照图像的某一特定范围(以后称作搜索范围)生成的与宏块相同大小的块之间进行像素电平的运算，求表示相关度的评价值，将该评价值为最好的结果的参照图像上的位置检测为移动向量。作为评价值，一般使用差分绝对值和(SAD)或差分平方和(SSD)，认为其值越小则相关性越高。
以往，存在分级地实施移动检测的例子。例如，文献1(日本特开2002-218474号公报)公开了如下的技术，即为了以1/2像素精度实施移动向量的检测，作为第一步骤，在比较大的搜索范围内实施整数像素精度的移动向量检测，作为第二步骤，在第一步骤中检测出的移动向量的周围并且比第一步骤小的搜索范围内，检测1/2像素精度的移动向量。
参照图22和图23具体说明以往技术的移动检测的方法。
图22是以往的一般的移动检测单元的方框图。图22所示的以往的一般的移动检测单元包括：整数像素精度移动检测单元1、1/2像素精度移动检测单元2、移动补偿单元3、第一局部存储器4、第二局部存储器5、第三局部存储器6、DMA控制器7以及SDRAM8。
图23是以往的一般的移动检测单元的流程图。
在图23的步骤S1中，从SDRAM8中存储的输入图像中，对第一局部存储器4传送编码对象的宏块(以下，称作当前宏块)。
在步骤S2中，根据当前宏块决定的移动检测范围、即搜索范围的图像数据，例如-32≤X≤+32、-32≤Y≤+32的搜索范围的图像数据作为参照图像被从SDRAM8传送到第一局部存储器4。
在步骤S3中，整数像素精度移动检测单元1对于被传送到第一局部存储器4的当前宏块和参照图像的搜索范围进行整数像素精度移动检测。在整数像素精度移动检测中，整数像素精度移动检测单元1仅使用整数像素，从搜索范围中搜索与当前宏块相关最强的相同大小的块，并求移动向量。移动向量以检测出的块的左端上的坐标对于当前宏块的左端上的坐标的相对位置来表现。相关的强度，例如作为两个块内的对应的像素中的亮度分量的差分绝对值和(SAD)和差分平方和(SSD)被评价。
在分级进行移动检测的情况下，一般，整数像素精度移动检测的搜索范围比此后的级的移动检测大。因此，必需的存储容量增大。
为了避免存储容量增大，例如，有间除像素后传送到存储器，降低移动检测的精度的方法。图24表示每隔一个像素间除的整数像素。即，在图24所示的例子中，在横向上每隔一个像素间除像素P2，仅将像素P1用作参照图像。这样间除与不间除的情况相比，横向的检测精度降低到1/2。但是，第一局部存储器4中应确保的参照图像用的区域可以削减为1/2。通过该方法，可以用少的存储容量来搜索相同的搜索范围。此外，可以用相同的存储容量进行宽范围的移动检测。根据检测精度降低引起的画质劣化和搜索范围变大引起的画质提高的平衡关系来决定采用哪种间除方法。
返回图23，在步骤S4中，基于通过步骤S3的整数像素精度移动检测求出的移动向量MV-INT，1/2像素精度移动检测所需的参照图像被从SDRAM8传送到第二局部存储器5。
如上所述，在间除了整数像素精度移动检测的参照图像的像素的情况下，需要再次从SDRAM8取得用于1/2像素精度移动检测的参照图像。这是因为，如后所述，在规格上为了计算1/2像素，一定需要邻接的整数像素。在对于整数像素精度移动向量MV-INT的周边8点的1/2像素进行1/2像素精度移动检测的情况下，从SDRAM8中存储的参照图像以移动向量MV-INT为基准在X方向上移动‘-1’、在Y方向上移动‘-1’的坐标位置，在横向上取得18像素，在纵向上取得18行的图像，传送到第二局部存储器5。在对于SDRAM8仅能进行以32比特为单位的存取的情况下，存在作为参照图像读出不需要的像素数据的情况，也存在最大读出横24像素、纵18行的图像数据的情况。
在步骤S5中，1/2像素精度移动检测单元2实施1/2像素精度移动检测。例如，在移动向量MV-INT的周边8点，在步骤S4中，使用被传送到第二局部存储器5的参照图像生成1/2像素，并在这8个1/2像素以及搜索中心位置的整数像素和当前宏块中进行差分绝对值和运算。
图25表示在整数像素B的附近生成的1/2像素。即，在作为搜索中心位置的整数像素B的周围生成1/2像素a～h。例如在MPEG-4的简单类(simpleprofile)的情况下，使用整数像素A～D如下计算1/2像素。
图25的1/2像素f和1/2像素d分别被计算为
f＝(A+B+C+D+2-R)/4
d＝(A+B+1-R)/2。
这里，R被称作rounding control(舍入控制)，代入‘0’或‘1’。
1/2像素精度移动检测单元2对于搜索中心位置的整数像素B和其周围的8个1/2像素a～h的共9点的像素求差分绝对值和的值最小的点。将对于求出的差分绝对值和的值最小的点的从搜索中心位置的偏移坐标加到移动向量MV-INT上，从而计算1/2像素精度的移动向量MV-HALF。
进而，为了提高检测精度，也有基于通过1/2像素精度移动检测求出的移动向量MV-HALF实施1/4像素精度移动检测的情况。例如，与1/2像素精度移动检测同样，在移动向量MV-HALF的周围8点，使用参照图像生成1/4像素，对于搜索中心位置的1/2像素和其周围的8个1/4像素的共9点的像素搜索差分绝对值和的值最小的点。通过将对于搜索到的点的从搜索中心位置的偏移坐标加到移动向量MV-HALF上，从而计算1/4像素精度的移动向量。另外，在图22以及图23中，将用于1/4像素精度移动检测的构成要素和处理步骤省略而未图示。
在步骤S6中，为了接着移动检测的移动补偿，在步骤S5的1/2像素精度移动检测中最终决定的移动向量所表示的位置的参照图像从SDRAM8被传送到第三局部存储器6。
一般地，对于像素数据的亮度分量实施移动向量检测。因此，关于亮度分量，在很多的情况下，通过1/2像素精度移动检测在第二局部存储器5中取得的参照区域包含移动补偿所需的区域。为了削减数据传送量，存在将第二局部存储器5的数据传送到第三局部存储器6的情况，和由移动补偿单元3直接对第二局部存储器5进行存取的情况。但是，关于色差分量，由于未被传送到第二局部存储器5，因此需要由SDRAM8传送到第三局部存储器6。
在步骤S7中，移动补偿单元3实施移动补偿。通过移动补偿取得的色差分量的图像数据由基于亮度分量的移动向量决定的色差移动向量决定。在MPEG-4的情况下，亮度分量的移动向量的1/2倍被定义为色差分量的移动向量。例如，亮度分量的移动向量的XY坐标(0.5，1.5)乘以1/2倍则成为(0.25，0.75)，但其被舍入为(0.5，0.5)。
如前所述，活动图像编码处理由移动检测、移动补偿、DCT、可变长度编码等多个处理构成。在使用一个硬件资源(例如处理器)以宏块为单位进行这些处理的情况下，在一个宏块的处理结束之前，不能开始下一个宏块处理。在这样的依次处理中，在画面大小或输入的帧频大的情况下，有时宏块处理来不及，产生丢帧的情况。
为了解决这个问题，有准备每个处理单位的硬件资源，管线(pipeline)式地执行宏块处理的方法。
图26是活动图像编码处理的流程图。如图26所示，一般的活动图像编码处理由步骤S11的移动检测、步骤S12的移动补偿、步骤S13的DCT/量化处理以及步骤S14的可变长度编码处理构成。将这些处理分割为4段管线时，成为如图27这样的处理。
图27表示活动图像编码的管线处理。在同图中，横轴表示时间，各处理的()内的数字表示正在处理的宏块号。如图27所示，在管线处理中，宏块号‘0’的移动检测处理结束后，宏块号‘0’的移动补偿处理开始，与此同时，开始宏块号‘1’的移动检测的处理。
将图27所示的四个处理中处理时间最长的处理的处理时间设为时间T时，在管线处理中，以时间T的间隔输出被流化了的宏块。将四个处理的合计时间设为时间U时，1宏块的处理时间在依次处理中为时间U，在管线处理中为时间T，由于很明显U＞T，因此通过管线处理提高宏块的处理的处理能力。
但是，为了执行这样的管线处理，在各处理之间需要管线缓冲器。管线缓冲器是用于在管线的连接处保持数据的中间缓冲器。从而，必需考虑性能和成本的平衡来实施管线化即可。
图28是移动检测的流程图。图28表示多级化的移动检测中的一级的移动检测的处理流程。
在步骤S21中，进行第(m-1)级(m是2以上的自然数)的移动检测。在对如图24所示的被间除了的参照图像实施在步骤S21中进行的第(m-1)级的移动检测的情况下，在步骤S22中，不得不基于在第(m-1)级检测出的移动向量来传送用于下一个的第(m)级的移动检测的参照图像数据。在步骤S23中，使用传送的参照图像数据进行第(m)级的移动检测。
图29表示移动检测的管线的结构，对应于图28的移动检测。在移动检测中，在搜索宽范围的情况下，用于取得该搜索范围的数据的数据传送需要时间。因此，在图29所示的管线结构例子中，在stage(k+1)设置用于数据传送的管线段(stage)，提高处理能力。
如以上说明的以往技术的方法，通过管线处理而提高活动图像处理的处理能力，但反过来在移动检测的级增加的情况下，存在管线段数加深，等待时间增大，同时必要的管线缓冲器数增大的缺点。
专利文献1：特开2002-218474号公报(图3)
专利文献2：特开2001-15872号公报
发明内容
因此，本发明的目的在于提供一种降低管线处理中的时间延迟从而一致帧延迟的发生，进而能够削减管线缓冲器的数的用于活动图像编码的移动检测装置。
第一发明的移动检测装置通过参照图像和被编码图像的相关来分级地检测移动向量，其中，该移动检测装置包括：处理器；第一存储部件，存储用于检测第一阶段的移动向量的第一参照图像；第一移动检测部件，使用第一存储部件中存储的第一参照图像来检测第一阶段的移动向量；第二存储部件，存储第二参照图像，第二参照图像用于使用由第一移动检测部件检测出的第一阶段的移动向量实施的第二阶段的移动向量检测；第二移动检测部件，使用第二存储部件中存储的第二参照图像来检测第二阶段的移动向量；第三存储部件，存储第三参照图像，第三参照图像用于使用由第二移动检测部件检测出的第二阶段的移动向量实施的第三阶段的移动向量检测；第三移动检测部件，使用第三存储部件中存储的第三参照图像来检测第三阶段的移动向量；主存储部件，存储参照图像和被编码图像；以及数据传送控制部件，控制主存储部件和第一存储部件之间的数据传送、主存储部件和第二存储部件之间的数据传送、以及主存储部件和第三存储部件之间的数据传送，在需要参照第一阶段的移动向量的情况下，处理器在第二阶段的移动向量的检测完成之前，基于在第一阶段检测出的移动向量，从主存储部件向第三存储部件传送第三参照图像的数据。
根据该结构，由于在参照在第一阶段检测到的移动向量的情况下，同时实施第三阶段的移动向量检测用的参照图像的传送和第二阶段的移动向量检测的执行，因此第三阶段的移动向量检测能够没有延迟地开始。此外，在不参照在第一阶段检测到的移动向量的情况下，能够没有延迟地开始第三阶段的移动向量检测。
第二发明的移动检测装置通过参照图像和被编码图像的相关来分级地检测移动向量，其中，该移动检测装置包括：处理器；第一存储部件，存储用于检测第一阶段的移动向量的第一参照图像；第一移动检测部件，使用第一存储部件中存储的第一参照图像来检测第一阶段的移动向量；第二存储部件，存储第二参照图像，第二参照图像用于使用由第一移动检测部件检测出的第一阶段的移动向量实施的第二阶段的移动向量检测；第二移动检测部件，使用第二存储部件中存储的第二参照图像来检测第二阶段的移动向量；第三存储部件，存储第三参照图像，第三参照图像由亮度图像以及色差图像构成，用于使用由第二移动检测部件检测出的第二阶段的移动向量实施的移动补偿；移动补偿部件，使用第三存储部件中存储的第三参照图像实施移动补偿；主存储部件，存储参照图像和被编码图像；以及数据传送控制部件，控制主存储部件和第一存储部件之间的数据传送、主存储部件和第二存储部件之间的数据传送、以及主存储部件和第三存储部件之间的数据传送，在需要参照第一阶段的移动向量的情况下，处理器在第二阶段的移动向量的检测完成之前，基于在第一阶段检测出的移动向量，从主存储部件向第三存储部件传送第三参照图像的数据。
根据该结构，由于在参照在第一阶段检测到的移动向量的情况下，同时实施移动补偿用的参照图像的传送和第二阶段的移动向量检测的执行，因此移动补偿能够没有延迟地开始。此外，在不参照在第一阶段检测到的移动向量的情况下，能够没有延迟地开始第三阶段的移动补偿。
第三发明的移动检测装置通过参照图像和被编码图像的相关来分级地检测移动向量，其中，该移动检测装置包括：处理器；第一存储部件，存储用于检测第一阶段的移动向量的第一参照图像；第一移动检测部件，使用第一存储部件中存储的第一参照图像来检测第一阶段的移动向量；第二存储部件，存储第二参照图像，第二参照图像用于使用由第一移动检测部件检测出的第一阶段的移动向量实施的第二阶段的移动向量检测；第二移动检测部件，使用第二存储部件中存储的第二参照图像来检测第二阶段的移动向量；主存储部件，存储参照图像和被编码图像；以及数据传送控制部件，控制主存储部件和第一存储部件之间的数据传送以及主存储部件和第二存储部件之间的数据传送，处理器在第一阶段的移动向量的检测完成之前，从主存储部件向第二存储部件传送第二参照图像的数据。
根据该结构，由于同时实施第二阶段的移动向量检测用的参照图像的传送和第一阶段的移动向量检测的执行，因此第二阶段的移动向量检测能够没有延迟地开始。
第四发明的移动检测装置通过参照图像和被编码图像的相关来检测移动向量，其中，该移动检测装置包括：处理器；第一存储部件，存储用于检测第一阶段的移动向量的第一参照图像；第一移动检测部件，使用第一存储部件中存储的第一参照图像来检测第一阶段的移动向量；第二存储部件，存储第二参照图像，第二参照图像由亮度图像以及色差图像构成，用于使用由第一移动检测部件检测出的第一阶段的移动向量实施的移动补偿；移动补偿部件，使用第二存储部件中存储的第二参照图像来实施移动补偿；主存储部件，存储参照图像和被编码图像；以及数据传送控制部件，控制主存储部件和第一存储部件之间的数据传送以及主存储部件和第二存储部件之间的数据传送，处理器在第一阶段的移动向量的检测完成之前，从主存储部件向第二存储部件传送第二参照图像的数据。
根据该结构，由于同时实施移动补偿用的参照图像的传送和第一阶段的移动向量检测的执行，因此移动补偿能够没有延迟地开始。
第五发明的移动检测装置中，第一移动检测部件检测整数像素精度的移动向量。
第六发明的移动检测装置中，第二移动检测部件检测1/2像素精度的移动向量。
第七发明的移动检测装置中，第三移动检测部件检测1/4像素精度的移动向量。
根据这些结构，从整数像素精度的移动向量检测到1/4像素精度的移动向量检测能够分级地执行。进而，可以根据应用目的而随意地构成进行整数像素精度的移动向量检测为止的移动检测装置、进行1/2像素精度的移动向量检测为止的移动检测装置、或者进行1/4像素精度的移动向量检测为止的移动检测装置。
第八发明的移动检测装置中，移动补偿部件实施亮度图像的移动补偿。
根据该结构，能够实现对亮度数据进行移动补偿的移动检测装置。
第九发明的移动检测装置中，移动补偿部件实施色差图像的移动补偿。
根据该结构，能够实现对色差数据进行移动补偿的移动检测装置。
第十发明的移动检测装置中，第一存储部件和第二存储部件由存储器安装，第一存储部件的存储容量大于第二存储部件的存储容量。
根据该结构，利用第一存储部件的第一移动检测部件与利用第二存储部件的第二移动检测部件相比能够在更宽的范围搜索移动向量。
第十一发明的移动检测装置中，第二存储部件和第三存储部件由存储器安装，第二存储部件的存储容量大于第三存储部件的存储容量。
根据该结构，利用第二存储部件的第二移动检测部件与利用第三存储部件的第三移动检测部件相比能够在更宽的范围搜索移动向量。
第十二发明的移动检测装置中，数据传送控制部件和第二移动检测部件的其中一个对第二存储部件进行存取。
第十三发明的移动检测装置中，数据传送控制部件和第三移动检测部件的其中一个对第三存储部件进行存取。
第十四发明的移动检测装置中，数据传送控制部件和移动补偿部件的其中一个对第三存储部件进行存取。
根据这些结构，不设置管线缓冲器也能够执行数据传送和移动检测。
第十五发明的移动检测装置中，以第一移动检测部件检测出的移动向量作为基准，必要的范围的参照图像的数据被从第二存储部件传送到第三存储部件。
根据该结构，能够省略从主存储部件向第三存储部件的数据传送。
第十六发明的移动检测装置中，以第一移动检测部件检测出的移动向量作为基准，用于第三阶段的移动向量检测的参照图像的数据被从第一存储部件传送到第二存储部件。
根据该结构，能够省略从主存储部件向第二存储部件的数据传送。
根据本发明，能够提供一种降低管线处理中的时间延迟从而抑制帧延迟的发生，进而能够削减管线缓冲器的数的用于活动图像编码的移动检测装置。
附图说明
图1是本发明的实施方式1的移动检测装置的方框图。
图2是本发明的实施方式1的移动检测装置的流程图。
图3是本发明的实施方式1的参照图像被间除为1/4的整数像素配置图。
图4是本发明的实施方式1的参照图像被间除为1/4的1/2像素配置图。
图5是本发明的实施方式1的参照图像的1/4像素配置图。
图6是表示本发明的实施方式1的参照图像的传送范围的说明图。
图7是本发明的实施方式1的移动检测装置的管线的结构图。
图8是本发明的实施方式2的移动检测装置的方框图。
图9是本发明的实施方式2的移动检测装置的流程图。
图10是本发明的实施方式2的亮度坐标和色差坐标的对应表。
图11是本发明的实施方式2的色差数据的传送范围的说明图。
图12是以往技术的移动检测装置的管线结构图。
图13是本发明的实施方式2的移动检测装置的管线的结构图。
图14是本发明的实施方式3的移动检测装置的方框图。
图15是本发明的实施方式3的移动检测装置的流程图。
图16是本发明的实施方式3的移动检测装置的管线的结构图。
图17是本发明的实施方式4的移动检测装置的流程图。
图18是本发明的实施方式4的移动检测装置的管线的结构图。
图19是本发明的实施方式5的移动检测装置的方框图。
图20是本发明的实施方式5的移动检测装置的流程图。
图21是本发明的实施方式5的移动检测装置的管线的结构图。
图22是以往的一般的移动检测单元的方框图。
图23是以往的一般的移动检测单元的流程图。
图24是每隔一个像素间除的整数像素的例示图。
图25是在整数像素B的附近生成的1/2像素的例示图。
图26是活动图像编码处理的流程图。
图27是活动图像编码的管线处理的例示图。
图28是移动检测的流程图。
图29是移动检测的管线的结构图。
符号说明
1  整数像素精度移动检测单元
2  1/2像素精度移动检测单元
3  移动补偿单元
4  第一局部存储器
5  第二局部存储器
6  第三局部存储器
7  DMA控制器
8  SDRAM
20 处理器
21 整数像素精度移动检测器
22 1/2像素精度移动检测器
23 1/4像素精度移动检测器
24 移动补偿器
31、32、33 局部存储器
41 SDRAM
42 DMA控制器
具体实施方式
接着，参照附图说明本发明的实施方式。
(实施方式1)
图1是本发明的实施方式1的移动检测装置的方框图。本方式的移动检测装置如图1所示，包括：整数像素精度移动检测器21、1/2像素精度移动检测器22、1/4像素精度移动检测器23、局部存储器31、32、33、SDRAM41、DMA控制器42以及处理器20。
整数像素精度移动检测器21相当于第一移动检测部件，1/2像素精度移动检测器22相当于第二移动检测部件，1/4像素精度移动检测器23相当于第三移动检测部件。
局部存储器31相当于第一存储部件，存储整数像素精度移动检测器21使用的参照图像数据和编码对象的宏块的图像数据。局部存储器32相当于第二存储部件，存储1/2像素精度移动检测器22使用的参照图像数据和编码对象的宏块的图像数据。局部存储器33相当于第三存储部件，存储1/4像素精度移动检测器23使用的参照图像数据和编码对象的宏块的图像数据。SDRAM41相当于主存储装置，存储当前帧和参照帧的图像数据。
DMA控制器42相当于数据传送控制部件，控制SDRAM41和局部存储器31、32、33之间的数据传送。处理器20控制移动检测装置整体的处理。此外，在图1中，实线表示数据线，虚线表示控制线。
图2是本发明的实施方式1的移动检测装置的流程图。参照图1，按照图2说明本方式的移动检测装置的动作。
在步骤S31中，整数像素精度移动检测所使用的参照图像数据和编码对象的宏块的图像数据在DMA控制器42的控制下被从SDRAM41传送到局部存储器31。
在步骤S32中，整数像素精度移动检测器21使用被传送到局部存储器31的参照图像数据和编码对象的宏块的图像数据，实施整数像素精度移动检测。整数像素移动检测按照块匹配法实施。
在以下的说明中，叙述对于在水平方向上间除为1/4的参照图像实施本方式的整数像素精度移动检测的例子。
图3是本发明的实施方式1的参照图像被间除为1/4的整数像素配置图。在该图中，白点的像素Fp1表示未被间除的整数像素，黑点的像素Fp2表示被间除了的整数像素。在本例中，参照图像在水平方向上被间除为1/4。由于在水平方向上以4个像素为单位存在有效的数据，因此水平方向的移动检测的精度为1/4。
整数像素精度移动检测的方法被提出很多，作为代表性的有全检索、梯度法、菱形搜索(diamond search)、One-at-a-Time(一次一个)等。本发明中使用哪种方法都可以。此外，整数像素精度移动检测的评价函数可以利用以往技术的差分绝对值和、差分平方和等。
返回图2，在步骤S33中，1/2像素精度移动检测所使用的参照图像数据和编码对象的宏块的图像数据通过处理器20的命令被从SDRAM41传送到局部存储器32。
在步骤S34中，1/2像素精度移动检测器22在整数像素精度移动检测中检测出的移动向量的周围实施1/2像素精度移动检测。在本方式的1/2像素精度移动检测中，对于在整数像素精度移动检测中检测出的移动向量的周围8个1/2像素实施1/2像素精度移动检测。
在以下的说明中，叙述对于在水平方向上间除为1/4的参照图像实施本方式的1/2像素精度移动检测的例子。
图4是本发明的实施方式1的参照图像被间除为1/4的1/2像素配置图。在图4中，白点的像素Fp1表示未被间除的整数像素，黑点的像素Fp2表示被间除了的整数像素。此外，小的白点的像素Hp1表示根据未被间除的整数像素Fp1计算出的1/2像素。
如前所述，1/2像素通过整数像素值的平均来计算。如图4所示，关注于某一搜索位置时，1/2像素在横向上以4像素为单位有效。此外，在同样的间除为1/4的处理中也可知，在1/2像素精度移动检测中，与整数像素精度移动检测时相比，需要更多的参照图像数据。
返回图2，在步骤S35中，1/4像素精度移动检测所使用的参照图像数据和编码对象的宏块的图像数据通过来自处理器20的命令被从SDRAM41传送到局部存储器33。
在步骤S36中，1/4像素精度移动检测器23在1/2像素精度移动检测中检测出的移动向量的周围实施1/4像素精度移动检测。
在作为移动检测的最后级的1/4像素精度移动检测中，为了提高移动检测的精度而不进行像素的间除。
图5是本发明的实施方式1的参照图像的1/4像素配置图。在图5中，白点的像素Fp1表示整数像素，小的白点的像素Hp1表示1/2像素，小的黑点的像素Qp1表示1/4像素。像素Fp1、像素Hp1、以及像素Qp1的符号赋予是代表性的，不是对所有的像素赋予符号。
1/4像素的计算与根据整数像素计算出1/2像素的情况同样，作为1/2像素的平均值被求出。从图5所示的1/4像素的配置、用于计算1/4像素的1/2像素的配置以及用于计算1/2像素的整数像素的配置可知，在1/4像素精度移动检测中不能间除整数像素。从而，从有间除的1/2像素的1/2像素精度移动检测结束后，作为1/4像素精度移动检测用，需要传送没有间除的参照图像数据。
另外，如前所述，在等待1/4像素精度移动检测用的参照图像数据的传送的结束，以实施1/4像素精度移动检测时，1/4像素精度移动检测的开始延迟，等待时间增加。因此，在图2所示的步骤S35中，在整数像素精度移动检测结束的时刻，传送1/4像素精度移动检测用的数据，以包含1/2像素精度移动检测的搜索范围。
图6是表示本发明的实施方式1的参照图像的传送范围的说明图。在图6中，各像素的符号与图5同样，省略说明。
在图6所示的例子中，假定要进行编码的宏块由3像素×3像素构成。(实际上，要进行编码的宏块由16像素×16像素构成)。实线的框51是通过整数像素精度移动检测取得了匹配的宏块，该整数像素精度移动向量MV-INT的位置由框51的左上的像素Fp3的坐标提供。虚线所表示的框52表示为1/4像素精度移动检测用而应传送的参照图像的范围。即，框52表示如下的像素范围，即在1/2像素精度移动检测中，从像素Fp3所示的移动向量MV-INT的位置起，1/2像素精度移动向量MV-HALF的检测结果落到其周围的8个1/2像素的哪一个，也都一定包含生成用于下一个1/4像素精度移动检测的1/4像素所需的整数像素。
这样，如果将用于1/4像素精度移动检测的参照图像数据的传送范围设定为框52所示的范围，则在整数像素精度移动检测中确定了移动向量MV-INT的阶段，可以将用于1/4像素精度移动检测的参照图像数据从图1的SDRAM41传送到局部存储器33。其结果，由于可以传送1/4像素精度移动检测用的参照图像数据而不用等待1/2像素精度移动检测的结果，因此1/4像素精度移动检测的数据等待时间被削减，宏块处理的等待时间改善。
图7是本发明的实施方式1的移动检测装置的管线的结构图。图7表示本方式的移动检测装置的处理的管线分为移动检测处理和参照图像DMA传送处理而从stage-0到stage-4构成。如上所述，在本方式的移动检测装置中，在stage-3中，与1/2像素精度移动检测同时，能够实施1/4像素精度移动检测用的参照图像数据的传送，因此能够将管线段数减少一段。
如以上所说明的，根据本方式的移动检测装置，由于能够将管线段数减少一段，并能够相应地高速地实施移动检测处理，所以能够降低管线处理中的时间延迟从而抑制帧延迟的发生。
(实施方式2)
图8是本发明的实施方式2的移动检测装置的方框图。在图8中，通过对与图1同样的构成要素赋予同一符号从而省略说明。
本方式的移动检测装置如图8所示，包括：整数像素精度移动检测器21、1/2像素精度移动检测器22、移动补偿器24、局部存储器31、32、33、SDRAM41、DMA控制器42以及处理器20。
局部存储器31相当于第一存储部件，存储整数像素精度移动检测器21使用的参照图像数据和编码对象的宏块的图像数据。局部存储器32相当于第二存储部件，存储1/2像素精度移动检测器22使用的参照图像数据和编码对象的宏块的图像数据。局部存储器33相当于第三存储部件，存储移动补偿器24使用的参照图像数据和编码对象的宏块的图像数据。SDRAM41相当于主存储装置，存储当前帧和参照帧的图像数据。
DMA控制器42相当于数据传送控制部件，控制SDRAM41和局部存储器31、32、33之间的数据传送。处理器20控制移动检测装置整体的处理。此外，在图8中，实线表示数据线，虚线表示控制线。
在本方式的移动检测装置中，移动检测以整数像素精度和1/2像素精度的2级实施，不实施1/4像素精度移动检测。此外，在1/2像素精度移动检测中，假设不间除参照图像的像素。在1/2像素精度移动检测之后，实施移动补偿。
图9是本发明的实施方式2的移动检测装置的流程图。
参照图8，同时按照图9说明本方式的移动检测装置的动作。
步骤S41中的整数像素精度移动检测用的参照图像数据和编码对象的宏块图像数据的传送、步骤S42中的整数像素精度移动检测、步骤S43中的1/2像素精度移动检测用的参照图像数据和编码对象的宏块图像数据的传送、以及步骤S44中的1/2像素精度移动检测与图2所示的本发明的实施方式1中的移动检测装置的流程图的步骤S31、步骤S32、步骤S33以及步骤S34同样，省略说明。
在步骤S44中，1/2像素精度移动检测结束后，接着实施移动补偿。对亮度分量的参照图像、色差分量的参照图像实施移动补偿。但是，在该阶段，色差分量的参照图像数据还未被传送到局部存储器33。此外，如果不是在亮度分量的移动向量确定之后则不能确定色差分量的参照图像数据区域，因此在以往技术中，在1/2像素精度移动检测的确定之后，需要传送色差分量的参照图像数据。
因此，在本方式的移动检测装置中，在步骤S45中，在确定了整数像素移动向量的阶段，开始色差分量的参照图像数据的传送，以包含1/2像素精度移动检测的搜索范围。即，与实施方式1中的图2的步骤S35的1/4像素精度移动检测用参照图像传送同样，定义必要的色差分量的参照图像数据区域以便能够对应到1/2像素精度移动检测的任何的搜索结果，在整数像素精度移动检测中的移动向量的决定之后，立即将该区域的色差分量的参照图像数据从图8所示的SDRAM41传送到局部存储器33。
在步骤S46中，按照步骤S44中的1/2像素精度移动检测结果，读出存储在局部存储器33中的亮度分量的参照图像数据和色差分量的参照图像数据，进行移动补偿。
进一步说明上述步骤S45中的色差分量的参照图像数据的具体的传送方法。
图10是本发明的实施方式2的亮度坐标和色差坐标的对应表。该对应表可以与水平方向和垂直方向的坐标同等地应用。
色差分量的参照图像数据(以下，称作色差数据)分别在水平方向和垂直方向上为亮度分量的参照图像数据(以下，称作亮度数据)的一半的量，因此在各个方向上，一个色差数据对应于两个亮度数据。(在画面整体中，一个色差数据对应于四个亮度数据。)即，如图10所示，亮度的坐标值‘0’对应于色差的坐标值‘0’，亮度的坐标值‘0.5’‘1’‘1.5’对应于色差的坐标值‘0.5’，亮度的坐标值‘2’对应于色差的坐标值‘1’。通过该坐标变换规则，例如对应于亮度数据的XY坐标(1.5，2.5)的色差数据的XY坐标为(0.5，1.5)。
在移动补偿中，必需与被编码宏块的16像素×16像素的亮度数据对应生成的色差数据是8像素×8像素。图11是本发明的实施方式2的色差数据的传送范围的说明图。图11表示为了简化说明而从水平方向的亮度数据的坐标坐标变换为色差数据的坐标的例子。
当前，在亮度数据中，整数像素精度移动检测的结果，假定整数像素移动精度向量MV-INT的位置求出为黑点的整数像素Fp12。在下一级的1/2像素精度移动检测中，有可能检测出1/2像素精度移动向量的坐标位置是整数像素Fp12的左右的1/2像素Hp11和1/2像素Hp12、以及整数像素Fp12本身。例如，在整数像素Fp12的X坐标为‘2’的情况下，有可能检测出1/2像素精度移动向量的像素Hp11、Fp12、Hp12的X坐标分别为‘1.5’、‘2’、‘2.5’。
与这些亮度数据的坐标对应的色差数据的坐标和像素通过图10的坐标变换规则而成为坐标‘0.5’的1/2像素Hp20、坐标‘1’的整数像素Fp21、坐标‘1.5’的1/2像素Hp21。换言之，可能被生成为色差数据的1行-8像素的像素的坐标为如下的三个情况的其中一个。
(1)0.5、1.5、2.5、3.5、4.5、5.5、6.5、7.5
(2)1.0、2.0、3.0、4.0、5.0、6.0、7.0、8.0
(2)1.5、2.5、3.5、4.5、5.5、6.5、7.5、8.5
为了生成包含坐标‘0.5’的1/2像素Hp20到坐标‘7.5’的1/2像素Hp27的情况(1)的色差数据，需要将从坐标‘0’的整数像素Fp20到坐标‘8.0’的整数像素Fp28从SDRAM41传送到局部存储器33。
为了生成包含坐标‘1.5’的整数像素Hp21到坐标‘8.5’的整数像素Hp28的情况(3)的色差数据，需要将从坐标‘1’的整数像素Fp21到坐标‘9.0’的整数像素Fp29从SDRAM41传送到局部存储器33。
通过以上，为了能够生成全部情况(1)、(2)、(3)的色差数据，将从坐标‘0’的整数像素Fp20到坐标‘9.0’的整数像素Fp29从SDRAM41传送到局部存储器33即可。通过这样计算，在1/2像素精度移动检测结束之前，能够传送色差的参照图像数据。
这样，根据本方式的移动检测装置，由于能够传送移动补偿用的参照图像数据而不用等待1/2像素精度移动检测的结果，因此用于取得移动补偿所需的参照图像数据的等待时间被削减，宏块处理的等待时间改善。
这里，为了使本方式的移动检测装置中的必要的管线段数和管线缓冲器数的削减效果更明确，与以往技术进行比较。
图12是以往技术的移动检测装置的管线结构图。同时，图12中表示在各段必要的管线缓冲器。
如图12所示，在stage-0中，需要用于保持当前传送中的参照图像的亮度数据的参照图像缓冲器(亮度)。这是由于在不同的宏块代中，数据传送和处理在stage-0和stage-1同时被实施。例如，在stage-1执行第(n)个宏块的整数像素精度移动检测时，在stage-0并行传送第(n+1)个宏块的整数像素精度移动检测用的参照图像数据。此时，为了不破坏在第(n)个宏块的整数像素精度移动检测中参照的存储区域，需要为了stage-0中的数据传送而另外设置缓冲器。进而，为了在stage-0中同时传送stage-1的整数像素精度移动检测所使用的当前图像的宏块数据(亮度数据和色差数据)，需要当前宏块缓冲器(亮度/色差)。
在以往技术的移动检测装置中，由于在stage-2的1/2像素精度移动检测完成后执行移动补偿用数据的传送，因此需要在与stage-2不同的stage-3进行移动补偿。这是因为在性能上难以将1/2像素精度移动检测和移动补偿的处理容纳在相同的段中。其结果，在stage-2需要亮度数据传送用的参照图像缓冲器(亮度)和色差数据传送用的参照图像缓冲器(色差)，在stage-3需要亮度数据移动补偿用的参照图像缓冲器(亮度)和色差数据移动补偿用的参照图像缓冲器(色差)。
这样，在以往技术的移动检测装置中，需要4段的管线，管线缓冲器共需要10个。
图13是本发明的实施方式2的移动检测装置的管线的结构图。根据本方式的管线结构，在stage-0中进行整数像素精度移动检测用数据传送，在stage-1中进行整数像素精度移动检测，并接受其结果，进行1/2像素精度移动检测用数据传送。在stage-2中并行进行1/2像素精度移动检测和移动补偿用数据(色差数据)传送，然后实施移动补偿。
这样，根据本方式的移动检测装置，由于根据stage-1的整数像素精度移动检测的结果，确定移动补偿用数据(色差数据)的传送范围，从而在stage-2中能够与1/2像素精度移动检测并行实施移动补偿用数据(亮度数据和色差数据)的传送，所以必要的管线段数为3段。这比图12所示的以往技术的移动检测装置少1段。
图13中也同时显示有在管线的各段成为必要的管线缓冲器。在本方式的移动检测装置中，必要的管线缓冲器是各段的亮度数据用的参照图像缓冲器(亮度)、亮度数据和色差数据用的当前宏块缓冲器(亮度/色差)以及stage-2的色差数据用的参照图像缓冲器(色差)的共7个。即，在本方式的移动检测装置中，作为不需要stage-3的效果，可以将管线缓冲器数从图12所示的以往技术的移动检测装置的10个削减为7个。
(实施方式3)
图14是本发明的实施方式3的移动检测装置的方框图。图14中，对于与图1同样的构成要素赋予同一符号，从而省略说明。
本方式的移动检测装置如图14所示，包括：整数像素精度移动检测器21、1/2像素精度移动检测器22、局部存储器31、32、33、SDRAM41、DMA控制器42以及处理器20。
在本方式的移动检测装置中，在整数像素精度移动检测之后，实施1/2像素精度移动检测，不实施1/4像素精度移动检测。此外，在1/2像素精度移动检测中，假设不间除参照图像的像素。
图15是本发明的实施方式3的移动检测装置的流程图。
如图15所示，本方式的移动检测装置在步骤S51中，将整数像素精度移动检测用的参照图像数据从SDRAM41传送到局部存储器31。
在步骤S52中，进行整数像素精度移动检测。
在步骤S53中，将1/2像素精度移动检测用的参照图像数据从SDRAM41传送到局部存储器32。该1/2像素精度移动检测用的参照图像数据的传送可以与步骤S51的整数像素精度移动检测用的参照图像数据的传送并行进行，也可以与步骤S52的整数像素精度移动检测并行进行。
1/2像素精度移动检测用的参照图像数据的传送的区域被决定而不依赖于整数像素精度移动检测的搜索结果。其决定方法与本发明的实施方式1中的1/4像素精度移动检测用的参照图像数据的传送区域的决定方法同样(参照图6)。即，对于当前编码中的宏块，不管整数精度移动向量落到哪个位置，都决定1/2像素精度移动检测用的参照图像数据的传送的区域，以便一定包含1/2像素精度移动检测所必需的参照图像数据。
在步骤S54中，基于步骤S52的整数像素精度移动检测的搜索结果，使用在步骤S53传送的1/2像素精度移动检测用的参照图像数据进行1/2像素精度移动检测。
这样，根据本方式的移动检测装置，由于能够传送1/2像素精度移动检测用的参照图像数据而不用等待整数像素精度移动检测的结果，因此1/2像素精度移动检测用的参照图像数据的等待时间被削减，宏块处理的等待时间改善。
图16表示本发明的实施方式3的移动检测装置的管线的结构。根据本方式的移动检测装置，在stage-1中，由于能够实施1/2像素精度移动检测用的参照图像数据传送，因此管线段数少一个也可以。
(实施方式4)
本发明的实施方式4的移动检测装置是与图1所示的本发明的实施方式1的移动检测装置相同的方框结构。从而，参照图1进行本方式的移动检测装置的说明。
本方式的移动检测装置是本发明的实施方式1和实施方式3的组合，实施整数像素精度移动检测、1/2像素精度移动检测以及1/4像素精度移动检测。此外，本方式的移动检测装置能够实施1/2像素精度移动检测用的参照图像传送而不用等待整数像素精度移动检测的结果，并且能够在整数像素精度移动检测中确定了移动向量之后立即开始1/4像素精度移动检测用的参照图像传送。
图17是本发明的实施方式4的移动检测装置的流程图。参照图1按照图17说明本方式的移动检测装置的动作。
在步骤S61中，进行整数像素精度移动检测用参照图像数据的传送。
在步骤S62中，进行整数像素精度移动检测。
与步骤S62同时，在步骤S63中，进行1/2像素精度移动检测用参照图像数据的传送。
在步骤S64中，基于步骤S62的整数像素精度移动检测的搜索结果，使用在步骤S63中传送的1/2像素精度移动检测用的参照图像数据进行1/2像素精度移动检测。
与步骤S64同时，在步骤S65中，对于根据步骤S62的整数像素精度移动检测的搜索结果决定的数据传送区域，进行1/4像素精度移动检测用参照图像数据的传送。
在步骤S66中，基于步骤S64的1/2像素精度移动检测的搜索结果，使用步骤S65中传送的1/4像素精度移动检测用的参照图像数据进行1/4像素精度移动检测。
这样，由于本方式的移动检测装置能够传送1/2像素精度移动检测用的参照图像数据而不用等待整数像素精度移动检测的结果，因此1/2像素精度移动检测用的参照图像数据的等待时间被削减。进而，由于能够传送1/4像素精度移动检测用的参照图像数据而不用等待1/2像素精度移动检测的结果，因此1/4像素精度移动检测用的参照图像数据的等待时间被削减。其结果，根据本方式的移动检测装置，宏块处理的等待时间大幅改善。
图18是本发明的实施方式4的移动检测装置的管线的结构图。如图18所示，本方式的移动检测装置在stage-1中，能够实施1/2像素精度移动检测用的参照图像数据传送，并且在stage-2中，能够实施1/4像素精度移动检测用的参照图像数据传送。其结果，在本方式的移动检测装置中，管线段数被削减2段。进而，本方式的移动检测装置具有以下的特征，即宏块处理的等待时间仅由移动向量检测的执行时间决定，并且不产生数据传送引起的延迟。
(实施方式5)
图19是本发明的实施方式5的移动检测装置的方框图。在图19中，对于与图1同样的构成要素赋予同一符号，从而省略说明。
本方式的移动检测装置如图19所示，包括：整数像素精度移动检测器21、移动补偿器24、局部存储器31、32、SDRAM41、DMA控制器42以及处理器20。
在本方式的移动检测装置中，在整数像素精度移动检测之后进行移动补偿。
图20是本发明的实施方式5的移动检测装置的流程图。
如图20所示，本方式的移动检测装置在步骤S71中，从SDRAM41向局部存储器31传送整数像素精度移动检测用的参照图像数据。
在步骤S72中，使用在步骤S71中传送到局部存储器31的参照图像数据进行整数像素精度移动检测。
在步骤S73中，将移动补偿用的参照图像数据从SDRAM41传送到局部存储器32。该参照图像数据的传送与步骤S72的整数像素精度移动检测并行实施。
在步骤S74中，使用在步骤S73中传送的移动补偿用的参照图像数据，基于步骤S72的整数像素精度移动检测的搜索结果，进行移动补偿。
这样，根据本方式的移动检测装置，由于能够传送移动补偿用的参照图像数据而不用等待整数像素精度的移动检测结果，因此移动补偿用的参照图像数据的等待时间被削减，宏块处理的等待时间改善。
图21是本发明的实施方式5的移动检测装置的管线的结构图。根据本方式的移动检测装置，由于在stage-1中能够实施移动补偿用的参照图像数据传送，因此管线段数少一个也可以。
如以上说明的，根据本发明的移动检测装置，由于能够实施1/2像素精度移动检测用的参照图像数据的传送和1/4像素精度移动检测用的参照图像数据的传送而不用分别等待上级的像素精度移动检测的结果，所以不产生伴随参照图像数据的传送的延迟，宏块处理的等待时间大幅地改善。此外，根据本发明的移动检测装置，能实现减管线段数的削减和管线缓冲器数的削减。其结果，可以以更小型且低成本来实现能够高速处理的活动图像的移动检测装置。
本发明的主旨在于实现能够改善伴随参照图像数据的传送的宏块处理的等待时间进而削减管线缓冲器的必要个数的活动图像编码用移动检测装置，只要不脱离本发明的主值，可以进行各种应用。
产业上的可利用性
本发明的移动检测装置例如能够在活动图像的编码装置及其应用领域中利用。

Claims (12)

1.一种移动检测装置，通过参照图像和被编码图像的相关来分级地检测移动向量，其中，所述移动检测装置包括：
处理器；
第一存储部件，存储用于检测第一阶段的移动向量的第一参照图像；
第一移动检测部件，使用所述第一存储部件中存储的第一参照图像来检测第一阶段的移动向量；
第二存储部件，存储第二参照图像，所述第二参照图像用于使用由所述第一移动检测部件检测出的所述第一阶段的移动向量实施的第二阶段的移动向量检测；
第二移动检测部件，使用所述第二存储部件中存储的第二参照图像来检测第二阶段的移动向量；
第三存储部件，存储第三参照图像，所述第三参照图像用于使用由所述第二移动检测部件检测出的所述第二阶段的移动向量实施的第三阶段的移动向量检测；
第三移动检测部件，使用所述第三存储部件中存储的第三参照图像来检测第三阶段的移动向量；
主存储部件，存储所述参照图像和所述被编码图像；以及
数据传送控制部件，控制所述主存储部件和所述第一存储部件之间的数据传送、所述主存储部件和所述第二存储部件之间的数据传送、以及所述主存储部件和所述第三存储部件之间的数据传送，
在需要参照所述第一阶段的移动向量的情况下，所述处理器在所述第二阶段的移动向量的检测完成之前，基于在所述第一阶段检测出的移动向量，从所述主存储部件向所述第三存储部件传送第三参照图像的数据。
2.如权利要求1所述的移动检测装置，其中，所述第一移动检测部件检测整数像素精度的移动向量。
3.如权利要求1所述的移动检测装置，其中，所述第二移动检测部件检测1/2像素精度的移动向量。
4.如权利要求1所述的移动检测装置，其中，所述第三移动检测部件检测1/4像素精度的移动向量。
5.如权利要求1所述的移动检测装置，其中，所述第一存储部件和所述第二存储部件由存储器安装，所述第一存储部件的存储容量大于所述第二存储部件的存储容量。
6.如权利要求1所述的移动检测装置，其中，所述第二存储部件和所述第三存储部件由存储器安装，所述第二存储部件的存储容量大于所述第三存储部件的存储容量。
7.如权利要求1所述的移动检测装置，其中，所述数据传送控制部件和所述第二移动检测部件的其中一个对所述第二存储部件进行存取。
8.如权利要求1所述的移动检测装置，其中，所述数据传送控制部件和所述第三移动检测部件的其中一个对所述第三存储部件进行存取。
9.如权利要求1所述的移动检测装置，其中，以所述第一移动检测部件检测出的移动向量作为基准，用于第三阶段的移动向量检测的参照图像的数据被从所述第二存储部件传送到所述第三存储部件。
10.一种移动检测装置，通过参照图像和被编码图像的相关来分级地检测移动向量，其中，所述移动检测装置包括：
处理器；
第一存储部件，存储用于检测第一阶段的移动向量的第一参照图像；
第一移动检测部件，使用所述第一存储部件中存储的第一参照图像来检测第一阶段的移动向量；
第二存储部件，存储第二参照图像，所述第二参照图像用于使用由所述第一移动检测部件检测出的所述第一阶段的移动向量实施的第二阶段的移动向量检测；
第二移动检测部件，使用所述第二存储部件中存储的第二参照图像来检测第二阶段的移动向量；
第三存储部件，存储第三参照图像，所述第三参照图像由亮度图像以及色差图像构成，用于使用由所述第二移动检测部件检测出的所述第二阶段的移动向量实施的移动补偿；
移动补偿部件，使用所述第三存储部件中存储的第三参照图像实施移动补偿；
主存储部件，存储所述参照图像和所述被编码图像；以及
数据传送控制部件，控制所述主存储部件和所述第一存储部件之间的数据传送、所述主存储部件和所述第二存储部件之间的数据传送、以及所述主存储部件和所述第三存储部件之间的数据传送，
在需要参照所述第一阶段的移动向量的情况下，所述处理器在所述第二阶段的移动向量的检测完成之前，基于在所述第一阶段检测出的移动向量，从所述主存储部件向所述第三存储部件传送第三参照图像的数据。
11.如权利要求10所述的移动检测装置，其中，所述数据传送控制部件和所述移动补偿部件的其中一个对所述第三存储部件进行存取。
12.一种移动检测装置，通过参照图像和被编码图像的相关来检测移动向量，其中，所述移动检测装置包括：
处理器；
第一存储部件，存储用于检测第一阶段的移动向量的第一参照图像；
第一移动检测部件，使用所述第一存储部件中存储的第一参照图像来检测第一阶段的移动向量；
第二存储部件，存储第二参照图像，所述第二参照图像由亮度图像以及色差图像构成，用于使用由所述第一移动检测部件检测出的所述第一阶段的移动向量实施的移动补偿；
移动补偿部件，使用所述第二存储部件中存储的第二参照图像来实施移动补偿；
主存储部件，存储所述参照图像和所述被编码图像；以及
数据传送控制部件，控制所述主存储部件和所述第一存储部件之间的数据传送以及所述主存储部件和所述第二存储部件之间的数据传送，
所述处理器在所述第一阶段的移动向量的检测完成之前，从所述主存储部件向所述第二存储部件传送第二参照图像的数据。
CNB2005800154348A 2004-07-13 2005-07-07 移动检测装置 Expired - Fee Related CN100553342C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP205806/2004 2004-07-13
JP2004205806 2004-07-13

Publications (2)

Publication Number Publication Date
CN1954616A CN1954616A (zh) 2007-04-25
CN100553342C true CN100553342C (zh) 2009-10-21

Family

ID=35783833

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800154348A Expired - Fee Related CN100553342C (zh) 2004-07-13 2005-07-07 移动检测装置

Country Status (6)

Country Link
US (1) US20080031335A1 (zh)
EP (1) EP1768420A1 (zh)
JP (1) JP4709155B2 (zh)
KR (1) KR20090014371A (zh)
CN (1) CN100553342C (zh)
WO (1) WO2006006489A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775452B2 (en) 2006-09-17 2014-07-08 Nokia Corporation Method, apparatus and computer program product for providing standard real world to virtual world links
US20080267521A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Motion and image quality monitor
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
JP4892468B2 (ja) * 2007-12-19 2012-03-07 キヤノン株式会社 動画像符号化装置、動画像符号化装置の制御方法及びコンピュータプログラム
US20090323807A1 (en) * 2008-06-30 2009-12-31 Nicholas Mastronarde Enabling selective use of fractional and bidirectional video motion estimation
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
US9300975B2 (en) * 2011-09-11 2016-03-29 Texas Instruments Incorporated Concurrent access shared buffer in a video encoder
JP2016195294A (ja) * 2013-09-02 2016-11-17 三菱電機株式会社 動き探索処理装置及び画像符号化装置及び動き探索処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236466A (ja) * 1992-02-25 1993-09-10 Nec Corp 動き補償フレーム間予測画像符号化装置及び方法
JPH06197322A (ja) * 1992-12-24 1994-07-15 Matsushita Electric Ind Co Ltd 動き検出回路
JP3004968B2 (ja) * 1997-09-03 2000-01-31 松下電器産業株式会社 プロセッサ
CN1157641C (zh) * 1997-09-03 2004-07-14 松下电器产业株式会社 处理器
JP3611507B2 (ja) * 2000-05-30 2005-01-19 松下電器産業株式会社 動きベクトル検出装置
JP2002218474A (ja) * 2001-01-24 2002-08-02 Mitsubishi Electric Corp 画像データ符号化装置
US8284844B2 (en) * 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards

Also Published As

Publication number Publication date
KR20090014371A (ko) 2009-02-10
JPWO2006006489A1 (ja) 2008-04-24
JP4709155B2 (ja) 2011-06-22
WO2006006489A1 (ja) 2006-01-19
EP1768420A1 (en) 2007-03-28
CN1954616A (zh) 2007-04-25
US20080031335A1 (en) 2008-02-07

Similar Documents

Publication Publication Date Title
CN100553342C (zh) 移动检测装置
CN105191309B (zh) 用于下一代视频编码的内容自适应预测距离分析器和分层运动估计系统
US7444026B2 (en) Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith
US8073057B2 (en) Motion vector estimating device, and motion vector estimating method
US8488678B2 (en) Moving image encoding apparatus and moving image encoding method
KR100843418B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
JP2009071879A (ja) 動画像予測装置
JP2008109632A (ja) 動きベクトル検出装置及びその方法
CN102036067A (zh) 运动图像编码设备及其控制方法
US20040218675A1 (en) Method and apparatus for determining reference picture and block mode for fast motion estimation
JP2007124408A (ja) 動きベクトル検出装置および動きベクトル検出方法
US20110249747A1 (en) Motion vector decision apparatus, motion vector decision method and computer readable storage medium
CN107852500A (zh) 运动矢量场编码方法和解码方法、编码和解码装置
JP2004348741A (ja) 画像の比較方法、方法を実行するためのプログラムを記憶するコンピュータ可読記憶媒体、および方法を実行する装置
US7852939B2 (en) Motion vector detection method and device of the same
US20050105620A1 (en) Motion vector detecting device and motion vector detecting program
JP2007158855A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2011130265A (ja) 動きベクトル検出装置、動きベクトル検出方法およびプログラム
JP4235209B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
KR20050068001A (ko) 블록정합에 의한 움직임 벡터 탐색방법 및 탐색장치
US20130156107A1 (en) Encoding device, decoding device, encoding method, and decoding method
US6788741B1 (en) Device and method of retrieving high-speed motion
JP2006067213A (ja) 動きベクトル検出装置、および、プログラム
JP6728870B2 (ja) 画像圧縮装置、画像圧縮方法、及び画像圧縮プログラム
KR100892471B1 (ko) 움직임 검출 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091021

Termination date: 20120707