CN101796845B - 运动图像编码中的运动搜索装置 - Google Patents

运动图像编码中的运动搜索装置 Download PDF

Info

Publication number
CN101796845B
CN101796845B CN2008801051484A CN200880105148A CN101796845B CN 101796845 B CN101796845 B CN 101796845B CN 2008801051484 A CN2008801051484 A CN 2008801051484A CN 200880105148 A CN200880105148 A CN 200880105148A CN 101796845 B CN101796845 B CN 101796845B
Authority
CN
China
Prior art keywords
picture
memory
pixel data
reference picture
motion search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008801051484A
Other languages
English (en)
Other versions
CN101796845A (zh
Inventor
新田高庸
岩崎裕江
长沼次郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101796845A publication Critical patent/CN101796845A/zh
Application granted granted Critical
Publication of CN101796845B publication Critical patent/CN101796845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种在使用PE阵列的运动搜索中，无需增加画面外像素存储用的存储器，就能够避免存储体冲突并实现高速运算的技术。从存储器(3)(参考图像存储器(30))中读出的多行像素数据位于同一存储体时，冲突存储体先行读出控制部(10)先行读出一行的像素数据，读入数据保持电路(20)将该数据保持至向PE阵列部(4)的输入定时。由此，避免从存储器(3)读出像素数据时的存储体冲突，顺利实现基于PE阵列部(4)的流水线处理。

Description

运动图像编码中的运动搜索装置
技术领域
本发明涉及在运动图像编码中使用脉动阵列(Systolic Array)进行运动搜索的运动图像编码中的运动搜索装置。
背景技术
在运动图像编码中，运动矢量的检测所需的运算量庞大，为了实现其运算处理的高速化，开发出使用了脉动阵列的运动搜索装置并得到实用(参考非专利文献1、专利文献1、非专利文献2、专利文献2)。
脉动阵列是一种规律地排列多个处理器元件(以下记为PE)，使运算对象数据以流水线方式流过多个PE，从而并行高速地执行基于多个PE的运算处理的运算装置。也称为PE阵列。
特别是在要求高速的运动图像编码处理的运动搜索装置中，在参考图像的运动搜索范围内反复进行原图像的编码对象块与参考图像之间的像素值的差分绝对值和(SAD)的计算的处理中，通过利用所述PE阵列，能够实现运动矢量检测的高速化。
图9A示出以往的运动搜索装置中的PE阵列的结构例。该例子的结构是通过8个处理器元件PE00～PE31，来算出4×2像素的原图像与参考图像之间的差分绝对值和。也可以是通过增加PE数，算出例如4×4像素或者8×8像素这样的单位的差分绝对值和的结构。另外，还可以组合多个图9A所示的PE阵列40，构成n×m像素(n≥4，m≥4)的差分绝对值和的运算电路。
在PE阵列40中，有原图像输入数据SMB、4条参考图像输入数据RA00、RA01、RA10、RA11、以及参考图像切换控制输入信号RASW的输入端子，其中，该参考图像切换控制输入信号RASW控制用于选择要运算的参考图像输入数据的选择器。作为输出端子，有差分绝对值累加结果输出ADOUT的输出端子。
如图9B所示，各PE具有：原图像输入数据的输入端子MBin；来自左邻PE的加法值的输入端子ADDin；向右邻PE的加法值的输出端子ADDout；以及2条参考图像输入数据的输入端子RAin0、RAin1。
图10A～10C是说明图9A所示的PE阵列40的动作的图。假设例如对于如图10A所示的原图像的4×2的像素组(像素值c00～c31)，进行用于搜索在图10B所示的参考图像(像素值x00，x01，...)之中差分绝对值和最小的部分的运算。
在图10C中，各PE00、PE10、PE20、...中，在最初的8周期(时钟CLK)中依次输入并保持原图像的像素值c00、c10、c20、...。在周期1中，PE00输入原图像的像素值c00与参考图像的像素值x00，算出其差分绝对值S00＝|c00-x00|。
在下一周期2中，PE00输入参考图像的像素值x10，算出其差分绝对值和S01＝|c00-x10|。PE10算出对PE00在周期1中算出的值S00加上原图像的像素值c10与参考图像的像素值x10的差分绝对值后的值S10。
在下一周期3中，PE00输入参考图像的像素值x20，算出其差分绝对值和S02＝|c00-x20|。PE10算出对PE00在周期2中算出的值S01加上原图像的像素值c10与参考图像的像素值x20的差分绝对值后的值S11。PE20算出对PE10在周期2中算出的值S10加上原图像的像素值c20与参考图像的像素值x20的差分绝对值后的值S20。
如上那样，如果各PE00～PE31以流水线方式执行运算，则从PE阵列40的输出端子ADOUT最初输出c00～c31与x00～x31的差分绝对值和，在下一周期输出c00～c31与x10～x41的差分绝对值和，再下一周期输出c00～c31与x20～x51的差分绝对值和，这样就在每个周期依次输出运动矢量的搜索范围内的差分绝对值和(详细内容参考非专利文献1、2和专利文献1、2)。
图11示出PE阵列40的定时图。在图11中，HOLDMB表示对各PE00～PE31保持原图像输入数据SMB并指示开始运算的启动信号，CLK表示时钟，HOLDSEL表示参考图像切换控制输入信号。在图11中，用参考图像的像素坐标(x，y)表示参考图像的像素值。例如(0，0)相当于图10所示的像素值x00。对PE阵列40依次提供参考图像的各像素值，但从参考图像存储器的像素值读出是考虑对存储器的像素的存储方法的情况或为了减少存储器存取的次数而通常集中多个像素进行。图11示出如下例子：在CLK0，从参考图像存储器同时输入参考图像的像素值(0，0)～(6，0)和(0，1)～(6，1)，在CLK8，从参考图像存储器同时输入参考图像的像素值(0，2)～(6，2)和(0，3)～(6，3)。
在CLK0读入的7像素×2的数据，在从CLK1开始的7时钟中，最初的7像素被依次提供给PE阵列40，在从CLK5开始的7时钟中，另外的7像素被依次提供给PE阵列40。CLK9时，输出搜索原点位置坐标(0，0)处的差分绝对值累加结果。在CLK10，输出搜索原点位置坐标(1，0)处的差分绝对值累加结果。
图12示出从参考图像存储器的读取定时。如前所述，在最初的周期，从参考图像存储器读出7像素×2的数据，但由于无法从相同的存储器(memory)存储体(bank)中同时读出两个数据，因此例如针对图像的每行，如Bank0、Bank1、Bank2、Bank0...这样地，将数据分给各存储体进行存储。由此避免存储体冲突，使得能够同时从参考图像存储器中读出例如Bank0和Bank1的数据。
在具备如上所述的从参考图像存储器的读出机构的运动搜索装置中，从参考图像的搜索范围中的最下行起为了进行下一运动搜索而移动到最上行时，为了不使PE阵列40中的运算时间中产生空闲，需要一次读出7像素×3的数据，即在读出最下行的数据的同时读出最上2行的数据。图12中的在周期32时的读出与此相应。即，在周期32中，需要同时读出开头为(0，8)的最下行1条和开头为(4，0)与(4，1)的2条最上行的数据。这里对搜索范围的行数为奇数时的例子进行说明，但偶数时也同样。
在MPEG-2等以往的图像编码方式中的运动搜索中，由于不需要进行参考图像的参考位置超出画面外的搜索，因此即使同时读出最下行1条与最上行2条的数据时，各自的存储体不同，也不会产生因存储体冲突造成的存储器读出延迟的问题。
非专利文献1：南俊宏、近藤利夫、村主一仁、笠井良太、“1次元シストリックァレ一型全探索動きベクトル検出器の提案(一维脉动阵列型全搜索运动矢量检测器的提案)”、电子信息通信学会论文志D-I，Vol.J78-D-I，No.12，pp.913-925，1995年12月。
非专利文献2：南俊宏、长沼次郎、“テレスコピック探索に適した動きベクトル検出器構成方法の提案(适用于可伸缩搜索的运动矢量检测器构成方法的提案)”、电子信息通信学会论文志D-II，Vol.J87-D-II，No.11，pp.2007-2024，2004年11月。
专利文献1：日本专利第3127980号公报
专利文献2：日本专利公开特开2005-136455号公报
图13A～13C是示出检测运动矢量的搜索范围的图。在运动搜索中，为了找出具有与图13A所示的原图像200中的编码对象块201最接近的像素值组的参考图像100的位置，以参考图像100中的、例如编码对象块的坐标位置为搜索中心101，从预先决定的大小的搜索范围102中一点一点地挪动并依次截出编码对象块尺寸的像素值组，算出与编码对象块201的像素值的差分绝对值和(SAD)。以在搜索范围102内算出的差分绝对值为基础进行运动评价，决定运动矢量。
例如在H.264编码方式中规定了可以将此运动搜索扩展至参考图像100以外进行。即，在H.264中，如图13B所示，采用了当编码对象块201的位置位于靠近原图像200的图像端部的位置时，搜索范围102扩大至参考图像100的外侧的方法。此时，参考图像100中的画面外的像素值成为如图13C所示，对于画面上的外侧，使用复制了参考图像100的最上段像素值的值，对于画面左的外侧，使用复制了参考图像100的最左端列的像素值的值。对于参考图像100的最下段、最右端也同样。
作为使用图9A所示的PE阵列40进行图13C所示的对画面外使用复制了像素值的值的情况下的运动搜索时的最简单的处理方法，可以考虑以下方法：将1参考图像的参考图像存储器的尺寸取为比参考图像的尺寸大画面外搜索范围，在存储参考图像时预先将画面外像素值设定为与画面端部像素值相同的值。但是，这种方法存在额外需要参考图像存储器的硬件量的问题。
作为其他方法有在从参考图像存储器读出像素值时，如果搜索范围在画面外，则读出画面端部像素值的方法。但是，这种方法会产生如以下说明那样的存储体冲突的问题。
图14A、14B是说明存储器存储体结构与画面外像素读取时的存储体冲突的问题的图。在图14A、14B中，LAX表示X方向的逻辑地址，LAY表示Y方向的逻辑地址。另外，#0、#1、...、#5表示存储器存储体的存储体编号。在存储器存储体的存储体编号不同时，能够同时读取数据，但来自存储体编号相同处的数据由于存储体冲突而无法同时读取。
如图14A所示，运动的搜索范围在画面内时，从搜索范围的最下行起向最上行移动搜索时，同时读出的数据是以粗框表示的存储体编号为#2的最下行与存储体编号为#0(以及#3)和#1(以及#4)的2条最上位行，不会产生存储体冲突。这与以往技术相同。
但是，运动的搜索范围例如在图14B所示的上画面外时，从搜索范围的最下行起向最上行移动搜索时，由于在画面外需要使用复制了画面端部像素值的值，因此代替读出LAY＝8的最下行与LAY＝0和LAY＝1的2条最上位行数据，读出LAY＝8的最下行与LAY＝5的画面端部行的数据。但是，由图可知，LAY＝8的行和LAY＝5的行的存储体编号都是#0，由于相同因此产生存储体冲突，无法同时读出这些数据。
为了解决这个问题，如果增加存储器的存储体数，则存在存储器存储体结构变得复杂的问题，另外，如果使一个数据的读出等待另一个数据的读出结束为止，则存在PE阵列40中的流水线处理流产生混乱，运算时间变长的问题。
例如假设由于存储体冲突而读出发生冲突的一个数据花费8周期的多余的时间时，按照大概的试算则成为约25％的开销。这是因为，在没有存储体冲突时，可以考虑用4次读出时间读出纵向全部9行，与此相对，在有存储体冲突时，由于无法同时读出最后1行与最上2行，所以读出纵向全部9行需要花费5次的时间。
归纳以上的问题点进行说明则如以下所示。使用图9A所示的PE阵列(脉动阵列)40构成运动矢量检测时，需要同时读出多行参考图像的像素。因此，对于有同时读出可能性的行，需要分配给存储器上的其他存储体。
为了在允许画面外运动矢量的H.264等中适用这种方式，需要在存储器中额外存储画面外像素(像素值为边界像素的值)。因此存在存储器的硬件量增加的问题。但是，当不具有用于存储画面外像素的存储器时，脉动阵列的读出图案在包括画面外像素时变得不规则，存在如图14B所示那样的产生存储体冲突，从而无法进行高速运算这样的问题。
发明内容
本发明谋求解决上述问题，其目的在于提供一种运动搜索装置，无需增加画面外像素存储用的存储器，且不会产生存储体冲突。
本发明中，在使用利用多个处理器元件(PE)并行执行运算的PE阵列的运动搜索中，在与编码对象块的差分绝对值和的算出中所使用的参考图像的像素组的最上行在画面外时，读出画面内的最上行，进而为了避免同时读出搜索范围的最下行与下一搜索范围的最上行时的存储体冲突，与之前行的读出同时地先行读出最下行，提早读出定时。先行读出的最下行数据保持在移位寄存器等数据保持电路中，在PE阵列需要运算的时刻从数据保持电路提供。
另外，当搜索范围的像素在参考图像的水平方向的画面外时，在行读出后，复制画面端像素值。此外，当垂直方向之下在画面外时，可以复制已经读取的画面端行来直接使用。
具体而言，本发明提供一种运动图像编码中的运动搜索装置，该运动搜索装置包括：PE阵列部，通过利用多个处理器元件并行执行运算，算出原图像与参考图像的差分绝对值和；存储器，存储作为运动搜索对象的参考图像的像素数据；存储器读取部，从所述存储器中读出参考图像的像素数据；像素排序部，对从所述存储器中读出的像素数据进行排序并作为对所述PE阵列部的输入；评价部，基于由所述PE阵列部算出的差分绝对值和，检测并评价参考图像的规定搜索范围中的运动矢量；以及控制部，控制这些各部进行的运动搜索，其特征在于，所述存储器读取部包括冲突存储体先行读出控制部，该冲突存储体先行读出控制部进行如下控制：当同时向所述PE阵列部输入的多行像素数据被存储在所述存储器中的同一存储体时，以行单位错开从所述存储器读出该多行像素数据的读出定时，在比向所述PE阵列部的输入所需的定时更早的定时读出像素数据，所述像素排序部包括读入数据保持电路，该读入数据保持电路将由所述存储器读取部在比向所述PE阵列部的输入所需的定时更早的定时读出的行的像素数据保持至向所述PE阵列部的输入定时为止。
另外，在上述发明中，其特征在于，所述像素排序部包括垂直方向复制部，该垂直方向复制部当运动搜索范围的区域在参考图像的垂直方向的画面外区域时，复制参考图像中的画面边界部的行的像素数据作为画面外区域的像素数据，并作为对于所述PE阵列部的输入。
另外进而，在上述发明中，其特征在于，所述像素排序部包括水平方向复制部，该水平方向复制部当运动搜索范围的区域在参考图像的水平方向的画面外区域时，在水平方向上复制参考图像中的相同行的画面边界部的像素数据作为画面外区域的像素数据，并作为对于所述PE阵列部的输入。
根据本发明，在使用PE阵列进行的运动搜索中，也能够检测画面外运动矢量。特别是无需具有画面外(垂直方向)用存储器，并且也无需具有画面外(水平方向)用存储器。另外，无需增加存储器存储体的存储体数，就能够避免存储体冲突。
附图说明
图1A是说明本发明的概要的图。
图1B是说明本发明的概要的图。
图2是本实施方式所涉及的运动搜索装置的整体结构图。
图3是存储器读取部的详细结构图。
图4是像素排序部的详细结构图。
图5A是说明水平方向复制部进行的像素值的复制方式的图。
图5B是说明水平方向复制部进行的像素值的复制方式的图。
图6是示出水平方向复制部的电路结构例的图。
图7是示出垂直方向复制部的电路结构例的图。
图8是示出本实施方式中的从存储器读取参考图像数据的读取定时的图。
图9A是示出以往的运动搜索装置中的PE阵列的结构例的图。
图9B是示出PE的结构例的图。
图10A是说明PE阵列的动作的图。
图10B是说明PE阵列的动作的图。
图10C是说明PE阵列的动作的图。
图11是示出PE阵列的时序图的图。
图12是示出从参考图像存储器的读取定时的图。
图13A是示出检测运动矢量的搜索范围的图。
图13B是示出检测运动矢量的搜索范围的图。
图13C是示出检测运动矢量的搜索范围的图。
图14A是说明存储器存储体结构与画面外像素读取时的存储体冲突的问题的图。
图14B是说明存储器存储体结构与画面外像素读取时的存储体冲突的问题的图。
符号说明
1存储器读取部
2像素排序部
3存储器
4PE阵列部
5评价部
6控制部
10冲突存储体先行读出控制部
11逻辑地址生成部
12画面外判定部
13逻辑地址/实际地址转换部
14存储器存取部
20读入数据保持电路
21水平方向截出部
22水平方向复制部
23并行/串行转换部
24垂直方向复制部
25垂直方向排序部
30参考图像存储器
具体实施方式
图1A、1B是说明本发明的实施方式的概要的图。在图1A所示的参考图像存储器30中，搜索范围的最下行数据Data3位于存储器的存储体a，下一搜索范围的最上行数据Data1和Data2分别位于存储体a、存储体b。为了将这些数据提供给PE阵列部4，想要从参考图像存储器30同时读出时，由于Data1和Data3存在于相同的存储体a中，因此产生存储体冲突。
所以，图1B所示的存储器读取部1的冲突存储体先行读出控制部10，在检测画面外的搜索范围中的运动矢量时，在搜索范围的最下行与最上2行之间产生存储体冲突的情况下，进行控制以使与之前行的读出同时地先行读出最下行数据Data3。
像素排序部2按照PE阵列部4中的运算顺序对从存储器3中读出的像素数据进行排序，并提供给PE阵列部4。特别是将先行读出的最下行数据Data3保持于读入数据保持电路20中，在PE阵列部4需要输入的时刻，提供给PE阵列部4。
另外，像素排序部2中的水平方向复制部22，在检测水平方向的画面外的搜索范围中的运动矢量时，复制画面端的像素值并提供给PE阵列部4。垂直方向复制部24，当搜索范围的区域在上画面外或者下画面外时，复制画面上边界或者画面下边界的像素值并提供给PE阵列部4。
图2是本实施方式所涉及的运动搜索装置的整体结构图。另外，图3是存储器读取部1的详细结构图，图4是像素排序部2的详细结构图。
存储器读取部1和像素排序部2以外的各部与使用以往的脉动阵列的运动搜索装置的结构相同。存储器3存储原图像和参考图像的像素数据。此外，对于原图像的像素数据，也可以存储于其他存储器中，并从输入端子输入。PE阵列部4按照编码对象块的尺寸使用多个如图9A、9B中说明那样的由多个处理器元件(PE)、以及选择器或加法电路、寄存器等组成的PE阵列40而构成。评价部5根据PE阵列部4的输出即差分绝对值和(SAD：Sum of Absolute Difference)、以及运动矢量MV与预测运动矢量PMV的差分等编码的代价信息，评价运动矢量，并向控制部6返回评价结果。
控制部6通过程序控制进行运动搜索装置整体的控制。对于存储器读取部1，控制部6指定要搜索的区域(中心运动矢量MV)并指示搜索的开始。存储器读取部1将表示搜索范围的逻辑地址转换为存储器3中的实际地址，进行对于存储器3的读取请求。另外，进行搜索范围是否在画面外的检查，在画面外时，向像素排序部2通知该画面外信息。像素排序部2进行从存储器3中读出的像素数据的截出和排序，提供给PE阵列部4。
如图3所示，存储器读取部1包括：逻辑地址生成部11、画面外判定部12、逻辑地址/实际地址转换部13、存储器存取部14。逻辑地址生成部11和逻辑地址/实际地址转换部13与以往装置相同。逻辑地址生成部11根据由控制部6指定的指定要搜索的区域的中心运动矢量MV的信息，生成表示图14A、14B所示的搜索范围的相对的地址的逻辑地址LAX、LAY。
画面外判定部12判定逻辑地址生成部11生成的逻辑地址是在参考图像的画面内还是在画面外，在画面外时，向存储器存取部14和像素排序部2发送画面外信息。逻辑地址/实际地址转换部13进行处理以将逻辑地址生成部11生成的逻辑地址转换为存储器3中的存储有实际的像素数据的实际地址。在对存储器3存储参考图像时，存储参考图像的开头实际地址，由此能够容易进行从该逻辑地址向实际地址的转换。此外，对于由控制部6事先通知的原图像中的编码对象块的地址，也进行向实际地址的转换。
转换的实际地址被发送到存储器存取部14，存储器存取部14以按照图8后述的定时发送对于存储器3的读取请求。特别是，当搜索范围包括上画面外时，冲突存储体先行读出控制部10进行用于避免图1中说明的存储体冲突的存取控制。
如图4所示，像素排序部2包括：水平方向(X方向)截出部21、水平方向复制部22、并行/串行转换部23、垂直方向(Y方向)复制部24、以及垂直方向排序部25。其中，水平方向截出部21、并行/串行转换部23、垂直方向排序部25与以往装置相同。
从存储器3读出到像素排序部2的数据，每1行包括16像素的数据。因此，水平方向截出部21从读出的数据之中截出运动搜索所需的8像素×3行的数据。
水平方向复制部22在基于由画面外判定部12通知的画面外信息进行检测水平方向的画面外运动矢量的运算时，进行复制画面边界(画面端)像素值作为画面外像素数据的处理。
图5A、5B是说明水平方向复制部22进行的像素值的复制方式的图。在图5A、5B中，EILRFLG为左右区域标志，其为“00”时表示搜索区域全部存在于画面内，“10”时表示画面端存在于左侧，“01”时表示画面端存在于右侧。EIXLVAL为距左画面端的X方向的距离，EIXRVAL为距右画面端的X方向的距离。D0～D7为像素值的数据，MSB表示8像素的数据列的最上位侧数据，LSB表示最下位侧数据。
水平方向复制部22作为画面外信息从画面外判定部12接收到EILRFLG、EIXLVAL、EIXRVAL等信息时，根据其值，在EILRFLG＝10时，进行图5A(A1)、(A2)所示的X方向的像素值的复制，在EILRFLG＝01时，进行图5B(B1)、(B2)所示的X方向的像素值的复制。
图6示出水平方向复制部22的电路结构例。在图6中，EDI0-EDI7分别为图5A、5B所示的D0～D7像素值的输入数据。另外，XEIXCPO0～XEIXCPO7分别是X方向像素复制处理数据0～X方向像素复制处理数据7，是画面端数据如图5所示向画面外复制后的结果的输出数据。
在水平方向复制部22中，根据EILRFLG、EIXLVAL、EIXRVAL的输入信号，由图6所示的选择器选择像素值的输入数据EDI0～EDI7，从而进行图5A、5B所示的X方向的数据的复制。
图4所示的并行/串行转换部23将水平方向复制部22输出的8像素×3行的像素数据，对各行1像素1像素地按顺序截出，转换为1像素×3行的像素数据并输出。
垂直方向复制部24当搜索范围的区域在上画面外或者下画面外时，进行复制画面上边界或者画面下边界的像素值的处理。
图7示出垂直方向复制部24的电路结构例。在图7中，EDI0～EDI2为3行的输入数据0～3。EIUDFLG是表示在画面的上侧还是在下侧的上下区域标志，是作为画面外信息从画面外判定部12接收的信号。该标志为“00”时表示在画面内。EIYSFTSEL是输入数据Y方向移位控制信号，表示是否为了向垂直方向(Y方向)进行复制而移位输入数据。EITRG为存储器读取使能信号，表示从存储器3读取到数据的定时。
另外，XEIYCPO0～XEIYCPO2为3行的Y方向像素复制处理数据输出0～2，在通常的搜索中，使用其中的2行数据，但从搜索范围的最下行起向下一搜索范围的最上行移动时，输出3行数据。
定时生成电路241为控制对读入数据保持电路20的数据保持的电路。读入数据保持电路20如图1A、1B中说明那样，将先行读出的最下行数据保持8周期，使其延迟8周期输出。读入数据保持电路20例如由8级的移位寄存器构成，根据定时生成电路241的移位使能信号，使预先读取的搜索范围的最下行数据延迟8周期。
垂直方向排序部25对垂直方向复制部24输出的1像素×3行的像素数据进行排序，向PE阵列部4输出数据。垂直方向排序部25进行的像素数据的排序处理与在MPEG-2等中所使用的以往的运动搜索装置中的排序处理相同。
图8示出本实施方式中的从存储器3读取参考图像数据的读取定时。
本实施方式中的周期24(CLK24)为止的数据读出、以及对PE阵列的数据的供给定时与在图12中说明的以往的运动搜索装置的定时相同。图12所示的以往装置中，在周期24中，同时读出存储体编号为#0的(0，6)至(6，6)和存储体编号#1的(0，7)至(6，7)的2行像素数据，在下一个第8周期的周期32中，同时读出最下行即存储体编号为#2的(0，8)至(6，8)、最上行的存储体编号为#0和#3的(4，0)至(10，0)、次最上行的存储体编号为#1和#4的(4，1)至(10，1)共计3行像素数据。这是因为在第32周期以后的读出中不会产生存储体冲突。
与此相对，本实施方式中，如果按照与以往装置相同的读出定时，则特别是在搜索画面外时存储器存取变得不规则，由此会产生存储体冲突，因此如下那样进行读出。在周期24中，读出存储体编号为#0的(0，6)至(6，6)和存储体编号#1的(0，7)至(6，7)的2行像素数据，与此同时读出最下行即存储体编号为#2的(0，8)至(6，8)的像素数据。对于该最下行读出的像素数据，在8周期后输出到PE阵列，因此在读入数据保持电路20中保持数据。
在下一个第8周期的周期32中，从存储器3同时读出最上行的存储体编号为#0和#3的(4，0)至(10，0)和次最上行的存储体编号为#1和#4的(4，1)至(10，1)的2行像素数据，对于PE阵列，以每个周期按照像素单位输出(4，0)至(10，0)的像素数据和(0，8)至(6，8)的像素数据。到达周期36时，进一步向PE阵列输出(4，1)至(10，1)行的像素数据。
如上所述，通过改变读出的定时，由此最上行在画面外时，即使存储器存取变得不规则，发生之前的最下行的存储体即#2的存储体读出，由于之前的最下行已经在前面读出，因此也不会产生存储体冲突。
以上说明的运动搜索装置可以由LSI构成。
本国际申请主张基于2007年9月13日申请的日本国专利申请第2007-237534号的优先权，本国际申请中援用其全部内容。

Claims (4)

1.一种运动图像编码中的运动搜索装置，该运动搜索装置包括：处理器元件阵列部，通过利用多个处理器元件并行执行运算，算出原图像与参考图像的差分绝对值和；存储器，存储作为运动搜索对象的参考图像的像素数据；存储器读取部，从所述存储器中读出参考图像的像素数据；像素排序部，对从所述存储器中读出的像素数据进行排序并作为对所述处理器元件阵列部的输入；评价部，基于由所述处理器元件阵列部算出的差分绝对值和，检测并评价参考图像的规定搜索范围中的运动矢量；以及控制部，控制这些各部进行的运动搜索，其特征在于，
所述存储器读取部包括冲突存储体先行读出控制部，该冲突存储体先行读出控制部进行如下控制：当同时向所述处理器元件阵列部输入的多行像素数据被存储在所述存储器中的同一存储体时，对于该多行中的一行的像素数据，在比向所述处理器元件阵列部的输入所需的定时更早的定时，从上述存储器读出，
所述像素排序部包括读入数据保持电路，该读入数据保持电路将由所述存储器读取部在比向所述处理器元件阵列部的输入所需的定时更早的定时读出的行的像素数据保持至向所述处理器元件阵列部的输入定时为止。
2.根据权利要求1所述的运动图像编码中的运动搜索装置，其特征在于，
所述像素排序部包括垂直方向复制部，该垂直方向复制部当运动搜索范围的区域在参考图像的垂直方向的画面外区域时，复制参考图像中的画面边界部的行的像素数据作为画面外区域的像素数据，并作为对于所述处理器元件阵列部的输入。
3.根据权利要求1所述的运动图像编码中的运动搜索装置，其特征在于，
所述像素排序部包括水平方向复制部，该水平方向复制部当运动搜索范围的区域在参考图像的水平方向的画面外区域时，在水平方向上复制参考图像中的相同行的画面边界部的像素数据作为画面外区域的像素数据，并作为对于所述处理器元件阵列部的输入。
4.根据权利要求2所述的运动图像编码中的运动搜索装置，其特征在于，
所述像素排序部包括水平方向复制部，该水平方向复制部当运动搜索范围的区域在参考图像的水平方向的画面外区域时，在水平方向上复制参考图像中的相同行的画面边界部的像素数据作为画面外区域的像素数据，并作为对于所述处理器元件阵列部的输入。
CN2008801051484A 2007-09-13 2008-09-12 运动图像编码中的运动搜索装置 Active CN101796845B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007237534A JP4695124B2 (ja) 2007-09-13 2007-09-13 動画像符号化における動き探索装置
JP2007-237534 2007-09-13
PCT/JP2008/066557 WO2009035088A1 (ja) 2007-09-13 2008-09-12 動画像符号化における動き探索装置

Publications (2)

Publication Number Publication Date
CN101796845A CN101796845A (zh) 2010-08-04
CN101796845B true CN101796845B (zh) 2012-05-23

Family

ID=40452094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801051484A Active CN101796845B (zh) 2007-09-13 2008-09-12 运动图像编码中的运动搜索装置

Country Status (6)

Country Link
US (1) US8428137B2 (zh)
EP (1) EP2190206B1 (zh)
JP (1) JP4695124B2 (zh)
KR (1) KR101091054B1 (zh)
CN (1) CN101796845B (zh)
WO (1) WO2009035088A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5360688B2 (ja) * 2009-07-21 2013-12-04 日本電気株式会社 動画復号システム、動画復号装置、参照ブロック生成出方法、及び参照ブロック生成プログラム
TWI523519B (zh) * 2011-01-28 2016-02-21 佳能企業股份有限公司 影像補償方法及系統
JP2019091191A (ja) 2017-11-14 2019-06-13 ルネサスエレクトロニクス株式会社 半導体装置、データ処理システム、データ読取り方法、及びデータ読取りプログラム
US10679320B1 (en) * 2018-07-23 2020-06-09 Ambarella International Lp High dynamic range sensor system with row increment operation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1199533A (zh) * 1996-08-29 1998-11-18 松下电器产业株式会社 通过改进存储方式及读出方式克服了图象存储器特有的硬件规格引起的各种延迟因素的图象译码设备及图像存储器
CN1215960A (zh) * 1997-07-31 1999-05-05 索尼公司 图像处理装置和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728716B2 (ja) 1989-10-09 1995-04-05 倉敷紡績株式会社 攪拌装置
US5229866A (en) * 1990-10-10 1993-07-20 Fuji Xerox Co., Ltd. Image processing system for reducing wait time before image data transfer to an image output section
US5598514A (en) 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
FR2719398B1 (fr) * 1994-04-27 1996-07-19 Sgs Thomson Microelectronics Dispositif et procédé d'adressage d'une mémoire cache d'un circuit de compression d'images mobiles.
US6339656B1 (en) * 1997-12-25 2002-01-15 Matsushita Electric Industrial Co., Ltd. Moving picture encoding decoding processing apparatus
JP3569143B2 (ja) * 1997-12-25 2004-09-22 松下電器産業株式会社 画像データ圧縮伸長処理装置
US6163576A (en) 1998-04-13 2000-12-19 Lsi Logic Corporation Video encoder having reduced memory bandwidth requirements
JP3865541B2 (ja) * 1999-08-23 2007-01-10 沖電気工業株式会社 画像照合装置
JP2004080583A (ja) * 2002-08-21 2004-03-11 Renesas Technology Corp 画像処理装置
JP4332013B2 (ja) * 2003-10-28 2009-09-16 日本電信電話株式会社 擬似多ポートメモリ装置および擬似多ポートメモリ装置の画素読み出し方法
KR100621137B1 (ko) * 2004-02-27 2006-09-13 세이코 엡슨 가부시키가이샤 동화상 부호화 장치 및 동화상 처리장치
JP4419608B2 (ja) * 2004-02-27 2010-02-24 セイコーエプソン株式会社 動画像符号化装置
CN1947424A (zh) * 2004-04-22 2007-04-11 皇家飞利浦电子股份有限公司 提供并行访问多维数据值阵列的数据处理设备
JP4594688B2 (ja) * 2004-06-29 2010-12-08 オリンパス株式会社 画像符号化処理方法、画像復号化処理方法、動画圧縮処理方法、動画伸張処理方法、画像符号化処理プログラム、画像符号化装置、画像復号化装置、画像符号化／復号化システム、拡張画像圧縮伸張処理システム
KR100668302B1 (ko) 2004-07-28 2007-01-12 삼성전자주식회사 비디오 디코더/엔코더에서의 메모리 맵핑 장치 및 그 방법
JP4690424B2 (ja) * 2005-12-26 2011-06-01 パナソニック株式会社 コマンド処理装置、方法、及び集積回路装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1199533A (zh) * 1996-08-29 1998-11-18 松下电器产业株式会社 通过改进存储方式及读出方式克服了图象存储器特有的硬件规格引起的各种延迟因素的图象译码设备及图像存储器
CN1215960A (zh) * 1997-07-31 1999-05-05 索尼公司 图像处理装置和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2005-136455A 2006.05.26
JP特开2005-244844A 2005.09.08
yeu-shen jehng et al.an efficient and simple vlsi tree architecture for motion estimation algorithms.《IEEE transactions on signal processing》.1993,第41卷(第2期),第899-900页. *

Also Published As

Publication number Publication date
JP2009071569A (ja) 2009-04-02
CN101796845A (zh) 2010-08-04
EP2190206B1 (en) 2012-05-16
JP4695124B2 (ja) 2011-06-08
KR20100049620A (ko) 2010-05-12
EP2190206A1 (en) 2010-05-26
EP2190206A4 (en) 2010-12-29
US8428137B2 (en) 2013-04-23
KR101091054B1 (ko) 2011-12-08
US20100215105A1 (en) 2010-08-26
WO2009035088A1 (ja) 2009-03-19

Similar Documents

Publication Publication Date Title
KR101386767B1 (ko) 소스 이미지의 뒤틀린 버전을 표시하는 장치 및 방법
US7529139B2 (en) N-port memory circuits allowing M memory addresses to be accessed concurrently and signal processing methods thereof
CN101151884A (zh) 用于图像传感器的具有共享模拟-数字转换器和ram存储器的读出电路
KR960020555A (ko) 2차원 영상을 3차원 영상으로 변환하는 방법
CN100378867C (zh) 半导体器件、图像数据处理装置和方法
CN101796845B (zh) 运动图像编码中的运动搜索装置
US9030570B2 (en) Parallel operation histogramming device and microcomputer
US8305383B2 (en) Data access apparatus and method
CN104618717A (zh) 行与块的整合转换方法及其计算机可读取存储介质
JP2007096696A5 (zh)
JP3832431B2 (ja) 画像処理装置
JP2932790B2 (ja) ダイナミック型ランダムアクセスメモリ装置
US10665280B2 (en) Information processing apparatus and semiconductor integrated circuit device
JP4332013B2 (ja) 擬似多ポートメモリ装置および擬似多ポートメモリ装置の画素読み出し方法
JP6319420B2 (ja) 情報処理装置、デジタルカメラおよびプロセッサ
JP4650459B2 (ja) 半導体装置およびデータ処理装置
CN102137220B (zh) 一种行缓冲器寻址方法及芯片
CN112911309A (zh) avs2编码器运动矢量处理系统、方法、装置、设备及介质
WO2009130739A1 (ja) 連想メモリ
JP2002074357A (ja) 画像処理装置及び方法
JP2003324734A5 (zh)
JPH0198077A (ja) 記憶装置
TW201610910A (zh) 影像資料的存取系統及其存取方法
JPS639294A (ja) 二次元デ−タ発生回路
JP2012069064A (ja) ラベル属性演算回路及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant