CN110447052B - 相关值运算装置 - Google Patents

相关值运算装置 Download PDF

Info

Publication number
CN110447052B
CN110447052B CN201780088604.8A CN201780088604A CN110447052B CN 110447052 B CN110447052 B CN 110447052B CN 201780088604 A CN201780088604 A CN 201780088604A CN 110447052 B CN110447052 B CN 110447052B
Authority
CN
China
Prior art keywords
correlation value
block
value calculation
pixels
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780088604.8A
Other languages
English (en)
Other versions
CN110447052A (zh
Inventor
中岛彩
小柴修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN110447052A publication Critical patent/CN110447052A/zh
Application granted granted Critical
Publication of CN110447052B publication Critical patent/CN110447052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本相关值运算装置选择图像内的关注像素、和所述图像内或其他图像内的多个参照像素，并运算基准块与多个参照块之间的相关值，所述基准块在规定位置处包含所述关注像素，所述多个参照块分别在规定位置处包含所述参照像素，并具有与所述基准块相同的块尺寸，在所述相关值运算装置中，具有：块尺寸判定部；第一中间相关值运算部，其针对所述多种块尺寸运算相关值；以及第二中间相关值运算部，其针对所述多种块尺寸中的一部分块尺寸运算相关值；以及相关值插值部，其通过插值求出相关值。

Description

相关值运算装置
技术领域
本发明涉及对图像间的相关值进行运算的相关值运算装置。
背景技术
在图像处理中的降噪处理或运动矢量检测等中，经常进行图像间的相关值运算。相关值表示图像间的相似度。2张图像(将一方称作基准帧、另一方称作参照帧)间的相关值在基准帧中的特定区域(基准块)、与具有与基准块相同的块尺寸的参照帧内的特定区域(参照块)之间，根据同一位置的像素彼此的像素值的差分等进行计算。对于相关值的计算，已知有差分绝对值和(SAD)、差分平方和(SSD)等计算方法。
在降噪处理、运动矢量检测等中，需要高速进行该相关值运算。因此，在进行降噪处理、运动矢量检测等的装置中，大多设置进行相关值运算的专用电路(相关值运算装置)。在专利文献1中记载了设置有相关值运算装置的运动矢量检测装置。
在相关值运算装置中，通过并行设置以块尺寸为单位来高速运算相关值的电路(相关值运算部)，使相关值运算高速化。伴随相关值运算部的并行度的增加和块尺寸的增加，相关值运算装置的电路规模也增大。要求减小该增大的电路规模。
在专利文献1所记载的相关值运算装置的相关值运算部中，具有对块尺寸的一列的SAD进行计算的运算器，通过对计算出的一列的SAD进行累积相加来运算块尺寸的SAD，由此减小了电路规模。
现有技术文献
专利文献
专利文献1：日本特开2007-88910号公报
发明内容
发明所要解决的课题
但是，在专利文献1所记载的相关值运算部中，块尺寸被固定。即使对块尺寸进行变更，各相关值运算部也需要具有能够处理对应的最大的块尺寸的专用电路。
根据相关值的使用用途，适于相关值计算的块尺寸按照每个图像或像素而不同。因此，相关值运算装置优选构成为能够从几种块尺寸中选择块尺寸。但是，在全部相关值运算部都构成为能够处理最大的块尺寸的情况下，存在相关值运算装置整体的电路规模变得过大的问题。
鉴于上述情况，本发明的目的在于提供能够从几种块尺寸中选择任意的块尺寸、且能够减小电路规模的相关值运算装置。
用于解决课题的手段
为了解决上述课题，本发明提出了以下手段。
相关值运算装置选择图像内的关注像素、和所述图像内或其他图像内的多个参照像素，并运算基准块与多个参照块之间的相关值，所述基准块在规定位置处包含所述关注像素，所述多个参照块分别在所述规定位置处包含所述参照像素，并具有与所述基准块相同的块尺寸，在所述相关值运算装置中，具有：块尺寸判定部，对于所述基准块和所述参照块的块尺寸，所述块尺寸判定部从多种块尺寸中选择一种块尺寸并设为选择块尺寸；第一中间相关值运算部，其针对所述多种块尺寸，运算所述基准块、与在所述规定位置处包含第一参照像素的所述参照块之间的相关值，所述第一参照像素是所述参照像素的一部分；第二中间相关值运算部，其针对所述多种块尺寸中的至少一部分块尺寸，运算所述基准块、与在所述规定位置处包含第二参照像素的所述参照块之间的相关值，所述第二参照像素是所述参照像素的剩余部分；以及相关值插值部，其针对所述第二中间相关值运算部未运算的针对其他块尺寸的插值对象相关值，使用所述第一中间相关值运算部运算出的针对所述其他块尺寸的相关值，通过插值来求出，在所述选择块尺寸为所述其他块尺寸的情况下，输出所述插值对象相关值，作为所述第二中间相关值运算部的运算结果。
发明的效果
根据本发明的相关值运算装置，可提供能够从几种块尺寸中选择任意的块尺寸、且能够减小电路规模的相关值运算装置。
附图说明
图1是示出本发明第一实施方式的相关值运算装置的图。
图2是示出基准块和参照块之间的关系的图。
图3是示出本发明第一实施方式的相关值运算装置中的参照点的分类的图。
图4是示出本发明第一实施方式的相关值运算装置中的基准块和参照块的块尺寸的图。
图5是示出本发明第一实施方式的相关值运算装置中的参照块B在插值处理中使用的附近的参照块A的图。
图6是示出发明的第一实施方式的相关值运算装置中的第一中间相关值运算部的结构的图。
图7是示出发明的第一实施方式的相关值运算装置中的第二中间相关值运算部的结构的图。
图8是示出发明的第一实施方式的相关值运算装置中的相关值插值部的结构的图。
图9是示出本发明第二实施方式的相关值运算装置的图。
图10是示出本发明第二实施方式的相关值运算装置中的参照点的分类的图。
图11是示出本发明第二实施方式的相关值运算装置中的参照点的分类的图。
图12是示出本发明第一实施方式的相关值运算装置中的参照块在插值处理中使用的附近的参照块的图。
图13是示出本发明第一实施方式的相关值运算装置中的第一中间相关值运算部的变形例的结构的图。
具体实施方式
(第一实施方式)
参照图1至图8来说明本发明的相关值运算装置的第一实施方式。
本实施方式的相关值运算装置100被安装于进行降噪处理、运动矢量检测等的装置中，以高速计算相关值。
图1是示出相关值运算装置100的结构的图。相关值运算装置100计算1张图像(帧)内的特定区域(基准块)、与具有与基准块相同的块尺寸的特定区域(参照块)之间的相关值。
如图2所示，本实施方式的相关值运算装置100并列计算以图像(帧)的关注像素(tx,ty)为中心像素的基准块、与多个参照块之间的相关值。
在之后的说明中，为了说明图像的像素的位置，使用XY坐标。如图2所示，设水平方向为X轴方向、垂直方向为Y轴方向、左上为原点。XY坐标如(X,Y)＝(0,0)那样表现。
相关值运算装置100具有主存储器1、块存储器2、相关值运算部3、块尺寸判定部4。
主存储器1由DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，存储作为相关值运算对象的图像数据(帧数据10)。
相关值运算装置100还能够针对2张图像(将一方称作基准帧、另一方称作参照帧)，在基准帧内的特定区域(基准块)、与具有与基准块相同的块尺寸的参照帧内的特定区域(参照块)之间，高速运算相关值。
相关值运算装置100在2张图像(基准帧与参照帧)之间计算相关值的情况下，在主存储器1中存储基准帧数据11和参照帧数据12这双方。
块存储器2是存储作为相关值运算对象的基准块和参照块的数据的存储器，具有基准块数据存储用存储器21和参照块数据存储用存储器22。
基准块数据存储用存储器21由SRAM(Static Random Access Memory：静态随机存取存储器)或寄存器文件等构成，存储主存储器1所存储的帧数据10中的、至少一个基准块的数据。基准块的数据由未图示的CPU等从主存储器1中读出，并被传送到基准块数据存储用存储器21。
参照块数据存储用存储器22由SRAM或寄存器文件等构成，存储主存储器1所存储的帧数据10中的、多个参照块的数据。参照块的数据由未图示的CPU等从主存储器1中读出，并被传送到参照块数据存储用存储器22。
在帧数据10中，参照点(参照像素)是在以关注像素为中心像素的、水平方向17个像素和垂直方向17个像素(之后称作“17×17”)的区域中，从配置成交替格子图案状(方格图案状)的像素中除去关注像素后的144个像素。参照块数据存储用存储器22存储包含144个参照块的区域(参照区域)的数据，这些参照块以参照点(rx,ry)为中心像素。
这里，以关注像素为中心像素的块是基准块本身，因此从计算与基准块之间的相关值的对象中被除去。
这里，参照点被配置成交替格子图案状(方格图案状)是指作为参照点的像素、与不作为参照点的像素在水平方向和垂直方向上每隔一个像素地交替配置。
如图2所示，基准块和参照块的块尺寸能够从9×9的块尺寸B9、7×7的块尺寸B7、5×5的块尺寸B5、3×3的块尺寸B3这4种中选择。基准块和参照块将中心像素固定来变更块尺寸。即，不论块尺寸如何，中心像素都是相同的。
相关值运算装置100根据关注像素与其周边像素之间的关系，判定最佳的块尺寸。关于块尺寸的判定，将在后述的块尺寸判定部4的说明中叙述。
相关值运算部3具有第一中间相关值运算部31、第二中间相关值运算部32和相关值插值部35，是并列运算1个基准块与144个参照块之间的144个相关值的电路。
向相关值运算部3输入基准块数据存储用存储器21所存储的一个基准块的数据、和参照块数据存储用存储器22所存储的144个参照块的数据。
如图1所示，相关值运算部3具有第一中间相关值运算部31和第二中间相关值运算部32，第一中间相关值运算部31和第二中间相关值运算部32合计144个，由此能够并列计算144个相关值。
相关值运算部3运算差分绝对值和(SAD)作为相关值。参照点(rx,ry)中的SAD通过以下的式1来计算。
Figure BDA0002205950350000051
在式1中，img(x,y)是XY坐标(x,y)下的图像(帧数据10)的像素数据。可以是单色或彩色数据中的任意一个，也可以是来自图像传感器的中间数据。Size表示从中心像素至最端部像素的像素数-1。
基准块与参照块之间的相关值的运算可以一并计算块整体的相关值，也可以计算块尺寸的一列的相关值，并将计算出的一列的相关值累积相加来运算块尺寸的相关值。
相关值运算部3能够同时得到后述的块尺寸判定部4判定出的块尺寸(之后称作“目标块尺寸(选择块尺寸)”)中的、1个基准块与144个参照块之间的相关值运算的结果。
如图3所示，配置成交替格子图案状的参照点被分类为二种。
在以记载为A的参照点(之后称作“参照点A”)为中心像素的参照块(之后称作“参照块A”)中，计算针对全部4种(9×9、7×7、5×5、3×3)块尺寸的相关值。
在以记载为B的参照点(之后称作“参照点B”)为中心像素的参照块(之后称作“参照块B”)中，仅针对最小块尺寸(3×3)计算相关值。
如图3所示，作为参照点的一部分的参照点A(第一参照像素)与作为参照点的剩余部分的参照点B(第二参照像素)被配置成在倾斜方向上彼此相邻。参照区域内的144个参照点中的、80个为参照点A，64个为参照点B。
在参照块A中，针对全部4种块尺寸(9×9、7×7、5×5、3×3)计算相关值。即，在参照块A中，计算9×9的基准块与9×9的参照块、7×7的基准块与7×7的参照块、5×5的基准块与5×5的参照块、3×3的基准块与3×3的参照块之间的4种相关值。
参照块A的4种相关值由第一中间相关值运算部31来计算。
在参照块B中，计算3×3的基准块与3×3的参照块之间的相关值。关于其他3种块尺寸(9×9、7×7、5×5)，如图5所示，求出使用了附近参照块A计算出的相关值的插值相关值。
3×3的块尺寸的相关值由第二中间相关值运算部32来计算，插值相关值由相关值插值部35来计算。
在参照块B中，关于3×3以外的3种块尺寸(9×9、7×7、5×5)，不计算相关值，而计算使用了附近参照块A计算出的相关值的插值相关值。这利用了参照块B的像素结构大多情况下与附近的参照块A的像素结构类似的趋势。关于插值的方法，在后述的相关值插值部35的说明中进行叙述。
如图4的(a)所示，第一中间相关值运算部31针对全部4种(9×9、7×7、5×5、3×3)块尺寸计算相关值。任意的块尺寸均以参照点A为中心像素。
图6是示出第一中间相关值运算部31的运算电路的结构的图。以关注像素的坐标(tx,ty)为中心像素、且包含左上坐标(tx-4,ty-4)和右下坐标(tx+4,ty+4)的块尺寸为9×9的基准块的数据，从基准块数据存储用存储器21被输入到第一中间相关值运算部31。向80个第一中间相关值运算部31全部输入相同的基准块的数据。
此外，以参照点A(rx,ry)为中心像素、且包含左上坐标(rx-4,ty-4)和右下坐标(rx+4,ty+4)的块尺寸为9×9的参照块A的数据从参照块数据存储用存储器22被输入到第一中间相关值运算部31。向80个第一中间相关值运算部31分别输入以80个参照点A为中心像素的80个不同的参照块A的数据。
第一中间相关值运算部31由4个块(第一块36、第二块37、第三块38、第四块39)构成。
第一块36是计算3×3的区域的9个像素的相关值的电路。通过减法器，按照每个像素计算以基准块的像素img(tx,ty)为中心的9个像素、与以基准块的像素img(rx,ry)为中心的9个像素之间的差分，并求出各个差分的绝对值(abs)。第一块36将全部9个像素的差分绝对值相加，并作为3×3的区域的相关值而输出。
第二块37是计算5×5区域的25个像素的相关值的电路。将第一块36的9个像素的计算结果、和剩余的周围16个像素的相关值相加，计算25个像素的相关值。
第三块38是计算7×7区域的49个像素的相关值的电路。将第二块37的25个像素的计算结果、和剩余的周围24个像素的相关值相加，计算49个像素的相关值。
第四块39是计算9×9区域的81个像素的相关值的电路。将第三块38的49个像素的计算结果、和剩余的周围32个像素的相关值相加，计算81个像素的相关值。
第一中间相关值运算部31输出计算出的针对全部4种(9×9、7×7、5×5、3×3)块尺寸的相关值。
另外，图6所示的本实施方式的第一中间相关值运算部31是针对全部4种(9×9、7×7、5×5、3×3)块尺寸计算相关值的电路的一例，只要是计算这些相关值的电路，也可以是其他结构。
另外，对于输入到第一中间相关值运算部的基准块和参照块的数据，不一定需要输入9×9的区域所包含的全部数据。例如，在不需要针对9×9的块尺寸的相关值，而仅需要针对7×7、5×5、3×3的3种块尺寸的相关值的情况下，仅进行7×7的区域所包含的基准块和参照块的数据的输入即可。能够削减数据传送量，能够实现高速化和节电化。
如图4的(b)所示，第二中间相关值运算部32仅计算针对最小块尺寸(3×3)的相关值。
图7是示出第二中间相关值运算部32的运算电路的结构的图。在设关注像素的坐标为(tx,ty)的情况下，包含左上坐标(tx-1,ty-1)和右下坐标(tx+1,ty+1)的块尺寸为3×3的基准块的数据，从基准块数据存储用存储器21被输入到第二中间相关值运算部32。向64个第二中间相关值运算部全部输入相同的基准块的数据。
此外，以参照点B(rx,ry)为中心像素、且包含左上坐标(rx-1,ty-1)和右下坐标(rx+1,ty+1)的块尺寸为3×3的参照块B的数据，从参照块数据存储用存储器22被输入到第二中间相关值运算部32。向64个第二中间相关值运算部32分别输入以64个参照点B为中心像素的64个不同的参照块B的数据。
第二中间相关值运算部32仅由与第一中间相关值运算部31的第一块36相同的电路构成。因此，第二中间相关值运算部32比第一中间相关值运算部31的电路规模小。
第二中间相关值运算部32输出计算出的块尺寸3×3的相关值。
另外，图7所示的本实施方式的第二中间相关值运算部32是针对3×3的块尺寸计算相关值的电路的一例，只要是计算3×3的相关值的电路，也可以是其他结构。
相关值插值部35进行涉及相关值的插值近似处理，并输出相关值。
在插值近似处理中，对未针对3种块尺寸(9×9、7×7、5×5)计算相关值的参照块B(插值对象参照块B)，使用周围的参照块A中的已计算的相关值，通过近似来计算针对3种块尺寸(9×9、7×7、5×5)的相关值(插值对象相关值)。
相关值插值部35计算通过以下的运算式示出的、在周围的参照块A中计算出的相关值的差分平均值，并与插值对象参照块B的3×3的相关值(已运算相关值)相加来求出近似值。
运算式通过式2至式5来表示。设输出的SAD为sad(x,y)，将块尺寸为9×9、7×7、5×5、3×3的SAD分别设为sad9(x,y)、sad7(x,y)、sad5(x,y)、sad3(x,y)。设目标块尺寸为sizeT、目标块尺寸处的SAD值为sadT(x,y)。
Figure BDA0002205950350000081
这里，dif_ave(x,y)通过式3来计算。
Figure BDA0002205950350000082
这里，dif(x,y)通过式4来计算。
dif(x，y)＝sadT(x，y)-sad3(x，y) …式4
这里，sadT(x,y)通过式5来计算。
Figure BDA0002205950350000091
图8是示出相关值插值部的结构的图。图8的(b)是示出相关值插值部35的运算电路的结构的图。图8的(b)所示的相关值插值部35将以图8的(a)所示的参照点B(4,4)为中心像素的参照块B作为插值对象参照块B而进行了插值近似处理。
从第一中间相关值运算部31向相关值插值部35输入以作为参照点B(4,4)的最附近的参照点A的参照点A(3,3)、参照点A(3,5)、参照点A(5,3)以及参照点A(5,5)为中心像素的参照块A中的已计算的相关值。向相关值插值部35输入上述参照块A的针对全部4种块尺寸(9×9、7×7、5×5、3×3)的相关值。此外，从第二中间相关值运算部32输入已计算的以参照点B(4,4)为中心像素的参照块B中的针对3×3的块尺寸的相关值。
通过选择器，按照从后述的块尺寸判定部4输入的目标块尺寸sizeT，选择sadT(x,y)。从sadT(x,y)中减去sad3(x,y)来计算dif(x,y)。接着，计算四个参照块A的dif(x,y)的平均值dif_ave(x,y)。最后，与插值对象参照块B中的针对3×3的块尺寸的相关值sad3(4,4)相加，来计算近似值sad(4,4)。
相关值插值部35在参照点B(4,4)以外的参照点B(x,y)处，也输入以最附近的参照点A为中心像素的参照块A的已计算相关值，进行与上述同样的插值近似处理。
块尺寸判定部4判定适于每个关注像素的目标块尺寸。例如，在像素值的变动少的平坦图像的情况下，在不是宽范围时，不易出现相关性的差异，因此增大目标块尺寸。在关注像素的周边区域是像素值的变动多的精细图案等图片的情况下，像素值在小范围内变化，因此减小目标块尺寸。通过减小目标块尺寸，能够减少处理所需的数据传送和运算，能够适当地节电。
设判定所使用的评价值为E(x,y)，计算关注像素的上下左右±sizeE像素范围的平均值与各像素的差分的合计值来作为评价值(式6)。评价值越大，判定为目标块尺寸越小，输出表示9×9、7×7、5×5、3×3中的任意一个的信号(目标块尺寸)。
Figure BDA0002205950350000092
这里，ave(x、y)根据式7来求出。
Figure BDA0002205950350000101
块尺寸判定部4按照每个关注像素，判定目标块尺寸。即，相关值运算装置100按照每一个关注像素，根据判定出的目标块尺寸，并列运算1个基准块与144个参照块之间的相关值。
接着，对相关值运算装置100的动作进行说明。
首先，对象帧数据10被存储到主存储器1。即使未将帧数据10的全部数据存储到主存储器1，也可以在将作为相关值运算对象的基准块的数据和参照块的数据存储到主存储器1的时刻，依次执行对象块的相关值运算。
作为运算对象的基准块的数据被依次存储到基准块数据存储用存储器21。此外，与作为运算对象的基准块对应的参照区域的参照块的数据被存储到参照块数据存储用存储器22。
通过块尺寸判定部4，判定目标块尺寸，并将判定出的目标块尺寸传送到相关值运算部3。
在作为运算对象的基准块的数据被存储到基准块数据存储用存储器21、作为运算对象的参照块的数据被存储到参照块数据存储用存储器22的时刻，开始对象块的相关值的运算。只要将基于判定出的目标块尺寸的相关值运算所需的数据传送到块存储器2即可。
相关值运算部3将1个基准块与144个参照块之间的相关值运算的结果输出到例如运动矢量检测装置等。
在针对一个基准块的上述处理结束后，依次对下一基准块反复同样的处理，从而对帧数据10整体执行相关值运算。
(第一实施方式的效果)
根据本实施方式的相关值运算装置100，相关值运算装置能够从几种块尺寸中选择块尺寸。关于以参照区域内的参照点中的一部分参照点为中心像素的参照块B与基准块之间的相关值的运算，仅运算针对最小的块尺寸的相关值，并通过插值求出针对其他块尺寸的相关值。由此，能够减小相关值运算装置的电路规模。
通过本实施方式的相关值运算装置100计算出的相关值被用于降噪处理、运动矢量检测等。
(变形例)
以上，参照附图对本发明的第一实施方式进行了详细说明，但是具体结构不限于该实施方式，还包含不脱离本发明主旨的范围的设计变更等。此外，在上述第一实施方式和变形例中示出的结构要素能够通过适当组合而构成。
例如，上述实施方式的相关值运算装置100是运算差分绝对值和(SAD)作为相关值的电路，但相关值不限于此。例如，相关值也可以是差分平方和(SSD)、归一化互相关(NCC)、或零均值归一化互相关(ZNCC)等。
在上述实施方式中，基准块和参照块以关注像素和参照点为中心像素，将中心像素固定来变更了块尺寸。基准块和参照块的像素结构、块尺寸的变更方式不限于此。例如，也可以设为将关注像素和参照点配置于左上方的像素结构，将左上像素固定来变更块尺寸。
在上述实施方式中，参照块B通过第二中间相关值运算部32，仅针对最小的块尺寸(3×3)计算出相关值。但是，参照块B和第二中间相关值运算部32的结构不限于此。第二中间相关值运算部32只要针对4种块尺寸中的至少一部分块尺寸计算相关值即可。该情况下，第二中间相关值运算部32未运算的针对其他块尺寸的相关值由相关值运算部通过插值来计算。
在上述实施方式中，参照点在特定区域中被配置成了交替格子图案状，但参照点的配置不限于此。例如，参照点可以在特定区域中无间隙地配置，并且也可以不规则地配置。
在上述实施方式中，块尺寸有4种(9×9、7×7、5×5、3×3)，但块尺寸的种类、数量不限于此。例如，可以是15×15的块尺寸，并且也可以是15×9的块尺寸。并且，还可以如16×16、8×8那样，水平方向或垂直方向的像素数为偶数。
(第二实施方式)
参照图9至图13来说明本发明的第二实施方式。本实施方式的第二中间相关值运算部32的方式与第一实施方式不同。在之后的说明中，对与已说明的结构相同的结构，标注相同标号并省略重复说明。
图9是示出本实施方式的相关值运算装置200的结构的图。相关值运算装置200的相关值运算部3A具有24个第一中间相关值运算部31、16个第二中间相关值运算部B320、40个第二中间相关值运算部C321、64个第二中间相关值运算部D322和相关值插值部35。
如图9所示，相关值运算部3具有第一中间相关值运算部31、第二中间相关值运算部B320、第二中间相关值运算部C321和第二中间相关值运算部D322，这些中间相关值运算部合计144个，由此能够并列计算144个相关值。
参照点与第一实施方式同样，被配置成交替格子图案状。如图10所示，配置成交替格子图案状的参照点被分类为四种。
在以记载为A的参照点A为中心像素的参照块A中，与第一实施方式同样，针对全部4种(9×9、7×7、5×5、3×3)块尺寸计算相关值。
参照点A以外的参照点与第一实施方式同样，不针对全部4种(9×9、7×7、5×5、3×3)块尺寸计算相关值。在第二实施方式中，参照点A以外的参照点被分类为以下的三个组。
在以记载为B的参照点B(第一组)为中心像素的参照块B中，针对全部3种(7×7、5×5、3×3)块尺寸计算相关值。
在以记载为C的参照点C(第二组)为中心像素的参照块C中，针对全部2种(5×5、3×3)块尺寸计算相关值。
在以记载为D的参照点D(第三组)为中心像素的参照块D中，与第一实施方式的参照块B同样，仅针对最小块尺寸(3×3)计算相关值。
参照点B在水平方向和垂直方向上均为每4个像素配置1个地隔开配置，以与该参照点B在倾斜四个方向上相邻的方式，配置参照点D。并且，参照点C从参照点B起在水平方向和垂直方向上均离开2个像素地隔开配置。将未配置参照点B、参照点C、参照点D的参照点配置为参照点A。
如图10所示，参照点A、参照点B、参照点C和参照点D被配置成在倾斜方向上彼此相邻的参照点为不同的参照点。参照区域内的144个参照点中的、24个为参照点A，16个为参照点B，40个为参照点C，64个为参照点D。
图11的(a)示出针对3×3的块尺寸计算相关值的参照点。在全部参照点处计算针对3×3的块尺寸的相关值。
图11的(b)示出针对5×5的块尺寸计算相关值的参照点。
图11的(c)示出针对7×7的块尺寸计算相关值的参照点。
图11的(d)示出针对9×9的块尺寸计算相关值的参照点。
在参照块A中，针对全部4种块尺寸(9×9、7×7、5×5、3×3)计算相关值。
参照块A的4种相关值由第一中间相关值运算部31来计算。
在参照块B中，针对3种块尺寸(7×7、5×5、3×3)计算相关值。关于另外1种块尺寸(9×9)，如图12的(c)所示，求出使用了附近参照块A计算出的相关值的插值相关值。
参照块B的3种相关值由第二中间相关值运算部B320来计算，插值相关值由相关值插值部35来计算。
在参照块C中，针对2种块尺寸(5×5、3×3)计算相关值。关于另外2种块尺寸(9×9、7×7)，如图12的(b)所示，求出使用了附近参照块A和参照块B计算出的相关值的插值相关值。
参照块C的2种相关值由第二中间相关值运算部C321来计算，插值相关值由相关值插值部35来计算。
在参照块D中，计算3×3的基准块与3×3的参照块之间的相关值。关于其他3种块尺寸(9×9、7×7、5×5)，如图12的(a)所示，求出使用了附近参照块A、参照块B和参照块C计算出的相关值的插值相关值。
参照块D的3×3的块尺寸的相关值由第二中间相关值运算部D322来计算，插值相关值由相关值插值部35来计算。
通过插值求出的相关值的块尺寸越大，在插值处理中使用的参照块越远离作为插值对象的参照块。将较大的块尺寸判定为目标块尺寸大多是关注像素位于像素变动少的、平坦的低频成分多的图像区域的情况，认为即使是位置稍微远离的参照块，相关值也不会有较大程度的不同，从而认为即便使用该参照块的数据进行插值，误差也较小。
第二中间相关值运算部B320针对3种(7×7、5×5、3×3)块尺寸计算相关值。
在设关注像素的坐标为(tx,ty)的情况下，包含左上坐标(tx-3,ty-3)和右下坐标(tx+3,ty+3)的块尺寸为7×7的基准块的数据，从基准块数据存储用存储器21被输入到第二中间相关值运算部B320。向16个第二中间相关值运算部全部输入相同的基准块的数据。
此外，以参照点B(rx,ry)为中心像素、且包含左上坐标(rx-3,ty-3)和右下坐标(rx+3,ty+3)的块尺寸为7×7的参照块B的数据，从参照块数据存储用存储器22被输入到第二中间相关值运算部B320。向16个第二中间相关值运算部B320分别输入以16个参照点B为中心像素的16个不同的参照块B的数据。
第二中间相关值运算部C321针对2种(5×5、3×3)块尺寸计算相关值。
在设关注像素的坐标为(tx,ty)的情况下，包含左上坐标(tx-2,ty-2)和右下坐标(tx+2,ty+2)的块尺寸为5×5的基准块的数据，从基准块数据存储用存储器21被输入到第二中间相关值运算部C321。向40个第二中间相关值运算部全部输入相同的基准块的数据。
此外，以参照点C(rx,ry)为中心像素、且包含左上坐标(rx-2,ty-2)和右下坐标(rx+2,ty+2)的块尺寸为5×5的参照块C的数据，从参照块数据存储用存储器22被输入到第二中间相关值运算部C321。向40个第二中间相关值运算部C321分别输入以40个参照点C为中心像素的40个不同的参照块C的数据。
第二中间相关值运算部D322与第一实施方式的第二中间相关值运算部32同样，仅针对最小块尺寸(3×3)计算相关值。
在设关注像素的坐标为(tx,ty)的情况下，包含左上坐标(tx-1,ty-1)和右下坐标(tx+1,ty+1)的块尺寸为3×3的基准块的数据，从基准块数据存储用存储器21被输入到第二中间相关值运算部D322。向64个第二中间相关值运算部全部输入相同的基准块的数据。
此外，以参照点D(rx,ry)为中心像素、且包含左上坐标(rx-1,ty-1)和右下坐标(rx+1,ty+1)的块尺寸为3×3的参照块D的数据，从参照块数据存储用存储器22被输入到第二中间相关值运算部D322。向64个第二中间相关值运算部D322分别输入以64个参照点D为中心像素的64个不同的参照块D的数据。
即，第二中间相关值运算部B320、第二中间相关值运算部C321以及第二中间相关值运算部D322与第一实施方式的第二中间相关值运算部32同样，不针对全部4种块尺寸运算相关值。
相关值插值部35与第一实施方式同样，进行涉及相关值的插值近似处理，并输出相关值。
在插值近似处理中，通过近似来计算未针对全部4种块尺寸计算相关值的参照块B、参照块C以及参照块D的相关值(插值对象相关值)。
插值近似处理与第一实施方式同样，可以取目标块尺寸的SAD(sadT)与3×3的SAD(sad3)之差，但也可以取目标块尺寸的SAD(sadT)、与在插值对象参照块中计算出的SAD(已运算相关值)的最大块尺寸的SAD(sadM)之差。该情况下，与目标块尺寸之差减小，因此抑制了插值时的误差，与第一实施方式的近似方法相比，能够提高精度。
运算式通过式8至式12来表示。
Figure BDA0002205950350000151
这里，dif_ave(x,y)通过式9来计算。这里，将在插值处理中使用的像素的4个点的坐标设为(x1,y1)、(x2,y2)、(x3,y4)、(x4,y4)。
Figure BDA0002205950350000152
这里，dif(x,y)通过式10来计算。
dif(x，y)＝sadT(x，y)-sadM(x，y) …式10
这里，sadT(x,y)通过式11来计算。
Figure BDA0002205950350000153
这里，sadTM(x,y)通过式12来计算。
Figure BDA0002205950350000154
(第二实施方式的效果)
根据本实施方式的相关值运算装置200，相关值运算装置200能够从几种块尺寸中选择块尺寸。关于以参照区域内的参照点中的一部分参照点为中心像素的参照块D与基准块之间的相关值的运算，仅针对最小的块尺寸运算相关值，并通过插值求出针对其他块尺寸的相关值。并且，在参照块B和参照块C中，也通过插值针对一部分块尺寸求出相关值。由此，能够降低插值处理的误差，并且能够更适当地减小相关值运算装置的电路规模。
(变形例)
以上，参照附图对本发明的第二实施方式进行了具体说明，但是具体结构不限于该实施方式，还包含不脱离本发明主旨范围的设计变更等。此外，在上述第二实施方式和变形例中示出的结构要素能够通过适当组合而构成。
例如可以是，如图13所示，在如作为第一中间相关值运算部31的变形例的第一中间相关值运算部31A那样，在水平方向上扫描关注像素的情况下，对初次进入块内的新的1行与离开至块外的旧的1行的差分进行累积来计算相关值。
产业上的可利用性
本发明能够应用于包含如下电路的装置，该电路求出图像内的特定区域间的相关值。
标号说明
100：相关值运算装置
200：相关值运算装置
2：块存储器
21：基准块数据存储用存储器
22：参照块数据存储用存储器
3：相关值运算部
31、31A：第一中间相关值运算部
32：第二中间相关值运算部
32：第二中间相关值运算部
35：相关值插值部
36：第一块
37：第二块
38：第三块
39：第四块
4：块尺寸判定部
10：帧数据
11：基准帧数据
12：参照帧数据

Claims (9)

1.一种相关值运算装置，其选择图像内的关注像素、和所述图像内或其他图像内的多个参照像素，并运算基准块与多个参照块之间的相关值，所述基准块在规定位置处包含所述关注像素，所述多个参照块分别在所述规定位置处包含所述参照像素，并具有与所述基准块相同的块尺寸，
在所述相关值运算装置中，具有：
块尺寸判定部，对于所述基准块和所述参照块的块尺寸，所述块尺寸判定部从多种块尺寸中选择一种块尺寸并设为选择块尺寸；
第一中间相关值运算部，其针对所述多种块尺寸，运算所述基准块、与在所述规定位置处包含第一参照像素的所述参照块之间的相关值，所述第一参照像素是所述参照像素的一部分；
第二中间相关值运算部，其针对所述多种块尺寸中的至少一部分块尺寸，运算所述基准块、与在所述规定位置处包含第二参照像素的所述参照块之间的相关值，所述第二参照像素是所述参照像素的剩余部分；以及
相关值插值部，其针对所述第二中间相关值运算部未运算的针对其他块尺寸的插值对象相关值，使用所述第一中间相关值运算部运算出的针对所述其他块尺寸的相关值，通过插值来求出，在所述选择块尺寸为所述其他块尺寸的情况下，输出所述插值对象相关值，作为所述第二中间相关值运算部的运算结果。
2.根据权利要求1所述的相关值运算装置，其中，
所述参照像素被配置成交替格子图案状，
以所述第一参照像素和所述第二参照像素在倾斜方向上彼此相邻的方式，配置所述第一参照像素和所述第二参照像素。
3.根据权利要求1或2所述的相关值运算装置，其中，
所述多种块尺寸为如下4种：在水平方向和垂直方向上均为9个像素、在水平方向和垂直方向上均为7个像素、在水平方向和垂直方向上均为5个像素、在水平方向和垂直方向上均为3个像素。
4.根据权利要求3所述的相关值运算装置，其中，
所述第二中间相关值运算部仅针对在水平方向和垂直方向上均为3个像素的块尺寸，运算所述基准块、与在所述规定位置处包含所述第二参照像素的所述参照块之间的相关值。
5.根据权利要求1所述的相关值运算装置，其中，
所述参照像素被配置成交替格子图案状，
所述第二参照像素被分类为3个组，
所述第二参照像素的第一组在水平方向和垂直方向上均为每4个像素配置1个地隔开配置，
所述第二参照像素的第三组被配置成在倾斜四个方向上与所述第二参照像素的所述第一组相邻，
所述第二参照像素的第二组从所述第二参照像素的所述第一组起在水平方向和垂直方向上均离开2个像素地配置，
将未配置所述第二参照像素的参照点配置为所述第一参照像素。
6.根据权利要求5所述的相关值运算装置，其中，
所述多种块尺寸为如下4种：在水平方向和垂直方向上均为9个像素、在水平方向和垂直方向上均为7个像素、在水平方向和垂直方向上均为5个像素、在水平方向和垂直方向上均为3个像素。
7.根据权利要求6所述的相关值运算装置，其中，
所述第二中间相关值运算部针对在水平方向和垂直方向上均为7个像素、在水平方向和垂直方向上均为5个像素、在水平方向和垂直方向上均为3个像素的3种块尺寸，运算所述基准块、与在所述规定位置处包含所述第二参照像素的所述第一组在内的所述参照块之间的相关值，
所述第二中间相关值运算部针对在水平方向和垂直方向上均为5个像素、在水平方向和垂直方向上均为3个像素的2种块尺寸，运算所述基准块、与在所述规定位置处包含所述第二参照像素的所述第二组在内的所述参照块之间的相关值，
所述第二中间相关值运算部仅针对在水平方向和垂直方向上均为3个像素的块尺寸，运算所述基准块、与在所述规定位置处包含所述第二参照像素的所述第三组在内的所述参照块之间的相关值。
8.根据权利要求1、2、4～7中的任意一项所述的相关值运算装置，其中，
所述相关值插值部将所述第二中间相关值运算部运算出的针对所述一部分块尺寸的已运算相关值与如下的差分平均值相加，由此通过插值求出所述插值对象相关值，所述差分平均值是所述第一中间相关值运算部运算出的针对所述其他块尺寸的相关值、与所述第一中间相关值运算部运算出的针对所述一部分块尺寸的相关值的差分平均值。
9.根据权利要求3所述的相关值运算装置，其中，
所述相关值插值部将所述第二中间相关值运算部运算出的针对所述一部分块尺寸的已运算相关值与如下的差分平均值相加，由此通过插值求出所述插值对象相关值，所述差分平均值是所述第一中间相关值运算部运算出的针对所述其他块尺寸的相关值、与所述第一中间相关值运算部运算出的针对所述一部分块尺寸的相关值的差分平均值。
CN201780088604.8A 2017-04-05 2017-04-05 相关值运算装置 Active CN110447052B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/014244 WO2018185881A1 (ja) 2017-04-05 2017-04-05 相関値演算装置

Publications (2)

Publication Number Publication Date
CN110447052A CN110447052A (zh) 2019-11-12
CN110447052B true CN110447052B (zh) 2023-03-14

Family

ID=63712102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780088604.8A Active CN110447052B (zh) 2017-04-05 2017-04-05 相关值运算装置

Country Status (3)

Country Link
US (1) US11288787B2 (zh)
CN (1) CN110447052B (zh)
WO (1) WO2018185881A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018185881A1 (ja) * 2017-04-05 2018-10-11 オリンパス株式会社 相関値演算装置
CN110537202B (zh) * 2017-04-10 2022-10-04 奥林巴斯株式会社 相关值运算装置
CN117745531B (zh) * 2024-02-19 2024-05-31 瑞旦微电子技术(上海)有限公司 图像插值方法、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181168A (ja) * 2005-12-01 2007-07-12 Sony Corp 画像処理装置および画像処理方法
JP2013121044A (ja) * 2011-12-07 2013-06-17 Hitachi Kokusai Electric Inc 画像符号化装置及び画像符号化方法
CN104519274A (zh) * 2013-09-27 2015-04-15 奥林巴斯株式会社 图像处理装置和图像处理方法
JP2015152484A (ja) * 2014-02-17 2015-08-24 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128416A (en) * 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
US5991464A (en) * 1998-04-03 1999-11-23 Odyssey Technologies Method and system for adaptive video image resolution enhancement
JP3789442B2 (ja) * 2002-12-25 2006-06-21 三菱電機株式会社 走査線補間装置、画像処理装置、画像表示装置及び走査線補間方法
JP4220284B2 (ja) * 2003-03-28 2009-02-04 株式会社東芝 フレーム補間方法、装置及びこれを用いた画像表示システム
KR100631777B1 (ko) * 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
JP4547321B2 (ja) 2005-09-22 2010-09-22 オリンパスイメージング株式会社 動きベクトル検出装置及び撮像装置
JP4470899B2 (ja) * 2006-03-16 2010-06-02 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP4322904B2 (ja) * 2006-09-19 2009-09-02 株式会社東芝 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JP4670918B2 (ja) * 2008-08-26 2011-04-13 ソニー株式会社 フレーム補間装置及びフレーム補間方法
JP5245783B2 (ja) * 2008-12-09 2013-07-24 富士通株式会社 フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置
JP5741011B2 (ja) * 2011-01-26 2015-07-01 株式会社リコー 画像処理装置、画素補間方法およびプログラム
JP5524133B2 (ja) * 2011-06-07 2014-06-18 株式会社東芝 画像処理装置
JP6495122B2 (ja) * 2015-07-02 2019-04-03 オリンパス株式会社 撮像装置、画像処理方法
WO2018185881A1 (ja) * 2017-04-05 2018-10-11 オリンパス株式会社 相関値演算装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007181168A (ja) * 2005-12-01 2007-07-12 Sony Corp 画像処理装置および画像処理方法
JP2013121044A (ja) * 2011-12-07 2013-06-17 Hitachi Kokusai Electric Inc 画像符号化装置及び画像符号化方法
CN104519274A (zh) * 2013-09-27 2015-04-15 奥林巴斯株式会社 图像处理装置和图像处理方法
JP2015152484A (ja) * 2014-02-17 2015-08-24 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法、およびプログラム

Also Published As

Publication number Publication date
US11288787B2 (en) 2022-03-29
CN110447052A (zh) 2019-11-12
US20200034960A1 (en) 2020-01-30
WO2018185881A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
CN110447052B (zh) 相关值运算装置
JP5642653B2 (ja) 適応型色彩補間
JP2010288110A (ja) 画像処理装置および画像処理方法
US9336454B2 (en) Vector processor calculation of local binary patterns
KR20210148822A (ko) 압축된 가이드를 사용하는 이미지 센서 다운-업 샘플링
JP2012073165A (ja) 線幅算出装置と算出方法並びに算出プログラム
US6876778B2 (en) Edge enhancement method and apparatus in digital image scalar-up circuit
KR19990023880A (ko) 동벡터 검출 장치와 동벡터 검출 방법 및 화상 부호화 장치
JP2017174311A (ja) エッジ検出装置およびエッジ検出方法
US10977803B2 (en) Correlation value calculation device
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
US10848726B2 (en) Color-shift calibration method and device
US8855443B2 (en) Detection of non-uniform spatial scaling of an image
JP2005346393A (ja) ステレオ画像認識装置及びその方法
US8200032B2 (en) Image processing method and related apparatus for performing image processing operation according to image blocks in horizontal direction
US9489084B2 (en) Sensing method and sensing apparatus for sensing electrode cluster
US8503793B2 (en) Correlation processing apparatus and medium readable by correlation processing apparatus
CN110580880A (zh) 一种基于rgb三角亚像素布局式的亚像素渲染方法、系统以及显示装置
KR20110082428A (ko) 불량화소 보정 장치 및 방법
JP2014123814A (ja) 画像処理装置及び画像処理方法
TWI735959B (zh) 影像處理電路與方法
US11270151B2 (en) Method and image processing circuit for performing searching operations regarding images
JP5803339B2 (ja) 画像処理装置
JP2015005233A (ja) 画像データのマッチング処理方法及びその処理装置及び画像検査装置
EP1700480A1 (en) Motion estimation sum of all differences (sad) array having reduced semiconductor die area consumption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant