CN1960431A - 图像处理装置、方法及其程序和存储该程序的存储介质 - Google Patents

图像处理装置、方法及其程序和存储该程序的存储介质 Download PDF

Info

Publication number
CN1960431A
CN1960431A CNA2006101436117A CN200610143611A CN1960431A CN 1960431 A CN1960431 A CN 1960431A CN A2006101436117 A CNA2006101436117 A CN A2006101436117A CN 200610143611 A CN200610143611 A CN 200610143611A CN 1960431 A CN1960431 A CN 1960431A
Authority
CN
China
Prior art keywords
mentioned
array
data
subject area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101436117A
Other languages
English (en)
Other versions
CN1960431B (zh
Inventor
吉浦豪
加藤豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN1960431A publication Critical patent/CN1960431A/zh
Application granted granted Critical
Publication of CN1960431B publication Critical patent/CN1960431B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明提供一种不管图像内的颜色分布的相对关系而以高精度确定与模型图像的相关值高的区域的图像处理装置、图像处理方法、其程序以及存储该程序的计算机可读取的存储介质。判定对象区域OBJ由红色灰度图像(30R)、绿色灰度图像(30G)、蓝色灰度图像(30B)的组合构成。CPU部将三个灰度值矩阵变换为与判定图像区域OBJ中的像素位置单独建立对应关系的单一的第一数据数组(40)。并且，CPU部计算出与根据相同的规定的规则将模型图像变换成的单一的第二数据数组的归一化相关值，根据该归一化相关值是否超过规定的阈值，判定是否与模型图像一致。

Description

图像处理装置、方法及其程序和存储该程序的存储介质
技术领域
本发明涉及一种基于与模型图像的相关值来确定输入图像内的区域的图像处理装置、图像处理方法、其程序、以及存储该程序的计算机可读取的存储介质，特别涉及一种彩色图像中的相关值的计算。
背景技术
在制造现场，从省力和高效率的角度来看，正在不断发展自动控制。为了实现自动化控制，使用了各种利用光、电、电波、声波等的传感器。在各种传感器中，经常使用能通过拍摄产品和半成品等并对所拍摄到的图像进行处理，来判别该产品的好坏或者进行该成品的生产管理的图像处理装置。跟据图像处理装置，由于能够实现与利用人类的视觉进行的检测相同的检测功能，所以其应用范围很广。
这种图像处理装置执行在输入图像内是否存在具有规定颜色以及花样的区域的判断、在输入图像内存在的区域的数量的检测、以及在输入图像内存在的区域的位置和姿势(旋转角度)的检测等处理(以下总称为“图形搜寻处理”)。这种图形搜寻处理如非专利文献1所公开那样，通过计算出成为基准的模型图像、和在拍摄对象物而得到的输入图像中与模型图像大小相同的区域的归一化相关值来实现。
但是，随着近年来信息技术的进步，正在实现取代以往的灰度图像(灰色图像)而采用彩色图像的图形搜寻处理。在一般的彩色图像中，用基于光的三原色的“红色”、“绿色”、“蓝色”各灰度值来规定颜色。即，指相对于灰度图像用一维的灰度值来规定，彩色图像用三维的灰度值来规定。
因此，如专利文献1所公开那样，提出这样的方法：根据预先登陆的基准色的灰度值的各成分、和成为对象的彩色图像的各像素中的灰度值的各成分计算出作为标量的色差，基于该色差来执行图形搜寻处理。
专利文献1：JP特开平7-203476号公报。
非专利文献1：《图像处理(图像处理标准教材)》，财团法人图像信息教育振兴会，p.260，1997年2月25日。
在上述专利文献1所公开的色差被表示为在由与“红色”、“绿色”、“蓝色”分别对应的3个轴构成的彩色空间中从基准色开始的空间距离，但是由于色差是标量，所以没有考虑从基准色开始的方向。因此，在输入图像的某个区域中的颜色分布的相对关系和模型图像中的颜色分布的相对关系近似的情况下，计算出了较高的归一化相关值。即，存在这样的情况：在输入图像的某个区域和在模型图像加上了均匀的浓度成分的图像近似的情况下，该被加上的均匀的浓度成分由于在归一化相关值的计算过程中被忽略，所以归一化相关值成为较高的值。作为一个例子，如：在具有由“黑色”和“绿色”构成的花样的模型图像、和具有与模型图像近似的花样并且该花样由分别在“黑色”和“绿色”加上均匀的“红色”而生成的“红色”和“黄色”构成的图像中，会计算出较高的归一化相关值。
如上所述，在以往的根据色差的图形搜寻处理中，存在错误地检测出与模型图像内的颜色分布的相对关系近似那样的图像。
发明内容
因此，本发明是为解决上述问题而提出的，其目的在于提供一种与图像内的颜色分布的相对关系无关地，以高精度确定与模型图像的相关值高的区域的图像处理装置、图像处理方法、其程序、以及存储该程序的计算机可读取的存储介质。
根据本发明的图像处理装置，基于与模型图像的相关值，来确定输入图像内的区域。并且，本发明的图像处理装置具有：输入图像取得单元，其取得由各颜色相互独立的三个颜色变量规定的多个像素构成的输入图像；判定对象区域设定单元，其对在输入图像取得单元取得的输入图像的整个区域或者一部分区域，设定与预先取得的模型图像大小相同的判定对象区域；第一数据数组变换单元，其将对判定对象区域中所包含的像素分别进行规定的三个颜色变量中的规定的多个颜色变量，按照规定的规则变换为单一的第一数据数组，该判定对象区域是在判定对象区域设定单元被设定的；相关值计算单元，其计算出上述第一数据数组和第二数据数组的相关值，该上述第一数据数组是在上述第一数据数组变换单元变换而成的，上述第二数据数组是，将对构成上述模型图像的像素分别进行规定的上述三个颜色变量中的上述规定的多个颜色变量，按照上述规定的规则变换而成的单一的第二数据数组。
优选，第一以及第二数据数组是按照规定的规则对三个颜色变量进行变换而成的单一的数据数组。
优选，还具有：基准图像取得单元，其取得用于提取模型图像的基准图像，模型图像取得单元，其从在基准图像取得单元取得的基准图像提取与来自外部的指令对应的区域的图像，将其提取的图像作为模型图像取得，第二数据数组变换单元，将规定构成在模型图像取得单元取得的模型图像的各像素的三个颜色变量按照规定的规则变换为第二数据数组。
优选，第一以及第二数据数组分别是由与像素的位置建立对应关系并呈矩阵状配置的多个元素构成的二维数组，多个元素分别包括对与该元素建立对应关系的像素进行规定的三个颜色变量的一维数组。
优选，第一以及第二数据数组分别包括与三个颜色变量分别对应的三个二维数组，该二维数组是将对各像素进行规定的三个颜色变量中的一个颜色变量分别与该像素的位置建立对应关系并呈矩阵状配置而得到的，三个二维数组沿同一方向顺序配置而构成单一的数据数组。
优选，第一以及第二数据数组分别包括与三个颜色变量分别对应的三个一维数组，该一维数组是将对各像素进行规定的三个颜色变量中的一个颜色变量分别连续地配置而得到的，三个一维数组沿同一方向顺序配置而构成单一的数据数组。
优选，判定对象区域设定单元还在输入图像的区域内使判定对象区域依次移动，并且，在每次移动判定对象区域时，分别反复执行第一数据数组变换单元和相关值计算单元中的处理。并且，本发明的图像处理装置还具有判定单元，其基于每次移动判定对象区域时所计算出的相关值与规定的阈值的比较，确定和模型图像的相关值高的判定对象区域，并且，当在判定对象区域设定单元中，判定对象区域的移动结束时，输出该确定了的判定对象区域的总数以及/或者该确定了的判定对象区域各自的位置。
另外，优选，判定对象区域设定单元还在输入图像的区域内使判定对象区域依次移动，并且，在每次移动判定对象区域时，分别反复执行第一数据数组变换单元和相关值计算单元中的处理。并且，本发明的图像处理装置还具有判定单元，其当在判定对象区域设定单元中，判定对象区域的移动结束时，在每次移动判定对象区域时分别计算出的相关值中，从其中的高的值开始依次提取规定数量的相关值，并且，确定与该提取到的相关值对应的判定对象区域，输出该确定了的判定对象区域各自的位置。
优选，三个颜色变量是红色、绿色、蓝色的灰度值，相关值计算单元计算出归一化相关值作为相关值。
另外，优选，三个颜色变量是表示色调、明度、色度的级别值，第一以及第二数据数组分别是在不考虑明度的灰度值的情况下，将色调和色度的级别值按照规定的规则进行变换而成的单一的数据数组。
本发明的图像处理方法，基于与模型图像的相关值，确定输入图像内的区域。本发明的图像处理方法具有：输入图像取得步骤，其取得由各颜色相互独立的三个颜色变量规定的多个像素构成的输入图像；判定对象区域设定步骤，其对在输入图像取得步骤取得的输入图像的整个区域或者一部分区域，设定与预先取得的模型图像大小相同的判定对象区域；相关值计算步骤，其将对判定对象区域中所包含的像素分别进行规定的三个颜色变量中的规定的多个颜色变量，按照规定的规则作为单一的第一数据数组来处理，同时，将对构成模型图像的像素分别进行规定的三个颜色变量中的规定的多个颜色变量按照规定的规则作为单一的第二数据数组来处理，并计算第一数据数组和第二数据数组的相关值，该判定对象区域是在判定对象区域设定步骤被设定的。
另外，本发明的图像处理方法，基于与模型图像的相关值，确定输入图像内的区域，具有：输入图像取得步骤，其取得由各颜色相互独立的三个颜色变量规定的多个像素构成的输入图像；判定对象区域设定步骤，其对在输入图像取得步骤取得的输入图像的整个区域或者一部分区域，设定与预先取得的模型图像相同大小的判定对象区域；第一数据数组变换步骤，其将对判定对象区域中所包含的像素分别进行规定的三个颜色变量中的规定的多个颜色变量，按照规定的规则变换为单一的第一数据数组，该判定对象区域是在判定对象区域设定步骤被设定的；相关值计算步骤，计算出第一数据数组和第二数据数组的相关值，该第一数据数组是在第一数据数组变换步骤变换而成的，第二数据数组是，将对构成模型图像的像素分别进行规定的三个颜色变量中的规定的多个颜色变量，按照规定的规则变换而成的单一的第二数据数组。
优选，第一以及第二数据数组是按照规定的规则对三个颜色变量进行变换而成的单一的数据数组。
优选，还具有：基准图像取得步骤，其取得用于提取模型图像的基准图像，模型图像取得步骤，其从在基准图像取得步骤取得的基准图像提取与来自外部的指令对应的区域的图像，将该提取到的图像作为模型图像取得，第二数据数组变换步骤，将对构成在模型图像取得步骤取得的模型图像的像素分别进行规定的三个颜色变量，按照规定的规则变换为第二数据数组。
优选，第一以及第二数据数组分别是由与像素的位置建立对应关系并呈矩阵状配置的多个元素构成的二维数组，多个元素分别包括对与该元素建立对应关系的像素进行规定的三个颜色变量的一维数组。
优选，第一以及第二数据数组分别包括与三个颜色变量分别对应的三个二维数组，该二维数组是将对各像素进行规定的三个颜色变量中的一个颜色变量分别与该像素的位置建立对应关系并呈矩阵状配置而得到的，三个二维数组沿同一方向顺序配置而构成单一的数据数组。
优选，第一以及第二数据数组分别包括与三个颜色变量分别对应的三个一维数组，该一维数组是将对各像素进行规定的三个颜色变量中的一个颜色变量分别连续地配置而得到的，三个一维数组沿同一方向顺序配置而构成单一的数据数组。
优选，判定对象区域设定步骤还在输入图像的区域内使判定对象区域依次移动，并且，在每次移动判定对象区域时，分别反复执行第一数据数组变换步骤和相关值计算步骤中的处理。并且，本发明的图像处理方法还具有判定步骤，基于在每次移动判定对象区域时所计算出的相关值与规定的阈值的比较，确定与模型图像的相关值高的判定对象区域，并且，当在判定对象区域设定步骤中，判定对象区域的移动结束时，输出该确定了的判定对象区域的总数以及/或者该确定了的判定对象区域各自的位置。
另外，优选，判定对象区域设定步骤还在输入图像的区域内使判定对象区域依次移动，并且，在每次移动判定对象区域时，分别反复执行第一数据数组变换步骤和相关值计算步骤中的处理。并且，本发明的图像处理方法还具有判定单元，其当在判定对象区域设定步骤中，判定对象区域的移动结束时，在每次移动判定对象区域时分别计算出的相关值中，从其中的高的值开始依次提取规定数量的相关值，并且，确定与该提取到的相关值对应的判定对象区域，输出该确定了的判定对象区域各自的位置。
优选，三个颜色变量是红色、绿色、蓝色的灰度值，相关值计算步骤计算出归一化相关值作为相关值。
另外，优选，三个颜色变量是表示色调、明度、色度的级别值，第一以及第二数据数组分别是在不考虑明度的灰度值的情况下，将色调和色度的级别值按照规定的规则进行变换而成的单一的数据数组。
另外，本发明的图像处理用的程序，用于对具有取得输入图像和模型图像的功能的计算机，设定基于与模型图像的相关值来确定输入图像内的区域的功能，用于使计算机发挥以下单元的功能：输入图像取得单元，其取得由各颜色相互独立的三个颜色变量所规定的多个像素构成的输入图像；判定对象区域设定单元，其对在输入图像取得单元取得的输入图像的整个区域或者一部分区域，设定与预先取得的模型图像大小相同的判定对象区域；第一数据数组变换单元，其将对判定对象区域中所包含的像素分别进行规定的三个颜色变量中的规定的多个颜色变量，按照规定的规则变换为单一的第一数据数组，该判定对象区域是在判定对象区域设定单元被设定的；相关值计算单元，其计算出上述第一数据数组和第二数据数组的相关值，该上述第一数据数组是在上述第一数据数组变换单元变换而成的，上述第二数据数组是，将对构成上述模型图像的像素分别进行规定的上述三个颜色变量中的上述规定的多个颜色变量，按照上述规定的规则变换而成的单一的第二数据数组。
另外，本发明是存储用于使计算机执行上述的图像处理方法的程序的计算机可读取得存储介质。
根据本发明，将对判定对象区域所包含的像素分别进行规定的三个颜色变量中的规定的两个或者三个颜色变量变换为单一的第一数据数组，并且计算出与第二数据数组的相关值，该第二数据数组是按照相同的规则从对模型图像所包含的像素分别进行规定的三个颜色变量中的规定的两个或者三个颜色变量变换来的。因此，可以不是如基于色差的方法那样地进行相对的比较，而是进行基于判定对象区域所包含的所有的三个颜色变量中的规定的两个或者三个颜色变量的绝对的比较。因此，能够实现与图像内的色分布的相对关系无关的、以高精度确定与模型图像的相关值高的区域的图像处理装置、图像处理方法、其程序、以及存储该程序的计算机可读取的存储介质。
附图说明
图1是具有符合本发明实施方式的图像处理装置的图像传感器装置的概略结构图。
图2是用于说明对输入图像确定与模型图像一致的区域的处理的概要的图。
图3是用于说明将判定对象区域所包含的各像素的RGB信息向第一数据数组变换的过程的图。
图4是用于说明第一数据数组与第二数据数组的归一化相关值的计算的图。
图5是表示CPU部中的处理的流程图。
图6A、图6B是由符合本发明实施方式的图像处理装置进行的判定处理的适用例。
图7是用于说明符合本发明实施方式的变形例1的、向第一数据数组的变换过程的图。
图8是用于说明符合本发明实施方式的变形例2的、向第一数据数组的变换过程的图。
图9是用于说明取得模型图像的功能的图。
图10是用于提取CPU部中的模型图像的流程图。
具体实施方式
针对本发明的实施方式，参照附图进行详细地说明。此外，对图中的相同或者相当的部分标上相同的附图标记，不重复其说明。
图1是具有符合本发明实施方式的图像处理装置1的图像传感器装置100的概略结构图。
如图1，图像传感器装置100由图像处理装置1、摄像部2、显示部3构成，作为一个例子，摄像部2对在生产线上等连续地被搬送的产品进行拍摄，对其所拍摄到的图像，图像处理装置1执行图形搜寻处理。并且，图像处理装置1将该处理结果显示在显示部3，另外，也可以向未图示的其他装置输出该处理结果。
摄像部2，作为一个例子，具有CCD(Charged Coupled Device：电荷耦合器件)和CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器等摄像器件和透镜，对检测对象进行拍摄，并将其拍摄到的图像向图像处理装置1输出。此外，摄像部2拍摄的图像可以是静态图像也可以是动态图像。
显示部3将图像处理装置1中的处理结果和由摄像部2拍摄到的图像等显示给用户。作为一个例子，显示部3由液晶显示器(LCD：Liquid CrystalDisplay)、等离子体显示器(Plasma Display)、EL显示器(Electro Luminescencedisplay：电致发光显示器)等构成。
图像处理装置1由摄像部接口(摄像部I/F)7、主存储部8、显示处理部9、外部接口(外部I/F)10、辅助存储部5、输入部6、读取部11、总线13、CPU部4构成，作为一个例子，可以用个人计算机等来实现。
摄像部接口7与摄像部2电连接，接收由摄像部2拍摄到的影像信号，进行规定的信号变换处理并取得了各像素的颜色信息之后，经由总线13，将其取得的颜色信息输出给CPU部4。具体而言，摄像部接口7对从摄像部2接收到的影像信号进行帧同步，对在时间轴上被展开地传送的各像素的颜色信息进行解调，取得与各像素有关的红色、蓝色和绿色的颜色变量(以下也称为“RGB信息”)。此外，在本发明的实施方式中，摄像部接口7，作为一个例子，做成为输出各像素的红色、蓝色和绿色分别具有256灰度级(0～255)的灰度值的构件，在以下的说明中也同样。
主存储部8存储有在CPU部4被执行的程序、由摄像部拍摄到的图像数据、预先存储的模型图像的数据数组、以及CPU部4中的图像处理中的图像数据等。并且，主存储部8，作为一个例子，由DRAM(Dynamic RandomAccess Memory：动态随机存储器)和SRAM(Static Random Access Memory：静态随机存储器)等半导体存储器件构成。
显示处理部9接收用于显示CPU部4的处理结果、由摄像部2拍摄到的图像、让用户进行输入的画面、表示CPU部4等的处理状态的画面的数据，进行了规定的信号处理后，作为影像信号向显示部3输出。
外部接口10向外部输出由CPU部4执行处理所得的处理结果等。作为一个例子，外部接口10由光电二极管、晶体管或者继电器等构成的触点输出(DO)、和符合USB(Universal Serial Bus：通用串行总线)、RS-232C(Recommended Standard 232 version C：推荐标准232版本C)、IEEE(Instituteof Electrical and Electronic Engineers：电气和电子工程师学会)1394、SCSI(Small Computer System Interface：小型计算机系统接口)和以太网(注册商标)等的通信装置构成。
辅助存储部5具有非易失性的存储区域，存储由摄像部2拍摄到的图像、预先取得的模型图像和CPU部4中的处理结果等。作为一个例子，辅助存储部5由硬盘驱动器(HDD)、闪存卡、SD存储卡、IC存储卡等半导体存储器等构成。
输入部6接收来自用户的设定和指令等，并经由总线13提供给CPU部4。
读取部11收容存储有在CPU部4执行的程序的存储介质12并读取程序，提供给辅助存储部5或者主存储部8。此外，存储介质12是非易失性地保持数据的存储介质即可，作为一个例子，由光盘(CD(Compact Disk)、DVD(Digital Versatile Disc：数字通用光盘)-ROM/RAM/R/RW、MO(MagneticOptical Disc：磁光盘)、MD(Mini Disc：迷你磁盘))、软盘、磁带等可装卸的存储介质构成。
CPU部4经由摄像部接口7接收从由摄像部2拍摄的彩色图像、即输入图像所生成的RGB信息，并与各像素的坐标建立对应关系而暂时存储在主存储部8。并且，CPU部4，对输入图像设定与预先取得的模型图像大小相同的判定对象区域，按照规定的规则，将对该判定对象区域所包含的像素进行规定的RGB信息变换为单一的第一数据数组。进而，CPU部4读出单一的第二数据数组，并计算其变换后的第一数据数组之间的归一化相关值。该单一的第二数据数组是按照规定的规则对预先存储在主存储部8或者辅助存储部5的、规定构成模型图像的像素的RGB信息进行了变换而得到的。
并且，CPU部4判断计算出的归一化相关值是否超过规定的阈值，在超过阈值的情况下，判断该设定的判定对象区域和模型图像一致。进而，CPU部4将判断为和模型图像一致的判定对象区域的位置信息(坐标)存储在主存储部8或者辅助存储部5。
同样，CPU部4在输入图像的区域内，使判定对象区域依次移动，在各判定对象区域反复执行第一数据数组的变换以及与第二数据数组的归一化相关值的计算，判断各判定对象区域是否与模型图像一致。即，CPU部4在被设定在输入图像而得到的判定对象区域中，确定与模型图像一致的区域，并存储其确定了的区域的坐标数据。
最终，当输入图像中的判定对象区域的移动结束时，CPU部4，经由显示处理部9，将与存储了的模型图像一致的区域的总数以及与模型图像一致的区域的坐标等数据，显示在显示部3。另外，CPU部4也可以经由外部接口10将这些数据输出到未图示的其他装置。
另外，在其他的结构中，取代在每次移动判定对象区域时对归一化相关值和规定的阈值进行比较的结构，CPU部4将在每次移动判定对象区域时分别计算出的归一化相关值与各自的判定对象区域建立对应关系，并暂时存储在主存储部8或者辅助存储部5。并且，CPU部4在输入图像中的判定对象区域的移动结束后，在其存储的归一化相关值中，从其值高的开始，依次提取规定个数的归一化相关值，确定与该提取到的归一化相关值建立对应关系的规定个数的判定对象区域。进而，CPU部4经由显示处理部9将其确定了的判定对象区域的坐标等位置信息显示在显示部3。
另外，CPU部4经由摄像部接口7接收从提取模型图像用的基准图像生成的RGB信息，并与各像素的坐标建立对应关系而暂时存储在主存储部8。并且，CPU部4从基准图像设定相应于来自用户的调整指令的掩模区域，按照规定的规则将对该区域中所包含的像素进行规定的RGB信息变换为单一的第二数据数组。并且，CPU部4将该变换了的第二数据数组存储在主存储部8或者辅助存储部5。
在本发明的实施方式中，摄像部接口7实现“输入图像取得单元”和“基准图像取得单元”，CPU部4实现“判定对象区域设定单元”、“第一数据变换单元”、“相关值计算单元”、“判定单元”、以及“第二数据变换单元”。
下面，更详细地说明CPU部4的处理。
(对输入图像的整体处理)
图2是用于说明对输入图像的IMG确定与模型图像一致的区域的处理的概要的图。
如图2，作为一个例子，由摄像部2拍摄的输入图像IMG由呈(P1+1)×(P2+1)的矩阵状配置的多个像素PEL构成。并且，CPU部4将构成输入图像IMG的各像素与(0，0)～(P1，P2)的坐标建立对应关系。此外，在图2中，各像素PEL的坐标用与各像素PEL的区域的左上角对应的行方向和列方向这两个数值来表示。
CPU部4，经由显示处理部9，将由摄像部2拍摄到的输入图像IMG显示在显示部3，接收来自用户的搜寻区域的设定。并且，当用户提供搜寻区域的设定时，CPU部4将满足该设定的搜寻区域SEARCH与输入图像IMG建立对应关系来规定。此外，搜寻区域SEARCH用开始坐标START和终点坐标END表示，其中，开始坐标START和终点坐标END用输入图像IMG的坐标表示。此外，在用户不提供搜寻区域的设定的情况下，CPU部4将整个输入图像IMG视为搜寻区域SEARCH。
接着，CPU部4在所设定的搜寻区域SEARCH中，设定判定对象区域OBJ。此外，判定对象区域OBJ与模型图像大小相同(像素数)。并且，CPU部4使判定对象区域OBJ在搜寻区域SEARCH内依次移动，判定在其每次移动时被包含在判定对象区域OBJ中的图像与模型图像是否一致。
最终，当在使搜寻区域SEARCH内的判定对象区域OBJ移动而得到的所有的位置，判断判定对象区域OBJ所包含的图像与模型图像一致时，CPU部4结束对该输入图像IMG的处理。
(向单一的数据数组的变换处理)
CPU部4按照规定的规则将对在输入图像IMG中设定了的判定对象区域OBJ所包含的像素进行规定的RGB信息变换为单一的第一数据数组，并计算出与单一的第二数据数组的归一化相关值，其中，单一的第二数据数组是将模型图像按照同样规定的规则变换而成的。
图3是用于说明将判定对象区域OBJ所包含的各像素的RGB信息变换为第一数据数组的过程的图。
如图3，判定对象区域OBJ由分别规定各像素的红色灰度值、绿色灰度值以及蓝色灰度值的、红色灰度图像30R、绿色灰度图像30G以及蓝色灰度图像30B的组合构成。作为一个例子，当判定对象区域OBJ由4像素×4像素构成时，可以考虑判定对象区域OBJ由3个4行×4列的灰度值矩阵构成。并且，和判定对象区域OBJ中的像素位置(i，j)(其中，0≤i，j≤3)建立对应关系，将各个像素表示为红色灰度值Rij、绿色灰度值Gij、蓝色灰度值Bij。CPU部4将各色灰度值变换为和判定对象区域OBJ中的像素位置单独建立对应关系的单一的第一数据数组40。
本实施方式中的第一数据数组40由与判定对象区域OBJ的像素位置(i，j)建立对应关系，并成4行×4列的矩阵状配置的多个元素42(用图3的虚线框例示)构成。并且，各元素42由对与自身建立对应关系的像素进行规定的红色灰度值42R、绿色灰度值42G以及蓝色灰度值42B的一维数组构成。因此，与判定对象区域OBJ的像素位置(i，j)对应的元素42由红色灰度值Rij、绿色灰度值Gij、蓝色灰度值42Bij的一维数组构成。其结果是，第一数据数组40成为12行×4列的灰度值矩阵、即二维数组。
此外，各像素42中的数组不限于此，也可以是对红色浓度值Rij、绿色浓度值Gij、蓝色浓度值Bij的数组顺序进行了变更的数组、或在列方向配置的数组。
如上所述，CPU部4将判定对象区域OBJ所包含的RGB信息变换为第一数据数组。进而，按照和向第一数据数组的变换中的相同规则，模型图像所包含的各像素的RGB信息被变换为第二数据数组。
此外，如后面所述，CPU部4可以将模型图像所包含的各像素的RGB信息变换为第二数据数组，也可以从未图示的其他单元接收模型图像及其RGB信息被变换后的第二数据数组。
(归一化相关值的计算处理)
CPU部4当取得按照相同的规则被变换后的第一和第二数据数组时，计算出相互的归一化相关值。
图4是用于说明与第一数据数组40以及第二数据数组44的归一化相关值的计算。
如图4，按照上述过程而被变换而成的第一数据数组40和第二数据数组44为相互同等大小(行数和列数)的二维数组。在这里，为了使说明内容简单，将第一数据数组40和第二数据数组44中的各元素(灰度值)设为X(n，m)和Y(n，m)(其中，1≤n≤N，1≤m≤M)时，归一化相关值C利用第一数据数组40和第二数据数组44的协方差值σXY、第一数据数组40的方差σX2、第二数据数组44的方差σY2，按式(1)计算出来。
归一化相关值 c = σXY σ X 2 × σ Y 2
= N × M × Σ n = 1 n = N Σ m = 1 m = M ( X ( n , m ) × Y ( n , m ) ) - ( Σ n = 1 n = N Σ m = 1 m = M X ( n , m ) ) × ( Σ n = 1 n = N Σ m = 1 m = M Y ( n , m ) ) { N × M × Σ n = 1 n = N Σ m = 1 m = M X ( n , m ) 2 - ( Σ n = 1 n = N Σ m = 1 m = M X ( n , m ) ) 2 } × { N × M × Σ n = 1 n = N Σ m = 1 m = M Y ( n , m ) 2 - ( Σ n = 1 n = N Σ m = 1 m = M Y ( n , m ) ) 2 }
…(1)
参照式(1)可知，归一化相关值C通过第一数据数组40中的元素X(n，m)的总和∑X(n，m)和元素X(n，m)的平方总和∑X(n，m)2、第二数据数组44中的元素Y(n，m)的和∑Y(n，m)以及元素Y(n，m)的平方和∑Y(n，m)2、以及第一数据数组40和第二数据数组44中分别对应的两个元素的积总和∑X(n，m)×Y(n，m)来计算出。
因此，CPU部4对从模型图像所包含的各像素的RGB信息被变换而成的第二数据数组44，预先取得和∑Y(n，m)以及平方和∑Y(n，m)2。并且，CPU部4在每次设定判定对象区域OBJ时就对第一数据数组40的总和∑X(n，m)和平方和∑X(n，m)2、以及对第一数据数组40和第二数据数组44的积总和∑(X(n，m)×Y(n，m))进行运算，计算出归一化相关值C。
再参照图3和图4，CPU部4将对判定对象区域OBJ所包含的各像素进行规定的红色灰度值、绿色灰度值以及蓝色灰度值变换为如图3所示的第一数据数组40。因此，构成第一数据数组40的红色灰度值Rij、绿色灰度值Gij和蓝色灰度值Bij，按照下面所示的式(2)，分别被变换为第一数据数组40中的元素X(n，m)。
Rij＝X(i×3+0，j)
Gij＝X(i×3+1，j)  …(2)
Bij＝X(i×3+2，j)
另外，反过来，第一数据数组40中的元素X(n，m)能够按照下面所示的式(3)反变换成红色灰度值Rij、绿色灰度值Gij和蓝色灰度值Bij。
X(n，m)＝
Rkm＝(n＝3k+0的情况)
Gkm＝(n＝3k+1的情况)…(3)
Bkm＝(n＝3k+2的情况)
其中，k＝0，1，2，…
如上所述，CPU部4将对判定对象区域OBJ所包含的各像素进行规定的红色灰度值、绿色灰度值以及蓝色灰度值变换为第一数据数组40，使得能单独规定其对应关系，并且，能进行反变换。此外，对第二数据数组44，也按照相同的规则进行变换，因此对于对模型图像所包含的各像素进行规定的红色灰度值、绿色灰度值以及蓝色灰度值，也能单独规定其对应关系，并且能进行反变换。
(判定处理)
CPU部4基于按照上述过程计算出的归一化相关值C，对判定对象区域OBJ是否与模型图像一致进行判定。
此外，在式(1)中，由于将第一数据数组和第二数据数组中的方差的平方根、即标准差包含在分母中，所以计算出被“归一化”的相关值。这意味着归一化相关值C被标准化在0≤C≤1的范围内，在两个数据数组变得完全相同的情况下，C＝1。
在此，作为判定方法，虽然存在很多方法，但是在本发明的实施方式中，根据计算出的归一化相关值C是否超过了规定的阈值，来对判定对象区域OBJ是否与模型图像一致进行判定。即，CPU部4在每次设定相对输入图像IMG的判定对象区域OBJ时，计算出判定对象区域OBJ和模型图像的归一化相关值C，且将其计算出的标准化相关值C和规定的阈值进行比较。然后，若其计算出的归一化相关值C超过规定的阈值，则CPU部4判定判定对象区域OBJ与模型图像一致。
另外，在其他方面中，CPU部4在每次设定相对输入图像IMG的判定对象区域OBJ时，分别计算出判定对象区域OBJ和模型图像的归一化相关值C，在其计算出的归一化相关值C中，从高位开始依次判定规定数量的判定对象区域OBJ与模型图像一致、即从其值高的开始依次判定规定数量的判定对象区域OBJ与模型图像一致。
(处理流程图)
图5是表示CPU部4中的处理的流程图。
如图5，CPU部4从主存储部8或者辅助存储部5读出预先设定的、模型图像的大小(像素数)、第二数据数组、以及搜寻区域SEARCH的设定等(步骤S100)。此外，第二数据数组除了数据数组自身，还含有第二数据数组的元素的和以及平方和。
并且，CPU部4经由摄像部接口7，从摄像部2取得输入图像IMG(步骤S102)。
CPU部4在取得的输入图像IMG的搜寻区域SEARCH中，设定判定对象区域OBJ(步骤S104)，进而，提取对设定了的判定对象区域OBJ所包含的各像素进行规定的RGB信息(步骤S106)。并且，CPU部4将提取到的规定各像素的RGB信息变换为第一数据数组(步骤S108)。进而，CPU部4从变换了的第一数据数组和读出了的第二数据数组计算出归一化相关值C(步骤S110)。具体地说，CPU部4依次扫描第一数据数组的各元素，在运算第一数据数组的元素的和以及平方和、以及第一数据数组和第二数据数组的各元素的积的总和之后，按照上述的式(1)，计算出归一化相关值C。
然后，CPU部4判断计算出的归一化相关值C是否超过阈值(步骤S112)。在归一化相关值C超过阈值的情况(在步骤S112为“是”的情况)下，将选择中的判定对象区域OBJ的位置信息(坐标)存储在主存储部8(步骤S114)。
在归一化相关值C没有超过阈值的情况(步骤S112为“否”的情况)下，或者在将选择中的判定对象区域OBJ的位置信息存储在主存储部8(步骤S114)之后，CPU部4判断是否将在搜寻区域SEARCH内可选择的所有的区域设定为了判定对象区域OBJ(步骤S116)。在没有将所有的区域选择为判定对象区域OBJ的情况(在步骤S116为“否”的情况)下，CPU部4将其他的区域设定为判定对象区域OBJ(步骤S118)。并且，CPU部4反复执行上述的步骤S106～S114，直到在步骤S116变为“是”为止。
在将所有的区域选择为判定对象区域OBJ的情况(在步骤S116为“是”的情况)下，CPU部4将存储在主存储部8的、归一化相关值C超过了阈值的判定对象区域OBJ的总数及其位置信息等输出到显示部3等(步骤S120)。然后，CPU部4结束处理。
(适用例)
图6A、图6B是符合本发明实施方式的图像处理装置1的判定处理的适用例。
图6A表示判定对象区域OBJ和模型图像的一个例子。
图6B是表示从图6A所示的判定对象区域OBJ以及模型图像的RGB信息变换成的第一以及第二数据数组。
如图6A，作为一个例子，在模型图像和判定对象区域OBJ设定的图像都由4像素×4像素构成。并且，模型图像具有用“品红色”以及“深蓝色”这两色分别以2像素×4像素进行颜色区划的花样，另一方面，在判定对象区域OBJ设定的图像是和模型图像相同的花样，并且，具有通过从模型图像均匀地去除“蓝色成分”而生成的“红色”以及“绿色”这两种颜色。
即，当分别比较将在判定对象区域OBJ设定的图像分解为各色成分的红色浓度图像50R、绿色浓度图像50G、蓝色浓度图像50B、和将模型图像分解为各色成分的红色浓度图像54R、绿色浓度图像54G、蓝色浓度图像54B时，红色浓度成分50R、54R以及绿色浓度成分50G分别一致。另外，蓝色浓度图像50B、54B在任意像素中也具有“255”的浓度差。
如图6B，按照上述的式(1)，当计算出从在判定对象区域OBJ设定的图像变换而成的第一数据数组40、和从模型图像的RGB信息变换而成的第二数据数组44的归一化相关值C时，C＝0.5。这意味着在判定对象区域OBJ设定的图像与模型图像的一致程度只有50％。因此，通过预先将阈值设定为80％左右，能可靠地避免误判定。
因此，符合本发明的实施方式的图像处理装置，对于用以往的利用色差的方法有可能产生误判的图像，也能高精度地进行是否一致的判定。
(变形例1)
变换像素的RGB信息得到的第一和第二数据数组的数据结构不限于上述的方式，可以采用各种方式。
图7是用于说明符合本发明的实施方式的变形例1的、向第一数据数组的变换过程的图。
如图7，和图3同样，作为一个例子，判定对象区域OBJ用4像素×4像素构成，与判定对象区域OBJ中的像素位置(i，j)(其中，0≤i，j≤3)建立对应关系，将各元素规定为红色灰度值Rij、绿色灰度值Gij、蓝色灰度值Bij。
并且，符合本发明实施方式的变形例1的第一数据数组60是二维数组，对判定对象区域OBJ进行规定的红色灰度图像30R、绿色灰度图像30G以及蓝色灰度图像30B在行方向并列配置地构成。由于红色灰度图像30R、绿色灰度图像30G以及蓝色灰度图像30B分别用4像素×4像素构成，所以第一数据数组60为12行×4列的灰度值矩阵。
这样，在本发明的实施方式变形例1中，对判定对象区域OBJ的各像素进行规定的RGB信息也变换为和判定对象区域OBJ中的该像素位置单独建立对应关系的单一的第一数据数组60。
另外，理所当然，从构成模型图像的像素的RGB信息变换而成的第二数据数组，也具有与上述的第一数据数组60等同的数组结构。
由于对符合本发明的实施方式的变形例1的第一和第二数据数组，应用上述的式(1)同样能够计算出归一化相关值C，所以不重复详细的说明。
此外，第一数据数组60中的红色灰度图像30R、绿色灰度图像30G以及蓝色灰度图像30B的配置形式不限于此，也可以是变更并列配置顺序的形式、或在列方向并列配置的形式。
如上所述，通过结合构成一个图像的红色灰度图像、绿色灰度图像、蓝色灰度图像而能够生成数据数组，所以在采用由取得各色别的灰度值的3枚CCD构成的摄像部的情况下，能采用来自各CCD的影像信号并容易地将其变换为数据数组。
(变形例2)
在上述的本发明的实施方式及其变形例1中，虽然针对采用二维数组的第一和第二数据数组的结构进行说明了，但是也可以使用一维数组的结构。
图8是用于说明符合本发明的实施方式的变形例2的向第一数据数组70的变换过程的图。
如图8，和图3同样，作为一个例子，判定对象区域OBJ用4像素×4像素构成，与判定对象区域OBJ中的像素位置(i，j)(其中，0≤i，j≤3)建立对应关系，将各元素规定为红色灰度值Rij、绿色灰度值Gij、蓝色灰度值Bij。
并且，符合本发明的实施方式的变形例2的第一数据数组70是分别将构成红色灰度图像30R、绿色灰度图像30G、蓝色灰度图像30B，的红色灰度值Rij、绿色灰度值Gij、以及蓝色灰度值Bij沿行方向展开并连续地配置的一维数组。即，第一数据数组70是将红色灰度值数组72R、绿色灰度值数组72G、蓝色浓值数组72B沿同一方向并列配置而构成的。并且，红色灰度值数组72R是将构成红色灰度图像30R的红色灰度值Rij沿行方向连续地配置、如R00，R10，…，R01，R11…，R33那样构成的。进而，绿色灰度值数组72G以及蓝色灰度值数组72B也与红色灰度值数组72R同样地构成。
由于红色灰度图像30R、绿色灰度图像30G蓝色灰度图像30B分别用4像素×4像素(16像素)构成，所以第一数据数组70为由48的灰度值构成的一维数组。
这样，在本发明的实施方式的变形例2中，对判定对象区域OBJ的各像素进行规定的RGB信息，也被变换为与判定对象区域OBJ中的该像素位置单独建立对应关系的单一的第一数据数组70。
理所当然，从构成模型图像的像素的RGB信息变换来的第二数据数组也具有与上述的第一数据数组70等同的数组结构。
此外，第一数据数组70中的红色灰度值Rij、绿色灰度值Gij、蓝色灰度值Bij的配置形式不限于此，也可以是按每个像素连续地配置红色灰度值Rij、绿色灰度值Gij、蓝色灰度值Bij的形式。
但是，由于符合本发明的实施方式的变形例2的第一以及第二数据数组是一维数组，所以能够通过将上述式(1)简化后的算式计算出归一化相关值C。当将符合本发明的实施方式的变形例2的第一数据数组的各灰度值设为X(1)，将第二数据数组的各灰度值设为Y(1)时(其中，1≤1≤L)，如式(4)那样计算出。
归一化相关值
C = L × Σ l = L l = L ( X ( l ) × Y ( l ) ) - Σ l = 1 l = L X ( l ) × Σ l = 1 l = L Y ( l ) L × Σ l = 1 l = L X ( l ) 2 - ( Σ l = 1 l = L X ( l ) ) 2 × L × Σ l = 1 l = L Y ( l ) 2 - ( Σ l = 1 l = L Y ( l ) ) 2 - - - ( 4 )
如式(4)，其是将上述式(1)进行简化而能适用于一维数组的算式。
如上所述，由于通过变换为一维的数据数组而将归一化相关值的计算处理中的处理更简单化，所以能够提高运算速度。
(模型图像取得处理)
符合本发明的实施方式的图像处理装置1还具有取得基准图像并从该基准图像中取得模型图像的功能。
图9是用于说明取得模型图像的功能的图。
参照图1和图9，用户为了提取模型图像，而将例如产品样本等配置在摄像部2的拍摄范围内。并且，当用户经由输入部6提供拍摄开始指令时，CPU部4根据该拍摄开始指令，从摄像部2取得图像，经由显示部3作为基准图像SIMG显示。同时，CPU部4显示用于从基准图像SIMG中提取模型图像的掩模区域MSK。此外，CPU部4作为初始值显示预先确定了大小(默认尺寸)的掩模区域MSK。进而，用户参照在显示部3显示的基准图像SIMG，同时经由输入部6提供掩模区域MSK的位置和尺寸等调整指令，以包围所希望的图像80。于是，CPU部4根据该调整指令，变更在显示部3显示的掩模区域MSK的位置和尺寸。
当掩模区域MSK的设定结束时，用户经由输入部6提供确定指令。于是，CPU部4根据该确定指令，取得掩模区域MSK的范围所包含的图像的信息。具体而言，CPU部4将掩模区域MSK的像素尺寸和在掩模区域MSK的范围所包含的各像素的RGB信息存储在主存储部8。
并且，CPU部4，根据与上述的向第一数据数组变化相同的规则，将在存储在主存储部8的各像素的RGB信息变换为第二数据数组，且将该变换后的第二数据数组存储在主存储部8。此外，由于向第二数据数组的变换和上述的向第一数据数组的变换相同，所以不重复详细的说明。另外，同时，CPU部4计算出第二数据数组的元素的和以及平方和，并将其存储在主存储部8。
图10是用于提取CPU部4中的模型图像的流程图。
如图10，CPU部4判断是否从外部接收到了拍摄开始指令(步骤S200)。在这里，用户将用于提取模型图像的基准对象物配置在摄像部2的拍摄范围内，经由输入部6提供拍摄开始指令。
在没有接收拍摄开始指令的情况(在步骤S200为“否”的情况)下，CPU部4一直等待到接收拍摄开始指令为止(步骤S200)。
当接收拍摄开始指令时，CPU部4将从摄像部2取得的基准图像SIMG和掩模区域MSK显示在显示部3(步骤S202)。并且，CPU部4根据对掩模区域MSK的调整指令，变更掩模区域MSK的位置和尺寸(步骤S204)。
进而，CPU部4判断是否从外部接收了确定指令(步骤S206)。在没有接收确定指令的情况(在步骤S206为“否”的情况)下，CPU部4反复执行步骤S204和S206。
在接收确定指令的情况(在步骤S206为“是”的情况)下，CPU部4取得在所设定的掩模区域MSK的范围所包含的各像素的RGB的信息(步骤S208)。并且，CPU部4将取得的各像素的RGB信息变换为第二数据数组(步骤S210)，进而，计算出第二数据数组的元素的和与平方和(步骤S212)，并将其存储在主存储部8。并且，CPU部4结束处理。
如上所述，CPU部4从基准图像SIMG取得模型图像。
在本发明的实施方式中，针对从基准图像SIMG取得模型图像的结构进行了说明，但是，也可以是从其他未图示的装置取得与模型图像相关的数据、即模型图像的大小、第二数据数组、第二数据数组的和与平方和等那样的结构。
此外，在对上述的本发明的实施方式的说明中，针对使用归一化相关值来判定是否一致的结构进行了说明，但是，未必要使用相关值被归一化的相关值。即，也能够除去式(1)的算式中的分母项，而基于分子项的值进行判定。
另外，在对上述的本发明的实施方式的说明中，针对从摄像部2取得彩色图像的结构进行了说明，但是不限于该结构。例如，也可以取得预先被存储在主存储部8、辅助存储部5或者存储介质12等的彩色图像，进行同样的处理。
另外，在对上述的本发明的实施方式的说明中，针对采用由基于光的三原色的“红色”、“绿色”、“蓝色”构成的RGB信息作为颜色信息的结构进行了说明，但是不限于该结构，例如也可以采用由光的三原色的辅色即“深蓝色”、“品红色”、“黄色”构成的CMY信息。进而，即使采用基于色彩属性的“色调(Hue)”、“明度(Value)”、“色度(Chroma)”这三个颜色变量，也能同样适用。进而，此时，也可以除去明度而采用由色调和色度构成的信息来构成第一以及第二数据数组。这是因为通过除去明度，能够进行除去输入图像的亮度的变动以及与模型图像的亮度不同的影响的相关处理。
另外，作为第一和第二数据数组，也可以采用两个颜色变量而不全部使用三个颜色变量。
另外，在对上述的本发明的实施方式的说明中，将对与模型图像大小相同的判定对象区域所包含的各像素进行规定的上述三个颜色变量中的规定的多个颜色变量变换为第一数据数组，将对模型图像的各像素进行规定的上述三个颜色变量中的规定的多个颜色变量变换为第二数据数组后，计算出各数据数组的相关值，但是取代它，不在中间过程生成第一数据数组和第二数据数组，而读出判定对象区域的像素的规定的颜色变量，以便构成第一数据数组，适用在归一化相关值中的一方的数据数组(式(1)中的X(n，m)和式(4)中的X(1))，或者可以读出模型图像的像素的规定的颜色变量，以便构成第二数据数组，适用在归一化相关值中的另一方的数据数组(式(1)中的Y(n，m)和式(4)中的Y(1))。
根据本发明的实施方式，将对判定对象区域所包含的各像素进行规定的RGB信息变换为单一的第一数据数组，并且，计算出与单一的第二数据数组的归一化相关值，该单一的第二数据数组是根据相同的规则从对模型图像所包含的各像素进行规定的RGB信息变换而成的。因此，能进行对判定对象区域所包含的所有的RGB信息的绝对的比较，而不是如基于色差的方法那样进行相对地比较。因此，能与判定对象区域内的颜色分布的相对的关系无关地以高精度实现与模型图像一致的区域的确定。
另外，根据本发明的本实施方式，因为采用被归一化的相关值，所以不管判定对象区域的种类，该相关值的范围为从0至1之间的值，能够除去输入图像的亮度的变动或与模型图像的亮度的不同的影响。因此，由于能够以同一基准比较判定对象区域的一致程度，所以能基于相关值是否超过预先设定的阈值，来实现一致的判定。
应当理解，本次公开的实施方式的所有方面都是例示，而并不是限制性的。本发明的范围并不是由上述的说明所限定，而应理解为权利要求的表示，包括与权利要求的范围同等的意义以及在范围内的所有的变更。

Claims (23)

1.一种图像处理装置，基于与模型图像的相关值，来确定输入图像内的区域，其特征在于，具有：
输入图像取得单元，其取得由各颜色相互独立的三个颜色变量所规定的多个像素构成的输入图像，
判定对象区域设定单元，其对在上述输入图像取得单元取得的上述输入图像的整个区域或者一部分区域，设定与预先取得的模型图像大小相同的判定对象区域，
第一数据数组变换单元，其将对被包含在上述判定对象区域中的像素分别进行规定的上述三个颜色变量中的规定的多个颜色变量，按照规定的规则变换为单一的第一数据数组，该上述判定对象区域是在上述判定对象区域设定单元被设定的，
相关值计算单元，其计算出上述第一数据数组和第二数据数组的相关值，该上述第一数据数组是在上述第一数据数组变换单元变换而成的，上述第二数据数组是，将对构成上述模型图像的像素分别进行规定的上述三个颜色变量中的上述规定的多个颜色变量，按照上述规定的规则变换而成的单一的第二数据数组。
2.如权利要求1所述图像处理装置，其特征在于，上述第一以及第二数据数组是按照规定的规则对上述三个颜色变量进行变换而成的单一的数据数组。
3.如权利要求2所述图像处理装置，其特征在于，还具有：
基准图像取得单元，其取得用于提取上述模型图像的基准图像，
模型图像取得单元，其从在上述基准图像取得单元取得的上述基准图像提取与来自外部的指令对应的区域的图像，将该提取到的图像作为上述模型图像取得，
第二数据数组变换单元，将对构成在上述模型图像取得单元取得的上述模型图像的像素分别进行规定的上述三个颜色变量，按照上述规定的规则变换为上述第二数据数组。
4.如权利要求2所述图像处理装置，其特征在于，
上述第一以及第二数据数组分别是由与像素的位置建立对应关系并呈矩阵状配置的多个元素构成的二维数组，
上述多个元素分别包括对与该元素建立对应关系的像素进行规定的上述三个颜色变量的一维数组。
5.如权利要求2所述图像处理装置，其特征在于，
上述第一以及第二数据数组分别包括与上述三个颜色变量分别对应的三个二维数组，该二维数组是将对各像素进行规定的上述三个颜色变量中的一个颜色变量分别与该像素的位置建立对应关系并呈矩阵状配置而得到的，
上述三个二维数组沿同一方向顺序配置而构成单一的数据数组。
6.如权利要求2所述图像处理装置，其特征在于，
上述第一以及第二数据数组分别包括与上述三个颜色变量分别对应的三个一维数组，该一维数组是将对各像素进行规定的上述三个颜色变量中的一个颜色变量分别连续地配置而得到的，
上述三个一维数组沿同一方向顺序配置而构成单一的数据数组。
7.如权利要求2所述图像处理装置，其特征在于，
上述判定对象区域设定单元还在上述输入图像的区域内使上述判定对象区域依次移动，并且，在每次移动上述判定对象区域时，分别反复执行上述第一数据数组变换单元和上述相关值计算单元中的处理，
还具有判定单元，其基于每次移动上述判定对象区域时所计算出的上述相关值与规定的阈值的比较，确定和上述模型图像的上述相关值高的上述判定对象区域，并且，当在上述判定对象区域设定单元中，上述判定对象区域的移动结束时，输出该确定了的判定对象区域的总数以及/或者该确定了的判定对象区域各自的位置。
8.如权利要求2所述图像处理装置，其特征在于，
上述判定对象区域设定单元还在上述输入图像的区域内使上述判定对象区域依次移动，并且，在每次移动上述判定对象区域时，分别反复执行上述第一数据数组变换单元和上述相关值计算单元中的处理，
还具有判定单元，其当在上述判定对象区域设定单元中，上述判定对象区域的移动结束时，在每次移动上述判定对象区域时分别计算出的上述相关值中，从其中的高的值开始依次提取规定数量的相关值，并且，确定与该提取到的相关值对应的判定对象区域，输出该确定了的判定对象区域各自的位置。
9.如权利要求2所述图像处理装置，其特征在于，
上述三个颜色变量是红色、绿色、蓝色的灰度值，
上述相关值计算单元计算出归一化相关值作为相关值。
10.如权利要求1所述图像处理装置，其特征在于，
上述三个颜色变量是表示色调、明度、色度的级别值，
上述第一以及第二数据数组分别是在不考虑明度的灰度值的情况下，将色调和色度的级别值按照规定的规则进行变换而成的单一的数据数组。
11.一种图像处理方法，基于与模型图像的相关值，确定输入图像内的区域，其特征在于，具有
输入图像取得步骤，其取得由各颜色相互独立的三个颜色变量规定的多个像素构成的输入图像，
判定对象区域设定步骤，其对在上述输入图像取得步骤取得的上述输入图像的整个区域或者一部分区域，设定与预先取得的模型图像大小相同的判定对象区域，
相关值计算步骤，其将对上述判定对象区域中所包含的像素分别进行规定的上述三个颜色变量中的规定的多个颜色变量，按照规定的规则作为单一的第一数据数组来处理，同时，将对构成上述模型图像的像素分别进行规定的上述三个颜色变量中的规定的多个颜色变量按照上述规定的规则作为单一的第二数据数组来处理，并计算上述第一数据数组和上述第二数据数组的相关值，该上述判定对象区域是在上述判定对象区域设定步骤被设定的。
12.一种图像处理方法，基于与模型图像的相关值，来确定输入图像内的区域，其特征在于，具有
输入图像取得步骤，其取得由各颜色相互独立的三个颜色变量规定的多个像素构成的输入图像，
判定对象区域设定步骤，其对在上述输入图像取得步骤取得的上述输入图像的整个区域或者一部分区域，设定与预先取得的模型图像大小相同的判定对象区域，
第一数据数组变换步骤，其将对上述判定对象区域中所包含的像素分别进行规定的上述三个颜色变量中的规定的多个颜色变量，按照规定的规则变换为单一的第一数据数组，该上述判定对象区域是在上述判定对象区域设定步骤被设定的，
相关值计算步骤，其计算出上述第一数据数组和第二数据数组的相关值，该上述第一数据数组是在上述第一数据数组变换步骤变换而成的，上述第二数据数组是，将对构成上述模型图像的像素分别进行规定的上述三个颜色变量中的上述规定的多个颜色变量，按照上述规定的规则变换而成的单一的第二数据数组。
13.如权利要求12所述图像处理方法，其特征在于，上述第一以及第二数据数组是按照规定的规则对上述三个颜色变量进行变换而成的单一的数据数组。
14.如权利要求13所述图像处理方法，其特征在于，还具有
基准图像取得步骤，其取得用于提取上述模型图像的基准图像，
模型图像取得步骤，其从在上述基准图像取得步骤取得的上述基准图像提取与来自外部的指令对应的区域的图像，将该提取到的图像作为上述模型图像取得，
第二数据数组变换步骤，将对构成在上述模型图像取得步骤取得的上述模型图像的像素分别进行规定的上述三个颜色变量，按照上述规定的规则变换为上述第二数据数组。
15.如权利要求13所述图像处理方法，其特征在于，
上述第一以及第二数据数组分别是由与像素的位置建立对应关系并呈矩阵状配置的多个元素构成的二维数组，
上述多个元素分别包括对与该元素建立对应关系的像素进行规定的上述三个颜色变量的一维数组。
16.如权利要求13所述图像处理方法，其特征在于，
上述第一以及第二数据数组分别包括与上述三个颜色变量分别对应的三个二维数组，该二维数组是将对各像素进行规定的上述三个颜色变量中的一个颜色变量分别与该像素的位置建立对应关系并呈矩阵状配置而得到的，
上述三个二维数组沿同一方向顺序配置而构成单一的数据数组。
17.如权利要求13所述图像处理方法，其特征在于，
上述第一以及第二数据数组分别包括与上述三个颜色变量分别对应的三个一维数组，该一维数组是将对各像素进行规定的上述三个颜色变量中的一个颜色变量分别连续地配置而得到的，
上述三个一维数组沿同一方向顺序配置而构成单一的数据数组。
18.如权利要求13所述图像处理方法，其特征在于，
上述判定对象区域设定步骤还在上述输入图像的区域内使上述判定对象区域依次移动，并且，在每次移动上述判定对象区域时，分别反复执行上述第一数据数组变换步骤和上述相关值计算步骤中的处理，
还包括判定步骤，其基于在每次移动上述判定对象区域时所计算出的上述相关值与规定的阈值的比较，确定与上述模型图像的上述相关值高的上述判定对象区域，并且，当在上述判定对象区域设定步骤中，上述判定对象区域的移动结束时，输出该确定了的判定对象区域各自的位置。
19.如权利要求13所述图像处理方法，其特征在于，
上述判定对象区域设定步骤还在上述输入图像的区域内使上述判定对象区域依次移动，并且，在每次移动上述判定对象区域时，分别反复执行上述第一数据数组变换步骤和上述相关值计算步骤中的处理，
还具有判定步骤，当在上述判定对象区域设定步骤中，上述判定对象区域的移动结束时，在每次移动上述判定对象区域时分别计算出的上述相关值中，从其中的高的值开始依次提取规定数量的相关值，并且，确定与该提取到的相关值对应的判定对象区域，输出该确定了的判定对象区域的总数以及/或者该确定了的判定对象区域各自的位置。
20.如权利要求2所述图像处理方法，其特征在于，
上述三个颜色变量是红色、绿色、蓝色的灰度值，
上述相关值计算步骤计算出归一化相关值作为相关值。
21.如权利要求11所述图像处理方法，其特征在于，
上述三个颜色变量是表示色调、明度、色度的级别值，
上述第一以及第二数据数组是在不考虑明度的灰度值的情况下，将色调和色度的级别值按照规定的规则进行变换而成的单一的数据数组。
22.一种图像处理用的程序，其用于在计算机上执行，基于与模型图像的相关值，确定输入图像内的区域，其特征在于，具有：
输入图像取得步骤，其取得由各颜色相互独立的三个颜色变量规定的多个像素构成的输入图像，
判定对象区域设定步骤，其对在上述输入图像取得步骤取得的上述输入图像的整个区域或者一部分区域，设定与预先取得的模型图像大小相同的判定对象区域，
第一数据数组变换步骤，其将对上述判定对象区域中所包含的像素分别进行规定的上述三个颜色变量中的规定的多个颜色变量，按照规定的规则变换为单一的第一数据数组，该上述判定对象区域是在上述判定对象区域设定步骤被设定的，
相关值计算步骤，计算出上述第一数据数组和第二数据数组的相关值，该上述第一数据数组是在上述第一数据数组变换步骤变换而成的，上述第二数据数组是，将对构成上述模型图像的像素分别进行规定的上述三个颜色变量中的上述规定的多个颜色变量，按照上述规定的规则变换而成的单一的第二数据数组。
23.一种存储权利要求22所记载的程序的计算机可读取的存储介质。
CN2006101436117A 2005-11-02 2006-11-02 图像处理装置以及图像处理方法 Expired - Fee Related CN1960431B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005-319747 2005-11-02
JP2005319747 2005-11-02
JP2005319747A JP4696856B2 (ja) 2005-11-02 2005-11-02 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体

Publications (2)

Publication Number Publication Date
CN1960431A true CN1960431A (zh) 2007-05-09
CN1960431B CN1960431B (zh) 2010-05-12

Family

ID=37814255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101436117A Expired - Fee Related CN1960431B (zh) 2005-11-02 2006-11-02 图像处理装置以及图像处理方法

Country Status (4)

Country Link
US (1) US7801357B2 (zh)
EP (1) EP1783664A3 (zh)
JP (1) JP4696856B2 (zh)
CN (1) CN1960431B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573147A (zh) * 2013-10-17 2015-04-29 北京华大九天软件有限公司 基于波形相关性比较标准单元库的方法
CN105096242A (zh) * 2015-08-18 2015-11-25 耿懿超 一种图片处理方法及其图片处理装置
CN111684461A (zh) * 2018-03-05 2020-09-18 欧姆龙株式会社 确定图像数据的特征数据的方法、装置、系统及程序及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG158787A1 (en) 2008-07-28 2010-02-26 Chan Sok Leng Apparatus for detecting micro-cracks in wafers and method therefor
SG158782A1 (en) * 2008-07-28 2010-02-26 Chan Sok Leng Method and system for detecting micro-cracks in wafers
JP4706749B2 (ja) * 2008-11-21 2011-06-22 オムロン株式会社 画像処理装置、画像処理方法
US11288472B2 (en) 2011-08-30 2022-03-29 Digimarc Corporation Cart-based shopping arrangements employing probabilistic item identification
JP2014056503A (ja) * 2012-09-13 2014-03-27 International Business Maschines Corporation 多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法、プログラム、および、システム
US10296814B1 (en) 2013-06-27 2019-05-21 Amazon Technologies, Inc. Automated and periodic updating of item images data store
US10366306B1 (en) * 2013-09-19 2019-07-30 Amazon Technologies, Inc. Item identification among item variations
WO2018068304A1 (zh) * 2016-10-14 2018-04-19 深圳配天智能技术研究院有限公司 一种图像匹配的方法及装置
US11693002B2 (en) * 2016-10-17 2023-07-04 Reliant Immune Diagnostics, Inc. System and method for variable function mobile application for providing medical test results using visual indicia to determine medical test function type
US11481612B1 (en) 2018-04-20 2022-10-25 Perceive Corporation Storage of input values across multiple cores of neural network inference circuit

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03158981A (ja) * 1989-11-17 1991-07-08 Fuji Photo Film Co Ltd パターン認識装置
JPH0463063A (ja) * 1990-06-29 1992-02-28 Seiko Instr Inc 誤差拡散回路
JPH04207465A (ja) * 1990-11-30 1992-07-29 Canon Inc 画像処理装置
JP3155418B2 (ja) 1993-12-29 2001-04-09 倉敷紡績株式会社 色画像変換装置
JPH09218934A (ja) * 1996-02-13 1997-08-19 Omron Corp 対象物個数計数方法および装置
JP2000103141A (ja) * 1998-09-29 2000-04-11 Fuji Xerox Co Ltd 画像記録装置
ATE319140T1 (de) * 1998-12-18 2006-03-15 Standardmustervergleichung durch korrelation und vorhersagung
JP2003006631A (ja) * 2001-06-20 2003-01-10 Fuji Photo Film Co Ltd 画像並列処理装置
KR100474760B1 (ko) * 2001-10-08 2005-03-08 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
JP4036051B2 (ja) * 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
JP4345622B2 (ja) * 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
JP2005267005A (ja) * 2004-03-17 2005-09-29 Casio Comput Co Ltd 画像データ処理装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573147A (zh) * 2013-10-17 2015-04-29 北京华大九天软件有限公司 基于波形相关性比较标准单元库的方法
CN105096242A (zh) * 2015-08-18 2015-11-25 耿懿超 一种图片处理方法及其图片处理装置
CN111684461A (zh) * 2018-03-05 2020-09-18 欧姆龙株式会社 确定图像数据的特征数据的方法、装置、系统及程序及存储介质
CN111684461B (zh) * 2018-03-05 2023-10-20 欧姆龙株式会社 确定图像数据的特征数据的方法、装置、系统及存储介质

Also Published As

Publication number Publication date
JP4696856B2 (ja) 2011-06-08
US7801357B2 (en) 2010-09-21
JP2007128247A (ja) 2007-05-24
EP1783664A2 (en) 2007-05-09
US20070103482A1 (en) 2007-05-10
EP1783664A3 (en) 2011-10-05
CN1960431B (zh) 2010-05-12

Similar Documents

Publication Publication Date Title
CN1960431A (zh) 图像处理装置、方法及其程序和存储该程序的存储介质
CN1187952C (zh) 校正输入图象失真的设备与方法
CN1573742A (zh) 图像检索系统、程序和方法及图像分类系统、程序和方法
CN1959738A (zh) 图像处理装置、方法及其程序和存储该程序的存储介质
CN100342709C (zh) 图像记录装置及方法、图像处理装置和方法及系统
CN1114888C (zh) 图像处理方法、设备和系统
CN1894703A (zh) 模式识别方法、设备以及程序
CN1890987A (zh) 投影仪颜色校正方法
CN1722852A (zh) 用于彩色图像去马赛克的优质梯度校正线性插值
CN1595958A (zh) 图象质量补正装置和图象质量补正方法
CN1870715A (zh) 手抖动校正装置
CN101046848A (zh) 图像处理设备和图像处理方法
CN1804682A (zh) 模糊校正方法及摄像装置
CN1901672A (zh) 照相机系统、信息处理装置及方法
CN1925548A (zh) 图像处理装置和方法、图像形成装置、图像读取装置
CN1484105A (zh) 色彩调整方法，色彩调整设备，色彩转换定义编辑设备，图像处理设备、程序以及存储介质
CN1614991A (zh) 瞳孔颜色推定装置
CN1359587A (zh) 信息记录方法
CN1308891C (zh) 用于图象处理中边缘增强的装置和方法
CN1943248A (zh) 摄像装置及摄像单元
CN1835565A (zh) 图像捕获装置、图像传感器和图像捕获处理方法
CN101060583A (zh) 图像的处理装置、方法和程序、图像形成装置和记录介质
CN1180627C (zh) 图像编码/解码方法,图像编码装置和图像解码装置
CN1685739A (zh) 图象数据的输出图象调整
CN101080921A (zh) 摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100512

CF01 Termination of patent right due to non-payment of annual fee