CN102473306B - 图像处理装置、图像处理方法、程序以及集成电路 - Google Patents

Abstract

一种图像处理装置，具备：存储部(211)，存储参考图像的亮度梯度矢量Vr、位置矢量Rr以及投票矢量Ur；亮度梯度矢量算出部(212)，算出搜索图像的亮度梯度矢量Vs；以及位置确定部(213)，确定搜索图像中的参考图像的位置。位置确定部(213)具备：采样部(214)，从亮度梯度矢量Vs以及在投票矢量Ur中的至少一方，抽取一部分矢量；原点位置推定部(215)，将投票矢量Ur配置到亮度梯度矢量Vs的始点位置，并将投票矢量Ur的终点位置推定为候选点；以及再验证部(216)，将位置矢量Rr配置到各候选点，并将在位置矢量Rr的终点位置存在的亮度梯度矢量Vs最多的候选点作为与原点对应的位置来确定。

Description

图像处理装置、图像处理方法、程序以及集成电路

技术领域

本发明涉及从图像中检测出指定的物体并进行识别的图像处理装置以及图像处理方法。

背景技术

近些年，随着摄像元件的进化，数字静像相机以及数字摄像机的像素数越益增加。通过增加像素数，拍摄者能够以高分辨率以及广角来如实地拍摄所看到的风景。这样的高分辨率、广角的图像称为具有约10亿像素的兆像素图像，而有关兆像素图像的研究、开发在进行。

在拍摄时与在阅览时兆像素图像的课题不同。在拍摄时存在因手抖动而致图像晃动或调焦困难等问题。但是，因为兆像素图像是广角图像，因此只要能够将其固定而拍摄，就能够回避拍摄时的课题。

而在阅览时，因为像素数多，因此存在难以从兆像素图像中找出欲看之物这一课题。如果要一次阅览图像的全体，则显示器变大，需要专用的系统。并且，在利用一般使用的显示器的情况下，因为图像的缩小率变大，因此难以找到欲看之物体。

在这样的背景下，这样一种需求越来越大，即：针对作为像素数多的图像的兆像素图像，通过从图像检测物体，自动地找出欲看之物体，从而简便地进行阅览。

以往，作为从图像检测物体的方法，存在例如利用专利文献1的称为SIFT(Scale-Invariant Feature Transform：尺度不变特征变换)或者非专利文献1的称为SURF(Speeded Up Robust Features：加速稳健特征)的特征描述符的方法。

SIFT是进行特征点的检测以及特征量的描述的算法。简单地叙述该算法。SIFT的处理包括进行尺度(scale)以及关键点(keypoint)的检测的处理(detection)和进行指定方向(Orientation)的算出以及特征量的描述的处理(description)。通过DoG(Difference Of Gaussian：高斯差分)处理来检测尺度和关键点。然后，为了得到对于旋转保持不变的特征而求出关键点的指定方向。最后，基于指定方向来描述关键点的特征量。以下进行详细的叙述。

为了检测尺度以及关键点，进行DoG处理。DoG处理是分别算出两个利用分散系数不同的两个高斯滤波器来实施了滤波处理的图像，并求出其差分的处理。该差分图像称为DoG图像。通过利用多个分散系数进行滤波处理，从而得到多个DoG图像。针对某一点，观测改变分散系数而生成的DoG图像的输出值，则该输出值存在极值。该极值具有这样一种关系，即：如果图像的大小变成2倍，则与分散的大小变成2倍时的DoG图像的输出值对应。

这样，在SIFT中，能够利用极值来描述相对的尺度变化。因此，即使不知道实际的物体的大小，仅通过从DoG图像求出极值，就能够知道物体的尺度。这样的特征，称为对于放大或缩小保持不变的特征。在此，因为得到的极值是多个，因此通过对比或亮度值的曲率来排除对于识别无效的极值。

然后，说明指定方向的算出。指定方向是指求出取得了关键点的图像的梯度强度和梯度方向的处理。根据关键点的周边的梯度强度和梯度方向来求出加权直方图。例如，将梯度方向划分为36个方向来构筑直方图。此时，将最大值到最大值的80％以上的方向成分作为关键点的指定方向来分配。

特征量的描述中利用关键点周边的梯度信息。首先，为了使关键点周边的区域与关键点方向的坐标轴一致而旋转关键点周边的区域，以使关键点的方向成为垂直方向。将旋转后的区域分为4×4＝16块，按照每个块作成8方向(每45度)的梯度方向直方图。因为以使坐标轴与指定方向的方向一致的区域来描述特征，因此其成为对于旋转保持不变的特征量。

有通过上述处理来从图像求出SIFT描述符的方法，但是存在DoG算出处理的处理量多这样的课题。因此，提出了SURF特征量。

SURF描述符不是求出DoG图像的极值，而是通过Fast-HessianDetector来求出极值。Fast-Hessian Detector是将海森矩阵(Hessianmatrix)以矩形进行近似而得到的。

利用不同分辨率的海森矩阵求出矩阵式。此时，为了求出海森矩阵，通过利用积分图(Integral Image)，能够以4个点的像素的加减运算来处理所有大小的矩形的总和。

说明积分图。为了容易理解，在一维上进行说明。设定一维的图像如图27A那样地被保存。此时，按如下所述来作成积分图。某个像素i的积分图的像素值，如图27B所示，通过将从第1个像素到第(i-1)个像素为止的像素的像素值相加而得到的值，与第i个像素的像素值相加，来算出。第二个要素到第六个要素为止的和，成为积分图的第六个要素与第一个要素之差(图27C)。

这样，与SIFT不同，SURF不求DoG图像，因此其具有能够高速地进行处理这一特征。但是，SURF需要保存像素值的和(积分图)，因此需要很大的存储量。例如，设想作成在一维上排列有多个像素的图像的积分图的情况。如果1个像素的像素值为1个字节，则积分图的第二个要素需要2个字节，第三个要素需要3个字节。这样，与像素的数量相应地逐渐地所需要的存储器的容量会增大。设想兆像素图像，则第1G个要素需要1G字节的存储器容量。而且，若对全部的要素确保同样的做法，则需要1G字节＊1G个的存储量。因此，对兆像素图像适用SURF并不现实。

因此，作为存储量少且处理量也少的方法，以往存在专利文献2、专利文献3、专利文献4、非专利文献2。这些是从图像求出亮度的梯度，并根据该梯度来从识别用的图像(以下记述为识别图像)检测物体。

现有技术文献

专利文献

专利文献1：美国专利第6711293号说明书

专利文献2：(日本)特开2008-243175号公报

专利文献3：(日本)特开2008-250950号公报

专利文献4：(日本)特许第3606430号公报

非专利文献

非专利文献1：Herbert Bay，Tinne Tuytelaars and Luc Van Gool“SURF：Speeded up robust features″，ECCV 2006，pp404-417。

非专利文献2：平本  政夫、小川  貴弘、長谷山  美紀，“輝度こう配べクトルを用いた画像識別方法(利用了亮度梯度矢量的图像识别方法)”電子情報通信学会論文誌D，2006年6月1日(P1348-P1358)

发明概要

发明要解决的问题

以往的专利文献2的方法中，在提取特征量时，基于某一梯度的点(称为基点)选择在其近旁的支持点，选择最低需要的点数。通过从参考图像和识别图像选择梯度点，求出梯度点间的对应关系，以进行检测。但是，为了与旋转或尺度的变化对应，需要利用旋转后的参考图像或改变尺度后的参考图像，因此与任意的旋转或尺度的变化对应的情况下，需要很多处理量。

并且，在以往的专利文献3的方法中，通过将梯度的方向分为具有方向的和无方向的，从而进行参照的效率化。在检测中，通过梯度方向一致的像素数和梯度方向的模式符合度来进行判定。梯度方向的模式因旋转不同而不同。因此，即使在该方法中，也为了求出梯度方向的模式符合度而需要与旋转或尺度的变化对应的多个参考图像。

而且，以往的专利文献4的方法是在垂直方向以及水平方向分别求出亮度的梯度来作为亮度梯度矢量，并利用亮度梯度矢量的相似性来进行检测。此时，通过规定基准矢量，利用基于该矢量的相对的角度差以及距离的比例关系，来进行对旋转或尺度的变化具有稳定性的物体的检测。

并且，在非专利文献2中也同样地，利用亮度梯度矢量来进行检测处理。在非专利文献2中，定义了原点、到亮度梯度矢量为止的距离以及角度，并将表示从原点到亮度梯度矢量为止的距离和角度的矢量称为位置矢量。在检测中，利用保持了该距离和角度的位置矢量，以及作为朝向位置矢量的逆方向的矢量的投票矢量。在找到其在参考图像中与在识别图像中对应这样的亮度梯度矢量的情况下，向投票矢量所指示的位置进行投票。在找到正确的对应关系的情况下，投票数最大的为原点。

该方法也利用以原点为基准的相对角度和位置，因此对于旋转和尺度变化具有稳定性。但是，在专利文献4以及非专利文献2中，需要从参考图像和识别图像求出亮度梯度矢量的对应关系。在兆像素图像的情况下，亮度梯度矢量的数量变得庞大。例如，从参考图像算出M个、从识别图像算出N个亮度梯度矢量的情况下，全体的处理量是O(M＊N)。

发明内容

本发明用于解决上述以往的课题，目的在于提供即使对于像素数多的图像也能够高速地进行物体的识别的图像处理装置以及图像处理方法。

解决问题采用的手段

本发明的一个方面所涉及的图像处理装置确定搜索图像中的参考图像的位置。具体而言，该图像处理装置具备：存储部，将多个亮度梯度矢量Vr、多个位置矢量Rr以及多个投票矢量Ur互相对应起来进行存储，所述多个亮度梯度矢量Vr示出构成所述参考图像的多个像素间的亮度值的梯度，所述多个位置矢量Rr是从被设定在所述参考图像的平面内的原点朝向所述多个亮度梯度矢量Vr的每一个的始点位置的多个矢量，且该多个位置矢量Rr以第1二维坐标系来表示，所述多个投票矢量Ur是从所述多个亮度梯度矢量Vr的每一个的始点位置朝向所述原点的多个矢量，且该多个投票矢量Ur以将所述多个亮度梯度矢量Vr的每一个的方向作为基准轴的第2二维坐标系来表示；亮度梯度矢量算出部，算出多个亮度梯度矢量Vs，所述多个亮度梯度矢量Vs示出构成所述搜索图像的多个像素间的亮度值的梯度；以及位置确定部，通过根据由所述亮度梯度矢量算出部算出的所述多个亮度梯度矢量Vs，和在所述存储部中存储的所述多个位置矢量Rr以及所述多个投票矢量Ur，来确定所述搜索图像的平面上的与所述原点对应的位置，从而确定在所述搜索图像中的所述参考图像的位置。并且，所述位置确定部具备：采样部，通过从由所述亮度梯度矢量算出部算出的所述多个亮度梯度矢量Vs以及在所述存储部中存储的所述多个投票矢量Ur中的至少一方，抽取一部分矢量，从而提取作为处理对象的所述亮度梯度矢量Vs以及作为处理对象的所述投票矢量Ur；原点位置推定部，将被旋转而所述亮度梯度矢量Vs与所述基准轴成为一致的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置，并将所述投票矢量Ur的终点位置推定为候选点，所述候选点是所述搜索图像的平面上的与所述原点对应的位置；以及再验证部，将所述多个位置矢量Rr配置到由所述原点位置推定部推定的候选点的每一个，并将在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定。

通过上述构成，因为在从亮度梯度矢量Vs以及投票矢量Ur的至少一方进行抽取之后执行原点位置推定处理(投票)，因此能够削减处理量。并且，通过执行再验证处理，从而能够防止处理精度的降低。

也可以是，进一步，所述再验证部，针对由所述原点位置推定部推定的所述候选点的每一个算出旋转角，并将在以所述旋转角旋转后的所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定，所述旋转角是由在指示该候选点的所述投票矢量Ur的始点位置存在的所述亮度梯度矢量Vs和在所述存储部中与所述投票矢量Ur对应起来存储的所述亮度梯度矢量Vr来形成的角度。据此，能够实现对于搜索图像中的搜索物体的旋转具有稳定性的处理。

也可以是，进一步，所述再验证部，针对由所述原点位置推定部推定的所述候选点的每一个，算出在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs中的、与在所述存储部中与该位置矢量Rr对应起来存储的所述亮度梯度矢量Vr的大小实质上一致或方向实质上一致的所述亮度梯度矢量Vs的数量，并将所算出的所述亮度梯度矢量Vs最多的所述候选点作为与所述原点对应的位置来确定。

也可以是，所述位置确定部还具备特征量算出部，所述特征量算出部算出特征量，所述特征量是指定的像素的像素值与位于该指定的像素的周围的多个像素的像素值的平均值之间的差分值。并且，也可以是，所述再验证部，进一步，针对由所述原点位置推定部推定的所述候选点的每一个，算出所述多个位置矢量Rr的每一个的终点位置的像素中的、所述特征量与在所述参考图像中的对应的像素的所述特征量实质上一致的像素的数量，并将所算出的像素的数量最多的所述候选点作为与所述原点对应的位置来确定。

如上述各方面的再验证处理，不仅通过亮度梯度矢量Vs的有无，而且还通过验证其妥当性，能够进行精度更高的图像的识别。另外，“实质上一致”是指，例如，容许±10％程度的误差，优选为，容许±5％程度的误差。

并且，也可以是，所述原点位置推定部，仅将集中了预先规定的阈值以上的所述投票矢量的终点位置的位置，推定为所述候选点。据此，能够不降低处理精度而削减处理量。

也可以是，进一步，原点位置推定部，将放大或缩小为规定的倍率后的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置。据此，能够实现针对搜索图像中的搜索物体的放大或缩小具有稳定性的处理。

本发明的一个方面所涉及的图像处理方法，用于使图像处理装置确定搜索图像中的参考图像的位置，所述图像处理装置具备将多个亮度梯度矢量Vr、多个位置矢量Rr以及多个投票矢量Ur互相对应起来进行存储的存储部，所述多个亮度梯度矢量Vr示出构成所述参考图像的多个像素间的亮度值的梯度，所述多个位置矢量Rr是从被设定在所述参考图像的平面内的原点朝向所述多个亮度梯度矢量Vr的每一个的始点位置的多个矢量，且该多个位置矢量Rr以第1二维坐标系来表示，所述多个投票矢量Ur是从所述多个亮度梯度矢量Vr的每一个的始点位置朝向所述原点的多个矢量，且该多个投票矢量Ur以将所述多个亮度梯度矢量Vr的每一个的方向作为基准轴的第2二维坐标系来表示。具体而言，该图像处理方法包括：亮度梯度矢量算出步骤，算出多个亮度梯度矢量Vs，所述多个亮度梯度矢量Vs示出构成所述搜索图像的多个像素间的亮度值的梯度；以及位置确定步骤，通过根据在所述亮度梯度矢量算出步骤算出的所述多个亮度梯度矢量Vs，和在所述存储部中存储的所述多个位置矢量Rr以及所述多个投票矢量Ur，来确定所述搜索图像的平面上的与所述原点对应的位置，从而确定在所述搜索图像中的所述参考图像的位置。并且，所述位置确定步骤包括：采样步骤，通过从在所述亮度梯度矢量算出步骤算出的所述多个亮度梯度矢量Vs以及在所述存储部中存储的所述多个投票矢量Ur中的至少一方，抽取一部分矢量，从而提取作为处理对象的所述亮度梯度矢量Vs以及作为处理对象的所述投票矢量Ur；原点位置推定步骤，将被旋转而所述亮度梯度矢量Vs与所述基准轴成为一致的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置，并将所述投票矢量Ur的终点位置推定为候选点，所述候选点是所述搜索图像的平面上的与所述原点对应的位置；以及再验证步骤，将所述多个位置矢量Rr配置到在所述原点位置推定步骤推定的候选点的每一个，并将在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定。

本发明的一个方面所涉及的程序，用于使计算机确定搜索图像中的参考图像的位置，所述计算机具备将多个亮度梯度矢量Vr、多个位置矢量Rr以及多个投票矢量Ur互相对应起来进行存储的存储部，所述多个亮度梯度矢量Vr示出构成所述参考图像的多个像素间的亮度值的梯度，所述多个位置矢量Rr是从被设定在所述参考图像的平面内的原点朝向所述多个亮度梯度矢量Vr的每一个的始点位置的多个矢量，且该多个位置矢量Rr以第1二维坐标系来表示，所述多个投票矢量Ur是从所述多个亮度梯度矢量Vr的每一个的始点位置朝向所述原点的多个矢量，且该多个投票矢量Ur以将所述多个亮度梯度矢量Vr的每一个的方向作为基准轴的第2二维坐标系来表示。具体而言，该程序使计算机执行以下步骤：亮度梯度矢量算出步骤，算出多个亮度梯度矢量Vs，所述多个亮度梯度矢量Vs示出构成所述搜索图像的多个像素间的亮度值的梯度；以及位置确定步骤，通过根据在所述亮度梯度矢量算出步骤算出的所述多个亮度梯度矢量Vs，和在所述存储部中存储的所述多个位置矢量Rr以及所述多个投票矢量Ur，来确定所述搜索图像的平面上的与所述原点对应的位置，从而确定在所述搜索图像中的所述参考图像的位置。并且，所述位置确定步骤使计算机执行以下步骤：采样步骤，通过从在所述亮度梯度矢量算出步骤算出的所述多个亮度梯度矢量Vs以及在所述存储部中存储的所述多个投票矢量Ur中的至少一方，抽取一部分矢量，从而提取作为处理对象的所述亮度梯度矢量Vs以及作为处理对象的所述投票矢量Ur；原点位置推定步骤，将被旋转而所述亮度梯度矢量Vs与所述基准轴成为一致的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置，并将所述投票矢量Ur的终点位置推定为候选点，所述候选点是所述搜索图像的平面上的与所述原点对应的位置；以及再验证步骤，将所述多个位置矢量Rr配置到在所述原点位置推定步骤推定的候选点的每一个，并将在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定。

本发明的一个方面所涉及的集成电路，被装配到图像处理装置并用于确定搜索图像中的参考图像的位置，所述图像处理装置具备将多个亮度梯度矢量Vr、多个位置矢量Rr以及多个投票矢量Ur互相对应起来进行存储的存储部，所述多个亮度梯度矢量Vr示出构成所述参考图像的多个像素间的亮度值的梯度，所述多个位置矢量Rr是从被设定在所述参考图像的平面内的原点朝向所述多个亮度梯度矢量Vr的每一个的始点位置的多个矢量，且该多个位置矢量Rr以第1二维坐标系来表示，所述多个投票矢量Ur是从所述多个亮度梯度矢量Vr的每一个的始点位置朝向所述原点的多个矢量，且该多个投票矢量Ur以将所述多个亮度梯度矢量Vr的每一个的方向作为基准轴的第2二维坐标系来表示。具体而言，该集成电路具备：亮度梯度矢量算出部，算出多个亮度梯度矢量Vs，所述多个亮度梯度矢量Vs示出构成所述搜索图像的多个像素间的亮度值的梯度；以及位置确定部，通过根据由所述亮度梯度矢量算出部算出的所述多个亮度梯度矢量Vs，和在所述存储部中存储的所述多个位置矢量Rr以及所述多个投票矢量Ur，来确定所述搜索图像的平面上的与所述原点对应的位置，从而确定在所述搜索图像中的所述参考图像的位置。并且，所述位置确定部具备：采样部，通过从由所述亮度梯度矢量算出部算出的所述多个亮度梯度矢量Vs以及在所述存储部中存储的所述多个投票矢量Ur中的至少一方，抽取一部分矢量，从而提取作为处理对象的所述亮度梯度矢量Vs以及作为处理对象的所述投票矢量Ur；原点位置推定部，将被旋转而所述亮度梯度矢量Vs与所述基准轴成为一致的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置，并将所述投票矢量Ur的终点位置推定为候选点，所述候选点是所述搜索图像的平面上的与所述原点对应的位置；以及再验证部，将所述多个位置矢量Rr配置到由所述原点位置推定部推定的候选点的每一个，并将在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定。

发明效果

根据本发明，能够得到针对像素数多的图像也能够高速地进行物体的识别的图像处理装置以及图像处理方法。

附图说明

图1是本发明的实施例1所涉及的摄像装置的框图。

图2是图1的图像处理部的框图。

图3是示出参考图像的一个例子的图。

图4是示出搜索图像的一个例子的图。

图5是示出参考图像数据作成处理的流程图。

图6是示出亮度梯度矢量Vr的一个例子的图。

图7是示出位置矢量Rr的一个例子的图。

图8是示出投票矢量Ur的一个例子的图。

图9是示出统一了基准轴的方向的状态的投票矢量Ur的图。

图10是示出统一了原点O′的状态的投票矢量Ur的图。

图11是示出基于投票方式的图像识别的概念的图。

图12是示出搜索图像中的参考图像的位置的确定处理的流程图。

图13是示出亮度梯度矢量Vs的一个例子的图。

图14是示出采样处理的结果的一个例子的图。

图15是示出投票处理的结果的一个例子的图。

图16是示出再验证处理的结果的一个例子的图。

图17A是示出放大了搜索图像中的搜索物体的情况下的处理结果的一个例子的图。

图17B是示出图17A的情况下的候选点的分布的图。

图18A是示出缩小了搜索图像中的搜索物体的情况下的处理结果的一个例子的图。

图18B是示出图18A的情况下的候选点的分布的图。

图19是使搜索物体旋转了的情况下的与图13对应的图。

图20是使搜索物体旋转了的情况下的与图14对应的图。

图21是使搜索物体旋转了的情况下的与图15对应的图。

图22是使搜索物体旋转了的情况下的与图16对应的图。

图23A是示出使搜索物体旋转了40°的情况下的处理结果的一个例子的图。

图23B是示出图23A的情况下的候选点的分布的图。

图24A是示出使搜索物体旋转了80°的情况下的处理结果的一个例子的图。

图24B是示出图24A的情况下的候选点的分布的图。

图25是示出不受旋转方向的影响的特征量的一个例子的图。

图26是示出不受放大或缩小的影响的特征量的一个例子的图。

图27A是用于说明积分图的图，是一维图像的像素值的例子。

图27B是将从第1个像素到第(i-1)个像素为止的像素的像素值相加而得到的值，与第i个像素的像素值相加后的图。

图27C是示出第2个要素到第6个要素为止的和是积分图的第6个要素与第1个要素之差的图。

具体实施方式

以下，参照附图说明本发明的实施例。

(实施例1)

在本实施例中，叙述这样一种图像处理装置以及图像处理方法，其能够进行处理量少且对旋转、放大或缩小具有稳定性的物体的识别。

参照图1以及图2，说明本发明的实施例1所涉及的摄像装置10。图1是摄像装置10全体的框图。图2是图像处理部210的框图。

如图1中的示例，本实施例1所涉及的摄像装置10具备：摄像部100；信号处理部200，进行各种信号处理；显示部300，显示由摄像部100取得的图像；记录部400，记录图像数据；系统控制部500，控制各部。

摄像部100具备光学透镜110和摄像元件120。光学透镜110在光轴方向上移动来调整焦点位置或放大率等。摄像元件120对透过光学透镜110的光进行光电转换，并向信号处理部200输出搜索图像数据。典型地，摄像元件120能够实现CCD(Charge Coupled Device：电荷耦合器件)等。

信号处理部200具备图像处理部210、存储器220、IF(InterFace：接口)230。图像处理部210进行确定从摄像部100取得的搜索图像中的参考图像的位置的处理。存储器220是将由图像处理部210进行处理并在显示部300进行显示的图像数据暂时进行存储的存储区域。IF230进行与记录部400之间的数据的输入输出。

显示部300显示由图像处理部210处理后的图像数据。显示部300的具体的构成不特别限定，例如，能够采用液晶显示器、等离子显示器、或有机EL(Electro Luminescence：电致发光)显示器等。

记录部400存储由信号处理部200处理后的图像数据以及其他的数据。记录部400的具体的构成不作特别的限定，例如，能够采用DRAM(Dynamic random access memory：动态随机访问存储器)、SDRAM(Synchronous Dynamis Random Access Memory：同步动态随机存取存储器)、闪存或HDD(Hard Disc Drive：硬盘驱动器)等能够存储数据的所有的存储介质。后述的存储部211也同样。

系统控制部500控制摄像装置10的各构成要素。系统控制部500，例如可以是以读出程序并执行的CPU(Central Processing Unit)来实现，也可以是以集成电路来实现。

在本实施例1的图像处理装置与公知的图像处理装置不同之处主要是图像处理部210的动作。因此，在以下的说明中，主要是详细地说明图像处理部210。

图像处理部210，如图2所示，具备存储部211、亮度梯度矢量算出部212以及位置确定部213。

存储部211将基于参考图像生成的多个亮度梯度矢量Vr、多个位置矢量Rr以及多个投票矢量Ur互相对应起来进行存储。亮度梯度矢量Vr是示出构成参考图像的多个像素间的亮度值的梯度的矢量。位置矢量Rr，是从被设定在参考图像的平面内的原点朝向多个亮度梯度矢量Vr的始点位置的矢量。投票矢量Ur是从亮度梯度矢量Vr的始点位置朝向原点的矢量。

在此，如果在图中示出对应的位置矢量Rr和投票矢量Ur，则其绝对值相同而方向相反。但是，位置矢量Rr是以第1二维坐标系来表示的矢量，投票矢量Ur是对应的以亮度梯度矢量Vr的方向为基准轴的第2二维坐标系(与第1二维坐标系统不同)来表示的矢量。

亮度梯度矢量算出部212，算出示出构成搜索图像的多个像素间的亮度值的梯度的多个亮度梯度矢量Vs。另外，亮度梯度矢量Vr、Vs的算出方法相同，之后进行叙述。

位置确定部213，通过根据由亮度梯度矢量算出部212算出的多个亮度梯度矢量Vs和在存储部211中存储的多个位置矢量Rr以及多个投票矢量Ur，来确定搜索图像的平面上的与原点对应的位置，从而确定搜索图像中的参考图像的位置。更具体而言，位置确定部213具备采样部214、原点位置推定部215和再验证部216。

采样部214，通过从由亮度梯度矢量算出部212算出的多个亮度梯度矢量Vs、以及在存储部211存储的多个投票矢量Ur中的至少一方，抽取(間引く)一部分矢量，从而提取作为处理对象的亮度梯度矢量Vs以及作为处理对象的投票矢量Ur。采样的方法的典型例子是随机采样。并且，在以下的例子中，说明抽取多个亮度梯度矢量Vs中的一部分的例子。

原点位置推定部215，将被旋转而亮度梯度矢量Vs与基准轴成为一致的作为处理对象的投票矢量Ur，配置到作为处理对象的亮度梯度矢量Vs的每一个的始点位置，并将投票矢量Ur的终点位置推定为候选点，该候选点是搜索图像的平面上的与原点对应的位置。

再验证部216，将多个位置矢量Rr，配置到由原点推定部215推定的候选点的每一个，并将在多个位置矢量Rr的每一个的终点位置存在的亮度梯度矢量Vs最多的候选点，确定为与原点对应的位置。

参照图3～图16，说明图像处理部210的动作。首先，图3是示出参考图像的一个例子的图。图4是示出搜索图像的一个例子的图。

在本实施例1中，进行基于亮度梯度矢量的图像的识别。所谓基于亮度梯度矢量的图像的识别，是指利用参考图像的亮度梯度矢量与搜索图像的亮度梯度矢量之间的关联性来从搜索图像中搜索与参考图像一致的图像的处理。

在基于亮度梯度矢量的图像的识别中，将图像数据变换为亮度梯度矢量数据群。并且，从该亮度梯度矢量数据群求出辨别用数据。辨别用数据是从各亮度梯度矢量数据的位置朝向被设定在任意的位置的原点的投票矢量。之后，求出搜索图像的亮度梯度矢量，并在搜索图像中，通过利用投票矢量进行投票来进行物体的识别。

首先，参照图5～图10，说明从图3所示的参考图像求出包括亮度梯度矢量数据Vr、位置矢量Rr以及投票矢量Ur的参考图像数据的参考图像数据作成处理。图5是示出参考图像数据作成处理的流程图。图6～图10是参考图像数据作成处理的各步骤中的各种矢量的示意图。

叙述参考图像数据生成处理。所谓参考图像是，如图3所示，将欲寻找的物体(搜索物体)拍得很大的图像。并且，也可以是仅拍摄有搜索物体的图像。在识别处理中，是在搜索图像中调查搜索物体存在的地方。

首先，算出参考图像的亮度梯度矢量Vri(i＝1～4)(S11)。

对参考图像进行平滑化。据此，能够减少噪声。其结果，后述的亮度梯度(也称为边缘)的提取处理中，能够除去无用的亮度梯度成分。在式1示出平滑化滤波器的例子。

[算式1]

$f(x,y)=e^{-\frac{(x^2+y^2)}{{2\mathrm{\σ}}^2}}$ (式1)

在此，作为平滑化滤波器，对构成参考图像的各像素，实施如式1所示的高斯滤波。例如从式1作成3×3的高斯核。但是并不限定于此，也可以是平均值滤波器。此时，平均值滤波器具有计算量少的效果。

然后，进行参考图像的亮度梯度的提取。分别在x方向以及y方向进行亮度梯度的提取。有关亮度梯度提取算子，例如利用Sobel算子，来进行提取就可以。

以下叙述亮度梯度检测算子的一个例子。存在各种各样的亮度梯度检测算子，在此作为一个例子说明一般用于提取亮度梯度的Sobel算子。也可以是prewitt滤波器或相邻的像素值的差分滤波器等其他方法。在式2以及式3示出Sobel滤波器的例子。

[算式2]

$\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)$ (式2)

[算式3]

$\left(\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right)$ (式3)

式2是提取参考图像的x方向的亮度梯度的滤波器。而式3是，通过将作为提取参考图像的y方向的亮度梯度的滤波器的这些滤波器的每一个，适用于参考图像的各像素值，从而能够获得亮度梯度矢量的x方向的数据群和y方向的数据群。在图6示出从在图3示出的参考图像算出的亮度梯度矢量Vr1～Vr4的例子。

然后，算出与各亮度梯度矢量Vri(i＝1～4)对应的位置矢量Rri(S12)。另外，亮度梯度矢量Vri以及位置矢量Rri都是以将原点O作为为中心的x-y坐标系来表示的矢量。

叙述位置矢量的算出方法。距离矢量Rri是从被设定在参考图像的x-y平面上的原点O朝向各亮度梯度矢量Vri的始点位置延伸的矢量。

在图7示出亮度梯度矢量Vri和位置矢量Rri之间的关系。如图7所示，从在参考图像上定义的原点O(例如，参考图像的中心坐标)拉出位置矢量Rri，再从此处拉出亮度梯度矢量Vri。

利用这些信息作成作为识别用数据的投票矢量Uri(S13)。投票矢量Uri例如通过式4以及式5来作成。另外，在此，说明了将式4以及式5用于参考图像数据的生成的例子，但是这些式子也能够利用于识别用数据的生成。因此，在式4以及式5中，将亮度梯度矢量Vri一般化地表示为Vi，将位置矢量Rri一般化地表示为Ri，将投票矢量Uri一般化地表示为Ui。

[算式4]

${\mathrm{\θ}}_i={\cos }^{-1}\left(\frac{\mathrm{Vi}\·(-\mathrm{Ri})}{\left|\mathrm{Vi}\right|\left|\mathrm{Ri}\right|}\right)$ (式4)

[算式5]

Ui＝(|Ri|cosθi，|Ri|sinθi)                      (式5)

投票矢量Uri，如图8所示，是从各亮度梯度矢量Vri的始点位置朝向原点O延伸的矢量。并且，投票矢量Uri，通过以将各亮度梯度矢量Vri的始点位置的坐标作为原点、将该方向作为水平基准轴(x′轴)的二维坐标系(x′-y′坐标系)来表示。其特征是，投票矢量Uri所指示的位置(投票矢量Uri的终点位置)全部与原点O一致。

在此，使投票矢量Ur₁～Ur₄旋转以使x′轴朝向亮度梯度矢量Vr₁的方向，则成为如图9所示的状态。而且，通过将如图9所示的投票矢量Ur₁～Ur₄重叠，以使原点O′的位置一致，则成为图10所示的状态。也就是说，能够将投票矢量Ur₁～Ur₄作为从x′-y′坐标系的原点O′放射状延伸的矢量来表示。

并且，通过以上的处理而生成的亮度梯度矢量Vri、位置矢量Rri以及投票矢量Uri，以互相对应起来的状态被存储在存储部211中(S14)。据此，有关参考图像，已准备好用于识别的数据。另外，上述的处理，可以由取得了参考图像的图像处理部210来进行，也可以将由外部装置算出的亮度梯度矢量Vri、位置矢量Rri以及投票矢量Uri保存在存储部211中。

其次，叙述识别的原理。首先，讨论以往的非专利文献2的方法和课题，之后叙述本发明的方法。

首先，准备作为识别对象的图像(搜索图像)的亮度梯度矢量Vsi和位置矢量Rsi(i是1～n；n是矢量数)，以及参考图像的亮度梯度矢量Vrj以及投票矢量Urj(j是1～m；m是矢量数)。在本方法中，如图11所示，因为对于搜索图像基于参考图像的识别数据进行投票，因此需要投票用的空间。实际上，考虑的是二维空间，是比进行比较的两个图像的大小大的平面(以下，投票平面)。

在投票平面上设定原点，并配置搜索图像的亮度梯度矢量Vsi和位置矢量Rsi。然后，对搜索图像的亮度梯度矢量Vsi和参考图像的亮度梯度矢量Vrj，全部进行比较。在以往的非专利文献2中，在搜索图像的亮度梯度矢量Vsi以及参考图像的亮度梯度矢量Vrj的绝对值相等的情况下，在投票平面中，在位置矢量Rsi所指示的位置配置投票矢量Urj，对投票矢量Urj所指示的位置投一票。如果参考图像和搜索图像相等，则得票最多点是原点，该得票数是n。因此，在该值比被决定的阈值大的情况下，判定为在搜索图像中存在搜索物体(参考图像)。

但是，在兆像素图像中，搜索图像的亮度梯度矢量Vsi的数量多，搜索对应点的计算量也多。因此，在本实施例1中，说明通过进行如下所述的亮度梯度矢量Vsi的采样和投票结果的再验证，来减轻处理负荷的方法。

参照图12～图16，说明本实施例1所涉及的搜索图像内的参考图像的位置确定处理。图12是位置确定处理的流程图。图13～图16是示出位置确定处理的各步骤的矢量的示意图。

首先，算出搜索图像的亮度梯度矢量Vsi(i＝1～10)。亮度梯度矢量Vsi的算出方法，因为与上述的亮度梯度矢量Vri的算出方法相同，因此省略其说明。在图13示出从如图4所示的搜索图像算出的亮度梯度矢量Vr1～Vr10。

然后，对搜索图像的亮度梯度矢量Vsi进行随机采样(S22)。据此，因为能够削减无用的数据的投票，因此能够同时削减噪声和计算量。在此，如图14所示，设定亮度梯度矢量Vs₃、Vs₅、Vs₆被抽取，作为处理对象被提取的是亮度梯度矢量Vs₁～Vs₃、Vs₇～Vs₁₀。

另外，能够任意地设定采样级别。一般而言，采样级别越低，处理量越少，识别精度越低。但是，通过进行后述的再验证处理，能够抑制识别精度的降低，例如即使将采样级别设定到25％以下，也能够得到充分的识别精度。

并且，对被采样的亮度梯度矢量Vsi的每一个，利用所有的投票矢量Urj来进行投票(S13)。具体而言，将使其旋转而使图10的x′轴与各亮度梯度矢量Vsi的方向一致的投票矢量Ur₁～Ur₄，配置到搜索图像上，以使各投票矢量Ur₁～Ur₄的始点位置与原点O′一致。在图15示出此时的状态。

在图15中，各投票矢量Ur₁～Ur₄的终点位置，成为与搜索图像中的原点O对应的位置的候选点。在此，也可以将各投票矢量Ur₁～Ur₄所指示的所有的位置设定为候选点，但是从减轻处理量的观点，也可以除去仅由一个投票矢量Uri指示的点(孤立点)，而仅将集中了规定的阈值(例如，2个)以上的投票矢量Uri的终点的点作为候选点。在图15的例子中，提取三个投票矢量Ur₁、Ur₂、Ur₃所指示的候选点O₁和两个投票矢量Ur₁、Ur₄所指示的候选点O₂。

具体而言，也可以是，以下述方法来除去孤立点。孤立点是被投票在该点的近旁的点比阈值少的点。因此，通过测量在某一点的近旁被投票的点有几个点，来判定孤立点。在式6示出判定式。

[算式6]

$c=\underset{p\∈P}{\mathrm{\Σ}}f\left(p\right)$ $\left\{\begin{array}{cc}f\left(p\right)=1& :\mathrm{if}(p>0)\\ f\left(p\right)=0& :\mathrm{otherwise}\end{array}\right.$ (式6)

式6的P是判定孤立点的点的近旁点的集合，p是近旁点。并且，f(p)是近旁点p被投票则为1，若不是则为0的函数，利用f(p)，来判定在点p是否存在投票点。

对上述内容进行总结则为：在被随机采样的亮度梯度矢量Vsi与参考图像的亮度梯度矢量Vrj中的一个对应这样的假说的前提下进行投票。如果假说正确，则能够在投票平面的原点O形成投票点的集合。并且，如果不存在与之对应的，则这些之间没有关联性，不形成集合。因此，在投票平面中，出现投票数多的点(候选点)。因此能够考虑为：进行随机采样，进行投票，在投票平面中，将取得了一定以上的得分的点作为原点的候选。

但是，因为在此得到的候选是基于通过随机采样而得到的结果，因此该投票结果中包含噪声成分。因此，投票平面的分布具有分散变大的倾向。因此，在本实施例1中，通过再验证该数据群，从而达成再验证被投票的数据群(S24)。

利用m(m＝1～4)个位置矢量Rri(逆投票矢量)来从投票点(候选点O₁、O₂)进行逆投票。在正确的投票点的情况下，位置矢量Rri所指示的终点位置中应会存在合计m个亮度梯度矢量Vsi。相反，在错误的投票点，在位置矢量Rri的终点位置存在的亮度梯度矢量Vsi少。据此，能够定义最大值成为m的“相似度”。通过利用该相似度来评价各候选点，从而能够从多个候选点中确定正确的原点O的位置。

具体而言，如图16所示，将在图7示出的位置矢量Rr1～Rr4配置到搜索图像上，以使各候选点O₁、O₂与原点O一致。并且，判定在各位置矢量Rr₁～Rr₄的终点位置是否存在亮度梯度矢量Vsi。另外，在再验证处理中，将在采样处理(S22)中抽取的亮度梯度矢量Vr₃、Vr₅、Vr₆也作为处理对象。

在图16的例子中，在从候选点O1延伸的位置矢量Rr₁～Rr₄所指示的目标方中，存在四个亮度梯度矢量Vr₁～Vr₄。也就是说，候选点O₁的相似度为4。而在从候选点O₂延伸的位置矢量Rr₁～Rr₄所指示的目标方中，存在两个亮度梯度矢量Vr₉、Vr₁₀。也就是说，候选点O₂的相似度成为2。并且，再验证部216，从多个候选点O₁、O₂中，将相似度最大的候选点O₁作为与原点O对应的位置来确定。也就是说，可知：搜索图像中的包括候选点O₁的区域中，存在与在图3示出的参考图像实质上相同的图像。

通过以上的方法，因为能够通过随机采样而削减在图像的识别中利用的亮度梯度矢量Vsi的数量，因此能够削减求出矢量的对应关系的处理。具体而言，在参考图像的亮度梯度矢量Vri的数量是M个而识别图像的亮度梯度矢量Vsi的数量是N个的情况下，以往的处理量是O(M＊N)，但是本发明的处理量成为O(M＊N/m)。在此，1/m示出搜索图像的亮度梯度矢量Vsi的采样级别。

但是，如以往的非专利文献2，在旋转、放大或缩小等几何学的变换时，如果内插像素值，则搜索图像的亮度梯度矢量Vsi以及参考图像的亮度梯度矢量Vrj的绝对值不会相等，因此存在难以找到对应关系这样的课题。

因此，为了与放大或缩小对应，因此在图12的S23中，改变投票矢量Urj的倍率来投票(例如，通过使其为0.7～1.3倍，从而能够在搜索图像中的搜索物体与参考图像的大小的不同在0.7～1.3倍的范围的情况下也能够对应)。

更具体而言，在图12的S23中，将倍率为1倍的投票矢量Urj、倍率为0.7倍的投票矢量Urj以及倍率为1.3倍的投票矢量Urj，配置到处理对象的各亮度梯度矢量Vsi的位置。并且，将集中了规定的阈值以上的同一倍率的投票矢量Urj的点，作为候选点。而且，在图12的S24中，以与指示候选点的投票矢量Urj相同的倍率，放大或缩小配置到各候选点上的位置矢量Rrj。

在此，倍率的幅度越小，则对于放大或缩小的稳定性越高，处理量增大。因此，最好是，通过与倍率的幅度的变小对应地，增大采样处理中的采样级别或孤立点除去处理中的阈值，来抑制处理量的增加。

图17A、图17B、图18A以及图18B是示出在搜索图像中的搜索物体与参考图像的倍率不同的情况下的处理结果的图。如图17A所示，如果将搜索图像中的搜索物体放大为参考图像的130％，则如图17B所示，候选点集中在中心附近。而如图18A所示，如果将搜索图像中的搜索物体缩小为参考图像的70％，则如图18B所示，候选点分散。这是因为缩小图像时像素的一部分被抽取而造成的误差。

但是，确认到了这样的效果，即：如图17A～图18B所示，即使在被放大或缩小的情况下，在所意图的位置投票点的数量也变多，对于放大或缩小具有稳定性。

并且，在搜索图像中的搜索物体相对于参考图像旋转的情况下，在投票点的再验证中，需要推定参考图像与投票图像中的搜索物体的角度差。

利用图19～图22来说明参考图像与搜索图像中的搜索物体的角度差的推定。另外，图19～图22，是分别与图13～图16对应的图，不同之处在于搜索图像中的搜索物体相对于参考图像顺时针旋转了θ。也就是说，图19～图22的亮度梯度矢量Vs₁′～Vs₄′，是分别将图13～图16的亮度梯度矢量Vs₁～Vs₄顺时针旋转了θ的矢量。

即使在搜索图像中的搜索物体相对于参考图像旋转的情况下，也能够同样地执行图12的S21～S23的处理。但是，在结束了S23之后，需要执行以下所示的角度差推定处理。

具体而言，如图21所示，分别算出在指示候选点O1的投票矢量Ur₁、Ur₂、Ur₄的始点位置存在的亮度梯度矢量Vs₁′、Vs₂′、Vs₄′，与投票矢量Ur₁、Ur₂、Ur₄所对应的存储部211中存储的亮度梯度矢量Vs₁、Vs₂、Vs₄，所形成的角度。

对应的亮度梯度矢量Vri、Vsi形成的角度能够按式7来求出。

[算式7]

$\mathrm{\θ}={\cos }^{-1}\left(\frac{\mathrm{Vri}\·\mathrm{Vsi}}{\left|\mathrm{Vri}\right|\left|\mathrm{Vsi}\right|}\right)$ (式7)

据此，能够针对一组亮度梯度矢量Vri、Vsi求出参考图像与搜索图像中的搜索物体的角度差。而且，对于在所有的投票矢量Uri的始点位置存在的亮度梯度矢量Vri、Vsi，以上述方法求出角度差。并且，例如，将角度差的众数，设定为参考图像(参考图像中的对象物体)与搜索图像之间的角度差θ。

接着，说明相似度的算出。通过在上述的考虑了识别物体的旋转的位置矢量Rri′所指示的终点位置是否存在亮度梯度矢量Vsi来求出相似度。也就是说，利用将如图7所示的位置矢量Rr1～Rr4旋转了角度差θ而得到的位置矢量Rr₁′～Rr₄′，来执行再验证处理。因为考虑了旋转，所以位置矢量Rr₁′～Rr₄′如式8所示。

[算式8]

(Rix×cos(θ)+Riy×sin(θ)，-Rix×sin(θ)+Riy×cos(θ))            (式8)

在此，Rix是位置矢量Rri的x成分，Riy是位置矢量Rri的y成分。将其称为旋转逆投票矢量。利用m个旋转逆投票矢量来从投票点进行逆投票。在正确的投票点的情况下，在旋转逆投票矢量所指示的终点位置应会存在合计m个亮度梯度矢量Vsi。相反，在错误的投票点，在逆投票的位置存在的亮度梯度矢量Vsi少。通过考虑旋转来算出相似度，能够进行对识别物体的几何学的变化具有稳定性的识别。

图23A、图23B、图24A以及图24B是示出搜索图像中的搜索物体与参考图像的角度不同的情况下的处理结果的图。如图23A所示，将搜索图像中的搜索物体相对于参考图像旋转40°，则如图23B所示，候选点集中在中心附近。而如图24A所示，将搜索图像中的搜索物体相对于参考图像旋转80°，则如图24B所示，候选点分散。也就是说，旋转角越大，则检测精度会降低一些。但是，确认到了这样的效果，即：如图23A～图24B所示，即使在存在旋转的情况下，在所意图的位置投票点数也变多，对于旋转具有稳定性。

(实施例2)

在本实施例2中所利用的图像处理装置的构成，因为与实施例1相同，因此省略详细的说明。

实施例2所涉及的再验证部216，还针对由原点位置推定部215推定的候选点的每一个，算出在多个位置矢量Rr的每一个的终点位置存在的亮度梯度矢量Vs中的、与在存储部211中存储的与该位置矢量Rr对应的亮度梯度矢量Vr的大小实质上一致或者方向实质上一致的亮度梯度矢量Vs的数量，并将所算出的亮度梯度矢量Vs最多的候选点作为与原点对应的位置来确定。

或者，实施例2所涉及的位置确定部213还具备特征量算出部(省略图示)，该特征量算出部算出特征量，该特征量是指定的像素的像素值与位于该指定的像素的周围的多个像素的像素值的平均值之间的差分值。并且，再验证部216，进一步，针对由原点位置推定部215推定的候选点的每一个，算出在多个位置矢量Rr的每一个的终点位置的像素中的、特征量与参考图像中的对应的像素的特征量实质上一致的像素的数量，并将所算出的像素的数量最多的候选点作为与原点对应的位置来确定。

在实施例1叙述的图像的识别中，针对随机采样的亮度梯度矢量Vsi进行投票，并对该投票结果进行逆投票的结果，如果在该处存在亮度梯度矢量Vsi，则将相似度的计数增加1。

实施例2中，设置对进行了逆投票的位置存在的亮度梯度矢量Vsi的确定性进行评价的基准。据此，不仅是通过存在亮度梯度矢量Vsi这一点，而且通过对错误的亮度梯度矢量Vsi不进行相似度的计数，从而能够更加提高精度。

以下，进行详细的说明。

如实施例1所述，能够通过旋转投票矢量来再验证投票的结果。此处存在的亮度梯度矢量，在参考图像中与在搜索图像中其强度并非完全一致。但是，并不是选择要识别的物体中的完全不同的地方，因此保持一定的相似性。在此，对亮度梯度矢量Vsi、Vri的绝对值设定一定的范围，从而仅在绝对值的相似性高的情况下，作为相似度来进行计数。也就是说，在实施例1中，如果通过旋转逆投票矢量找到亮度梯度矢量Vsi则对相似度进行计数，但是在本实施例2中，在搜索图像的亮度梯度矢量Vsi在参考图像的亮度梯度矢量Vri的绝对值的N％(例如，5％)以内的情况下，视作其相似度高而进行计数。

据此，不仅是通过亮度梯度矢量Vsi的存在，而且利用该绝对值的相似性，对不可能存在的对应不进行计数，因此不易受到噪声成分的影响，能够进行精度高的物体的识别。

并且，在再验证的情况下，通过导入以下所述的几何学的性质，从而能够进行再投票的结果的评价。如果仅仅是旋转的变化或者仅仅是放大或缩小的变化，则存在下述性质。

如果出现旋转的变化，则参考图像与搜索图像，用于求出亮度梯度矢量Vri、Vsi的像素对不同。通常，通过水平方向的像素对的差分、垂直方向的像素对的差分来求出亮度梯度矢量，但是因为如果旋转，则水平、垂直方向的基准改变而梯度的方向性变得不同。因此，通过利用去掉梯度的方向性的特征量，从而提高进行了逆投票的结果的可靠性。作为去掉方向性的特征量，考虑如图25所示的特征量。

在此，示出将提取特征量的滤波器适用于眼睛的例子。该滤波器中将某一像素(x，y)与其近旁的像素(x-1，y-1)、(x，y-1)、(x+1，y-1)、(x-1，y)、(x+1，y)、(x-1，y+1)、(x，y+1)、(x+1，y+1)的平均值的差分作为特征量。这是对于旋转保持不变的特征量。因此，如果搜索图像中的搜索物体仅相对于参考图像而旋转，则在被逆投票的地方的亮度梯度矢量位置，该特征量一致。因此，通过仅对该一致的地方进行计数，能够更加提高精度。或者，即使不完全一致，如果误差在N％以内就进行计数，这样也可以。

并且，仅考虑放大或缩小的变化。此时，如图26(a)、26(b)所示，参考图像与搜索图像对应的点的亮度梯度矢量Vri、Vsi形成的角度，对于放大或缩小保持不变。因此，在被逆投票的位置，求出对应的亮度梯度矢量Vri、Vsi形成的角度。并且，通过仅对该角度实质上为0的位置(也就是说，亮度梯度矢量Vri、Vsi的方向实质上一致)进行计数，从而能够更加提高精度。或者，即使亮度梯度矢量Vri、Vsi的方向不完全一致，如果误差在N％以内，就进行计数就可以。

(其他变形例)

另外，本发明虽然基于上述实施例进行了说明，但是本发明并不限定于上述实施例。以下的情况也包括在本发明中。

上述各装置，具体而言，是由微处理器、ROM、RAM、硬盘单元、显示单元、键盘、鼠标等构成的计算机系统。RAM或者硬盘单元存储计算机程序。通过微处理器按照计算机程序动作而各装置达成其功能。在此，计算机程序是，为了达成规定的功能，而将多个示出对计算机的指令的命令代码进行组合而构成的。

并且，也可以是，上述构成各装置的构成要素的一部分或全部，由一个系统LSI(Large Scale Integration：大规模集成电路)来构成。系统LSI是在一个芯片上集成多个构成要素来制造的超多功能LSI，具体而言，是包括微处理器、ROM、RAM等而构成的计算机系统。RAM中存储有计算机程序。微处理器通过按照计算机程序动作，从而系统LSI达成其功能。

也可以是，构成上述各装置的构成要素的一部分或全部，由可装卸于各装置的IC卡或单体的模块来构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块也可以是包括上述超多功能LSI。通过微处理器按照计算机程序来动作，从而IC卡或模块达成其功能。也可以是，该IC卡或该模块具有抗篡改能力。

本发明也可以是如上所示的方法。并且，这些方法可以是由计算机实现的计算机程序，也可以是由计算机程序构成的数字信号。

并且，本发明，也可以是，将计算机程序或数字信号记录在计算机可读取的记录介质，例如，软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc：蓝光光盘)、半导体存储器等。并且，也可以是记录于这些记录介质的数字信号。

并且，本发明，也可以是，将计算机程序或数字信号，经由以电通信线路、无线或有线通信线路、互联网为代表的网络、数据广播等来传送。

并且，本发明也可以是具备微处理器和存储器的计算机系统，存储器中存储上述计算机程序，微处理器按照计算机程序来动作。

并且，也可以是，通过将程序或数据信号记录在记录介质中来进行传送，或者将程序或数字信号经由网络等来进行传送，从而由独立的其他计算机系统来实施。

也可以是，分别组合上述实施例以及上述变形例。

以上，参照附图说明了本发明的实施例，但是本发明并不限定于图中所示的实施例。也可以是，对于在图中示出的实施例，在与本发明同一范围内，或者与本发明等同的范围内，施加各种各样的修改或变形。

工业实用性

本发明对于数字相机或摄像机的物体识别AE(Auto Expose：自动曝光)、AF(Auto Focus：自动对焦)、多像素图像的阅览功能等有用。并且，能够应用于监视相机、可视门铃(door phone)等用途。

符号说明

10撮像装置

100撮像部

110光学透镜

120摄像元件

200信号处理部

210图像处理部

211存储部

212亮度梯度矢量算出部

213位置确定部

214采样部

215原点位置推定部

216再验证部

300显示部

400记录部

500系统控制部

Claims (8)

1.一种图像处理装置，确定搜索图像中的参考图像的位置，该图像处理装置具备：

存储部，将多个亮度梯度矢量Vr、多个位置矢量Rr以及多个投票矢量Ur互相对应起来进行存储，所述多个亮度梯度矢量Vr示出构成所述参考图像的多个像素间的亮度值的梯度，所述多个位置矢量Rr是从被设定在所述参考图像的平面内的原点朝向所述多个亮度梯度矢量Vr的每一个的始点位置的多个矢量，且该多个位置矢量Rr以第1二维坐标系来表示，所述多个投票矢量Ur是从所述多个亮度梯度矢量Vr的每一个的始点位置朝向所述原点的多个矢量，且该多个投票矢量Ur以将所述多个亮度梯度矢量Vr的每一个的方向作为基准轴的第2二维坐标系来表示；

亮度梯度矢量算出部，算出多个亮度梯度矢量Vs，所述多个亮度梯度矢量Vs示出构成所述搜索图像的多个像素间的亮度值的梯度；以及

位置确定部，通过根据由所述亮度梯度矢量算出部算出的所述多个亮度梯度矢量Vs，和在所述存储部中存储的所述多个位置矢量Rr以及所述多个投票矢量Ur，来确定所述搜索图像的平面上的与所述原点对应的位置，从而确定在所述搜索图像中的所述参考图像的位置，

所述位置确定部具备：

采样部，通过从由所述亮度梯度矢量算出部算出的所述多个亮度梯度矢量Vs以及在所述存储部中存储的所述多个投票矢量Ur中的至少一方，抽取一部分矢量，从而提取作为处理对象的所述亮度梯度矢量Vs以及作为处理对象的所述投票矢量Ur；

原点位置推定部，将被旋转而所述亮度梯度矢量Vs与所述基准轴成为一致的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置，并将所述投票矢量Ur的终点位置推定为候选点，所述候选点是所述搜索图像的平面上的与所述原点对应的位置；以及

再验证部，将所述多个位置矢量Rr配置到由所述原点位置推定部推定的候选点的每一个，并将在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定。

2.如权利要求1所述的图像处理装置，

所述再验证部，进一步，针对由所述原点位置推定部推定的所述候选点的每一个算出旋转角，并将在以所述旋转角旋转后的所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定，所述旋转角是由在指示该候选点的所述投票矢量Ur的始点位置存在的所述亮度梯度矢量Vs和在所述存储部中与所述投票矢量Ur对应起来存储的所述亮度梯度矢量Vr来形成的角度。

3.如权利要求1或2所述的图像处理装置，

所述再验证部，进一步，针对由所述原点位置推定部推定的所述候选点的每一个，算出在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs中的、与在所述存储部中与该位置矢量Rr对应起来存储的所述亮度梯度矢量Vr的大小实质上一致或方向实质上一致的所述亮度梯度矢量Vs的数量，并将所算出的所述亮度梯度矢量Vs最多的所述候选点作为与所述原点对应的位置来确定。

4.如权利要求1所述的图像处理装置，

所述位置确定部还具备特征量算出部，所述特征量算出部算出特征量，所述特征量是指定的像素的像素值与位于该指定的像素的周围的多个像素的像素值的平均值之间的差分值，

所述再验证部，进一步，针对由所述原点位置推定部推定的所述候选点的每一个，算出所述多个位置矢量Rr的每一个的终点位置的像素中的、所述特征量与在所述参考图像中的对应的像素的所述特征量实质上一致的像素的数量，并将所算出的像素的数量最多的所述候选点作为与所述原点对应的位置来确定。

5.如权利要求1所述的图像处理装置，

所述原点位置推定部，仅将集中了预先规定的阈值以上的所述投票矢量的终点位置的位置，推定为所述候选点。

6.如权利要求1所述的图像处理装置，

原点位置推定部，进一步，将放大或缩小为规定的倍率后的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置。

7.一种图像处理方法，用于使图像处理装置确定搜索图像中的参考图像的位置，所述图像处理装置具备将多个亮度梯度矢量Vr、多个位置矢量Rr以及多个投票矢量Ur互相对应起来进行存储的存储部，所述多个亮度梯度矢量Vr示出构成所述参考图像的多个像素间的亮度值的梯度，所述多个位置矢量Rr是从被设定在所述参考图像的平面内的原点朝向所述多个亮度梯度矢量Vr的每一个的始点位置的多个矢量，且该多个位置矢量Rr以第1二维坐标系来表示，所述多个投票矢量Ur是从所述多个亮度梯度矢量Vr的每一个的始点位置朝向所述原点的多个矢量，且该多个投票矢量Ur以将所述多个亮度梯度矢量Vr的每一个的方向作为基准轴的第2二维坐标系来表示，该图像处理方法包括：

亮度梯度矢量算出步骤，算出多个亮度梯度矢量Vs，所述多个亮度梯度矢量Vs示出构成所述搜索图像的多个像素间的亮度值的梯度；以及

位置确定步骤，通过根据在所述亮度梯度矢量算出步骤算出的所述多个亮度梯度矢量Vs，和在所述存储部中存储的所述多个位置矢量Rr以及所述多个投票矢量Ur，来确定所述搜索图像的平面上的与所述原点对应的位置，从而确定在所述搜索图像中的所述参考图像的位置，

所述位置确定步骤包括：

采样步骤，通过从在所述亮度梯度矢量算出步骤算出的所述多个亮度梯度矢量Vs以及在所述存储部中存储的所述多个投票矢量Ur中的至少一方，抽取一部分矢量，从而提取作为处理对象的所述亮度梯度矢量Vs以及作为处理对象的所述投票矢量Ur；

原点位置推定步骤，将被旋转而所述亮度梯度矢量Vs与所述基准轴成为一致的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置，并将所述投票矢量Ur的终点位置推定为候选点，所述候选点是所述搜索图像的平面上的与所述原点对应的位置；以及

再验证步骤，将所述多个位置矢量Rr配置到在所述原点位置推定步骤推定的候选点的每一个，并将在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定。

8.一种集成电路，被装配到图像处理装置并用于确定搜索图像中的参考图像的位置，所述图像处理装置具备将多个亮度梯度矢量Vr、多个位置矢量Rr以及多个投票矢量Ur互相对应起来进行存储的存储部，所述多个亮度梯度矢量Vr示出构成所述参考图像的多个像素间的亮度值的梯度，所述多个位置矢量Rr是从被设定在所述参考图像的平面内的原点朝向所述多个亮度梯度矢量Vr的每一个的始点位置的多个矢量，且该多个位置矢量Rr以第1二维坐标系来表示，所述多个投票矢量Ur是从所述多个亮度梯度矢量Vr的每一个的始点位置朝向所述原点的多个矢量，且该多个投票矢量Ur以将所述多个亮度梯度矢量Vr的每一个的方向作为基准轴的第2二维坐标系来表示，该集成电路具备：

亮度梯度矢量算出部，算出多个亮度梯度矢量Vs，所述多个亮度梯度矢量Vs示出构成所述搜索图像的多个像素间的亮度值的梯度；以及

位置确定部，通过根据由所述亮度梯度矢量算出部算出的所述多个亮度梯度矢量Vs，和在所述存储部中存储的所述多个位置矢量Rr以及所述多个投票矢量Ur，来确定所述搜索图像的平面上的与所述原点对应的位置，从而确定在所述搜索图像中的所述参考图像的位置，

所述位置确定部具备：

采样部，通过从由所述亮度梯度矢量算出部算出的所述多个亮度梯度矢量Vs以及在所述存储部中存储的所述多个投票矢量Ur中的至少一方，抽取一部分矢量，从而提取作为处理对象的所述亮度梯度矢量Vs以及作为处理对象的所述投票矢量Ur；

原点位置推定部，将被旋转而所述亮度梯度矢量Vs与所述基准轴成为一致的所述作为处理对象的投票矢量Ur，配置到所述作为处理对象的亮度梯度矢量Vs的每一个的始点位置，并将所述投票矢量Ur的终点位置推定为候选点，所述候选点是所述搜索图像的平面上的与所述原点对应的位置；以及

再验证部，将所述多个位置矢量Rr配置到由所述原点位置推定部推定的候选点的每一个，并将在所述多个位置矢量Rr的每一个的终点位置存在的所述亮度梯度矢量Vs最多的所述候选点，作为与所述原点对应的位置来确定。