CN109074626A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

本发明的目的是提高图像处理装置中的图像处理速度，该图像处理装置设置有用于保持图像的存储器。图像处理装置设置有写入单元、读取单元和缩小单元。写入单元执行写入，使得在图像数据中沿指定方向排列的指定数量的像素数据分布在多个存储器上，在图像数据中像素数据以二维点阵排列。读取单元从多个存储器中读取指定数量的像素数据。缩小单元对读取的像素数据执行在指定方向上的平滑处理。

Description

图像处理装置、图像处理方法以及程序

技术领域

本技术涉及图像处理装置、图像处理方法以及程序。具体地，本技术涉及一种包括用于保持图像的存储器的图像处理装置、一种图像处理方法和一种用于使计算机执行该方法的程序。

背景技术

传统上，用于识别和检测诸如图像中的面部或其他人物的对象的图像识别技术已经用于广泛的领域，例如犯罪预防、个人验证和运输。例如，存在一种已提出的图像处理装置，该装置被提供用于检测各种尺寸的物体并从原始图像生成多个不同尺寸的缩小图像、并在这些缩小图像中移动固定尺寸的检测窗口以检测对象(例如，参见专利文献1)。

现有技术文献

专利文献

专利文献1：日本专利申请公开号2012-226608

发明内容

本发明要解决的问题

在上述传统技术中，原始图像被保持在帧存储器中，并且从帧存储器读取原始图像以生成缩小图像。然而，原始图像的数据量越大，完成图像读取所花费的时间越长，导致图像处理速度降低的问题。

已鉴于这种情况开发了本技术，并且本技术旨在提高在具有用于保持图像的存储器的图像处理装置中的图像处理速度。

问题的解决方案

本技术旨在解决上述问题，并且根据本技术的第一方面，提供了一种图像处理装置，一种图像处理方法以及用于使计算机执行该方法的程序，该图像处理装置包括：多个存储器；写入单元，将图像数据中以预定方向排列的预定数量的像素数据分散写入多个存储器，在图像数据中像素数据以二维点阵图案排列；读取单元，从多个存储器读取预定数量的像素数据；以及缩小单元，用于对读取的像素数据执行预定方向上的平滑处理。利用这种配置，可以实现对从多个存储器读取的像素数据执行平滑处理的效果。

另外，在第一方面中，缩小单元可以包括：平滑处理单元，对读取的像素数据执行在预定方向上的平滑处理，并输出处理结果；以及插值单元，基于处理结果生成新的像素数据作为插值像素数据。利用该配置，可以实现生成插值像素数据的效果。

此外，在第一方面中，允许还包括保持矩形区域的矩形区域保持单元，在矩形区域中预定数量的插值像素数据以二维点阵图案排列；以及检测器，检测矩形区域中的预定对象。利用这种配置，可以实现在矩形区域中检测到对象的效果。

另外，在第一方面中，允许还包括回写处理单元，该回写处理单元将缩小的图像数据分散回写到多个存储器，在缩小的图像数据中从图像数据生成的所有插值像素数据以二维点阵图案排列，其中读取单元可以还从多个存储器中读取预定数量的插值像素数据，并且缩小单元可以还对读取的插值像素数据执行在预定方向上的平滑处理。利用这种配置，可以实现回写缩小图像数据的效果。

此外，在第一方面中允许还包括控制单元，该控制单元顺序地设置多个缩小比率，并且向缩小单元提供要在与所设置的缩小比率对应的缩小的图像数据中输出的插值像素数据的地址。读取单元可以读取与提供的地址对应的预定数量的地址的像素数据。利用这种配置，可以实现读取与插值像素数据相对应的预定数量的像素数据的效果。

此外，在第一方面中，允许具有在多个存储器中的每个存储器中设置两个区域的配置，写入单元交替地执行将像素数据写入两个区域中的一个区域的处理和将像素数据写入两个区域中的另一个区域的处理，并且读取单元交替地执行在将像素数据写入一个区域的同时从另一个区域读取像素数据的处理和将像素数据写入另一个区域的同时从一个区域读取像素数据的处理。利用这种配置，可以实现在将像素数据写入两个区域中的另一个区域的同时从两个区域中的一个区域读取像素数据的效果。

此外，在第一方面中，缩小单元可以执行在预定方向上的平滑处理和在垂直于预定方向的方向上的平滑处理。利用这种配置，可以实现执行预定方向上的平滑处理和垂直于预定方向的方向上的平滑处理的效果。

此外，在第一方面中，读取单元可以同时读取预定数量的像素数据。利用这种配置，可以实现同时读取预定数量的像素数据的效果。

发明效果

根据本技术，可以实现在包括保持图像的存储器的图像处理装置中可以提高图像处理速度的优异效果。注意，这里描述的效果是非限制性的。效果可以是本公开中描述的任何效果。

附图说明

图1是示出根据本技术的第一实施方式的图像处理装置的配置示例的框图。

图2是示出本技术的第一实施方式中的帧存储器的写入方法的图。

图3是示出本技术的第一实施方式中的输入接口的配置示例的框图。

图4是示出根据本技术的第一实施方式的缩放器的配置示例的框图。

图5是示出根据本技术的第一实施方式的水平方向缩小单元的配置示例的框图。

图6是示出根据本技术的第一实施方式的垂直方向缩小单元的配置示例的框图。

图7是示出根据本技术的第一实施方式的检测对象的方法的图。

图8是示出比较示例中的检测对象的方法的图。

图9是示出根据本技术的第一实施方式的图像处理装置的操作的示例的时序图。

图10是示出在本技术的第一实施方式中内插第一像素的操作的图。

图11是示出在本技术的第一实施方式中内插第二像素的操作的图。

图12是示出在本技术的第一实施方式中当缩小比率是1/16时缩小之前和之后的图像中的像素数据的示例的图。

图13是示出根据本技术的第一实施方式当缩小比率是1/9和1/4时缩小之前和之后的图像中的像素数据的示例的图。

图14是示出根据本技术的第一实施方式的检测窗口存储器的写入方法的图。

图15是示出根据本技术的第一实施方式的移动检测窗口的方法的图。

图16是示出根据本技术的第一实施方式的图像处理装置的操作的示例的流程图。

图17是示出根据本技术的第一实施方式的缩小处理的流程图。

图18是示出本技术的第一实施方式中的检测处理的流程图。

图19是示出根据本技术的第二实施方式的图像处理装置的配置示例的框图。

图20是示出根据本技术的第二实施方式的帧存储器的访问方法的图。

图21是示出根据本技术的第三实施方式的图像处理装置的配置示例的框图。

图22是示出根据本技术的第三实施方式的帧存储器的配置示例的图。

图23是示出根据本技术的第三实施方式的图像处理装置的操作的示例的时序图。

具体实施方式

在下文中，将描述本技术的实施方式(下文中，实施方式)。将按以下顺序给出描述。

1.第一实施方式(将图像分散写入多个存储器的示例)

2.第二实施方式(在图像分散写入多个存储器之后，回写缩小图像的示例)

3.第三实施方式(将图像分散写入被划分为奇数区域和偶数区域的多个存储器的示例)

<1.第一实施方式>

<图像处理装置的配置示例>

图1是示出根据第一实施方式的图像处理装置100的配置示例的框图。图像处理装置100处理输入图像数据以检测预定对象。例如，假设相机、智能电话或个人计算机作为图像处理装置100。图像处理装置100包括缩放器控制单元110、输入接口120、帧存储器130和缩放器200。此外，图像处理装置100包括写入控制单元140、检测窗口存储器150、检测器160、检测结果存储器170和输出接口180。

输入接口120获取输入到图像处理装置100的输入图像数据。例如，由源设备或成像元件生成的图像数据作为输入图像数据输入到图像处理装置100中。输入图像数据包括以二维点阵图案排列的像素数据。输入接口120将输入图像数据划分并写入帧存储器130。下面将描述划分输入图像数据的方法的细节。帧存储器130保持输入图像数据(帧)。注意，输入接口120是权利要求中描述的写入单元的示例。

缩放器控制单元110控制缩放器200。缩放器控制单元110顺序地设置多个相互不同的缩小比率。然后，缩放器控制单元110基于所设置的缩小比率将要在输入图像数据中插入的像素数据的地址顺序地提供给缩放器200。例如，在输入图像数据在水平方向上缩小到1/4的情况下，在0到3行像素的中间插入1.5行，然后在4到7行的中间插入5.5行。注意，缩放器控制单元110是权利要求中描述的控制单元的示例。

缩放器200缩小图像数据。缩放器200同时从帧存储器130读取与从缩放器控制单元110提供的地址相对应的多条像素数据。然后，缩放器200从读取的像素数据生成新的像素数据作为插值像素数据，并将新的像素数据提供到写入控制单元140。注意，缩放器200是权利要求中描述的缩小单元的示例。

写入控制单元140将插值像素数据写入检测窗口存储器150。检测窗口存储器150保持矩形区域作为检测窗口，在矩形区域中插值像素数据以二维点阵图案排列。注意，检测窗口存储器150是权利要求中描述的矩形区域保持单元的示例。

检测器160检测检测窗口中的特定对象(面部、人等)。对象的检测使用提取检测窗口的特征量并将数据与先前学习的数据进行匹配的方法、模板匹配方法等。检测器160使检测结果存储器170保持表示每个检测位置的对象存在或不存在的检测结果。

检测结果存储器170保持检测结果。输出接口180从检测结果存储器170读取检测结果并将其输出到外部。

图2是示出第一实施方式中的帧存储器的写入方法的图。帧存储器130包括四个存储器，即，划分区域存储器131至134。注意，划分区域存储器131至134是权利要求中描述的存储器的示例。

在下文中，在输入图像数据中沿水平方向排列的一组像素数据将被称为“行”，并且沿垂直方向排列的一组像素数据将被称为“列”。将行顺序地输入到输入接口120中，并且在每行中顺序地输入行内像素数据。例如，在从上端到下端的方向上顺序地输入行，并且在每行中在从左端到右端的方向上顺序地输入像素数据。

输入接口120将沿水平方向排列的四条像素数据分散写入划分区域存储器131至134。例如，输入接口120将第(4n)(n是整数)输入像素数据写入划分区域存储器131，并将第(4n+1)输入像素数据写入划分区域存储器132。另外，输入接口120将第(4n+2)输入像素数据写入划分区域存储器133，并且将第(4n+3)输入像素数据写入划分区域存储器134。利用这种配置，诸如第零和第四列的第(4n)列被保持在划分区域存储器131中。类似地，诸如第一列和第五列的第(4n+1)列被保持在划分区域存储器132中。

在下文中，保持在划分区域存储器131至134中的每一个内的该组像素数据集将被称为“划分区域”。

注意，虽然以上是输入接口120将在水平方向上排列的四条像素数据分散写入的示例，但是也允许将在垂直方向上排列的四条像素数据分散写入。此外，在输入接口120将四条像素数据分散写入四个存储器(131至134)的同时，还允许分配除四个之外的多条像素数据。例如，输入接口120可以将两条像素数据分散写入两个存储器，或者将八条像素数据分散写入八个存储器。

另外，虽然在该示例中要分配的像素数据的数量和存储器的数量都是四，但是数量可以彼此不同。例如，输入接口120可以将八条像素数据划分成两组，每组包括四条，并将四条数据写入两个存储器中的每一个。

[输入界面的配置示例]

图3是示出第一实施方式中的输入接口120的配置示例的框图。输入接口120包括切换控制单元121和选择器122。

切换控制单元121与像素使能信号EN同步地改变选择器122的输出目的地。这里，像素使能信号EN是表示输入像素数据的定时的信号。选择器122选择划分区域存储器131至134中的任一个，并将像素数据输出到所选存储器。当像素使能信号EN在第(4n)次上升时，切换控制单元121将像素使能信号EN输出到划分区域存储器131，并且当像素使能信号EN在第(4n+1)次上升时，切换控制单元将像素使能信号EN输出到划分区域存储器132。另外，当像素使能信号EN在第(4n+2)次上升时，切换控制单元121将像素使能信号EN输出到划分区域存储器133，并且当像素使能信号EN在第(4n+3)次上升时，切换控制单元将像素使能信号EN输出到划分区域存储器134。

[缩放器配置示例]

图4是示出根据第一实施方式的缩放器200的配置示例的框图。缩放器200包括读取单元210、水平方向缩小单元220和垂直方向缩小单元230。

读取单元210从每个划分区域存储器131至134中同时读取与从缩放器控制单元110提供的地址相对应的四条像素数据中的每一条。例如，当提供“1.5”作为将由缩放器控制单元110内插的列的地址时，读取单元210同时读取该列附近的0到3列的四条像素数据。

这里，输入图像数据左端的第零列保持在从划分区域存储器131内的左端的第零列，而输入图像数据左端的第一列保持在划分区域存储器132内的左端的第零列。此外，输入图像数据左端的第二列保持在划分区域存储器133内的左端的第零列，而输入图像数据左端的第三列保持划分区域存储器134内的左端的第零列。因此，当提供第1.5列时，读取单元210可以读取划分区域存储器131至134中的每一个的第零列。

在下文中，假设水平方向上的输入图像数据的地址(即，列地址)被定义为i(i是0或更大的实数)且垂直方向上的地址(即，行地址)为j(j是0或更大的实数)。此外，用于识别划分区域存储器131至134的标识编号被定义为m(m为0至3)。当提供地址(i，j)时，读取单元210从划分区域存储器131至134中的每一个的地址(k，j)读取像素数据。该k是水平方向上的相对地址并且由下面的公式表示。

k＝int{(i+2-m)/4}

在上面的公式中，int()是截断分数并返回整数部分的函数。

此外，读取单元210对齐四条像素数据。例如，读取单元210使用以下公式计算r，以r的降序从左端到右端对齐像素数据，并将对齐的数据提供给水平方向缩小单元220。

r＝mod{(i+2-m)/4}

在上面的公式中，mod()是返回由分子除以分母得到的余数的函数。

注意，虽然读取单元210同时读取四条像素数据，但是可以同时读取数据的一部分。例如，读取单元210可以执行两次同时读取两条像素数据的处理，以获得四条像素数据。

水平方向缩小单元220在水平方向上执行平滑处理和插值处理。利用这两种处理，图像数据在水平方向上缩小。水平方向缩小单元220将通过插值处理而生成的插值像素数据提供给垂直方向缩小单元230。

垂直方向缩小单元230在垂直方向上执行平滑处理和插值处理。利用这两种处理，图像数据在垂直方向上缩小。垂直方向缩小单元230将插值像素数据提供给写入控制单元140。注意，水平方向缩小单元220和垂直方向缩小单元230是权利要求中描述的缩小单元的示例。

注意，当缩放器200在垂直方向和垂直方向上缩小图像数据时，缩放器200可以执行一个方向上的缩小。

[水平方向缩小单元的配置示例]

图5是示出第一实施方式中的水平方向缩小单元220的配置示例的框图。水平方向缩小单元220包括水平方向低通滤波器221和222以及水平方向线性插值单元223。

水平方向低通滤波器221计算从对齐的四条像素数据的左端开始的第零到第二像素数据的像素值的平均值。这使得可以在水平方向上平滑三条像素数据并且抑制在缩小时发生的混叠。水平方向低通滤波器221将处理结果(即，平均值)提供给水平方向线性插值单元223。

水平方向低通滤波器222计算从四个对齐像素数据的左端开始的第一至第三像素数据的像素值的平均值。水平方向低通滤波器222将处理结果提供给水平方向线性插值单元223。

注意，尽管水平方向缩小单元220通过水平方向低通滤波器221和222计算平均值，但是只要可以实现平滑，就允许执行除平均计算之外的计算。例如，水平方向缩小单元220可以计算移动平均值和中值。另外，水平方向低通滤波器221和222是权利要求中描述的第一平滑处理单元的示例。

水平方向线性插值单元223基于水平方向低通滤波器221和222的处理结果通过线性插值对插值像素数据进行插值。水平方向线性插值单元223将插值像素数据提供给垂直方向缩小单元230。

如上所述，缩放器200在水平方向上每四个像素内插一个像素，并在垂直方向上每四个像素内插一个像素。结果，缩放器200可以从4×4(＝16)像素内插一个像素。

注意，虽然水平方向缩小单元220执行平滑处理和插值处理，但是也允许仅执行平滑处理。例如，水平方向缩小单元220可以计算四条像素数据的像素值的平均值，并将该值作为插值像素数据提供给垂直方向缩小单元230。

[垂直方向缩小单元的配置示例]

图6是示出第一实施方式中的垂直方向缩小单元230的配置示例的框图。垂直方向缩小单元230包括寄存器231、232和234、垂直方向低通滤波器233和垂直方向线性插值单元235。

寄存器231保持并延迟来自水平方向缩小单元220的插值像素数据。寄存器231将延迟的插值像素数据提供给寄存器232和垂直方向低通滤波器233。

寄存器232保持并延迟来自寄存器231的插值像素数据。寄存器232将延迟的插值像素数据提供给垂直方向低通滤波器233。

垂直方向低通滤波器233计算来自水平方向缩小单元220、寄存器231和寄存器232的三条插值像素数据的像素数据的像素值的平均值。垂直方向低通滤波器233将处理结果提供给垂直方向线性插值单元235和寄存器234。注意，水平方向低通滤波器221和222以及垂直方向低通滤波器233是权利要求中描述的平滑处理单元的示例。

寄存器234保持并延迟垂直方向低通滤波器233的处理结果。寄存器231将延迟的处理结果提供给垂直方向线性插值单元235。

垂直方向线性插值单元235基于来自垂直方向低通滤波器233和寄存器234的处理结果，通过使用线性插值来对插值像素数据进行插值。垂直方向线性插值单元235将插值像素数据提供给写入控制单元140。注意，水平方向线性插值单元223和垂直方向线性插值单元235是权利要求中描述的插值单元的示例。

注意，尽管垂直方向缩小单元230执行平滑处理和插值处理，但是垂直方向缩小单元230可以仅执行平滑处理。

图7是示出根据第一实施方式的检测对象的方法的图。首先，帧存储器130保持划分为四个划分区域的输入图像数据(帧)500。然后，缩放器控制单元110将缩小比率设置为1/16。缩放器200向划分区域存储器131至134中的每一个提供与读取地址相同的相对地址，以同时读取沿水平方向排列的四条像素数据。随着在垂直方向上顺序改变的地址，执行四次四条像素数据的读取，缩放器200从帧存储器130获取4×4(＝16)条像素数据，并且基于所获取的像素数据对插值像素数据进行插值。

检测窗口存储器150保持检测窗口510，在检测窗口中插值像素数据以二维点阵图案排列。在检测窗口510中，检测器160检测特定对象。缩放器控制单元110使缩放器200顺序地移动检测窗口510，并且随着移动，更新检测窗口存储器150。

接下来，缩放器控制单元110将缩小比率设置为1/9，并使缩放器200将检测窗口510移动相同尺寸。随后，缩放器控制单元110和缩放器200以逐渐增加的缩小比率执行类似的处理。以这种方式，通过在各种尺寸的缩小的图像数据上移动固定尺寸的检测窗口510的同时执行对象检测，可以检测图像内的各种尺寸的对象。

注意，虽然图像处理装置100将缩小比率设置为逐渐增加，例如1/16、1/9等，但是也允许将缩小比率设置为逐渐减小。此外，虽然图像处理装置100不在原始输入图像数据中移动检测窗口，但是图像处理装置100可以在输入图像数据中移动检测窗口以检测对象。在这种情况下，使写入控制单元140从帧存储器130读取检测窗口并将其写入检测窗口存储器150就足够了。

图8是示出在比较示例中检测对象的方法的图，其中输入图像数据被原样保持在帧存储器中而不被划分，并且缩小图像被进一步回写到帧存储器。

在该比较示例中，缩放器200需要读取像素16次以便内插一个像素。相反，图像处理装置100将划分成四个区域的输入图像数据保持在帧存储器130中，使得缩放器200能够同时读取四个像素。利用这种配置，可以将一个像素的内插所需的读取次数节省到四次，从而提高读取速度。

此外，比较示例中的缩放器将缩小的图像回写到帧存储器，并且进一步缩小已缩小的图像以逐渐缩小图像的尺寸。为了将所有缩小的图像数据保持在帧存储器中，将相应地需要存储器资源。

例如，假设输入图像数据的大小是192×108像素，并且将水平方向和垂直方向上的数据大小缩小到27/32的处理重复10次。该操作将产生10条大小为162×91、137×77、115×65、97×55、82×46、69×39、58×33、49×28、41×23和35×20像素的缩小的图像数据。为了将所有缩小的图像数据和原始输入图像数据保持在帧存储器中，根据下面的公式将需要70229个像素的存储容量。

70229＝192×108+162×91

+137×77+115×65

+97×55+82×46+69×39+58×33

+49×28+41×23+35×20

相反，图像处理装置100仅将输入图像数据500和检测窗口510保持在存储器中，如图7所示。当检测窗口510具有22×20像素的大小时，根据以下公式，将需要小到21176个像素的存储器容量。

21176＝192×108+22×20

如上所述，与比较示例相比，图像处理装置100能够减小存储容量。在比较示例中，可以在输入图像数据区域等上重写要在第二次或后续次数创建的缩小的图像数据。然而，即使采用这种配置，根据以下公式仍然需要35478个像素，导致比图像处理装置100更大的存储需求。

35478＝192×108+162×91

此外，比较示例从紧接在前的缩小的图像数据生成第三和随后的缩小的图像数据，导致每次执行缩小时缩小的图像数据的图像质量的显著劣化，从而降低检测精度。相反，图像处理装置100从原始输入图像数据生成每个缩小的图像数据，使得可以抑制缩小的图像数据的图像质量的劣化，从而提高检测精度。

另外，从抑制图像质量劣化的观点来看，比较示例难以逐渐增加缩小比率。相反，由于每个缩小的图像数据是从原始输入图像数据生成的，因此可以在不降低图像处理装置100中的图像质量的情况下逐渐增加缩小比率。结果，可以在早期以高精度检测大尺寸的对象。

图9是示出根据本技术的第一实施方式的图像处理装置的操作的示例的时序图。在定时T1输入输入图像数据，并且然后，输入接口120划分图像数据，并在定时T2之前将划分的图像数据写入帧存储器130。

在定时T2，缩放器200生成缩小比率为1/16的缩小的图像数据，然后生成缩小比率为1/9的缩小的图像数据。此后，缩放器200在逐渐增加缩小比率的同时生成多个缩小的图像数据，直到定时T3。与此同时，检测器160在从定时T2到定时T3的时段期间在每个缩小的图像数据中执行对象检测。

在定时T3输入输入图像数据，并且然后，输入接口120划分图像数据并将划分的图像数据写入帧存储器130。缩放器200和检测器160执行写入图像数据的缩小和对象的检测。

图10是示出在第一实施方式中内插第一像素的操作的图。在该图中，白色符号表示输入图像数据中的像素数据的位置，且黑色符号表示缩小的图像数据中的像素数据(即，插值像素数据)的位置。现在，以下是将像素内插到输入图像数据中的地址(1.5，1.5)的情况。在该地址周围的4×4个像素数据中，第零列保持在划分区域存储器131中，并且第一列保持在划分区域存储器132中。此外，第二列保持在划分区域存储器133中，并且第三列保持在划分区域存储器134中。

首先，缩放器200从划分区域存储器131至134中的每个相对地址(0，0)同时读取四条像素数据。接下来，缩放器200从相对地址(0，1)同时读取四条像素数据。类似地，从相对地址(0，2)和(0，3)读取像素数据。通过这四次读取，读取了16条像素数据。缩放器200从读取的16像素数据生成并输出一个插值像素数据。

图11是示出第一实施方式中的内插第二像素的操作的图。现在，以下是将像素内插到输入图像数据中的地址(1.5，5.5)的情况。

缩放器200从每个划分区域存储器131至134中的每个的相对地址(0，4)同时读取四条像素数据。接下来，缩放器200从相对地址(0，5)同时读取四条像素数据。类似地，从相对地址(0，6)和(0，7)读取像素数据。通过这四次读取，读取了16条像素数据。缩放器200从读取的16像素数据生成并输出一个插值像素数据。

以这种方式，沿垂直方向顺序输出多个插值像素数据。另外，每次针对检测窗口的垂直方向尺寸(20个像素等)输出插值像素数据时，缩放器控制单元110在水平方向上递增地址。通过重复该处理，检测窗口在水平方向上的位置接近右端。

然后，当水平方向上的地址到达右端时，缩放器控制单元110在水平方向上初始化地址并在垂直方向上递增地址。通过该操作，检测窗口在水平方向上的位置折叠回左端，并且其在垂直方向上的位置接近下端。

图12是示出当第一实施方式中的缩小比率是1/16时在缩小之前和之后的图像中的像素数据的示例的图。在该图中，白点表示缩小前的输入图像数据中的像素数据，且黑点表示缩小的图像数据中的插值像素数据的位置。在缩小比率被设置为1/16的情况下，要插值的地址在水平方向和垂直方向上增加“4”。例如，地址(1.5，5.5)被输入到缩放器200中，位于地址(1.5，1.5)旁边。通过该操作，输入图像数据在水平方向和垂直方向上缩小到1/4，并且整体上缩小到1/16。

图13是示出在第一实施方式中当缩小比率是1/9和1/4时在缩小之前和之后的图像中的像素数据的示例的图。在该图中，a表示当缩小比率是1/9时的像素数据的示例，并且在该图中，b表示当缩小比率是1/4时的像素数据的示例。

在缩小比率被设置为1/9的情况下，要插值的地址在水平方向和垂直方向上增加“3”。例如，地址(1.5，4.5)被输入到缩放器200，位于地址(1.5，1.5)旁边。通过该操作，输入图像数据在水平方向和垂直方向上缩小到1/3，并且整体上缩小到1/9。

在缩小比率被设置为1/2的情况下，要插值的地址在水平方向和垂直方向上增加“2”。例如，地址(1.5，3.5)被输入到缩放器200，位于地址(1.5，1.5)旁边。通过该操作，输入图像数据在水平方向和垂直方向上缩小到1/2，并且整体上缩小到1/4。以这种方式，要插值的地址的增量数随着缩小比率改变。例如，当数据在水平方向上缩小到1/c时，水平方向上的地址增加“c”。

图14是示出根据第一实施方式的检测窗口存储器150的写入方法的图。例如，检测窗口的大小设置为20×20像素。检测窗口存储器150的示例性尺寸是水平方向上22个像素和垂直方向上20个像素。即，检测窗口存储器150的尺寸比检测窗口大两列(＝2×20个像素)。另外，地址“0”到“439”中的每一个被分配给检测窗口存储器150内的插值像素数据的每个存储区域，其中地址在垂直方向上递增“1”并在垂直方向上递增“20”。注意，检测窗口的大小不限于20×20像素，只要它小于缩小图像数据即可。

缩放器控制单元110在垂直方向上顺序地递增地址并将其提供给缩放器200，并且每次提供20个地址时在水平方向上递增地址。利用这种配置，缩放器200在垂直方向上顺序输出像素数据，在检测窗口的下端返回以移动到下一列。

写入控制单元140将输出的插值像素数据作为第p(p是整数)输出写入检测窗口存储器150中的地址p中。然后，当已经写入包括20×20条插值像素数据的检测窗口时，检测器160读取检测窗口并开始检测对象。在该图中，检测窗口存储器150中的阴影部分表示已经写入插值像素数据的区域。

以这种方式，缩放器200在垂直方向上顺序输出像素数据并在检测窗口的下端返回，与像素数据是在水平方向上顺序输出的情况相比，可以减少回转的次数。

图15是示出根据第一实施方式的移动检测窗口的方法的图。如图中的a所示，在输出了400条插值像素数据之后，缩放器控制单元110在水平方向上递增地址，并且然后从初始值开始顺序地在垂直方向上递增地址，以获得20条插值像素数据。然后，缩放器控制单元110再次执行类似的处理。通过该处理，输出2列×20行的插值像素数据，并且然后，检测窗口向右端移动两列。写入控制单元140将这40条插值像素数据写入检测窗口存储器150中的地址“400”到“439”。检测器160从地址“40”到“439”读取检测窗口并检测对象。在该图中，检测窗口存储器150中的阴影部分表示新写入了插值像素数据的区域。

当对这些2×20像素进行插值时从帧存储器130读取的像素数L由以下公式表示，其中水平方向上的缩小比率是Ch，且垂直方向上的缩小比率是Cv。

L＝(2/Ch+2)×(20/Cv+2)

在可假设配置中，其中与预定时钟信号同步地读取L个像素，将需要L个时钟来读取L个像素。然而，在输入图像数据被划分成2/Ch(例如，四个)并保持在帧存储器130中的情况下，缩放器200可以用2×(20/Cv+2)个时钟读取L个像素。

随后，如图中的b所示，缩放器控制单元110进一步输出2×20条插值像素数据，并将检测窗口向右端移动两列。写入控制单元140将这40条插值像素数据写入检测窗口存储器150中的地址“0”至“39”。检测器160从地址“0”到“399”读取检测窗口并检测对象。

在下文中，缩放器控制单元110使用类似的处理将检测窗口移动到缩小的图像内的右端。当检测窗口到达右端时，缩放器控制单元110将检测窗口在水平方向上的位置初始化到左端，并将垂直方向上的位置移动到下端。写入控制单元140将作为第p输出而输出的插值像素数据写入由以下公式表示的地址q中。

q＝mod{(20×h+p)/440}

在上面的公式中，h表示检测窗口在水平方向上的代表点(左上顶点等)的位置。

以这种方式，写入控制单元140在水平方向上逻辑地循环检测窗口存储器150的写入目的地地址。换句话说，检测窗口存储器150用作水平方向上的环形缓冲器。

[图像处理装置的操作示例]

图16是示出根据第一实施方式的图像处理装置100的操作的示例的流程图。当输入图像数据已被输入到图像处理装置100时，开始该操作。

图像处理装置100将划分的输入图像数据保持到四个存储器(131至134)中(步骤S901)。图像处理装置100将缩小比率初始化为预定值(步骤S902)，并且然后，执行缩小图像的缩小处理(步骤S910)和并行检测对象的检测处理(步骤S950)。

在步骤S910和S950中的每一个之后，图像处理装置100改变缩小比率(步骤S903)并判断缩小比率是否是最大值Rmax(步骤S904)。在缩小比率不是最大值Rmax的情况下(步骤S904：否)，图像处理装置100重复步骤S910和S950的执行。相反，在缩小比率是最大值Rmax的情况下(步骤S904：是)，图像处理装置100完成图像处理。

图17是示出根据第一实施方式的缩小处理的流程图。缩放器控制单元110设置要内插的地址(i，j)(步骤S911)。缩放器200从四个存储器的相对地址(int{(i+2-m)/4}，j)同时读取像素数据(步骤S912)。随后，缩放器200以mod{(i+2-m)/4}的降序对齐像素数据(步骤S913)，并在水平方向上执行平滑和线性插值(步骤S914)。

缩放器200判断是否已经读取了4×4(＝16)个像素(步骤S916)。在尚未读取16个像素的情况下(步骤S916：否)，图像处理装置100重复步骤S911和随后的步骤。

相反，在已经读取了16个像素的情况下(步骤S916：是)，缩放器200在垂直方向上执行平滑和线性插值(步骤S917)。然后，缩放器200判断缩小的图像中的所有像素是否都已输出(步骤S918)。在没有输出所有像素的情况下(步骤S918：否)，图像处理装置100重复步骤S911和随后的步骤。在已经输出所有像素的情况下(步骤S918：是)，图像处理装置100完成缩小处理。

图18是示出根据第一实施方式的检测处理的流程图。缩放器控制单元110将h、v和p初始化为“0”(步骤S951)。h表示检测窗口的代表点在水平方向上的位置，且v表示代表点在水平方向上的位置。

写入控制单元140将第0至第399个插值像素数据写入检测窗口存储器150中的对应地址(步骤S952)。检测器160读取检测窗口并检测对象(步骤S953)。

随后，缩放器控制单元110判断h是否是h_max(步骤S954)。这里，h_max是检测窗口到达缩小的图像数据的右端时的位置。在h不是h_max的情况下(步骤S954：否)，缩放器控制单元110将h递增“2”(步骤S955)。写入控制单元140将第p个插值像素数据写入检测窗口存储器150中的地址mod{(20×h+p)/440}(步骤S956)。

缩放器控制单元110将p递增“1”(步骤S957)并判断是否已完成2×20(＝40)条像素数据的写入(步骤S958)。在尚未完成2×20(＝40)条数据的写入的情况下(步骤S958：否)，图像处理装置100重复步骤S956和后续步骤的执行。

相反，在已完成2×20(＝40)条数据的写入的情况下(步骤S958：是)，检测器160读取检测窗口并检测对象(步骤S959)。在步骤S959的处理之后，图像处理装置100重复步骤S954和后续步骤的执行。

此外，在h是h_max的情况下(步骤S954：是)，缩放器控制单元110判断v是否是v_max(步骤S960)。这里，v_max是检测窗口到达缩小的图像数据的下端的位置。在v不是v_max的情况下(步骤S960：否)，缩放器控制单元110将h初始化为“0”并将v递增“20”(步骤S961)。在步骤S961之后，图像处理装置100重复步骤S954和后续步骤的执行。相反，在v是v_max的情况下(步骤S960：是)，图像处理装置100完成检测处理。

以这种方式，根据本技术的第一实施方式，在水平方向上排列的四条像素数据被分散写入四个存储器并且在水平方向上被同时读取和平滑，使得与不执行分散写入的情况相比，可以减少像素读取次数。利用这种配置，可以提高图像数据的读取速度。

<2.第二实施方式>

在上述第一实施方式中，在生成缩小的图像数据时每次改变缩小比率，图像处理装置100就再次读取原始输入图像数据。然而，利用这种配置，改变缩小比率的次数越多，读取输入图像数据的次数越多，导致读取所花费的总时间增加。根据第二实施方式的图像处理装置100与第一实施方式的不同之处在于，图像数据的读取速度进一步增加。

图19是示出根据第二实施方式的图像处理装置100的配置示例的框图。根据第二实施方式的图像处理装置100与第一实施方式的不同之处在于，设置写入控制单元141来代替写入控制单元140。

写入控制单元141与第一实施方式的情况的不同之处在于，在将检测窗口写入检测窗口存储器150的同时将缩小的图像数据回写到帧存储器130。

图20是示出第二实施方式中的帧存储器130的访问方法的图。缩放器200在缩小之前读取划分的区域并生成缩小到1/4的缩小的图像数据。写入控制单元141将缩小的图像数据划分为四个划分区域，并将划分的图像数据回写到帧存储器130。缩放器200读取缩小的划分区域并进一步缩小它以生成缩小的图像数据。此后，以逐渐减小的缩小比率重复执行类似的处理。

每次执行缩小时，要减小从帧存储器130读取的缩小的图像数据的大小，使得与第一实施方式中相比可以缩短读取图像数据的总时间。注意，写入控制单元141可以在缩小之前在保持数据的区域上重写在第二次和后续次数中生成的缩小的图像数据。

如上所述，根据本技术的第二实施方式，图像处理装置100将缩小的图像数据回写到帧存储器130，读取并进一步缩小已缩小的图像数据，使得可以缩短读取图像数据所需的时间。

<3.第三实施方式>

在上述第一实施方式中，帧存储器130的容量为一帧。因此，在连续输入多个输入图像数据(帧)时，图像处理装置100用于在每次执行第二和后续图像中的每一个的输入时更新帧存储器130。利用这种配置，帧间隔短于对象检测所花费的延迟时间是不切实际的，使得难以提高帧速率以提高吞吐量。根据第三实施方式的图像处理装置100与第一实施方式的不同之处在于提高了吞吐量。

图21是示出根据第三实施方式的图像处理装置100的配置示例的框图。根据第三实施方式的图像处理装置100与第一实施方式的不同之处在于它进一步包括开关191和193以及切换控制单元192。此外，第三实施方式的帧存储器130被划分为奇数区域和偶数区域，且可以将一帧的数据写入每个区域。

开关191在切换控制单元192的控制下将划分区域的输出目的地从输入接口120切换到奇数区域和偶数区域中的一个。开关193在切换控制单元192的控制下将输入源切换到奇数区域和偶数区域中的一个，并且将来自所选区域的数据输出到缩放器200。

切换控制单元192控制开关191和开关193。当输入奇数输入图像数据时，切换控制单元192将开关191的输出目的地切换到奇数区域侧并将开关193的输入源切换到偶数区域侧。另外，当输入偶数输入图像数据时，切换控制单元192将开关191的输出目的地切换到偶数区域侧，并且将开关193的输入源切换到奇数区域侧。

图22是示出根据第三实施方式的帧存储器130的配置示例的图。在帧存储器130中，划分区域存储器131被划分为奇数区域a1和偶数区域b1，而划分区域存储器132被划分为奇数区域a2和偶数区域b2。此外，划分区域存储器133被划分为奇数区域a3和偶数区域b3，而划分区域存储器134被划分为奇数区域a4和偶数区域b4。

包括奇数区域a1至a4的奇数区域A保持与奇数输入图像数据相对应的划分区域。另外，包括偶数区域b1至b4的偶数区域B保持与偶数输入图像数据相对应的划分区域。

图23是示出根据第三实施方式的图像处理装置的操作的示例的时序图。在定时T1输入第一输入图像数据，并且然后，输入接口120划分图像数据并在定时T2之前将划分的图像数据写入奇数区域。在定时T2输入第二输入图像数据，并且然后，输入接口120划分图像数据并在定时T3之前将划分的图像数据写入偶数区域。

在从定时T2到定时T3的时段期间，缩放器200从奇数区域读取第一划分的输入图像数据并将其缩小。此外，与此同时，检测器160在从定时T2到定时T3的时段期间对缩小的图像数据执行对象检测。

在定时T3输入第三图像数据，并且然后，输入接口120划分图像数据并在奇数区域上重写划分的图像数据。

在定时T3之后，缩放器200从偶数区域读取划分的第二输入图像数据并将其缩小。此外，检测器160在定时T3之后对缩小图像数据执行对象检测。

如上所述，根据本技术的第三实施方式，帧存储器130在奇数区域和偶数区域中的每一个内保持一帧的数据，使得图像处理装置100能够从一个区域读取数据，同时将数据写入另一个区域。利用这种配置，可以提高吞吐量。

注意，上述实施方式示出了用于实施本技术的示例，并且实施方式的内容对应于包括在所附权利要求中的本发明的主题。类似地，包括在所附权利要求中的本发明的主题对应于与本技术的实施方式中的事项名称相同的事项。然而，本技术不限于这些实施方式，并且在不脱离本技术的范围的情况下，可以对实施方式进行各种修改。

此外，上述实施方式中的处理过程可以被视为包括这一系列过程的方法，并且被视为用于使计算机执行这一系列过程的程序或者作为存储该程序的记录介质。该记录介质可以是例如光盘(CD)、迷你盘(MD)、数字通用盘(DVD)、存储卡或蓝光(注册商标)盘。

注意，本文描述的效果是非限制性的。效果可以是本公开中描述的任何效果。

注意，本技术也可以如下配置。

(1)一种图像处理装置，包括：

多个存储器；

写入单元，将图像数据中以预定方向排列的预定数量的像素数据分散写入多个存储器，在图像数据中所述像素数据以二维点阵图案排列；

读取单元，从多个存储器读取预定数量的像素数据；以及

缩小单元，对读取的像素数据执行在预定方向上的平滑处理。

(2)根据(1)所述的图像处理装置，

其中，缩小单元包括：

平滑处理单元，对读取的像素数据执行在预定方向上的平滑处理，并输出处理结果；以及

插值单元，基于处理结果生成新的像素数据作为插值像素数据。

(3)根据(2)所述的图像处理装置，还包括：

保持矩形区域的矩形区域保持单元，在该矩形区域中预定数量的插值像素数据以二维点阵图案排列；以及

检测器，检测矩形区域中的预定对象。

(4)根据(2)或(3)所述的图像处理装置，还包括回写处理单元，该回写处理单元将缩小的图像数据分散回写到多个存储器，在缩小的图像数据中从图像数据生成的所有插值像素数据以二维点阵图案排列，

其中，读取单元还从多个存储器中读取预定数量的插值像素数据，以及

缩小单元还对读取的插值像素数据执行在预定方向上的平滑处理。

(5)根据(1)所述的图像处理装置，还包括控制单元，控制单元顺序地设置多个缩小比率，并且向缩小单元提供要在与设置的缩小比率对应的缩小的图像数据中输出的插值像素数据的地址，

其中读取单元读取与提供的地址相对应的预定数量的地址的像素数据。

(6)根据(1)至(5)中任一项所述的图像处理装置，

其中，在多个存储器的每一个中设置两个区域，

写入单元交替地执行将像素数据写入两个区域中的一个区域的处理和将像素数据写入两个区域中的另一个区域的处理，以及

读取单元交替地执行在将像素数据写入一个区域的同时从另一区域读取像素数据的处理和在将像素数据写入另一区域的同时从一个区域读取像素数据的处理。

(7)根据(1)至(6)中任一项所述的图像处理装置，

其中，缩小单元执行在预定方向上的平滑处理和在垂直于预定方向的方向上的平滑处理。

(8)根据权利要求1所述的图像处理装置，

其中，读取单元同时读取预定数量的像素数据。

(9)一种图像处理方法，包括：

写入步骤，将图像数据中以预定方向排列的预定数量的像素数据分散写入多个存储器，在图像数据中像素数据以二维点阵图案排列；

读取步骤，从多个存储器读取预定数量的像素数据；以及

缩小步骤，对读取的像素数据执行在预定方向上的平滑处理。

(10)一种程序，用于使计算机执行：

写入步骤，将图像数据中以预定方向排列的预定数量的像素数据分散写入多个存储器，在图像数据中像素数据以二维点阵图案排列；

读取步骤，从多个存储器读取预定数量的像素数据；以及

缩小步骤，对读取的像素数据执行在预定方向上的平滑处理。

参考符号列表

100 图像处理装置

110 缩放器控制单元

120 输入接口

121、192 切换控制单元

122 选择器

130 帧存储器

131、132、133、134 划分区域存储器

140、141 写入控制单元

150 检测窗口存储器

160 检测器

170 检测结果存储器

180 输出接口

191、193 开关

200 缩放器

210 读取单元

220 水平方向缩小单元

221、222 水平方向低通滤波器

223 水平方向线性插值单元

230 垂直方向缩小单元

231、232、234 寄存器

233 垂直方向低通滤波器

235 垂直方向线性插值单元。

Claims (10)

1.一种图像处理装置，包括：

多个存储器；

写入单元，将图像数据中以预定方向排列的预定数量的像素数据分散写入多个存储器，在所述图像数据中所述像素数据以二维点阵图案排列；

读取单元，从所述多个存储器读取所述预定数量的像素数据；

以及

缩小单元，对读取的所述像素数据执行在所述预定方向上的平滑处理。

2.根据权利要求1所述的图像处理装置，

其中，所述缩小单元包括：

平滑处理单元，对读取的所述像素数据执行在所述预定方向上的平滑处理，并输出处理结果；以及

插值单元，基于所述处理结果生成新的像素数据作为插值像素数据。

3.根据权利要求2所述的图像处理装置，还包括：

保持矩形区域的矩形区域保持单元，在所述矩形区域中预定数量的所述插值像素数据以二维点阵图案排列；以及

检测器，检测所述矩形区域中的预定对象。

4.根据权利要求2所述的图像处理装置，还包括回写处理单元，所述回写处理单元将缩小的图像数据分散回写到所述多个存储器，在所述缩小的图像数据中从所述图像数据生成的所有插值像素数据以二维点阵图案排列，

其中，所述读取单元还从所述多个存储器中读取所述预定数量的插值像素数据，以及

所述缩小单元还对读取的所述插值像素数据执行在所述预定方向上的平滑处理。

5.根据权利要求1所述的图像处理装置，还包括控制单元，所述控制单元顺序地设置多个缩小比率，并且向所述缩小单元提供要在与设置的所述缩小比率相对应的缩小的图像数据中输出的所述插值像素数据的地址，

其中，所述读取单元读取与提供的地址相对应的所述预定数量的地址的所述像素数据。

6.根据权利要求1所述的图像处理装置，

其中，在所述多个存储器的每一个中设置两个区域，

所述写入单元交替地执行将所述像素数据写入所述两个区域中的一个区域的处理和将所述像素数据写入所述两个区域中的另一个区域的处理，以及

所述读取单元交替地执行在将所述像素数据写入所述一个区域的同时从所述另一个区域读取所述像素数据的处理和在将所述像素数据写入所述另一个区域的同时从所述一个区域读取所述像素数据的处理。

7.根据权利要求1所述的图像处理装置，

其中，所述缩小单元执行在所述预定方向上的平滑处理和在垂直于所述预定方向的方向上的平滑处理。

8.根据权利要求1所述的图像处理装置，

其中，所述读取单元同时读取所述预定数量的像素数据。

9.一种图像处理方法，包括：

写入步骤，将图像数据中以预定方向排列的预定数量的像素数据分散写入多个存储器，在所述图像数据中所述像素数据以二维点阵图案排列；

读取步骤，从所述多个存储器读取所述预定数量的像素数据；

以及

缩小步骤，对读取的所述像素数据执行在所述预定方向上的平滑处理。

10.一种程序，用于使计算机执行：

写入步骤，将图像数据中以预定方向排列的预定数量的像素数据分散写入多个存储器，在所述图像数据中所述像素数据以二维点阵图案排列；

读取步骤，从所述多个存储器读取所述预定数量的像素数据；

以及

缩小步骤，对读取的所述像素数据执行在所述预定方向上的平滑处理。