CN102750689B - 图像处理设备及其控制方法 - Google Patents
图像处理设备及其控制方法 Download PDFInfo
- Publication number
- CN102750689B CN102750689B CN201210120010.XA CN201210120010A CN102750689B CN 102750689 B CN102750689 B CN 102750689B CN 201210120010 A CN201210120010 A CN 201210120010A CN 102750689 B CN102750689 B CN 102750689B
- Authority
- CN
- China
- Prior art keywords
- unit
- image
- view data
- data
- sensing element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 32
- 238000011946 reduction process Methods 0.000 claims 3
- 238000007689 inspection Methods 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 23
- 238000012795 verification Methods 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Editing Of Facsimile Originals (AREA)
- Storing Facsimile Image Data (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提供一种图像处理设备及其控制方法。该图像处理设备包括:存储单元,其被配置为存储图像数据;读出单元,其被配置为读出存储在所述存储单元中的所述图像数据;检测单元,其被配置为从由所述读出单元读出的所述图像数据中检测目标对象;转换单元,其被配置为转换由所述读出单元读出的所述图像数据的分辨率;以及写入单元,其被配置为将被所述转换单元转换了分辨率的图像数据写入所述存储单元中,其中,所述读出单元将所读出的图像数据并行地输出到所述检测单元和所述转换单元。
Description
技术领域
本发明涉及生成缩小图像并且进行诸如图像识别的处理的图像处理设备及其控制方法。
背景技术
为了在进行诸如面部检测的图像识别处理时检测各种大小的目标对象,通常通过缩小原始图像来生成金字塔图像,并且对各金字塔图像进行检测处理。
日本特开2008-102611号公报公开如下方法:以预定的比例依次缩小读取的图像以生成金字塔图像,然后进行面部辨别处理,从而检测多个大小的面部。图1例示了用于检测各种大小的目标对象的金字塔图像。320像素×240像素的输入图像101在水平方向和垂直方向上分别以1/1.2比例缩小,从而以相同的方式生成八个水平(level)的缩小图像102至109(缩小图像A至H)。对输入图像和缩小图像,即九个分辨率的图像,进行目标对象检测处理。结果,能够检测不同大小的目标对象。
日本特开2008-210009号公报公开一种图像辨别设备,其通过如下配置进行辨别处理:将多分辨率处理器生成的缩小图像数据经由管线连接而不经由总线媒介依次提供给标准化处理器、特征量导出单元和辨别器。
将参照图2A和图2B说明当依次缩小读取的图像以生成金字塔图像并且在金字塔图像生成之后进行检测处理时,日本特开2008-102611号公报中所描述的对图像存储器的访问处理。图2A是用于说明在生成金字塔图像的缩小处理中的图像存取的图。如图1中所示,当生成九个分辨率的金字塔图像时,首先从图像存储器中读出输入图像101并进行缩小处理,并且将缩小图像102写入图像存储器中。然后,从图像存储器中读出缩小图像102并进行缩小处理,并且将缩小图像103写入图像存储器中。对缩小图像103至109,以相同方式重复从图像存储器中的读出处理、缩小处理以及写入图像存储器中的处理,直到将最小的缩小图像109写入图像存储器。
图2B是用于说明当在金字塔图像生成之后进行检测处理时的图像存取的图。首先从图像存储器中读出输入图像101并且进行最高分辨率的检测处理。来自检测处理的输出是关于被检测的目标对象的信息,并且与图2A不同,不执行将图像写入图像存储器中的处理。还从图像存储器中读出缩小图像102至109并进行检测处理而不进行将图像写入图像存储器中的处理。
像素计数代表当如图2A和图2B中所示处理参照图1描述的金字塔图像时的存储器访问计数。根据等式(1)计算图2A中的从图像存储器的读出计数Ra和到图像存储器中的写入计数Wa、以及图2B中的从图像存储器的读出计数Rb:
如图1中所示,输入图像101的像素计数是76800,缩小图像102的像素计数是53200,缩小图像103的像素计数是36686,...,缩小图像108的像素计数是5655,以及缩小图像109的像素计数是3888。读出计数Ra是输入图像101和缩小图像102至108的像素计数之和。写入计数Wa是缩小图像102至109的像素计数之和。读出计数Rb是输入图像101和缩小图像102至109的像素计数之和。
通过根据等式(2)将所有的读出计数Ra、写入计数Wa和读出计数Rb相加来计算图2A和图2B的处理中对图像存储器的访问计数N(像素计数):
N=Ra+Wa+Rb=235688+162776+239576=638040…(2)
从等式(1)明显看到,输入图像101和缩小图像102至108被从图像存储器中读出两次。因此,日本特开2008-102611中公开的方法增加了对图像存储器的访问计数并且处理起来费时间。
此外,将参照图3说明在使用管线结构对读取的图像进行缩小处理并对缩小图像进行检测处理时,在日本特开2008-210009号公报中描述的对图像存储器的访问处理。
图3示出了当利用管线结构执行从对应于输入图像101的分辨率到对应于缩小图像109的分辨率的缩小处理和检测处理时,对图像存储器的访问处理。针对所有检测分辨率,从图像存储器中读出输入图像101。根据需要缩小输入图像101,并且将输入图像101直接传送到检测处理单元。来自检测处理单元的输出是关于被检测的目标对象的信息,并且不执行将图像写入图像存储器中的处理。
像素计数代表如图3中所示处理参照图1描述的金字塔图像时的存储器访问计数。根据等式(3)计算从图像存储器的读出计数R:
R=76800+76800+76800+…76800=76800×9=691200…(3)
在图3中描述的处理中,只执行从图像存储器的读出。因此,对图像存储器的访问计数N(像素计数)是N=R=691200像素。
然而,日本特开2008-210009号公报中公开的方法不进行在图像存储器中的写入处理,但是增加对图像存储器的访问计数,因为从图像存储器中读出的图像的分辨率高。
发明内容
考虑到上述问题,本发明提供一种减少对图像存储器的访问计数的技术。
根据本发明的一方面,提供一种图像处理设备,该图像处理设备包括:存储单元,其被配置为存储图像数据;读出单元,其被配置为读出存储在所述存储单元中的所述图像数据;检测单元,其被配置为从由所述读出单元读出的所述图像数据中检测目标对象;转换单元,其被配置为转换由所述读出单元读出的所述图像数据的分辨率;以及写入单元,其被配置为将被所述转换单元转换了分辨率的图像数据写入所述存储单元中,其中,所述读出单元将所读出的图像数据并行地输出到所述检测单元和所述转换单元。
根据本发明的一方面,提供一种图像处理设备的控制方法,该图像处理设备从图像数据中检测目标对象,所述控制方法包括:读出步骤,读出存储在存储单元中的所述图像数据;检测步骤,使检测单元从在所述读出步骤中读出的所述图像数据中检测所述目标对象;转换步骤,使转换单元转换在所述读出步骤中读出的所述图像数据的分辨率;以及写入步骤,将在所述转换步骤中被转换了分辨率的转换数据写入所述存储单元中,其中,在所述读出步骤中,所读出的图像数据被并行地输出到所述检测单元和所述转换单元。
通过以下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
附图说明
图1是例示金字塔图像的图;
图2A和图2B是用于说明当在金字塔图像生成之后进行检测处理时的图像存储器访问的图;
图3是用于说明当以管线方式执行缩小处理和检测处理时的图像存储器访问的图;
图4是示出根据第一实施例的图像处理设备的功能配置的框图;
图5是示出图像读出单元的配置的框图;
图6是示出图像写入单元的配置的框图;
图7A和图7B是用于说明根据第一实施例的图像扫描方法的图;
图8是用于说明图像存储器访问的图;
图9A至图9D是用于说明带分割的图;
图10是用于说明在不存在图像提取单元的情况下带分割处理中图像存储器访问的图;
图11是示出根据第二实施例的图像处理设备的功能配置的框图;
图12是示出图像提取单元的配置的框图;以及
图13是用于说明在存在图像提取单元的情况下带分割处理中图像存储器访问的图。
具体实施方式
下面将参照附图详细描述本发明的示例性实施例。应当指出,除非另外具体说明,否则在这些实施例中描述的部件、数字表示和数值的相对配置不限制本发明的范围。
(第一实施例)
下面参照附图描述本发明的第一实施例。图4例示了根据第一实施例的图像处理设备40的功能配置。图像处理设备40包括存储器401、互连单元402、图像读出单元403、图像缩小单元404、检测单元405和图像写入单元410。存储器401包括输入图像保持单元411和缩小输出图像保持单元412。检测单元405包括特征提取单元406、积分图像生成单元407、积分图像存储器408和验证处理单元409。
互连单元402例如是总线、纵横开关等的连接单元。互连单元402控制存储器401、图像读出单元403和图像写入单元410之间的连接。
图像读出单元403从存储器401的输入图像保持单元411或缩小输出图像保持单元412中读出输入图像或者缩小图像(通过转换分辨率获得的转换数据)。图像读出单元403包括两个输出端口,该两个输出端口用于将从输入图像保持单元411中读出的输入图像或者从缩小输出图像保持单元412中读出的缩小图像输出到图像缩小单元404和检测单元405。图像读出单元403和图像写入单元410经由互连单元402连接到存储器401。
图像缩小单元404从图像读出单元403接收输入图像或者缩小图像,并且使用诸如双线性差值、双三次差值或者简单细化等方法作为图像缩小算法进行缩小处理,以缩小输入图像或缩小图像。从图像缩小单元404输出的缩小图像被发送到图像写入单元410,并且由图像写入单元410写入缩小输出图像保持单元412中。
检测单元405在从图像读出单元403接收的图像中,检测目标对象的有/无。目标对象例如是面部或者人体,但是不局限于此。
特征提取单元406从由图像读出单元读出的输入图像或缩小图像中提取特征量,并且将所提取的特征量发送到积分图像生成单元407。
积分图像生成单元407二维地累积由特征提取单元406提取的特征量,生成特征量的积分图像,并且将积分图像存储在积分图像存储器408中。
积分图像存储器408保持必要数量的积分图像,用于验证处理单元409的目标对象验证处理。验证处理单元409从积分图像存储器408中读出必要的积分特征量,并且执行对目标对象的验证以检测目标对象的有/无。
图像写入单元410将缩小的输出图像写入存储器401的缩小输出图像保持单元412中。输入图像保持单元411存储输入图像。缩小输出图像保持单元412存储缩小图像以用于金字塔图像生成。
图5例示了图像读出单元403的功能配置。图像读出单元403包括检测单元输出接口501、图像缩小单元输出接口502、图像数据缓冲器503、格式转换单元504、输入数据缓冲器505、地址生成单元506和互连接口507。
在图像读出单元403中,首先,地址生成单元506生成输入图像(图像数据)的读出地址,并且将其发送到互连接口507。然后,互连接口507基于由地址生成单元506生成的地址、经由互连单元402从存储器401中读出图像数据。互连接口507将所读出的图像数据发送到输入数据缓冲器505。输入数据缓冲器505是用于临时保持从互连接口507输入的用于格式转换单元504的转换处理的图像数据的缓冲器。格式转换单元504读出由输入数据缓冲器505保持的图像数据,并且将数据格式转换为适于检测单元405和图像缩小单元404处理的格式。转换的内容包括例如以字节或位为单位的分割、填充、数据分类和颜色空间转换。图像数据缓冲器503是用于临时保持转换为适于格式转换单元504内部处理的格式的图像数据的缓冲器。保持在图像数据缓冲器503中的图像数据被读出到检测单元输出接口501和图像缩小单元输出接口502二者,并且将相同的图像数据发送到它们二者。检测单元输出接口501从图像数据缓冲器503中读出图像数据,并且将其发送到检测单元405。此时,如果转换到适于检测单元405的数据格式是必须的,则执行转换处理。转换处理的内容包括例如提取必要的位、位宽度扩展、填充和位连接。类似地,图像缩小单元输出接口502从图像数据缓冲器503中读出图像数据,并且将其发送到图像缩小单元404。此时,如果转换到适于图像缩小单元404的数据格式是必须的,则同样进行转换处理。
图6例示了图像写入单元410的功能配置。图像写入单元410包括图像缩小单元输入接口601、格式转换单元602、输出数据缓冲器603、地址生成单元604和互连接口605。
在图像写入单元410中,首先,将从图像缩小单元404输出的缩小图像数据输入到图像缩小单元输入接口601。然后,图像缩小单元输入接口601将所输入的图像数据发送到格式转换单元602。格式转换单元602将从图像缩小单元404输出的图像数据转换为适于写入存储器中的格式,并且将转换后的图像数据存储在输出数据缓冲器603中。转换的内容包括例如以字或字节为单位的分割、填充以及数据分类。存储在输出数据缓冲器603中的转换后的图像数据被发送到互连接口605。互连接口605将图像数据写入在由地址生成单元604生成的写入地址指定的缩小输出图像保持单元412中的存储位置。
将参照图7A说明根据本实施例的图像处理设备的处理操作。图7A是在光栅扫描输入图像(水平扫描)的同时处理输入图像时的说明图。相反,图7B是在列扫描输入图像(垂直扫描)的同时处理输入图像时的说明图。首先,将例示图7A中的光栅扫描。
在图7A中,读取图像701对应于保持在输入图像保持单元411中的输入图像。如图7A中所示,图像读出单元403通过从左到右并且从上到下光栅扫描读取图像701来读出图像数据。所读出的图像数据被同时发送到两个系统,即,检测单元405和图像缩小单元404。检测单元405执行特征提取处理和积分图像生成处理,并且将执行结果写入积分图像存储器408中。验证处理单元409通过在积分图像存储器408内移动作为验证目标对象所需的区域的检测窗口702的同时,在检测窗口702的位置处进行验证处理,来检测目标对象。另一方面,按照与缩小算法的类型相对应的量,将从图像读出单元403发送到图像缩小单元404的图像数据累积在图像缩小单元404内的缩小行存储器703中。例如,当缩小算法为双线性差值时需要一行的存储器,并且当缩小算法是简单细化时不需要缩小行存储器703。必要时,图像缩小单元404在参照累积在缩小行存储器703中的图像数据值的同时进行缩小处理。图像缩小单元404将缩小的图像数据发送到图像写入单元410。图像写入单元410按照箭头704指示的光栅扫描顺序将缩小的图像数据写入缩小输出图像保持单元412中。当不需要生成缩小图像时,图像读出单元403可以将图像数据只发送到检测单元405,使得图像缩小单元404和图像写入单元410二者都不操作。
将参照图8说明根据第一实施例的对图像存储器的访问计数。在本实施例中,能够并行地执行缩小处理和检测处理,因为由图像读出单元403读出的图像数据被同时发送到图像缩小单元404和检测单元405。如图8中所示,在由输入图像101生成缩小图像102时,能够执行对输入图像101的检测处理。然后,在使用缩小图像102作为新的输入生成缩小图像103时,能够执行对输入图像102的检测处理。以同样的方式,处理较低分辨率的图像,并且最终对缩小图像109进行检测处理,从而完成对所有金字塔图像的检测处理。像素计数代表当如图8中所示处理参照图1描述的金字塔图像时对图像存储器的访问计数。根据等式(4)计算图像存储器读出计数R、图像存储器写入计数W和对图像存储器的访问计数N:
输入图像101的像素计数是76800,缩小图像102的像素计数是53200,缩小图像103的像素计数是36686...,缩小图像108的像素计数是5655,以及缩小图像109的像素计数是3888。读出计数R是输入图像101和缩小图像102至109的像素计数之和。写入计数W是缩小图像102至109的像素计数之和。对图像存储器的访问计数N是读出计数R和写入计数W之和。
将本实施例中对图像存储器的访问计数(402352像素)与参照图2A和图2B描述的处理中对图像存储器的访问计数(638040像素)相比较。比较结果显示本实施例能够减少对图像存储器的访问计数,因为用于缩小处理的输入图像数据和用于检测处理的输入图像数据被同时读出。此外,将本实施例中对图像存储器的访问计数与参照图3描述的处理中对图像存储器的访问计数(691200像素)相比较。从比较结果明显看出,本实施例能够减少对图像存储器的访问计数,因为随着分辨率减小,要被读出的图像的大小减小。
已经说明了光栅扫描图像的示例。然而,即使当如图7B中所示列扫描(垂直扫描)图像数据时,也能够实现相同的处理。在图7B中,读取图像705对应于保持在输入图像保持单元411中的输入图像。如图7B中所示,图像读出单元403通过从上到下并且从左到右列扫描读取图像705来读出图像数据。所读出的图像数据被同时发送到两个系统,即,检测单元405和图像缩小单元404。检测单元405执行特征提取处理和积分图像生成处理,并且按照列扫描顺序将执行结果写入积分图像存储器408中。验证处理单元409通过在积分图像存储器408内移动作为验证目标对象所需的区域的检测窗口706的同时,在检测窗口706的位置处进行验证处理,来检测目标对象。另一方面,按照与缩小算法的类型相对应的量,将从图像读出单元403发送到图像缩小单元404的图像数据累积在图像缩小单元404内的缩小列存储器707中。必要时,图像缩小单元404在参照累积在缩小列存储器707中的图像数据值的同时进行缩小处理。图像缩小单元404将缩小的图像数据发送到图像写入单元410。图像写入单元410按照箭头708指示的列扫描顺序将缩小的图像数据写入缩小输出图像保持单元412中。
在以上描述中,积分图像在检测单元405中生成,累积在积分图像存储器408中,并且经历验证处理。然而,即使当来自特征提取单元406的输出直接累积在存储器中并且在不生成积分图像的情况下检测目标对象时,也能够应用本发明。
在本实施例中,按照从高分辨率到低分辨率的顺序处理图像,从而图像缩小单元404只进行缩小处理。然而,当按照从低分辨率到高分辨率的顺序或者按照不同的顺序处理图像时,可以用能够进行包括放大处理的分辨率转换处理的分辨率转换单元代替图像缩小单元404。即使在这种情况下,也能够应用本发明。
本实施例描述了一个存储器401,但是存储器的数目是任意的。此外,存储输入图像的存储器与存储缩小的输出图像的存储器可以是同一存储器或者是不同的存储器。根据本实施例在检测单元405中执行的检测处理不仅被应用于检测诸如面部或人体的非特定目标对象,而且还被应用于检测属于给定类别的目标对象或者特定的人或物体。
如上所述,第一实施例能够减少对图像存储器的访问计数。
(第二实施例)
下面将参照附图描述本发明的第二实施例。第二实施例将研究读取图像被分割为带并且被处理的情况。图9A至图9D是当读取图像901在垂直方向上被分割为多个带数据并且被处理时的说明图。在图9A中,带902是通过在垂直方向上将读取图像901分割为多个带而获得的第一带数据。按照光栅扫描顺序从上到下读取带902。在读取并处理带902结束之后,如图9B中所示读取带903。此时,考虑到目标对象的检测窗口的大小(根据目标对象大约为几十到几百像素),带902和903需要在水平方向上相互重叠。在读取并处理带903结束之后,如图9C中所示读取带904。考虑到检测窗口的大小,带903和904也需要在水平方向上相互重叠。以同样的方式读取并处理在水平方向上重叠的带。在读取图像901的末端,读取并处理图9D中所示的最后的带905。以这种方式,带数据相互重叠。
将参照图10说明当如图9A至图9D中所示进行带分割并且如第一实施例中所述执行缩小处理时对图像存储器的访问。在图10中,读取图像1001在垂直方向上被分割成多个带,同时经历缩小处理和检测处理,并且针对各带将读取图像1001写入到写入图像1002上。首先,带1003同时经历缩小处理和检测处理,并且被写入带1004中。然后,带1005同时经历缩小处理和检测处理,并且被写入带1006中。此外,带1007同时经历缩小处理和检测处理,并且被写入带1008中。以相同的方式继续带处理,直到处理整个读取图像结束。如参照图9A至图9D描述的,考虑到检测窗口大小,读取图像的带1003和1005、带1005和1007,...,和带N和N+2需要在水平方向上相互重叠。作为缩小并输出重叠的输入带的结果,写入图像上的带1004、1006和1008也类似地在水平方向上相互重叠。如上所述,检测窗口的水平大小为大约几十像素,所以写入图像上的相邻带在水平方向上也相互重叠几十像素。由于在图8中对存储器的访问计数的计算中不考虑带之间的重叠,所以与图8相比,对存储器的访问计数增加。根据第二实施例的图像处理设备抑制了由带之间的重叠引起的对存储器的访问计数的增加。
图11例示根据第二实施例的图像处理设备的功能配置。图11中所示的图像处理设备的功能配置与参照图4描述的根据第一实施例的图像处理设备的功能配置示例相同。根据第二实施例的图像处理设备与根据第一实施例的图像处理设备不同之处在于,除了图4中所示的功能配置以外,在图像读出单元403和图像缩小单元404之间插入了图像提取单元1101。图像提取单元1101具有如下功能:从图像读出单元403发送的图像数据中去除图像的左侧、右侧或者这两侧上的指定数目的像素,并且将被提取的图像提供给图像缩小单元404。
在图11中,在图像读出单元403和图像缩小单元404之间插入图像提取单元1101。然而,可以在图像缩小单元404和图像写入单元410之间插入图像提取单元1101。
图12例示了图像提取单元1101的内部配置。图像提取单元1101包括像素位置计数单元1201、像素位置比较单元1202、输出选择单元1203和提取位置指定单元1204。输入到图像提取单元1101的图像数据被发送到输出选择单元1203并且还被发送到像素位置计数单元1201。像素位置计数单元1201计数该图像中像素的坐标位置。像素位置计数单元1201将与输入图像数据相对应的像素位置输出到像素位置比较单元1202。提取位置指定单元1204指定表示要被提取的图像的位置的提取位置信息。该提取位置被指定以减小带数据之间的重叠。提取位置指定单元1204将所指定的提取位置输出到像素位置比较单元1202。像素位置比较单元1202比较从像素位置计数单元1201接收到的输入图像数据的像素位置与从提取位置指定单元1204接收到的提取位置信息。像素位置比较单元1202确定输入图像数据存在于要被输出的像素的位置处还是存在于要被去除的像素的位置处。像素位置比较单元1202的确定结果被发送到输出选择单元1203。输出选择单元1203基于像素位置比较单元1202的确定结果选择是否输出输入图像数据。
将参照图13说明根据第二实施例的处理操作。在图13中,读取图像1301在垂直方向上被分割为多个带,同时经历缩小处理和检测处理,并且针对各带数据将读取图像1301写入到写入图像1302上。在图13中,通过分割读取图像1301获得的第一带1303不经历图像提取单元1101的提取处理,而将整个带缩小并写入带1304中。如上所述,考虑到检测窗口大小,接下来读取的带1305与带1303在水平方向上重叠几十像素。对于带1305,图像提取单元1101从与带1303的重叠部分中提取并去除缩小处理不需要的部分,以防止在写入图像1302上重叠。也就是说,如图13中所示,能够防止在写入图像1302上带1304和带1306之间的重叠。缩小处理所需的重叠量随缩小算法(例如双线性差值、双三次差值或简单细化)而变化。例如,对于双线性差值,只要带相互重叠一个像素就可以进行缩小处理。因此,在双线性差值中,图像提取单元1101被设置为使得带1306的左侧在带1304上的重叠量变为一个像素。对于带1307,图像提取单元1101执行同样的提取处理以避免在写入图像1302上带1308和带1306之间重叠。这也适用于随后的带处理。对于图像提取单元1101的图像提取位置,提取位置指定单元1204针对各带设置适当的值,从而实现上面描述的操作。
如上所述,在第二实施例中,在带分割时图像提取单元的提取位置被适当地设置,以去除缩小处理不需要的部分。结果,即使在带分割时,第二实施例也能够减小写入图像上带之间的重叠,并且减少对存储器的访问计数。
在以上操作的描述中,图像提取单元1101只去除图像的左侧。然而,当带处理顺序是从右向左时,可以去除图像的右侧。本实施例处理从左向右和从右向左这两个带处理顺序。因此,图像提取单元1101可以从图像的两侧去除指定数目的像素。
在第二实施例中,在垂直方向上将图像分割为多个带。然而,即使在水平方向上将图像分割为多个带时,通过图像提取单元将图像提取方向从水平方向改变到垂直方向,本发明也是适用的。
本发明能够减少对图像存储器的访问计数。
(其他实施例)
本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机(或诸如CPU或MPU的设备)来实现,以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此,例如经由网络或者从用作存储设备的各种类型的记录介质(例如计算机可读介质)向计算机提供程序。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释,以使其涵盖所有这些变型例以及等同的结构和功能。
Claims (6)
1.一种图像处理设备,其包括:
存储单元,其被配置为存储图像数据;
读出单元,其被配置为读出存储在所述存储单元中的所述图像数据;
检测单元,其被配置为从由所述读出单元输出的所述图像数据中检测目标对象;
缩小单元,其被配置为缩小由所述读出单元读出的所述图像数据;以及
写入单元,其被配置为将由所述缩小单元缩小了的所述图像数据写入所述存储单元中,
其中,所述读出单元从所述存储单元重复地读出先前缩小的图像数据并同时将所述先前缩小的图像数据并行地输出到所述检测单元和所述缩小单元,使得并行地进行由所述检测单元从所述先前缩小的图像数据对所述目标对象的检测和由所述缩小单元对所述先前缩小的图像数据的进一步缩小,并且并行地进行所述图像数据的顺序缩小和不同大小的目标对象的顺序检测。
2.根据权利要求1所述的图像处理设备,其中,考虑到用于所述检测单元检测所述目标对象的检测窗口,所述读出单元将所述图像数据分割为具有相互重叠部分的多个带数据。
3.根据权利要求2所述的图像处理设备,其中所述检测单元从由所述读出单元输出的各自的带数据检测所述目标对象,并且,
所述缩小单元缩小从所述读出单元输出的所述带数据中的各个。
4.根据权利要求2所述的图像处理设备,所述图像处理设备还包括去除单元,其被配置为从由所述读出单元输出的所述带数据中的所述重叠部分中去除缩小不需要的部分,并且,
所述缩小单元缩小由所述去除单元去除的所述不需要的部分的带数据。
5.根据权利要求4所述的图像处理设备,所述去除单元包括:
指定单元,其被配置为在所述带数据之间的所述重叠部分中指定缩小所需部分的像素位置;以及
提取单元,其被配置为从所述带数据中提取由所述指定单元指定的所述像素位置的数据,从而从所述带数据中的所述重叠部分去除缩小不需要的部分。
6.一种图像处理设备的控制方法,该图像处理设备从图像数据中检测目标对象,所述控制方法包括:
读出步骤,读出存储在存储单元中的所述图像数据;
检测步骤,使检测单元从在所述读出步骤中输出的所述图像数据中检测所述目标对象;
缩小步骤,使缩小单元缩小在所述读出步骤中读出的所述图像数据;以及
写入步骤,将在所述缩小步骤中缩小了的所述图像数据写入所述存储单元中,
其中,在所述读出步骤中,从所述存储单元重复地读出先前缩小的图像数据并同时将所述先前缩小的图像数据并行地输出到所述检测单元和所述缩小单元,使得并行地进行在所述检测步骤中从所述先前缩小的图像数据对所述目标对象的检测和在所述缩小步骤中对所述先前缩小的图像数据的进一步缩小,并且并行地进行所述图像数据的顺序缩小和不同大小的目标对象的顺序检测。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-094376 | 2011-04-20 | ||
JP2011094376A JP5683367B2 (ja) | 2011-04-20 | 2011-04-20 | 画像処理装置、画像処理装置の制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102750689A CN102750689A (zh) | 2012-10-24 |
CN102750689B true CN102750689B (zh) | 2016-12-14 |
Family
ID=46245797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210120010.XA Active CN102750689B (zh) | 2011-04-20 | 2012-04-19 | 图像处理设备及其控制方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9405961B2 (zh) |
EP (1) | EP2515256A3 (zh) |
JP (1) | JP5683367B2 (zh) |
CN (1) | CN102750689B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5777422B2 (ja) * | 2011-06-30 | 2015-09-09 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR20140013142A (ko) * | 2012-07-18 | 2014-02-05 | 삼성전자주식회사 | 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치 |
US9256919B2 (en) | 2013-04-05 | 2016-02-09 | Grit Design, Inc. | Systems and methods for image processing using a resizing template |
US9747658B2 (en) * | 2013-09-06 | 2017-08-29 | Apple Inc. | Arbitration method for multi-request display pipeline |
WO2015139174A1 (zh) * | 2014-03-17 | 2015-09-24 | 富士通株式会社 | 图像编码方法、装置以及图像处理设备 |
KR102564477B1 (ko) | 2015-11-30 | 2023-08-07 | 삼성전자주식회사 | 객체 검출 방법 및 장치 |
CN107368836A (zh) * | 2016-05-12 | 2017-11-21 | 北京君正集成电路股份有限公司 | 一种获取积分图的方法及装置 |
JP2017215629A (ja) | 2016-05-30 | 2017-12-07 | ソニー株式会社 | 画像処理装置、画像処理方法、および、プログラム |
WO2020142589A1 (en) * | 2019-01-04 | 2020-07-09 | Gopro, Inc. | Face detection in spherical images |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1241758A (zh) * | 1998-06-12 | 2000-01-19 | 佳能株式会社 | 图像处理设备和方法,以及计算机可读存储器 |
CN1729481A (zh) * | 2002-12-18 | 2006-02-01 | 皇家飞利浦电子股份有限公司 | 借助多分辨率分解处理输入图像的方法 |
CN1967566A (zh) * | 2005-11-14 | 2007-05-23 | 索尼株式会社 | 图像处理设备和图像处理方法 |
US20090245649A1 (en) * | 2008-03-25 | 2009-10-01 | Seiko Epson Corporation | Method, Program and Apparatus for Detecting Object, Computer Readable Recording Medium Storing Object Detection Program, and Printing Apparatus |
WO2010116763A1 (ja) * | 2009-04-10 | 2010-10-14 | パナソニック株式会社 | 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6785427B1 (en) * | 2000-09-20 | 2004-08-31 | Arcsoft, Inc. | Image matching using resolution pyramids with geometric constraints |
US7088860B2 (en) * | 2001-03-28 | 2006-08-08 | Canon Kabushiki Kaisha | Dynamically reconfigurable signal processing circuit, pattern recognition apparatus, and image processing apparatus |
US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
JP2007026307A (ja) * | 2005-07-20 | 2007-02-01 | Canon Inc | 画像処理装置及びその制御方法 |
US8031936B2 (en) * | 2006-03-20 | 2011-10-04 | Accenture Global Services Limited | Image processing system for skin detection and localization |
JP4218712B2 (ja) * | 2006-08-04 | 2009-02-04 | ソニー株式会社 | 顔検出装置、撮像装置および顔検出方法 |
JP2008102611A (ja) | 2006-10-17 | 2008-05-01 | Canon Inc | 画像処理装置 |
JP2008123086A (ja) * | 2006-11-09 | 2008-05-29 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
JP2008210009A (ja) | 2007-02-23 | 2008-09-11 | Fujifilm Corp | 画像識別装置,画像識別方法,撮像装置及び撮像方法 |
JP2009116763A (ja) * | 2007-11-09 | 2009-05-28 | Sony Corp | 画像処理装置および画像データのメモリアクセス方法 |
JP5067282B2 (ja) * | 2008-06-27 | 2012-11-07 | ソニー株式会社 | 物体検出制御装置、物体検出システム、物体検出制御方法およびプログラム |
WO2010058448A1 (ja) * | 2008-11-21 | 2010-05-27 | パナソニック株式会社 | 撮像処理システムおよびデジタルカメラ |
JP4656238B2 (ja) * | 2009-01-19 | 2011-03-23 | 株式会社ニコン | 画像処理装置およびデジタルカメラ |
WO2010131167A1 (en) * | 2009-05-13 | 2010-11-18 | Koninklijke Philips Electronics N.V. | A display apparatus and a method therefor |
JP5455547B2 (ja) * | 2009-10-19 | 2014-03-26 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2011
- 2011-04-20 JP JP2011094376A patent/JP5683367B2/ja active Active
-
2012
- 2012-04-12 EP EP12163896.9A patent/EP2515256A3/en not_active Withdrawn
- 2012-04-13 US US13/447,000 patent/US9405961B2/en active Active
- 2012-04-19 CN CN201210120010.XA patent/CN102750689B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1241758A (zh) * | 1998-06-12 | 2000-01-19 | 佳能株式会社 | 图像处理设备和方法,以及计算机可读存储器 |
CN1729481A (zh) * | 2002-12-18 | 2006-02-01 | 皇家飞利浦电子股份有限公司 | 借助多分辨率分解处理输入图像的方法 |
CN1967566A (zh) * | 2005-11-14 | 2007-05-23 | 索尼株式会社 | 图像处理设备和图像处理方法 |
US20090245649A1 (en) * | 2008-03-25 | 2009-10-01 | Seiko Epson Corporation | Method, Program and Apparatus for Detecting Object, Computer Readable Recording Medium Storing Object Detection Program, and Printing Apparatus |
WO2010116763A1 (ja) * | 2009-04-10 | 2010-10-14 | パナソニック株式会社 | 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2515256A2 (en) | 2012-10-24 |
JP2012226608A (ja) | 2012-11-15 |
US20120269390A1 (en) | 2012-10-25 |
US9405961B2 (en) | 2016-08-02 |
CN102750689A (zh) | 2012-10-24 |
EP2515256A3 (en) | 2015-03-18 |
JP5683367B2 (ja) | 2015-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102750689B (zh) | 图像处理设备及其控制方法 | |
Bertasius et al. | Object detection in video with spatiotemporal sampling networks | |
Tosi et al. | Metrics for probabilistic geometries | |
CN109084746A (zh) | 用于具有辅助传感器的自主平台引导系统的单目模式 | |
CN102414718B (zh) | 对象位置估计设备和对象位置估计方法 | |
US10621446B2 (en) | Handling perspective magnification in optical flow processing | |
CN107851327A (zh) | 粗细搜索方法及图像处理装置 | |
KR101969623B1 (ko) | 병렬 검출과 추적, 및/또는 그룹화된 피처 모션 시프트 추적을 이용한 얼굴 인식 | |
CN110222641B (zh) | 用于识别图像的方法和装置 | |
JP2010113513A (ja) | 画像処理装置、画像処理方法、プログラム | |
CN111160065A (zh) | 遥感图像舰船检测方法、装置、设备及其存储介质 | |
CN113034406B (zh) | 扭曲文档恢复方法、装置、设备及介质 | |
CN111310758A (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
Lin et al. | CRPN-SFNet: A high-performance object detector on large-scale remote sensing images | |
CN103970901B (zh) | 一种地理信息图形数据整合方法 | |
CN111914756A (zh) | 一种视频数据处理方法和装置 | |
KR20110123744A (ko) | 화상 내의 잠재적으로 변화된 객체의 검출 | |
CN111310759A (zh) | 双模式协作的目标检测抑制优化方法及设备 | |
CN108122245A (zh) | 一种目标行为描述方法、装置和监控设备 | |
JP3932379B2 (ja) | 画像処理装置と撮像素子 | |
CN109919958A (zh) | 一种基于多尺度图像空间的多重约束线段提取方法 | |
CN111027551B (zh) | 图像处理方法、设备和介质 | |
US9171227B2 (en) | Apparatus and method extracting feature information of a source image | |
CN114596580B (zh) | 一种多人体目标识别方法、系统、设备及介质 | |
US6310983B1 (en) | Efficient search for a gray-level pattern in an image using ranges of sums |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |