CN102741877B - 目标检测装置、图像分割装置、集成电路 - Google Patents
目标检测装置、图像分割装置、集成电路 Download PDFInfo
- Publication number
- CN102741877B CN102741877B CN201180007673.4A CN201180007673A CN102741877B CN 102741877 B CN102741877 B CN 102741877B CN 201180007673 A CN201180007673 A CN 201180007673A CN 102741877 B CN102741877 B CN 102741877B
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- processor elements
- check processing
- downscaled images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种目标检测装置,具有执行在图像中包含的目标的检测处理的多个处理器元件部,该图像被分割为具有与其他一个以上的分割图像的重叠部分的N个分割图像。该目标检测装置考虑要由各处理器元件进行的目标的检测处理的处理量、以及向各处理器元件的各个转送中的重叠部分的数据量,来将图像分割而生成分割图像。并且,各处理器元件针对各个分割图像彼此独立地进行目标的检测处理。
Description
技术领域
本发明涉及从图像中检测人物等目标的目标检测技术,尤其涉及利用多个处理器元件(processorelement)进行的并行处理型目标检测技术。
背景技术
现有技术中,作为从图像中检测目标的技术,已知有对作为检测对象的图像,一边扫描具有目标的特征的模板图像,一边进行依次对照的匹配处理,从而检测出目标的模板匹配法。
该模板匹配法中,其匹配处理的运算量较大。因此,在利用模板匹配法的目标检测装置中,为了使匹配处理的处理时间较短,有的使用彼此可并行动作的多个处理器元件来进行匹配处理。
例如,专利文献1中记载了一种并行处理型目标检测装置,具备:多个处理器元件,各自具有本地存储器;以及生成部,为了使各处理器元件进行的匹配处理彼此独立,生成与其他分割图像具有重叠部分(下面,称为“重叠区域”)的多个分割图像。该并行处理型的目标检测装置中,生成部考虑各处理器元件进行的匹配处理的处理量来生成分割图像。并且,各处理器元件将作为自身的匹配处理对象的分割图像转送给自身的本地存储器中,分别彼此并行地进行匹配处理。
现有技术文献
专利文献
专利文献1:特开2010-9405号公报
发明概要
发明要解决的问题
一般,在使多个处理器元件并行处理匹配处理的情况下,各处理器元件进行的匹配处理的处理量的总和不依赖于图像的分割数,而是一定。相对于此,图像的分割数越多,各分割图像的像素数总和越多。这是因为图像的分割数越多,重叠区域越多。
因此,在采用对各处理器元件依次转送图像的方式的并行处理型目标检测装置中,即使仅考虑各处理器元件进行的匹配处理的处理量来进行图像的分割,也存在将匹配处理所需的时间和图像转送处理所需的时间两者相加而得到的时间(下面称作“用于检测目标的处理时间”。)不是最短的情形。
发明内容
因此,本发明是鉴于上述问题而作出的,其目的是提供一种在采用向各处理器元件依次转送图像的方式的情况下,与以往相比缩短用于检测目标的处理时间的可能性提高的目标检测装置。
用于解决问题的手段
为了解决上述问题,本发明的目标检测装置,从图像中检测出目标,其特征在于,包括:多个处理器元件部,参照图像而执行所参照的图像中包含的目标的检测处理;分割部,为了使所述多个处理器元件部分别彼此独立地执行所述检测处理,将图像分割为具有与其他1个以上的分割图像的重叠部分的N个分割图像;以及转送部,将由所述分割部分割而得到的各个分割图像转送给各个处理器元件部;所述多个处理器元件部分别参照由所述转送部转送的图像来进行所述检测处理;所述分割部根据要由所述转送部进行的各个所述转送中的重叠部分的数据量、以及要由所述多个处理器元件部分别进行的所述检测处理的处理量,决定所述分割图像的数量N。
发明效果
根据具有上述结构的本发明的目标检测装置,图像的分割反映转送部进行的各个重叠部分的转送中的数据量和多个处理器元件部各自进行的检测处理的处理量双方来进行。
因此,该目标检测装置在采用向各处理器元件依次转送图像的方式的情况下,与以往相比能够提高缩短用于检测目标的处理时间的可能性。
附图说明
图1是表示图像处理装置100的主要硬件结构的框图。
图2是目标检测装置110的功能框图。
图3是表示匹配处理的示意图。
图4是视觉上表现匹配处理中的重叠区域的示意图。
图5是表示使式1最小的各分割数Nk的表。
图6是目标检测处理的流程图。
图7是初始分配处理的流程图。
图8是分割部800的功能框图。
图9是第1变形目标检测处理的流程图。
图10是第1变形分割处理的流程图。
图11是表示通过第1变形分割处理计算的各分割数Nk的表。
图12是分割部1200的功能框图。
图13是第2变形分割处理的流程图。
图14是表示通过第2变形分割处理计算的各分割数Nk的表。
图15是示意地表示变形例的分割图像的生成的示意图。
图16是目标检测装置1600的结构图。
具体实施方式
<实施方式1>
<概要>
下面,作为本发明的目标检测装置的一实施方式,说明具有以预定的帧速率拍摄图像的功能、和针对所拍摄的图像分别检测作为被摄体而包含的人脸的功能的图像处理装置100。
该图像处理装置100内置有从拍摄的图像中检测在该图像中作为被摄体而包含的人脸的目标检测装置110。
该目标检测装置110包括一个控制器和能够彼此独立地进行匹配处理的16个处理器元件。首先,控制器根据由图像处理装置100拍摄到的图像(下面,称作“原始图像”。),生成以规定的缩小比率缩小而得到的15个缩小图像。接着,控制器考虑各处理器元件进行的匹配处理的处理量和向各处理器元件转送的图像的转送量,对原始图像和15个缩小图像分别分割图像而生成分割图像。并且,各处理器元件对各个分割图像,彼此独立地进行匹配处理。
以下,参照附图来说明本实施方式1的图像处理装置100的细节。
<图像处理装置100的硬件结构>
图1是图像处理装置100的主要硬件结构的框图。
如该图所示,图像处理装置100包括目标检测装置110、摄像装置120、输入处理电路130、主存储器140、图像存储器150、处理器160、存储器总线170和处理器总线180。
存储器总线170与输入处理电路130、主存储器140、图像存储器150、处理器160和目标检测装置110连接,具有转送这些连接的电路间的信号的功能。
处理器总线180与摄像装置120、输入处理电路130、处理器160和目标检测装置110连接,具有转送这些连接的电路间的信号的功能。
图像存储器150与存储器总线170连接,由RAM(随机访问存储器RandomAccessMemory)构成,存储目标检测装置110使用的图像。
主存储器140与存储器总线170连接,由RAM和ROM(只读存储器ReadOnlyMemory)构成,存储处理器160使用的程序、处理器160使用的数据、目标检测装置110使用的程序和目标检测装置110使用的数据。
摄像装置120与输入处理电路130即处理器总线180连接,由处理器160经由处理器总线180控制,具备固体摄像元件(例如,CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)成像传感器)和向固体摄像元件聚集外部光的透镜群,具有以预定的帧速率(例如10fps)拍摄外部的被摄体并生成由规定数量(例如,640×480)的像素构成的原始图像的功能。
输入处理电路130与摄像装置120、存储器总线170以及处理器总线180连接,由处理器160经有处理器总线180控制,具有如下功能:在摄像装置120生成了原始图像的情况下,将该原始图像经由存储器总线170写入到图像存储器150的功能;以及在原始图像的向图像存储器150的写入完成的情况下,将原始图像的写入完成之意的原始图像写入完成信号经由处理器总线180发送给目标检测装置110的功能。
处理器160与存储器总线170及处理器总线180连接,具有实现如下功能的功能,上述功能为:通过执行主存储器140中存储的程序,经由处理器总线180控制摄像装置120、输入处理电路130和目标检测装置110,使图像处理装置100以规定的帧速率拍摄图像的功能;以及针对拍摄出的各个图像,检测作为被摄体而包含的人脸的功能。
目标检测装置110与存储器总线170及处理器总线180连接,由处理器160经由处理器总线180控制,具有从图像存储器150存储的原始图像中检测在该原始图像中作为被摄体而包含的人脸的功能。
如图1所示,目标检测装置110进一步包括控制器119、彼此能够独立动作的16个处理器元件(第1PE(ProcessorElement:处理器元件)111~第16PE114)、以及16个本地存储器(第1LM(LocalMemory:本地存储器)115~第16LM118)。
目标检测装置110可通过这些多个构成要素集成在1个半导体集成电路中来实现。
16个处理器元件(第1PE111~第16PE114)分别具有彼此相同的结构和相同的功能。因此,这里说明第1PE111。
第1PE111与第1LM115及处理器总线180连接,由控制器119经由处理器总线180控制,具有通过执行第1LM115中存储的程序,对第1LM115中存储的图像进行匹配处理,并从图像中检测作为被摄体而包含的人脸的功能。
16个本地存储器(第1LM115~第16LM118)分别具有彼此相同的结构和相同的功能。因此,这里说明第1LM115。
第1LM115与第1PE111及存储器总线170连接,由RAM和ROM构成,存储第1PE111使用的程序、第1PE111使用的数据和作为第1PE111进行的匹配处理的对象的图像。
控制器119与存储器总线170及处理器总线180连接,由处理器160经由处理器总线180控制,具有通过执行主存储器140中存储的程序,经由处理器总线180控制第1PE111~第16PE114,而使目标检测装置110实现从图像存储器150所存储的原始图像中检测在该原始图像中作为被摄体而包含的人脸的功能这样的功能。
以下,参照附图来详细说明目标检测装置110。
<目标检测装置110>
图2是具有上述硬件结构的目标检测装置110通过执行程序实现的功能的功能框图。
如该图所示,目标检测装置110包括16个PE部(第1PE部201~第16PE部204)、缩小图像生成部210、受理部220、分割部230、分配部240和转送部250。并且,转送部250还包括PE执行管理部260和图像接收部270。
16个PE部(第1PE部201~第16PE部204)分别具有彼此相同的结构和相同的功能。因此,这里说明第1PE部201。
第1PE部201由执行程序的第1PE111和第1LM115实现,与PE执行管理部260连接,具有以下4个功能。
图像存储功能:存储作为自身进行的匹配处理的对象的图像的功能。
模板图像存储功能:存储多个(例如1000个)由20个像素×20个像素构成的具有与人脸有关的特征的模板图像的功能。
检测功能:利用所存储的各个模板图像,对所存储的图像进行匹配处理,来从图像中检测作为被摄体而包含的人脸的功能。
完成通知功能:在对所存储的图像的匹配处理完成的情况下,将匹配处理完成信号向PE执行管理部输出的功能。
图3是示意地表示第1PE部201利用模板图像对图像进行的匹配处理的示意图。
如该图所示,第1PE部201通过对作为匹配处理是对象的图像300,一边时各个模板图像以4个像素为单位偏移一边进行扫描并依次对照来进行。
第1PE部201以下面的顺序进行扫描。第1PE部201从图像300的左上端起开始扫描,首先,一边沿水平方向以4个像素为单位偏移一边扫描到图像的右端。并且,若到图像300的右端为止的扫描结束,则接着在垂直方向上以4个像素为单位偏移并从图像300的左端至右端依次继续扫描。将这种扫描从上列侧依次重复进行到下列侧,从而从图像300的左上端至图像300的右下端为止进行扫描。并且,若扫描进行到图像300的右下端,则该扫描结束。
这里,第1PE部201即使在扫描到图像300的右下端之前检测到人脸的情况下也不结束扫描,而继续进行扫描到图像300的右下端。
再次回到图2,继续说明目标检测装置110。
缩小图像生成部210通过执行程序的控制器119实现,与存储器总线170及受理部220连接,具有以下5个功能。
缩小图像生成功能:若经由处理器总线180从输入处理电路130送来原始图像写入完成信号,则从图像存储器150读出原始图像,并对所读出的原始图像,以垂直方向90%、水平方向90%的缩小率依次缩小而生成15个缩小图像的功能。
缩小图像ID赋予功能:将所读出的原始图像、以及所生成的各个缩小图像与用于识别缩小图像的缩小图像ID建立对应。这里,对原始图像赋予缩小图像ID=0,从缩小率小的缩小图像起依次赋予缩小图像ID=1、2、3、…、15。
缩小图像像素数计算功能:针对所读出的原始图像、以及所生成的各个缩小图像,计算构成图像的像素的像素数,并将计算出的像素数分别与缩小图像ID建立对应,并向受理部220发送的功能。
缩小图像写入功能:将所生成的各个缩小图像与所赋予的各个缩小图像ID建立对应而写入到图像存储器150,并将写入的各个地址与各个缩小图像ID建立对应而向受理部220发送的功能。
缩小完成信号输出功能:若对所有缩小图像的向图像存储器150的写入完成,则向受理部220发送缩小完成信号的功能。
受理部220通过执行程序的控制器119实现,与缩小图像生成部210及分割部230连接,具有以下的受理功能。
受理功能:若从缩小图像生成部210送来缩小完成信号,则将从缩小图像生成部210发送的与缩小图像ID建立对应的各个像素数和与缩小图像ID建立对应的各个地址发送给分割部230的功能。
分割部230通过执行程序的控制器119实现,与受理部220及分配部240连接,具有以下3个功能。
分割数计算功能:计算在设缩小图像ID是k的图像的分割数为Nk的情况下的、使数式1最小的各Nk的功能。
[数式1]
数式1中,X0是原始图像的水平方向的像素数,这里为640。Y0是原始图像的垂直方向的像素数,这里为480。Rx是垂直方向的缩小率,这里为0.9。Ry是水平方向的缩小率,这里为0.9。Rt是将图像转送给PE部的情况下的每一像素的转送时间相对于PE部进行匹配处理的情况下的每一像素的处理时间的比例,这里为0.5。该比例可通过实验测量来求出。GDB是为了生成分割图像而沿垂直方向分割图像的情况下,分割图像中包含的重叠区域在水平方向上的像素数,这里为16。这通过从模板图像在水平方向的像素数(这里是20)减去扫描时偏移的单位像素数(这里是4)来求出。
数式1中,数式2的部分是将缩小图像ID为k的缩小图像中包含的像素数除以分割数Nk而得到的值,表示PE部对缩小图像ID为k的图像进行的匹配处理的处理时间。
[数式2]
(X0·Rxk·Y0·Ryk)/Nk
数式1中,数式3的部分是对通过将缩小图像ID为k的图像进行分割而产生的重叠区域所包含的像素数(数式4)乘以Rt乘而得到的,表示将缩小图像ID为k的图像中的重叠区域的像素转送给PE的转送时间。
[数式3]
Rt·(Nk-1)·GDB·Y0·Ryk
[数式4]
(Nk-1)·GDB·Y0·Ryk
因此,fk(Nk)是针对缩小图像ID为k的缩小图像,由PE部进行的匹配处理的处理时间与将重叠区域的像素传送给PE的转送时间之和。
使数式1最小的各Nk的计算例如可以通过将从1起依次为2、3、…、M(M是比15充分大的整数)这样的1以上且M以下的整数代入到各Nk来计算数式1,并从计算结果之中选择数式1成为最小值时的Nk来实现。
图4是在视觉上表现将图像进行分割的情况下所需的重叠区域的示意图。
该图示意地表示了将图像在垂直方向上进行二分割,并由第nPE部和第n+1PE部分别对各个分割图像进行匹配处理的情况下的例子。
如该图所示,在将由20个像素×20个像素构成的模板图像一边以4个像素为单位偏移一边进行扫描的情况下,为了进行与在分割前的图像中进行的扫描相同的扫描,第nPE部和第n+1PE部双方需要利用具有20个像素-4个像素=16个像素的宽度的重叠区域的像素。
图5是表示X0为640、Y0为400、Rx为0.9、Ry为0.9、Rt为0.5、GDB为16的情况下的使数式1最小的各分割数Nk的表。
该图中,缩小图像ID510是为了识别缩小图像,而对各缩小图像分配的识别符。横宽(像素)520是通过对应的缩小图像ID510识别的缩小图像的水平方向的像素数。纵宽(像素)530是通过对应的缩小图像ID510识别的缩小图像的垂直方向的像素数。像素数540是通过对应的缩小图像ID510识别的图像中包含的像素数。分割数Nk(处理PE数量)550是通过对应的缩小图像ID510识别的图像中,使数式1为最小的分割数。重叠区域像素数560是将通过对应的缩小图像ID510识别的图像分割为对应的分割数Nk(处理PE数量)550个的情况下产生的重叠区域各自的像素数总和。fk(Nk)570是以对应的分割数Nk(处理PE数量)550分割通过对应的缩小图像ID510识别的图像的情况下的fk(Nk)的值。
再次回到图2,来继续进行分割部230的说明。
分割功能:关于原始图像和15个缩小图像,根据所计算的分割数Nk,沿垂直方向分割各图像而生成分割图像,以使各PE部所进行的匹配处理彼此独立。另外,对于Nk是1的图像,生成的分割图像为分割前的原图像。
地址生成功能:关于所生成的各个分割图像,生成表示图像存储器150中对构成分割图像的像素群进行存储的存储区域的地址的功能。
分配部240通过执行程序的控制器119实现,与分割部230及转送部250连接,具有将由分割部230生成的分割图像分别分配给第1PE部201~第16PE部204中的某一个的功能。这里,对于分配部240进行的分割图像的分配方法的细节,将在后面目标检测处理的步骤S630~步骤S655的处理部分进行说明。
图像接收部270通过执行程序的控制器119实现,与存储器总线170、分配部240及PE执行管理部260连接,具有利用由分配部240生成的地址,经由存储器总线170从图像存储器150读出由分割部230生成的各个分割图像的功能。
PE执行管理部260通过执行程序的控制器119实现,与第1PE部201~第16PE部204、分配部240及图像接收部270连接,具有以下2个功能。
图像转送功能:将图像接收部270读出的分割图像转送给由分配部240分配的PE部的功能。
完成通知功能:在从某一个PE部发送来了匹配处理完成信号的情况下,将该匹配处理完成信号发送给分配部240的功能。
以下,参照附图说明具有上述结构的目标检测装置110进行的动作。
<动作>
这里,说明目标检测装置110进行的动作中,作为特征动作的目标检测处理。
<目标检测处理>
目标检测处理是从图像存储器150存储的原始图像中检测在该原始图像中作为被摄体而包含的人脸的处理。
图6是目标检测处理的流程图。
目标检测处理通过由缩小图像生成部210受理从输入处理电路130经由处理器总线180发送来的原始图像写入完成信号而开始。
若目标检测处理开始,则缩小图像生成部210从图像存储器150中读出原始图像,并使用于识别缩小图像的缩小图像ID与所读出的原始图像及生成的15个缩小图像各自建立对应。并且,对于所读出的原始图像和生成的缩小图像,分别计算构成图像的像素的像素数,并将所计算的像素数分别与各自建立对应的图像ID一起发送给受理部220(步骤S600)。
若将所计算的像素数分别发送给受理部220,则缩小图像生成部210对原始图像以垂直方向90%、水平方向90%的缩小率依次缩小而生成15个缩小图像,并将所生成的缩小图像分别写入到图像存储器150中,将各个写入地址发送给受理部220(步骤S605),若对所有缩小图像的写入结束,则将缩小完成信号发送给受理部220(步骤S610)。
若接收到缩小完成信号,则受理部220将从缩小图像生成部210发送来的与缩小图像ID建立对应的各个像素数和与缩小图像ID建立对应的各个地址发送给分割部230。分割部230计算使数式1最小的各分割数Nk(步骤S615)。
若计算出各分割数Nk,则分割部230对原始图像和15个缩小图像,根据所计算的分割数Nk,沿垂直方向分割各图像而生成分割图像(步骤S620)。并且,对于所生成的各个分割图像,生成表示对构成分割图像的像素群进行存储的图像存储器150中的存储区域的地址,并向分配部240输出(步骤S625)。
分配部240在接受各地址后,开始以下的初始分配处理(步骤S630)。
<初始分配处理>
初始分配处理是在目标检测处理开始后最先进行的向各PE部分配分割图像的处理,并且是对未被分配分割图像的16个PE部分别分配各一个分割图像的处理。
图7是初始分配处理的流程图。
若初始分配处理开始,则分配部240首先将表示缩小图像ID的k的初始值设定为0(步骤S700)。
接着,分配部240对于缩小图像ID=k,调查由分割部230计算的分割数Nk是否是未被分配分割图像的PE部(以下,称作“空PE部”。)的的数量以下(步骤S710)。
在步骤S710的处理中,在分割数Nk是空PE部数量以下的情况下(步骤S710:是),分配部240向Nk个空PE部分别各分配1个分割图像,并更新空PE部数量(步骤S720)。
在步骤S720的处理结束的情况下,或步骤S710的处理中,在分割数Nk不是空PE部数量以下的情况下(步骤S710:否),分配部240调查k是否小于15(步骤S730)。
在步骤S730的处理中,在k小于15的情况下(步骤S730:是),分配部240将k增加1(步骤S740),并重复步骤S710以下的处理。
在步骤S730的处理中,在k不是15以下的情况下(步骤S730:否),分配部240调查是否还剩余没有向任何一个PE部分配的分割图像(以下,称作“未分配分割图像”)(步骤S750)。
在步骤S750的处理中,在剩余了未分配分割图像的情况下(步骤S750:是),分配部240从未分配分割图像之中数据量最多的图像开始依次分配给空PE部(步骤S760)。这里,分配部240将该对空PE部的分配进行到没有空PE,或没有未分配分割图像为止。
在步骤S760的处理结束的情况下,或步骤S750的处理中没有剩余未分配分割图像的情况下(步骤S750:否),分配部240结束该初始分配处理。
再次回到图6,来继续目标检测处理的说明。
若步骤S630的初始分配处理结束,则图像接收部270开始从图像存储器150读出由分配部240分配给PE部中的某一个的各个分割图像,。并且,PE执行管理部260针对开始读出的各个分割图像,分别开始向由分配部240分配的各个PE部转送。并且,各个PE部若接收到分割图像,则开始匹配处理(步骤S635)。
这里,各个PE部在接收到开始匹配处理所需的数据的时刻开始匹配处理。并不一定在接收到分割图像的全部数据后开始匹配处理。
之后,如从某一个PE部发送来了匹配处理完成之意的匹配处理完成信号(若重复步骤S640:否后,步骤S640的处理变为是)、则PE执行管理部260将该匹配处理完成信号发送给分配部240。
若接收到匹配处理完成信号,则分配部240调查是否剩余了未分配分割图像(步骤S645)。
在步骤S645的处理中,在剩余了未分配分割图像的情况下(步骤S645:是),分配部240将未分配分割图像之中数据量最多的分割图像分配给发送了匹配处理完成信号的空PE部(步骤S650)。
若步骤S650的处理结束,则图像接收部270开始从图像存储器150读出由分配部240新分配的分割图像。并且,PE执行管理部260针对开始读出的分割图像,开始向由分配部240分配的PE部转送。该PE部若接收到该分割图像,则开始匹配处理(步骤S655)。
之后,PE执行管理部260再次回到步骤S640的处理,而重复步骤S640以下的处理。
在步骤S645的处理中,在没有剩余未分配分割图像的情况下(步骤S645:否),若全部PE部结束匹配处理,则分配部240向处理器160发送目标检测处理结束的之意的信号(步骤S660),目标检测装置110结束该目标检测处理。
<考察>
上述结构的目标检测装置110根据由摄像装置120拍摄到的原始图像生成15个缩小图像,并以原始图像和所生成的15个缩小图像为对象,计算使数式1最小的分割数Nk,来分割各个图像。并且,转送部250将各个分割图像转送给各个PE部,各个PE部对所转送的各个分割图像进行匹配处理。
因此,该目标检测装置110反映转送部250进行的各个转送中的重叠区域的数据量和各个PE部进行的匹配处理中的处理量双方来进行各个图像的分割。
<实施方式2>
<概要>
下面,作为本发明的目标检测装置的一实施方式,说明将实施方式1的图像处理装置100的一部分变形而得到的第1变形图像处理装置。该第1变形图像处理装置其硬件结构与实施方式1的图像处理装置100的结构相同,但是相对于实施方式1的图像处理装置100,所执行的软件的一部分被变形。并且,该第1变形图像处理装置相对于实施方式1的图像处理装置100,目标检测装置110变形为第1变形目标检测装置。
实施方式1的目标检测装置110是决定缩小图像的分割数的算法为反映了转送部250进行的各个转送中的重叠区域的数据量和各个PE部进行的匹配处理中的处理量双方的算法的结构的例。相对于此,第1变形目标检测装置是决定缩小图像的分割数的算法为不反映转送部250进行的重叠区域的数据转送量、而仅反映各个PE部进行的匹配处理中的处理量的算法的结构的例。
下面,参照附图,以与实施方式1的目标检测装置110的不同点为中心来说明本实施方式2的第1变形目标检测装置的结构。
<结构>
第1变形目标检测装置相对于实施方式1的目标检测装置110,分割部230(参照图2)变形为分割部800。
因此,这里说明分割部800。
分割部800通过执行程序的控制器119来实现,除了实施方式1的分割部230具有的分割功能和地址生成功能之外,还具有以下的第1变形分割数计算功能。
第1变形分割数计算功能:以原始图像和所有缩小图像为对象,计算各图像的分割数Nk,以取得各PE部进行的匹配处理的处理量的平衡的功能。
对于该第1变形分割数计算功能中的各图像的分割数Nk的计算方法的细节,后面在第1变形分割处理的项目部分中说明。
图8是表示分割部800的功能结构的功能框图。
如该图所示,分割部800包括缓冲器部810、加法器部820和PE数量更新部830。
加法器部820通过执行程序的控制器119实现,与受理部220及PE数量更新部830连接,具有接受从受理部220发送的与缩小图像ID建立对应的各个像素数,并依次累加所接受到的各个像素数而计算总像素数,并将所计算的总像素数向PE数量更新部830输出的功能。
缓冲器部810通过执行程序的控制器119实现,与受理部220及PE数量更新部830连接,具有存储从受理部220发送的各个缩小图像ID和与缩小图像ID建立对应的各个像素数的功能。
PE数量更新部830通过执行程序的控制器119实现,与缓冲器部810、加法器部820及分配部240连接,具有读出在缓冲器部810中存储的各个缩小图像ID和与缩小图像ID建立对应的各个像素数,并与从加法器部820发送的总像素数相比较,从而计算各图像的分割数Nk的功能。各图像的分割数Nk的计算方法的细节在后面在第1变形分割处理的项目部分中说明。
下面,参照附图,来说明具有上述结构的第1变形目标检测装置进行的动作。
<动作>
这里,说明第1变形目标检测装置进行的动作中的作为特征动作的第1变形目标检测处理。
<第1变形目标检测处理>
第1变形目标检测处理与实施方式1的目标检测处理相同,是从图像存储器150存储的原始图像中检测在该原始图像中作为被摄体而包含的人脸的处理。
图9是第1变形目标检测处理的流程图。
第1变形目标检测处理是从实施方式1的目标检测处理(参照图6)中变形了其一部分而得到的处理。具体而言,实施方式1的目标检测处理中的步骤S615的处理变形为第1变形目标检测处理中的步骤S915的第1变形分割处理。
因此,这里说明该第1变形分割处理。
<第1变形分割处理>
第1变形分割处理是第1变形目标检测处理装置计算各图像的分割数Nk的处理。
图10是第1变形分割处理的流程图。
第1变形分割处理通过在第1目标检测处理的步骤S910的处理中,缩小图像生成部210向受理部220发送缩小完成信号而开始。
若第1变形分割处理开始,则受理部220将从缩小图像生成部210发送的与缩小图像ID建立对应的各个像素数和与缩小图像ID建立对应的各个地址发送给分割部800。于是,分割部800的加法器部820相加所发送来的全部像素数而计算总像素数,并向PE数量更新部830输出(步骤S1000)。
PE数量更新部830若接受总像素数,则首先将表示缩小图像ID的k的初始值设定为0(步骤S1010)。
接着,PE数量更新部830对于缩小图像ID=k,比较总像素数和缩小图像的像素数,以使总像素数与缩小图像的像素数的比例成为总PE部数量(这里是16)与分割数Nk的比例的方式计算分割数Nk(步骤S1020)。此时,所计算的分割数Nk被舍去小数点以下以成为整数来计算。
若计算出分割数Nk,则PE数量更新部830调查所计算的Nk是否为1(步骤S1030)。
步骤S1030的处理中,在所计算的Nk是1的情况下(步骤S1030:是),PE数量更新部830将关于缩小图像ID比k大的全部图像的分割数Nk设为1(步骤S1040)。
在步骤S1030的处理中,所计算的分割数Nk不是1的情况下(步骤S1030:否),调查k是否是15(步骤S1050)。
在步骤S1050的处理中,在k不是15的情况下(步骤S1050:否),PE数量更新部830将k增加1(步骤S1060),并再次回到步骤S1020的处理,而进行步骤S1020以下的处理。
在步骤S1040的处理结束的情况下,或步骤S1050的处理中k是15的情况下(步骤S1050:是),第1变形目标检测处理装置结束该第1变形分割处理。
图11是表示在X0为640、Y0为400、Rx为0.9、Ry为0.9、Rt为0.5、GDB为16的情况下,通过第1变形分割处理计算的各分割数Nk的表。
该图中,缩小图像ID1110、横宽(像素)1120、纵宽(像素)1130、像素数1140以及重叠区域像素数1160分别与图5中的缩小图像ID510、横宽(像素)520、纵宽(像素)530、像素数540以及重叠区域像素数560相同。分割数Nk(处理PE数量)1150是在通过对应的缩小图像ID1110识别的图像中,通过第1变形分割处理计算的各分割数。每一个PE部的像素数1170是将通过对应的缩小图像ID510识别的图像以对应的分割数Nk(处理PE数量)1150分割的情况下的每1个PE部的像素数。
<考察>
上述结构的第1变形目标检测装置以使总像素数与作为对象的像素数的比例成为总PE部数量(这里是16)与分割数Nk的比例的方式计算各图像的分割数Nk。因此,第1变形目标检测装置能够使各PE部的匹配处理量彼此较为均匀地进行各图像的分割。
该第1变形目标检测装置尤其在向各PE部转送图像的转送时间比各PE部进行的匹配处理所需的处理时间足够小的情况下有用。
<实施方式3>
<概要>
以下,作为本发明的目标检测装置的一实施方式,说明将实施方式2的第1变形图像处理装置的一部分变形而得到的第2变形图像处理装置。该第2变形图像处理装置其硬件结构与实施方式2的第1变形图像处理装置的结构相同,但是所执行的软件的一部分相对于实施方式2的第1变形图像处理装置变形。并且,该第2变形图像处理装置相对于实施方式2的第1变形图像处理装置,第1变形目标检测装置变形为第2变形目标检测装置。
实施方式2的第1变形目标检测装置是反映各个PE部进行的匹配处理的处理量来计算分割数Nk的结构的例。相对于此,第2变形目标检测装置是反映可在构成各PE部的各LM(本地存储器)中存储的像素数来计算分割数Nk的结构的例。
下面,参照附图,以与实施方式2的第1变形目标检测装置的不同点为中心说明本实施方式3的第3变形目标检测装置的结构。
<结构>
第2变形目标检测装置相对于实施方式2的第1变形目标检测装置,PE执行管理部260(参照图2)变形为变形PE执行管理部(未图示),分割部800(参照图8)变形为分割部1200。
因此,这里说明变形PE执行管理部和分割部1200。
分割部1200通过执行程序的控制器119实现,除了实施方式2的分割部800具有的分割功能和地址生成功能之外,还具有以下第2变形分割数计算功能。
第2变形分割数计算功能:以原始图像和全部缩小图像为对象,计算各图像的分割数Nk,以取得各PE部进行的匹配处理中的处理量的平衡的功能。
该第2变形分割数计算功能中的各图像的分割数Nk的计算方法的细节,在后面第2变形分割处理的项目部分进行说明。
图12是表示分割部1200的功能结构的功能框图。
如该图所示,分割部1200包括PE数量更新部1210、重叠区域计算部1220、加法器部1230、处理容量计算部1240和比较器部1250。
处理容量计算部1240通过执行程序的控制器119实现,与处理器总线180、PE数量更新部1210及比较器部1250连接,具有存储经由处理器总线180从处理器160发送来的能够在构成各PE部的各LM(本地存储器)中存储的像素数(下面,称作“LM像素数”。)的功能。这里,将LM像素数设为16000。
PE数量更新部1210通过执行程序的控制器119实现,与受理部220、重叠区域计算部1220、处理容量计算部1240、比较器部1250及分配部240连接,具有以下3个功能。
临时分割数计算功能:根据从受理部220发送的与缩小图像ID建立对应的像素数和处理容量计算部1240存储的LM像素数,计算关于与该缩小图像ID建立对应的图像的临时分割数的功能。
这里,该临时分割数以将像素数除以临时分割数而得到的像素数不成为不超过LM像素数的范围内的最大值的方式被计算出。但是,在临时分割数为PE部的数量(这里是16)以上的情况下,进一步将16作为分割数计算。
临时分割数更新功能:在PE数量更新部1210计算出临时分割数的情况下,在从比较器部1250发送来了逻辑值为0的PE部数量决定信号(后述)时,若临时分割数不是16以上,则将临时分割数增加1而作为新的临时分割数计算的功能。
分割数计算功能:在PE数量更新部1210计算了临时分割数的情况下,在从比较器部1250中发送来了逻辑值为1的PE部数量决定信号时,将该临时分割数作为分割数计算,并向分配部240输出的功能。
重叠区域计算部1220通过执行程序的控制器119实现,与受理部220、PE数量更新部1210及加法器部1230连接,根据由PE数量更新部1210计算的临时分割数和从受理部220发送来的像素数,计算将图像分割为临时分割数的分割图像的情况下产生的重叠区域的总像素数的功能。
加法器部1230通过执行程序的控制器119实现,与受理部220、重叠区域计算部1220及比较器部1250连接,根据由重叠区域计算部1220计算的重叠区域的总像素数和从受理部220发送来的像素数,计算1个PE部进行匹配处理的图像的像素数(以下,称作“分割图像的像素数”。)的功能。
比较器部1250通过执行程序的控制器119实现,与加法器部1230、处理容量计算部1240及PE数量更新部1210连接,比较由加法器部1230计算的分割图像的像素数与处理容量计算部1240存储的LM像素数,在分割图像的像素数比LM像素数多的情况下,输出逻辑值为0的PE部数量决定信号,在分割图像的像素数不比LM像素数多的情况下,输出逻辑值为1的PE部数量决定信号的功能。
变形PE执行管理部(未图示)通过执行程序的控制器119实现,与实施方式2的PE执行管理部260相同,与第1PE部201~第16PE部204、分配部240和图像接收部270(参照图2)连接,除了实施方式2的PE执行管理部260具有的图像转送功能和完成通知功能之外,还具有以下的分割转送功能。
分割转送功能:在图像接收部270将所读出的分割图像转送给由分配部240分配的PE部的情况下,图像接收部270在所读出的分割图像的像素数比能够在构成各PE部的各LM(本地存储器)中存储的像素数(以下,称作“LM像素数”。)多时,通过多次进行1次转送量比LM像素数少的分割转送,从而进行转送给PE部的功能。
下面,参照附图说明具有上述结构的第2变形目标检测装置进行的动作。
<动作>
这里,说明第2变形目标检测装置进行的动作中的作为特征动作的第2变形分割处理。
<第2变形分割处理>
第2变形分割处理是变形了实施方式2的第1变形分割处理而得到的处理,并且是第2变形目标检测处理装置计算各图像的分割数Nk的处理。
图13是第2变形分割处理的流程图。
第2变形分割处理通过在第1目标检测处理(参照图9)的步骤S910的处理中,由缩小图像生成部210向受理部220发送缩小完成信号而开始。
若第2变形分割处理开始,则PE数量更新部1210将表示缩小图像ID的k的初始值设为15(步骤S1300)。该初始值15是原始图像数量1和缩小图像数量14之和。
接着,PE数量更新部1210对缩小图像ID=k的图像计算临时分割数(步骤S1305),并调查所计算的临时分割数是否小于作为PE部的数量的16(步骤S1310)。
在步骤S1310的处理中,在临时分割数小于16的情况下(步骤S1310:是),重叠区域计算部1220计算将缩小图像ID=k的图像分割为临时分割数的分割图像的情况下产生的重叠区域的总像素数(步骤S1315)。并且,加法器部1230计算分割图像的像素数(步骤S1320)。
若计算出分割图像的像素数,则比较器部1250比较分割图像的像素数和处理容量计算部1240存储的LM像素数,并调查分割图像的像素数是否比LM像素数多(步骤S1325)。
在步骤S1325的处理中,分割图像的像素数比LM像素数多的情况下(步骤S1325:是),比较器部1250输出逻辑值是0的PE部数量决定信号。于是,PE数量更新部1210将临时分割数仅增加1(步骤S1330),而重复步骤S1310以下的处理。
在步骤S1325的处理中,分割图像的像素数不比LM像素数多的情况下(步骤S1325:否),比较器部1250输出逻辑值为1的PE部数量决定信号。于是,PE数量更新部1210将该临时分割数作为分割数Nk来计算(步骤S1335),并调查k是否是0(步骤S1340)。
在步骤S1340的处理中,k不是0的情况下(步骤S1340:否),PE数量更新部1210仅将k增加1(步骤S1345),并重复步骤S1305以下的处理。
在步骤S1310的处理中,在临时分割数不小于16的情况下(步骤S1310:否),重叠区域计算部1220将16作为分割数Nk来计算(步骤S1350)。并且,将关于缩小图像ID比k小的全部图像的分割数Nk设为16(步骤S1355)。
在步骤S1355的处理结束的情况下,或步骤S1340的处理中k是0的情况下(步骤S1340:是),第2变形目标检测处理装置结束该第2变形分割处理。
图14是表示X0为640、Y0为400、Rx为0.9、Ry为0.9、Rt为0.5、GDB为16、LM像素数为16000的情况下,通过第2变形分割处理计算的各分割数Nk的表。
该图中,设缩小图像ID1410、横宽(像素)1420、纵宽(像素)1430、像素数1440、处理PE数量1450、重叠区域像素数1460和每1个PE部的像素数1470分别与图11中的缩小图像ID1110、横宽(像素)1120、纵宽(像素)1130、像素数1140、处理PE数量1150、重叠区域像素数1160和每1个PE部的像素数1170相同。
<考察>
上述结构的第2变形目标检测装置以LM像素数为上限决定图像的分割数Nk。但是,在分割数Nk为PE数量16的情况下,不一定限定于此。因此,在分割数Nk小于PE数量16的情况下,各PE部可以将作为匹配处理对象的全部图像存储在构成自身的一部分的LM内。
<补充>
以上,作为本发明的目标检测装置的一实施方式,在实施方式1、实施方式2、实施方式3中,将3个图像处理装置作为例子进行了说明,但是还可如下这样进行变形,本发明当然不限于如上述的实施方式所示的目标检测装置。
(1)实施方式1中,目标检测装置110是具有如下功能的结构的例,该功能为:利用具有人脸的特征的模板图像,检测在图像中作为被摄体而包含的人脸。但是,作为检测对象的目标只要是有可能作为被摄体而包含于图像中的目标,则不需要必须限于人脸,例如也可以是猫、汽车等。
作为一例,考虑利用具有与猫有关的特征的模板图像,从图像中检测在该图像中作为被摄体而包含的猫的功能的结构的例。
(2)实施方式1中,目标检测装置110是具有16个处理器元件的结构的例,但只要是具有多个能够彼此独立动作的处理器元件,则处理器元件的数量不一定限于16个,例如也可以是具有64个处理器元件的结构。
(3)实施方式1中,目标检测装置110是根据原始图像生成以垂直方向的缩小率是0.9、水平方向的缩小率是0.9的缩小率依次缩小而得到的15个缩小图像的结构的例。但是,只要能够将原始图像缩小而生成1个以上的缩小图像,则缩小图像的数量不一定限于15,垂直方向的缩小率不一定限于0.9,水平方向的缩小率不一定限于0.9。
作为一例,可考虑生成以垂直方向的缩小率是0.95、水平方向的缩小率是0.95的缩小率依次缩小而得到的20个缩小图像的结构的例。
此外,作为另外一例,可考虑生成以垂直方向的缩小率是0.8、水平方向的缩小率是0.6的缩小率依次缩小而得到的5个缩小图像的结构的例。
(4)实施方式1中,目标检测装置110是分割部230通过沿垂直方向分割图像而生成分割图像的结构的例。但是,只要能够生成分割图像以使各PE部进行的匹配处理彼此独立,则不一定限于通过将图像沿垂直方向分割而生成分割图像的情况,例如,也可以通过沿水平方向分割图像而生成分割图像,也可通过沿水平方向和垂直方向的方格状分割图像而生成分割图像。进一步,也可通过缩小图像ID,来变更分割方法而生成分割图像。
图15是作为一例而示意地表示具备变形为通过缩小图像ID来变更分割方法而生成分割图像的变形分割部的第3变形目标检测装置进行的分割图像的生成的示意图。
如该图所示,第3变形目标检测装置关于缩小图像ID为4的缩小图像,通过将图像分割为水平方向和垂直方向的方格状而生成12个分割图像,关于缩小图像ID为7的缩小图像,通过将图像分割为水平方向和垂直方向的方格状而生成6个分割图像,关于缩小图像ID是10的缩小图像,通过沿垂直方向分割图像而生成3个分割图像。
(5)实施方式1中,目标检测装置110是各PE部通过一边将由20个像素×20个像素构成的模板图像以4个像素单位来偏移,一边从图像的左上端向右下端进行扫描来进行匹配处理的结构的例。但是,只要能够从图像中检测目标,则模板图像不需要必须限于20个像素×20个像素,使模板图像偏移的像素数不需要限于4个像素单位,扫描的顺序不需要必须限于从图像的左上端到右下端的顺序。
作为一例,可考虑模板图像由15个像素×10个像素构成,使模板图像偏移的像素数为2个像素单位,扫描的顺序是从右下端到左上端的顺序的结构的例。
(6)实施方式1中,目标检测装置110是分配部240通过进行目标检测处理(参照图6)中的步骤S630~步骤S655的处理将各分割图像分别分配给PE的结构的例。但是,只要能够将各分割图像分配给各个PE,以使各PE彼此有效动作,则不一定限于通过进行目标检测处理中的步骤S630~步骤S655的处理将各分割图像分配给各个PE的结构。作为一例,考虑在步骤S630的处理结束的时刻,对全部分割图像分别分配PE的结构的例。
进一步,也可以以彼此共有重叠区域的分割图像被分配到同一PE的方式进行图像的分配。由此,可以减少共有的重叠区域的像素的转送次数。
(7)实施方式1中,目标检测装置110是Rt为0.5的结构的例。但是,该Rt很大程度上依赖于目标检测装置110的硬件结构。因此,该Rt还可以根据目标检测装置110的硬件结构而变为0.5以外的值。
(8)实施方式1中,目标检测装置110是各PE部进行的匹配处理在图像的扫描中途检测到人脸的情况下也继续进行图像的扫描而将处理持续到图像整体的扫描结束的结构的例。相当于此,作为另一例,也可以是若在图像的扫描中途检测到人脸则各PE部进行的匹配处理结束其处理的结构的例。进一步,作为另一例,也可以是若在图像的扫描中途检测到规定数量(例如10个)的人脸,则各PE部进行的匹配处理结束其处理的结构的例。
(9)实施方式3中,第2变形目标检测装置是关于各缩小图像的分割数的上限是作为PE部的数量的16的结构的例,但也可以考虑不设置分割数的上限的结构的例。由此,能够将全部分割图像的像素数设为LM像素数以下。
(10)实施方式3中,第2变形目标检测装置以用于决定图像的分割数Nk的阈值是LM像素数的结构为例,但不需要必须限定于用于决定图像的分割数Nk的阈值是LM像素数的结构,也可以根据其他硬件资源来决定。
(11)可以分别组合上述实施方式和上述变形例。
(12)以下,进一步说明本发明的一实施方式的目标检测装置的结构及其变形例和各效果。
(a)本发明的一实施例的目标检测装置,从图像中检测目标,其特征在于,包括:多个处理器元件部,参照图像执行所参照的图像中包含的目标的检测处理;分割部,为了使所述多个处理器元件部分别彼此独立地执行所述检测处理,将图像分割为具有与其他1个以上的分割图像的重叠部分的N个分割图像;以及转送部,将由所述分割部分割而得到的各个分割图像分别转送给各个处理器元件部;所述多个处理器元件部分别通过参照由所述转送部转送的图像来进行所述检测处理,所述分割部根据要由所述转送部进行的各个所述转送中的重叠部分的数据量和要由所述多个处理器元件部分别进行的所述检测处理的处理量,决定所述分割图像数N。
根据具有上述结构的本实施方式的目标检测装置,图像的分割反映要由转送部进行的各个转送中的重叠部分的数据量以及要由多个处理器元件部分别进行的检测处理中的处理量双方来进行。
因此,该目标检测装置在采用将图像依次转送给各处理器元件的结构的情况下,能够与以往相比缩短用于检测目标的处理时间的可能性提高。
图16是上述变形例的目标检测装置1600的结构图。
如该图所示,目标检测装置1600包括由第1PE部1611~第mPE部1613构成的m个PE部、分割部1620和转送部1630。
第1PE部1611~第mPE部1613分别与转送部1630连接,是参照图像来执行所参照的图像中包含的目标的检测处理的处理器元件部。作为一例,可作为实施方式1的第1PE部201实现。
转送部1630是将由分割部1620分割而得到的分割图像分别向由分割部1620分配的各个处理器元件部转送的转送部。作为一例,可作为实施方式1中的转送部250实现。
分割部1620是为了使m个处理器元件部(第1PE部1611~第mPE部1613)分别彼此独立执行所述检测处理,而将图像分割为具有与其他1以上的分割图像的重叠部分的N个分割图像的分割部,并且是根据要由所述转送部进行的所述各个转送中的重叠部分的数据量和要由所述多个处理器元件部分别进行的所述检测处理的处理量,来决定所述分割图像的数量N的分割部。作为一例,可作为实施方式1中的分割部230和分配部240的组合实现。
(b)另外,也可以包括接收原始图像和缩小该原始图像而得到的1个以上的缩小图像的受理部,所述分割部对所述受理部接收的各个图像,根据要由所述转送部进行的所述各个转送中的重叠部分的数据量以及要由所述多个处理器元件部分别进行的所述检测处理的处理量,决定是否进行分割,所述转送部也可以将所述分割部决定为不分割的各个图像转送给各个处理器元件部。
通过采用这种结构,目标检测装置可以从原始图像和缩小原始图像而得到的1个以上的缩小图像中检测目标。
(c)另外,也可以具有根据原始图像生成缩小该原始图像而得到的1个以上的缩小图像的缩小图像生成部,所述受理部受理的缩小图像可以是由所述缩小图像生成部生成的缩小图像。
通过采用这种结构,目标检测装置可以使用原始图像,从该原始图像和该原始图像的1个以上的缩小图像中检测目标。
(d)另外,所述处理器元件部分别具有存储由所述转送部转送的图像的本地存储器,参照自身所具有的本地存储器中存储的图像来进行所述检测处理,所述分割部也可进一步进行是否进行所述分割的决定和进行所述分割,以使作为所述转送部进行的转送的对象的图像的数据大小成为所述本地存储器中的图像存储区域的存储容量以下。
通过采用这种结构,处理器元件部分别可以在自身具备的本地存储器中存储作为目标的检测处理对象的图像的全部数据。
(e)另外,所述处理器元件部分别具备存储由所述转送部对自身转送的图像的本地存储器,所述转送部在将图像转送给处理器元件部的过程中,在转送的图像的数据量比所述本地存储器中的图像存储区域的存储容量大的情况下,分割为多次分割转送来进行所述转送,以使一次进行的转送数据量成为所述本地存储器中的图像存储区域的存储容量以下的方式。
通过采用这种结构,转送部可以使通过1次分割转送来转送的数据量为本地存储器中的图像存储区域的容量以下。
(f)此外,所述处理器元件部可以分别具有对表示所述检测处理中的检测对象的目标的特征的特征信息进行存储的特征信息存储部,利用所述特征信息存储部存储的特征信息,进行所述检测处理。
通过采用这种结构,处理器元件部分别能够使用自身存储的特征信息来进行目标的检测处理。
产业上的可利用性
本发明可广泛利用于具有从图像中检测目标的功能的设备。
附图标记说明
100图像处理装置
110目标检测装置
111~114第1PE~第16PE
115~118第1LM~第16LM
119控制器
120摄像装置
130输入处理电路
140主存储器
150图像存储器
160处理器
170存储器总线
180处理器总线
201~204第1PE部~第16PE部
210缩小图像生成部
220受理部
230分割部
240分配部
250转送部
260PE执行管理部
270图像接收部
Claims (9)
1.一种目标检测装置,从图像中检测目标,其特征在于,具备:
多个处理器元件部,参照图像而执行所参照的图像中包含的目标的检测处理;
分割部,为了使所述多个处理器元件部分别彼此独立地执行所述检测处理,将图像分割为N个分割图像,该N个分割图像各自与其他1个以上的分割图像具有重叠部分;以及
转送部,将由所述分割部分割而得到的各个分割图像转送给各个处理器元件部;
所述多个处理器元件部分别参照由所述转送部转送的图像来进行所述检测处理;
所述分割部根据要由所述转送部进行的各个所述转送中的重叠部分的数据量、以及要由所述多个处理器元件部分别进行的所述检测处理的处理量,决定所述分割图像的数量N。
2.根据权利要求1所述的目标检测装置,其特征在于,
具备受理部,该受理部受理原始图像和将该原始图像缩小而得到的1个以上的缩小图像;
所述分割部针对所述受理部受理的各个图像,根据要由所述转送部进行的各个所述转送中的重叠部分的数据量、以及要由所述多个处理器元件部分别进行的所述检测处理的处理量,决定是否分割;
所述转送部还将所述分割部决定为不分割的各个图像分别转送给各个处理器元件部。
3.根据权利要求2所述的目标检测装置,其特征在于,
具有缩小图像生成部,该缩小图像生成部根据原始图像生成将该原始图像缩小而得到的1个以上的缩小图像;
所述受理部受理的缩小图像是由所述缩小图像生成部生成的缩小图像。
4.根据权利要求3所述的目标检测装置,其特征在于,
所述处理器元件部分别具有存储由所述转送部转送的图像的本地存储器,并且参照自身所具备的本地存储器存储的图像来进行所述检测处理;
所述分割部还进行是否进行所述分割的决定和所述分割,以使作为所述转送部进行的转送对象的图像的数据大小成为所述本地存储器中的图像存储区域的存储容量以下。
5.根据权利要求3所述的目标检测装置,其特征在于,
所述处理器元件部分别具有存储由所述转送部对自身转送的图像的本地存储器;
所述转送部在向处理器元件部的图像转送中,在所转送的图像的数据量比所述本地存储器中的图像存储区域的存储容量大的情况下,分割为多次的分割转送来进行所述转送,以使一次进行的转送数据量成为所述本地存储器中的图像存储区域的存储容量以下。
6.根据权利要求3所述的目标检测装置,其特征在于,
所述处理器元件部分别具有存储特征信息的特征信息存储部,该特征信息表示所述检测处理中的检测对象的目标的特征;
所述处理器元件部分别利用所述特征信息存储部存储的特征信息,进行所述检测处理。
7.一种图像分割装置,为了使参照图像来执行所参照的图像中包含的目标的检测处理的多个处理器元件部分别彼此独立地执行所述检测处理,将图像分割为N个分割图像,该N个分割图像各自与其他1个以上的分割图像具有重叠部分,上述图像分割装置的特征在于,
根据要向所述多个处理器元件部分别转送的所述重叠部分的数据量、以及要由所述多个处理器元件部分别进行的所述检测处理的处理量,决定所述分割图像的数量N。
8.一种集成电路,从图像中检测目标,其特征在于,具备:
多个处理器元件部,参照图像而执行所参照的图像中包含的目标的检测处理;
分割部,为了使所述多个处理器元件部分别彼此独立地执行所述检测处理,将图像分割为N个分割图像,该N个分割图像各自与其他1个以上的分割图像具有重叠部分;以及
转送部,将由所述分割部分割而得到的各个分割图像转送给各个处理器元件部;
所述多个处理器元件部分别参照由所述转送部对自身转送的图像来进行所述检测处理;
所述分割部根据要由所述转送部进行的各个所述转送中的重叠部分的数据量、以及要由所述多个处理器元件部分别进行的所述检测处理的处理量,决定所述分割图像的数量N。
9.一种目标检测方法,对具备多个处理器元件部、并且从图像中检测目标的目标检测装置进行控制,所述多个处理器元件部参照图像而执行所参照的图像中包含的目标的检测处理,该目标检测方法的特征在于,包括:
分割步骤,为了使所述多个处理器元件部分别彼此独立地执行所述检测处理,将图像分割为N个分割图像,该N个分割图像各自与其他1个以上的分割图像具有重叠部分;以及
转送步骤,将通过所述分割步骤分割而得到的各个分割图像转送给各个处理器元件部;
所述分割步骤根据要由所述转送步骤进行的各个所述转送中的重叠部分的数据量、以及要由所述多个处理器元件部分别进行的所述检测处理的处理量,决定所述分割图像的数量N。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-265915 | 2010-11-30 | ||
JP2010265915 | 2010-11-30 | ||
PCT/JP2011/006664 WO2012073490A1 (ja) | 2010-11-30 | 2011-11-29 | オブジェクト検出装置、画像分割装置、集積回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102741877A CN102741877A (zh) | 2012-10-17 |
CN102741877B true CN102741877B (zh) | 2016-03-30 |
Family
ID=46171462
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180007673.4A Expired - Fee Related CN102741877B (zh) | 2010-11-30 | 2011-11-29 | 目标检测装置、图像分割装置、集成电路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8699753B2 (zh) |
JP (1) | JP5857256B2 (zh) |
CN (1) | CN102741877B (zh) |
WO (1) | WO2012073490A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6167525B2 (ja) * | 2012-03-21 | 2017-07-26 | 株式会社リコー | 距離計測装置及び車両 |
CN103916644B (zh) * | 2013-01-08 | 2015-12-02 | 聚晶半导体股份有限公司 | 影像主体侦测方法及摄像装置 |
CN104142939B (zh) * | 2013-05-07 | 2019-07-02 | 杭州智棱科技有限公司 | 一种基于运动特征信息匹配特征码的方法与设备 |
CN104144520A (zh) | 2013-05-07 | 2014-11-12 | 李东舸 | 一种设备间建立连接的方法、装置与系统 |
US10311564B2 (en) * | 2014-03-14 | 2019-06-04 | Omron Corporation | Image processing device, image sensor, and image processing method |
KR101930049B1 (ko) * | 2014-11-28 | 2018-12-17 | 한국전자통신연구원 | 관심 객체 기반 병렬 영상 분석 장치 및 그 방법 |
JP6675408B2 (ja) * | 2015-09-10 | 2020-04-01 | 富士フイルム株式会社 | 情報処理システム、情報処理方法、情報処理プログラム、及び記憶媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10162130A (ja) * | 1996-12-02 | 1998-06-19 | Hitachi Ltd | 並列データ処理装置および方法 |
JP2000330928A (ja) * | 1999-05-20 | 2000-11-30 | Hitachi Ltd | 高速転送を行う並列処理システム |
CN101010697A (zh) * | 2004-07-22 | 2007-08-01 | 日本电气株式会社 | 图像处理系统 |
JP2008084034A (ja) * | 2006-09-27 | 2008-04-10 | Fujitsu Ltd | 画像処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009295032A (ja) | 2008-06-06 | 2009-12-17 | Canon Inc | 画像処理装置及びその制御方法 |
JP5067282B2 (ja) * | 2008-06-27 | 2012-11-07 | ソニー株式会社 | 物体検出制御装置、物体検出システム、物体検出制御方法およびプログラム |
JP5258506B2 (ja) * | 2008-10-24 | 2013-08-07 | キヤノン株式会社 | 情報処理装置 |
-
2011
- 2011-11-29 JP JP2012546696A patent/JP5857256B2/ja not_active Expired - Fee Related
- 2011-11-29 US US13/522,151 patent/US8699753B2/en not_active Expired - Fee Related
- 2011-11-29 WO PCT/JP2011/006664 patent/WO2012073490A1/ja active Application Filing
- 2011-11-29 CN CN201180007673.4A patent/CN102741877B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10162130A (ja) * | 1996-12-02 | 1998-06-19 | Hitachi Ltd | 並列データ処理装置および方法 |
JP2000330928A (ja) * | 1999-05-20 | 2000-11-30 | Hitachi Ltd | 高速転送を行う並列処理システム |
CN101010697A (zh) * | 2004-07-22 | 2007-08-01 | 日本电气株式会社 | 图像处理系统 |
JP2008084034A (ja) * | 2006-09-27 | 2008-04-10 | Fujitsu Ltd | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012073490A1 (ja) | 2014-05-19 |
JP5857256B2 (ja) | 2016-02-10 |
CN102741877A (zh) | 2012-10-17 |
WO2012073490A1 (ja) | 2012-06-07 |
US20120294487A1 (en) | 2012-11-22 |
US8699753B2 (en) | 2014-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102741877B (zh) | 目标检测装置、图像分割装置、集成电路 | |
CN102227746B (zh) | 立体图像处理装置、方法和立体成像设备 | |
US20130083966A1 (en) | Match, Expand, and Filter Technique for Multi-View Stereopsis | |
EP2309420B1 (en) | Method for improving the barcode recognition efficiency using continuous sampling, computer readable medium, and barcode recognition apparatus | |
CN101795378B (zh) | 电子装置及其控制方法 | |
CN112633152B (zh) | 停车位检测方法、装置、计算机设备和存储介质 | |
CN1578410B (zh) | 电子静像相机、电子静像相机系统及程序 | |
CN103516983A (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
US20080131027A1 (en) | System and method for merging differently focused images | |
TWI382351B (zh) | 具積分影像輸出之影像感測器 | |
US11704546B2 (en) | Operation processing apparatus that calculates addresses of feature planes in layers of a neutral network and operation processing method | |
KR102591663B1 (ko) | 영상 처리를 위한 전자 장치 및 영상 처리 방법 | |
CN117274514A (zh) | 基于地空视角几何变换的遥感图像生成方法及装置 | |
CN111885371A (zh) | 图像遮挡检测方法、装置、电子设备和计算机可读介质 | |
US10742914B2 (en) | Head-wearable imaging apparatus with two imaging elements corresponding to a user left eye and right eye, method, and computer readable storage medium for correcting a defective pixel among plural pixels forming each image captured by the two imaging elements based on defective-pixel related position information | |
JP3244850B2 (ja) | ナンバープレート読み取り装置 | |
US20220189196A1 (en) | Fingerprint image generation method and device for saving memory | |
US20210287384A1 (en) | Camera module, imaging device, and image processing method using fixed geometric characteristics | |
CN113052763A (zh) | 一种融合图像生成方法、装置、计算机设备和存储介质 | |
JP6838725B2 (ja) | カメラ装置 | |
JP2021082946A (ja) | 撮像装置およびその制御方法 | |
JP6762775B2 (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
CN113034369B (zh) | 一种基于多摄像头的图像生成方法、装置和计算机设备 | |
EP4300982A1 (en) | Video splicing method and apparatus, and computer device and storage medium | |
Zhang et al. | Quasiconvex plane sweep for triangulation with outliers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
C41 | Transfer of patent application or patent right or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160310 Address after: Osaka Japan Patentee after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd. Address before: Osaka Japan Patentee before: Matsushita Electric Industrial Co.,Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160330 Termination date: 20191129 |
|
CF01 | Termination of patent right due to non-payment of annual fee |