CN102057399A - 物体检测装置、物体检测系统、物体检测用集成电路、带物体检测功能的摄像机和物体检测方法 - Google Patents

物体检测装置、物体检测系统、物体检测用集成电路、带物体检测功能的摄像机和物体检测方法 Download PDF

Info

Publication number
CN102057399A
CN102057399A CN2010800017977A CN201080001797A CN102057399A CN 102057399 A CN102057399 A CN 102057399A CN 2010800017977 A CN2010800017977 A CN 2010800017977A CN 201080001797 A CN201080001797 A CN 201080001797A CN 102057399 A CN102057399 A CN 102057399A
Authority
CN
China
Prior art keywords
image data
original digital
storage
minification
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800017977A
Other languages
English (en)
Inventor
杉泽裕史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102057399A publication Critical patent/CN102057399A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明是一种可与外部存储器(2)和其他装置共用总线(3)的物体检测装置,可抑制分辨率变换的总线占有所引起的处理能力的下降。本发明的物体检测装置具备:原图像数据取得部件,从外部存储器(2)经总线(3)取得原图像数据;缩小处理部件,一旦由原图像数据取得部件一度取得原图像数据,则根据该原图像数据,生成缩小率彼此不同的多种缩小图像数据;和物体检测部件(7),通过对多种缩小图像数据执行使用了物体模板的匹配处理,检测多种缩小图像的各自中物体映入的位置。

Description

物体检测装置、物体检测系统、物体检测用集成电路、带物体检测功能的摄像机和物体检测方法
技术领域
本发明涉及图像数据中包含的特定物体的检测。
背景技术
以前,在数码相机、摄像机等摄像装置中,从拍摄的图像中检测拍摄到特定被摄体的区域,根据检测结果,控制相机的焦点。
这里,作为检测摄像图像中被摄体位置的被摄体检测方法,提议如下被摄体检测方法,即便图像中有大小不同的多种被摄体,也可检测到他们的位置。
作为使用这种被摄体检测方法的装置,提议如下图像处理装置(物体检测装置),例如图18所示,通过对原图像数据G0、与根据原图像数据G0生成的分辨率彼此不同的多个缩小图像数据G1、G2、…、G7使用反映了被摄体特征的模板TP,进行匹配处理(下面称为模板匹配处理),检索被摄体映入的区域(参照专利文献1或专利文献2)。
图19表示示出专利文献1中记载的物体检测装置的构成的框图。
构成专利文献1中记载的图像处理装置一部分的脸检测部1001从图像RAM(Random Access Memory)1002经总线1003取得原图像数据G0,由分辨率变换部1015根据原图像数据G0生成缩小率不同的多种缩小图像数据G1、G2、…、G7,存储在内部的图像存储器1021中,并且,经总线1003存储在图像RAM1002中。这里,脸检测核心1007对图像存储器1021中存储的缩小图像数据G1、G2、…、G7执行模板匹配处理。
另外,在专利文献2中,示出脸检测装置(物体检测装置)的例子,该脸检测装置具备变换原图像数据的分辨率后生成缩小图像数据的分辨率变换电路、和通过对缩小图像数据进行模板匹配处理来进行脸检测的脸检测电路,将由分辨率变换电路生成的缩小图像数据全部存储在分辨率变换电路和脸检测电路的外部中设置的图像存储器中。
专利文献1:日本特开2007-135115号公报
专利文献2:日本特开2008-257321号公报
但是,近年来具有物体检测功能的数码相机或摄像机不仅具有检测被摄体位置的功能,还具有其他功能,物体检测装置通常经与其他装置共用的总线从图像存储器取得原图像数据。
因此,在专利文献1中记载的物体检测装置中,若其他装置为了从图像存储器取得数据而占有总线,则该物体检测装置被限制经总线取得原图像数据,存在该物体检测装置的处理能力下降的担忧。另一方面,若该物体检测装置为了从图像存储器取得原图像数据而占有总线,则其他装置被限制经总线取得数据,存在其他装置的处理能力下降的担忧。
另外,即便在专利文献2中记载的物体检测装置,若构成该物体检测装置一部分的分辨率变换电路和脸检测电路构成为从图像存储器经与其他装置共用的总线取得缩小图像数据,则与专利文献1中记载的物体检测装置一样,存在该物体检测装置或其他装置的处理能力下降的担忧。
发明内容
本发明鉴于上述事由作出,其目的在于提供一种可抑制处理能力下降的物体检测装置。
为了解决上述课题,根据本发明的物体检测装置是一种与外部存储器和其他装置共用总线的物体检测装置,其特征在于,具备:数据取得部件,从外部存储器经总线取得原图像数据;存储部件,存储所取得的原图像数据或从原图像数据生成的缩小图像;缩小处理部件,从原图像数据,生成缩小率彼此不同的多种缩小图像数据;和物体检测部件,对多种缩小图像数据执行使用了物体模板的匹配处理,来检测特定物体的位置。
发明效果
利用上述构成,可降低物体检测装置从外部存储器经总线取得原图像数据的频率,所以即便其他装置占用总线的概率高,也可抑制因限制该物体检测装置经总线取得原图像数据而造成的该物体检测装置的处理能力的下降。另外,可降低物体检测装置为了从外部存储器经总线取得原图像数据而占有总线的概率,所以可抑制由于限制其他装置经总线取得数据而造成的其他装置的处理能力的下降。并且,可降低从外部存储器经总线取得原图像数据的频率,所以可降低对外部存储器的访问次数,因此可降低外部存储器的功耗。
另外,本构成的特征也可以是,存储部件包括第一存储部件和第二存储部件,物体检测部件对第一存储部件中存储的缩小图像数据,执行使用了物体模板的匹配处理,若将图像缩小部件对第一存储部件中存储的缩小图像数据以规定的缩小率执行缩小处理所生成的缩小图像数据存储在第二存储部件中,则第一存储部件删除自身存储的缩小图像数据,物体检测部件对第二存储部件中存储的缩小图像数据,执行使用了物体模板的匹配处理,若将图像缩小部件对第二存储部件中存储的缩小图像数据以规定的缩小率执行缩小处理所生成的缩小图像数据存储在第一存储部件中,则第二存储部件删除自身存储的缩小图像数据。
根据该构成,可降低应一次存储在第一存储部件和第二存储部件中的原图像数据或缩小图像数据,所以可减小第一存储部件和第二存储部件的存储容量,故可降低第一存储部件和第二存储部件的功耗。
另外,本构成的特征也可以是,具备:缩小率计算部件,计算相对缩小率,该相对缩小率是由图像缩小部件对由原图像数据或缩小图像数据构成的基准图像数据以规定的缩小率重复缩小处理所生成的缩小图像数据相对于基准图像数据的相对的缩小率;和图像缩小控制部件,保持相对缩小率阈值,该相对缩小率阈值是针对由图像缩小部件生成的缩小图像数据的相对缩小率的阈值,当由缩小率计算部件计算的相对缩小率低于相对缩小率阈值时,所述图像缩小控制部件使原图像数据取得部件从外部存储器中取得原图像数据。
根据该构成,在生成多个缩小图像数据的情况下,可降低从外部存储器经总线取得原图像数据的频率,所以即便其他装置占有总线的概率高,也可抑制因限制该物体检测装置经总线取得原图像数据而造成的该物体检测装置的处理能力的下降。另外,可降低物体检测装置为了从外部存储器经总线取得原图像数据而占有总线的概率,所以可抑制由于限制其他装置经总线取得数据而造成的其他装置的处理能力的下降。并且,可降低从外部存储器经总线取得原图像数据的频率,所以可降低对外部存储器的访问次数,因此可降低外部存储器的功耗。
另外,本构成的特征也可以是,在将原图像数据取得部件取得的原图像数据存储在第二存储部件中后,物体检测部件对第二存储部件中存储的原图像数据执行使用了物体模板的匹配处理,在将图像缩小部件对第二存储部件中存储的原图像数据以规定的缩小率执行缩小处理所得到的缩小图像数据存储在第一存储部件中后,第二存储部件删除自身存储的原图像数据。
根据该构成,由于即便对原图像数据也可执行使用了物体模板的匹配处理,所以可拓宽构成检测对象的物体范围。
另外,本构成的特征也可以是,在将图像缩小部件对原图像数据取得部件取得的原图像数据以任意的缩小率执行缩小处理所得到的缩小图像数据存储在第二存储部件中后,物体检测部件对第二存储部件中存储的缩小图像数据执行使用了物体模板的匹配处理,在将图像缩小部件对第二存储部件中存储的缩小图像数据以规定的缩小率执行缩小处理所得到的缩小图像数据存储在第一存储部件中后,第二存储部件删除自身存储的缩小图像数据。
根据该构成,由于使用了模板的匹配处理不是从原图像数据开始,而是从对原图像数据以任意的缩小率执行缩小处理所得到的缩小图像数据开始,所以可降低使用了模板的匹配处理的次数,故可降低处理负荷,可实现处理能力的提高。
另外,本构成的特征也可以是,具备:缩小处理次数计数部件,计数由图像缩小部件对由原图像数据或缩小图像数据构成的基准图像数据已执行的缩小处理的重复次数;和图像缩小控制部件,图像缩小控制部件保持针对缩小处理的重复次数的重复阈值,若缩小处理的重复次数超过该重复阈值,则使原图像数据取得部件从外部存储器取得原图像数据。
根据该构成,在生成多个缩小图像数据的情况下,可降低从外部存储器经总线取得原图像数据的频率,所以即便其他装置占有总线的概率高,也可抑制因限制该物体检测装置经总线取得原图像数据而造成的该物体检测装置的处理能力的下降。另外,可降低物体检测装置为了从外部存储器经总线取得原图像数据而占有总线的概率,所以可抑制由于限制其他装置经总线取得数据而造成的其他装置的处理能力的下降。并且,可降低从外部存储器经总线取得原图像数据的频率,所以可降低对外部存储器的访问次数,因此可降低外部存储器的功耗。
另外,本构成的特征也可以是,具备阈值可变部件,该阈值可变部件根据原图像数据的画质,变更相对缩小率阈值。
根据该构成,通过具备根据原图像数据的画质来变更相对缩小率阈值的阈值可变部件,可根据原图像的画质将相对缩小率阈值变更为适当值,所以可使物体的检测精度提高。
另外,本构成的特征也可以是,具备监视总线的总线通信量的总线通信量监视部件,当由总线通信量监视部件检测到的总线通信量为规定大小以下时,图像缩小控制部件使数据取得部件从外部存储器取得原图像数据。
根据该构成,根据由总线通信量监视部件检测到的总线通信量,当总线通信量为规定大小以下时,通过取得原图像数据,可增加从原图像数据直接生成缩小图像数据的频率,所以可使物体的检测精度提高。
另外,本构成的特征也可以是,所述缩小率计算部件计算缩小图像数据相对于原图像数据的绝对的缩小率即绝对缩小率,图像缩小控制部件保持针对所述绝对缩小率的阈值即绝对缩小率阈值,当绝对缩小率低于所述绝对缩小率阈值时,使所述缩小处理部件的所述缩小处理停止。
根据该构成,可根据构成检测对象的物体范围,将缩小处理的次数设为最低限度必需的次数,所以可降低处理负荷,故可使处理能力提高。
另外,本构成的特征也可以是,第一存储部件具有大小等于对原图像数据仅执行一次缩小处理所生成的缩小图像数据的大小的存储容量,第二存储部件包括第一存储区域与第二存储区域,所述第一存储区域具有大小等于水平方向长度与原图像的水平方向长度一致且垂直方向长度与模板的纵向长度一致的图像的图像数据大小的存储容量,所述第二存储区域具有大小等于如下图像的图像数据大小的存储容量,该图像的水平方向长度与对通过对第二存储部件中存储的原图像数据仅执行一次缩小处理所生成的缩小图像数据再仅执行一次缩小处理所生成的缩小图像数据所构成的缩小图像的水平方向长度一致,且该图像的垂直方向长度与从该缩小图像的垂直方向长度减去模板的纵向长度后的长度一致。
根据该构成,由于可减小第一存储部件和第二存储部件的存储容量,所以可实现第一存储部件和第二存储部件的功耗的降低。
另外,本构成的特征也可以是,存储部件包括第一存储部件与第二存储部件,所述第二存储部件包括第一存储区域、第二存储区域和第三存储区域,在表示构成原图像数据取得部件取得的原图像一部分的第一区域和第二区域的两个图像数据中,将表示第一区域的图像数据存储在第一存储区域中,将表示第二区域的图像数据存储在第二存储区域中,将与存储在该第二存储区域中的表示第二区域的图像数据相同的图像数据存储在第三存储区域中之后,物体检测部件对第一存储区域中存储的表示第一区域的图像数据和第二存储区域中存储的表示第二区域的图像数据,执行使用了物体模板的匹配处理,在将图像缩小部件对第一存储区域和第二存储区域中存储的图像数据以规定的缩小率执行缩小处理所得到的缩小图像数据存储在第一存储部件中之后,第二存储部件仅删除第一存储区域和第二存储区域中存储的图像数据,物体检测部件对第一存储部件中存储的缩小图像数据执行使用了物体模板的匹配处理,在将图像缩小部件对第一存储部件中存储的缩小图像数据以规定的缩小率执行缩小处理所得到的缩小图像数据存储在第二存储部件的第一存储区域和第二存储区域中之后,物体检测部件对第一存储区域和第二存储区域中存储的缩小图像数据执行使用了物体模板的匹配处理,第二存储部件仅删除第一存储区域和第二存储区域中存储的缩小图像数据,将表示构成由原图像数据取得部件取得的原图像一部分的第一区域和第二区域以外的第三区域的图像数据存储在第一区域中,将与该第一存储区域中存储的表示第三区域的图像数据相同的图像数据存储在第二存储区域中。
根据该构成,原图像数据取得部件通过多次重复一次仅取得原图像数据的一部分的动作,对原图像数据整体执行模板匹配处理,该原图像数据取得部件各次取得的原图像数据一部分所表示的区域彼此重复,所以可一边相对于原图像或缩小图像每次将模板错开一象素,一边执行模板匹配处理,故可使物体检测精度提高。
另外,本构成的特征也可以是,第一存储部件具有大小等于如下图像的图像数据大小的存储容量,该图像的水平方向长度与通过对原图像数据仅执行一次缩小处理所生成的缩小图像数据所构成的缩小图像的水平方向长度一致,且该图像的垂直方向长度与模板的纵向长度的2倍长度一致,第二存储部件包括第一存储区域、第二存储区域和第三存储区域,所述第一存储区域、第二存储区域和第三存储区域具有大小等于水平方向长度与原图像的水平方向长度一致且垂直方向长度与所述模板的纵向长度一致的图像的图像数据大小的存储容量。
根据该构成,由于可进一步减小第一存储部件和第二存储部件的存储容量,所以可实现第一存储部件和第二存储部件的功耗的进一步的降低。
另外,本构成也可以是一种物体检测系统,其特征在于,具备:图像处理装置,对从外部输入的原图像数据执行规定的图像处理;图像存储器,存储从图像处理装置输出的原图像数据;运动检测装置,取得图像存储器中存储的原图像数据,并从原图像数据整体中检测运动物体映入的规定尺寸区域;处理器,根据从图像处理装置输入的控制信号,控制运动检测电路;对由运动检测电路检测到的运动物体映入的规定尺寸区域更细致地检测该物体映入的位置的、在发明内容中说明的物体检测处理装置;和总线,在图像处理装置、运动检测装置、处理器和物体检测处理装置各自与图像存储器之间传送所述原图像数据。
根据该构成,通过具备在发明内容中说明的物体检测处理装置,可实现装置整体的处理能力的提高。
另外,本构成也可以是一种物体检测处理用集成电路,其特征在于,具备:运动检测电路,取得外部存储器中存储的原图像数据,并从原图像数据整体中检测运动物体映入的规定尺寸区域;处理器,根据从图像处理电路输入的控制信号,控制运动检测电路;对由运动检测电路检测到的运动物体映入的规定尺寸区域更细致地检测该物体映入的位置的、在发明内容中说明的物体检测处理装置;和总线,在图像处理电路、图像输出电路、运动检测电路、处理器和物体检测处理装置各自与图像存储器之间传送所述图像数据。
根据该构成,通过具备在发明内容中说明的物体检测处理装置,可实现装置整体的处理能力的提高。
另外,本构成也可以是一种带物体检测功能的摄像机,其特征在于,具备:摄像机;图像显示装置,显示由摄像机摄像的图像;图像处理装置,对从摄像机输入的原图像数据执行图像处理;图像存储器,存储从图像处理装置输出的图像数据;图像显示控制装置,控制图像显示装置,以使图像显示装置显示图像存储器中存储的原图像数据;运动检测电路,取得图像存储器中存储的原图像数据,并从原图像数据整体中检测运动物体映入的规定尺寸区域;处理器,根据从图像处理装置输入的控制信号,控制所述运动检测装置;对由运动检测装置检测到的运动物体映入的规定尺寸区域更细致地检测该物体映入的位置的、在发明内容中说明的物体检测处理装置;和总线,在图像处理装置、图像显示控制装置、运动检测装置、处理器和物体检测处理装置各自与图像存储器之间传送图像数据。
根据该构成,根据本发明,通过具备在发明内容中说明的物体检测处理装置,可实现装置整体的处理能力的提高。
另外,本构成也可以是一种物体检测处理方法,其特征在于,包括:原图像数据取得步骤,从外部存储器经总线取得原图像数据;图像缩小步骤,通过对由原图像数据取得步骤取得的原图像数据执行缩小处理,生成缩小率彼此不同的多种缩小图像数据;和物体检测步骤,通过对多种缩小图像数据执行使用了物体模板的匹配处理,检测多种缩小图像数据各自中物体映入的位置。
根据该构成,即便为了实现检测精度提高而增多缩小处理的次数,也可抑制从外部存储器经总线取得原图像数据的次数,可实现装置整体的处理能力的提高。
附图说明
图1是表示包含实施方式1的物体检测装置的物体检测系统的构成框图。
图2是表示实施方式1的物体检测装置的构成框图。
图3是说明由构成实施方式1的物体检测装置一部分的物体检测部件执行的模板匹配处理的图。
图4是表示实施方式1的物体检测装置中使用的缩小图像数据的图。
图5是表示包含实施方式1的物体检测装置的物体检测系统的动作的流程图。
图6是表示实施方式1的物体检测装置的物体检测处理中动作的流程图。
图7是说明实施方式1的物体检测装置的物体检测处理中取得原图像数据的一部分时的第一存储部件和第二存储部件的使用方式的原理图。
图8是说明实施方式1的物体检测装置的物体检测处理中取得原图像数据完成时的第一存储部件和第二存储部件的使用方式的原理图。
图9是说明实施方式1的物体检测装置的物体检测处理中第一存储部件与第二存储部件之间交换缩小图像数据时的第一存储部件和第二存储部件的使用方式的原理图。
图10是表示实施方式2的物体检测装置的构成框图。
图11是表示实施方式2的物体检测装置的物体检测处理中动作的流程图。
图12是表示实施方式3的物体检测装置的构成框图。
图13是表示实施方式3的物体检测装置的物体检测处理中动作的流程图。
图14是说明实施方式3的物体检测装置的物体检测处理中第一存储部件和第二存储部件的使用方式的原理图。
图15是说明实施方式3的物体检测装置的物体检测处理中第一存储部件和第二存储部件的使用方式的原理图。
图16是说明实施方式3的物体检测装置的物体检测处理中第一存储部件和第二存储部件的使用方式的原理图。
图17是表示变形例的物体检测装置中使用的缩小图像数据的图。
图18是说明由现有的物体检测装置执行的模板匹配处理的图。
图19是表示现有的物体检测装置的构成框图。
符号说明
1  物体检测装置
2  图像存储器(外部存储器)
3  存储器总线
4  处理器总线
5  运动检测电路
6  处理器
7  物体检测电路
8  缩小图像生成部件
10 摄像机
11 LCD控制电路
13 物体检测信息存储部件
14 物体框显示电路
16 原图像数据取得部件
18 第一存储区域
19 第一存储部件
20 第二存储区域
21 第二存储部件
22 图像缩小控制部件
具体实施方式
<实施方式1>
下面,说明包含根据本发明的物体检测装置1的物体检测系统。
<1>构成
根据本实施方式的物体检测装置1如图1所示,构成包含摄像机10、LCD(Liquid Crystal Display)12、图像处理电路9、LCD控制电路11、运动检测电路5和处理器6在内的物体检测系统的一部分,对由运动检测电路5检测出的运动物体映入的规定尺寸区域,更细致地检测该物体映入的位置。
并且,物体检测系统具备:由图像处理电路9、LCD控制电路11、运动检测电路5、处理器6、物体检测装置1及图像存储器2共用且可相互地传送原图像数据的存储器总线3;以及由图像处理电路9、LCD控制电路11、运动检测电路5、物体检测电路1及处理器6共用且可相互地进行各种信号的发送接收的处理器总线4。并且,物体检测系统具备物体检测系统控制装置(未图示),该物体检测系统控制装置具备在用户使物体检测系统动作或停止时操作的操作部(未图示)。
摄像机10例如由数码相机构成,输出拍摄而得到的图像数据(下面称为原图像数据)。并且,摄像机10具备:透镜(未图示);在摄像面上配置了多个受光元件(未图示)的图像传感器(未图示);和调节单元,调节在所述图像传感器的摄像面上形成被摄体的光学像的透镜的光圈、聚焦、变焦。这里,所述图像传感器具备配置在摄像面上的多个受光元件,各受光元件的输出取决于配置该受光元件的位置的亮度而变化。因此,摄像机10生成反映所述图像传感器的摄像面的亮度分布的原图像数据,并输出到图像处理电路9。并且,用户可自由地变更摄像机10的快门速度。
图像处理电路9连接于摄像机10,对从摄像机10输入的原图像数据进行后述的高画质化处理。并且,图像处理电路9一旦被输入从摄像机10具有的所述图像传感器输出的原图像数据,则进行矩阵运算、γ补正、白平衡调整等高画质化处理,将通过该高画质化处理得到的原图像数据输出到存储器总线3。
LCD控制电路11根据图像存储器2中存储的原图像数据,使由摄像机10拍摄的图像显示在LCD12上。
运动检测电路5取得图像存储器2中存储的原图像数据,从原图像数据整体中检测运动物体映入的规定尺寸的区域。
图像存储器2存储从图像处理电路9输出的原图像数据等。这里,图像存储器2保持1帧大小的从图像处理电路9传送的原图像数据。
运动检测电路5例如通过将背景图像的边缘检测结果与输入图像的边缘检测结果进行比较,检测运动物体映入的规定尺寸的区域。另外,运动检测电路不限于此,也可通过计算象素的差分等其他方法来检测。
处理器6根据从图像处理电路9输入的后述传送完成通知信号来控制运动检测电路5。这里,在从图像处理电路9至存储部2的原图像数据的传送完成时,若从图像处理电路9被输入传送完成通知信号,则处理器6使运动检测电路5进行运动检测处理,根据从运动检测电路5输入的运动检测处理结果,使物体检测电路1在运动物体映入的规定尺寸的区域内进行物体的检测。
物体检测装置1如图2所示,具备:缩小图像生成部件8,根据原图像数据生成多种缩小图像数据;和物体检测部件7,通过对由缩小图像生成部件8生成的多种缩小图像数据进行使用了反映特定物体特征的模板TP的匹配处理(下面称为模板匹配处理。),检测特定物体是否映入在多种缩小图像数据中,在映入时检测其位置。并且,物体检测装置1具备:物体检测信息存储部件13,用于存储从物体检测部件7输出的多个物体检测信息(特定物体的坐标位置、缩小图像的缩小ID、特定物体的朝向);和物体显示框显示电路14,从物体检测信息存储部件13中存储的多个物体检测信息中,提取特定物体的坐标位置的差异小于规定大小的物体检测信息,将这些物体检测信息统一作为1个物体框显示信息输出到处理器总线4。
物体检测部件7如图3所示,对QVGA(Quarter Video Graphics Array)分辨率(横向320象素×纵向240象素)的原图像数据、或通过对该原图像数据进行缩小分辨率的缩小处理而生成的、低于QVGA分辨率的多种分辨率(例如横向256象素×纵向192象素)的缩小图像数据,进行使用了反映特定物体的特征的模板TP(纵向24象素×横向24象素)的模板匹配处理。
并且,物体检测部件7对原图像数据或各缩小图像数据使用具有纵向24象素×横向24象素大小的模板,按光栅扫描的顺序,对各缩小图像数据中的所有点进行模板匹配处理。这里,模板TP的大小是恒定的,在对缩小率较大且分辨率较小的缩小图像数据进行模板匹配处理的情况与检测QVGA分辨率的图像中比模板大小大的特定物体等效。然而,对于原图像数据或分辨率互不相同的多种缩小图像数据,通过依次进行使用了模板TP的模板匹配处理,可检测原图像数据中包含的大小不同的多种特定物体。
并且,物体检测部件7作为模板,准备反映正面、向左、向右、左倾、右倾、向下、向上等人脸特征的多种模板,例如,在检测出与反映向左的人脸特征的模板一致的区域时,将反映向左的人脸特征的模板的识别信息输出到物体检测信息存储部件13。
并且,物体检测部件7能够一边向横方向每1象素、向纵方向每1象素地错开模板TP,一边进行模板匹配处理,或者,也能够一边向横方向每1象素、向纵方向每模板纵向长度即24象素地错开模板TP,一边进行模板匹配处理。
缩小图像生成部件8包含:作为数据取得部件的原图像数据取得部件16、滤波器运算电路15、作为存储部件的第一存储部件19及第二存储部件21、缩小率计算部件23和图像缩小控制部件22。
滤波器运算电路15是通过对由原图像数据取得部件16取得的原图像数据进行缩小处理来生成缩小图像数据的缩小处理部件,利用众所周知的下采样法或平均操作法等,对输入的原图像数据或缩小图像数据进行缩小处理。这里,滤波器运算电路15首先对原图像数据取得部件16取得的QVGA分辨率(横向320象素×纵向240象素)的原图像数据进行缩小处理,生成低于QVGA分辨率的缩小图像数据(例如横向256象素×纵向192象素),之后,对该缩小图像数据重复进行缩小处理,由此,生成多种分辨率的缩小图像数据。并且,滤波器运算电路15的缩小率由图像缩小控制部件22设定变更。
这里,通过滤波器运算电路15执行的缩小处理中,对于QVGA分辨率(横向320象素×纵向240象素)的原图像数据,横方向的象素数及纵方向的象素数可缩小到式(1)表示的分辨率。
式(1)
横方向的象素数
=(QVGA分辨率下的横方向的象素数)×(1/1.22)n
纵方向的象素数
=(QVGA分辨率下的纵方向的象素数)×(1/1.22)n
这里,n是反映缩小率的值,n的值越大,缩小率越高。在下面的实施方式的说明中,将n的值作为识别表示对QVGA分辨率的图像数据进行所述缩小处理而得到的图像数据的值来说明,将n的值用作缩小ID。即,缩小ID的值越大的图像数据,缩小率越高。例如,以图3的例子而言,缩小ID为1的图像数据的分辨率为QVGA分辨率的1.22分之一,即82%的分辨率(横向262象素×纵向196象素)。并且,缩小ID为2的图像数据的分辨率为QVGA分辨率的67%的分辨率(横向214象素×纵向160象素)。
图4中示出缩小为式(1)表示的分辨率后生成的、分辨率低于QVGA分辨率的多种图像数据各自的缩小ID的值和以各缩小ID的值识别的分辨率。在图4示出的例子中,生成11种分辨率不同的缩小图像数据。
第一存储部件19存储从滤波器运算电路15输出的缩小图像数据。并且,第一存储部件19具有大小等于通过对原图像仅进行一次缩小处理而生成的缩小图像的图像数据大小的存储容量。
第二存储部件21存储从滤波器运算电路15输出的缩小图像数据。并且,第二存储部件21由第一存储区域18和第二存储区域20构成。第一存储区域18具有大小等于水平方向的长度与原图像的水平方向长度一致且垂直方向的长度与模板TP的纵方向长度一致的图像的图像数据大小的存储容量。这里,考虑到进行使用了模板TP的模板匹配处理中最低限度所需的图像数据的大小,来决定第一存储区域18的存储容量。
并且,第二存储区域20具有大小等于如下图像的图像数据大小的存储容量,该图像水平方向的长度与对通过对原图像数据仅进行一次缩小处理而生成的缩小图像数据再仅进行一次缩小处理而生成的缩小图像、即对原图像数据仅进行2次缩小处理而生成的缩小图像数据所构成的缩小图像的水平方向的长度一致,并且垂直方向的长度与从该缩小图像的垂直方向长度减去模板TP的纵方向长度后的长度一致。另外,第一存储部件18及第二存储部件21由存储器构成。
原图像数据取得部件16由图像缩小控制部件22控制,在被图像缩小控制部件22指示的定时,切出并取得图像存储器2中存储的原图像数据中缩小处理部件22指定的一部分。这里,原图像数据取得部件16通过对图像存储器2输入传送请求信号Sig,从图像存储器2经存储器总线3取得原图像数据。
缩小率计算部件23计算相对缩小率,该相对缩小率是,通过滤波器运算电路15对由原图像数据或缩小图像数据构成的基准图像数据以规定缩小率重复缩小处理而生成的缩小图像数据相对该基准图像数据的相对的缩小率。这里,缩小率计算部件23计数滤波器运算电路15对于第二存储部件21的第一存储区域18中存储的缩小图像数据(基准图像数据)以规定缩小率(例如1/1.22)进行的缩小处理的重复次数,针对于第二存储部件21的第一存储区域18中存储的缩小图像数据重复进行缩小处理而得到的缩小处理数据,输出以滤波器运算电路15的规定缩小率为基数进行缩小次数的乘积之后的值,作为该缩小图像数据的相对缩小率。例如,若滤波器运算电路15重复进行5次缩小处理,则从缩小率计算部件23输出的缩小图像数据的相对缩小率为(1/1.22)5
并且,缩小率计算部件23还计算缩小图像数据相对于原图像数据的缩小率(下面称为绝对缩小率。)并输出。这里,缩小率计算部件23计数滤波器运算电路15进行的缩小处理各自的缩小率和缩小处理的累积次数,输出以滤波器运算电路15的各缩小率为基数分别进行各缩小次数的乘积之后再相乘所得的值,作为绝对缩小率。例如,若滤波器运算电路15对于以缩小率0.37对原图像数据进行缩小处理而生成的缩小图像数据、再重复进行5次缩小率为1/1.22的缩小处理,则从缩小率计算部件23输出的绝对缩小率为0.37×(1/1.22)5
图像缩小控制部件22保持作为针对滤波器运算电路15生成的缩小图像数据的相对缩小率的阈值的相对缩小率,在滤波器运算电路15计算的相对缩小率低于相对缩小率阈值时,使滤波器运算电路15的缩小处理停止,并使原图像数据取得部件16从图像存储器2取得原图像数据。这里,图像缩小控制部件22比较从缩小率计算部件23输入的相对缩小率和相对缩小率阈值,若判断为相对缩小率超过相对缩小率阈值,则使滤波器运算电路15中止缩小处理,并使原图像数据取得部件16从图像存储器2取得原图像数据的一部分。并且,图像缩小控制部件22保持针对缩小图像数据相对原图像数据的绝对缩小率(下面称为绝对缩小率。)的阈值(下面称为绝对缩小率阈值。),比较从缩小率计算部件23输入的绝对缩小率和绝对缩小率阈值,若判断为绝对缩小率低于绝对缩小率阈值,则使滤波器运算电路15中止缩小处理,并向处理器总线4输出用于通知处理器6物体检测处理完成了的物体检测完成通知信号。
这里,相对缩小率阈值可任意地设定。在本实施方式中,将相对缩小率阈值设定成0.55(=(1/1.22)3)。
并且,绝对缩小率阈值可根据模板尺寸来决定。当设物体检测部件7模板匹配处理中使用的模板的大小为横向24象素×纵向24象素时,若缩小图像数据的缩小ID超过11(若缩小图像数据的分辨率小于横向33象素×纵向25象素),则缩小图像数据的尺寸小于模板的尺寸,所以模板匹配处理不能进行。因此,缩小图像数据的最小分辨率为相对于QVGA分辨率的原图像数据的缩小率是(1/1.22)11的横向33象素×纵向25象素。
因此,可将绝对缩小率阈值决定为0.11(=(1/1.22)11)。
物体检测系统控制装置包括:适宜配置有操作钮的操作部(未图示);和控制电路(未图示),连接于操作部,根据操作部进行的操作内容,向处理器总线4输出操作内容信息。
<2>动作
<2-1>物体检测系统整体的动作
下面,说明根据本实施方式的物体检测系统整体的动作。
图5中示出根据本实施方式的物体检测系统的动作的流程图。
首先,将从摄像机10输出的原图像数据输入到图像处理电路9,进行图像处理(步骤S1)。
接着,将从图像处理电路9输出的原图像数据传送到图像存储器2(步骤S2)。这里,一旦对图像存储器传送1帧大小的原图像数据完成,则图像处理电路9经处理器总线4向处理器6输出传送完成通知信号。一旦从处理器总线4输入传送完成通知信号,则处理器6为了使运动检测电路5开始运动检测处理而向处理器总线4输出运动检测处理开始信号。
运动检测电路5一旦从处理器总线4输入运动检测处理开始信号,则开始运动检测处理(步骤S3)。这里,一旦运动检测处理完成,则运动检测电路5向处理器总线4输出运动检测处理的结果。一旦从处理器总线4输入运动检测处理的结果,则处理器6根据运动检测处理的结果,计算物体检测装置1进行物体检测处理的检测范围,向处理器总线4输出关于该检测范围的信息。
物体检测装置1一旦从处理器总线4输入关于进行物体检测处理的检测范围的信息,则从图像存储器2经存储器总线3取得原图像数据,如后所述,通过模板匹配处理进行物体检测处理(步骤S4)。这里,一旦物体检测处理完成,则物体检测装置1向处理器总线4输出物体框显示信息。
处理器6一旦从处理器总线4输入物体框显示信息,则根据该物体显示框信息,生成物体框显示数据,输出到处理器总线4,所述物体框显示数据包括LCD控制电路11使LCD显示表示特定物体位置的物体框所需的信息。
LCD控制电路11一旦从处理器总线4输入物体框显示数据,则根据该物体显示框数据,进行用框包围在LCD12上显示的摄像图像中拍摄到被摄体的区域的描绘处理(步骤S5)。
接着,处理器6判断用户是否从物体检测系统控制装置的操作部进行,停止操作(步骤S6)。这里,处理器6根据是否从物体检测系统控制装置经处理器总线4输入停止信号,来判断是否进行了停止操作。
处理器6一旦判断为进行了停止操作(步骤S6:是),则终止处理。另外,处理器6一旦判断为没有进行停止操作(步骤S6:否),则再次进行基于图像处理电路9的图像处理(步骤S1)。
<2-2>物体检测处理中的动作
根据图6中示出的流程图来说明本实施方式的物体检测处理中进行的动作。下面,设原图像数据具有QVGA分辨度(横向320象素×纵向240象素),模板TP的尺寸为横向24象素×纵向24象素,相对缩小率阈值设定为0.55(=1/1.22)3),绝对缩小率阈值设定为0.11(=(1/1.22)11),来进行说明。
首先,原图像数据取得部件16切出并取得图像存储器2中存储的原图像数据的一部分(步骤S41)。这里,原图像数据包括处理器6设定的规定尺寸的物体检测范围的图像数据,具有QVGA分辨率。
接着,原图像数据取得部件16将原图像数据原样存储在第二存储部件21的第一存储区域18中(步骤S42)。这里,原图像数据取得部件16如图7所示,切出原图像数据中以原图像的水平方向长度为宽度、以特定物体的模板尺寸为高度的原图像数据之一部分,存储在第二存储部件21的第一存储区域18中。
接着,物体检测部件7对第二存储部件21的第一存储区域18中存储的原图像数据之一部分,使用特定物体的模板TP,进行模板匹配处理(步骤S43)。
这里,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的原图像数据进行模板匹配处理的同时,对第二存储部件21的第一存储区域18中存储的原图像数据之一部分以缩小率1/1.22倍进行缩小处理,由此生成缩小图像数据(步骤S44),并存储在第一存储部件19中(步骤S45)。这里,一旦缩小图像存储至第一存储部件19完成,则第二存储部件21删除自身存储的原图像数据。
接着,图像缩小控制部件22判断是否对全部原图像数据进行了缩小处理(步骤S46)。
在步骤S46中,图像缩小控制部件22一旦判断为对全部原图像数据未完成缩小处理(步骤S46:否),则如图7所示,原图像数据取得部件16再次切出图像存储器2中存储的原图像数据的一部分(步骤S41),原样存储在第二存储部件21的第一存储区域18中(步骤42)。
另外,在步骤S46中,图像缩小控制部件22一旦判断为对全部原图像数据完成了缩小处理(参照图8)(步骤S46:是),则图像缩小控制部件22判断第一存储部件19中存储的缩小图像数据相对原图像数据的绝对的缩小率即绝对缩小率是否低于绝对缩小率阈值0.11(步骤S47)。
在步骤S47中,图像缩小控制部件22一旦判断为第一存储部件19中存储的缩小图像数据的绝对缩小率低于绝对缩小率阈值0.11(步骤S47:是),则移至描绘处理(步骤S5)。
另一方面,在步骤S47中,图像缩小控制部件22一旦判断为第一存储部件19中存储的缩小图像数据的绝对缩小率不低于绝对缩小率阈值0.11(步骤S47:否),则图像缩小控制部件22判断相对缩小率是否低于相对缩小率阈值0.55(步骤S48),所述相对缩小率是相对于第二存储部件21的第一存储区域18中存储的原图像数据(基准图像数据)之一部分的相对的缩小率。
在步骤S48中,图像缩小控制部件22一旦判断为相对于第二存储部件21的第一存储区域18中存储的原图像数据之一部分的相对缩小率低于相对缩小率阈值0.55(步骤S48:是),则移至后述的从图像存储器2取得原图像数据的一部分的处理(步骤S417)。
另一方面,在步骤S48中,图像缩小控制部件22一旦判断为相对于第二存储部件21的第一存储区域18中存储的原图像数据的相对缩小率不低于相对缩小率阈值0.55(步骤S48:否),则图像缩小控制部件22指示物体检测部件7进行模板匹配处理,物体检测部件7对第一存储部件19中存储的缩小图像数据,使用特定物体的模板TP进行模板匹配处理(步骤S49)。
这里,滤波器运算电路15在物体检测部件7对第一存储部件19中存储的缩小图像数据进行模板匹配处理的同时,通过对第一存储部件19中存储的缩小图像数据以缩小率0.82(1/1.22)进行缩小处理,来生成缩小图像数据(步骤S410),如图9(a)所示,存储在第二存储部件21中(步骤S411)。这里,一旦缩小图像数据向第二存储部件21的存储完成,则第一存储部件19删除自身存储的缩小图像数据。
接着,图像缩小控制部件22判断第二存储部件21中存储的缩小图像数据的绝对缩小率是否低于绝对缩小率阈值0.11(步骤S412)。
图像缩小控制部件22一旦判断为第二存储部件21中存储的缩小图像数据的绝对缩小率低于绝对缩小率阈值0.11(步骤S412:是),则移至描绘处理(步骤S5)。
另外,在步骤S412中,图像缩小控制部件22一旦判断为第二存储部件21中存储的缩小图像数据的绝对缩小率不低于绝对缩小率阈值0.11(步骤S412:否),则图像缩小控制部件22判断第二存储部件21中存储的缩小图像数据的相对缩小率是否低于相对缩小率阈值0.55(步骤S413)。
在步骤S413中,图像缩小控制部件22一旦判断为缩小图像数据的相对缩小率低于相对缩小率阈值0.55(步骤S413:是),则移至后述的从图像存储器2取得原图像数据的一部分的处理(步骤S417)。
另外,图像缩小控制部件22一旦判断为第二存储部件21中存储的缩小图像数据的相对缩小率不低于相对缩小率阈值0.55(步骤S413:否),则图像缩小控制部件22指示物体检测部件7进行模板匹配处理,物体检测部件7对第二存储部件21中存储的缩小图像数据,使用特定物体的模板TP进行模板匹配处理(步骤S414)。
这里,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的缩小图像数据进行模板匹配处理的同时,通过对第二存储部件21中存储的缩小图像数据以缩小率0.82(=1/1.22)进行缩小处理,来生成缩小图像数据(步骤S415),如图9(b)所示,存储在第一存储部件19中(步骤S416)。之后,再次移至步骤S47的处理。
并且,在步骤S48或步骤S413中,图像缩小控制部件22一旦判断为缩小图像数据的相对缩小率低于相对缩小率阈值0.55(步骤S413:是),则从图像存储器2取得原图像数据的一部分(步骤S417),生成相对于该原图像数据之一部分的缩小图像数据(步骤S418),存储在第二存储部件21的第一存储区域18中(步骤S419)。
这里,图像缩小控制部件22保持从步骤S48或步骤S413移至步骤S417时的绝对缩小率,图像缩小控制部件22使滤波器运算电路15对原图像数据的一部分,以等于该绝对缩小率的缩小率进行缩小处理。例如,若滤波器运算电路15对第二存储部件21中存储的原图像数据仅进行4次缩小率为0.82(1/1.22)的缩小处理,则图像缩小控制部件22判断为缩小图像数据的相对缩小率0.45(=1/1.22)4)低于相对缩小率阈值0.55,从步骤S48或步骤S413移至步骤S417,这时,图像缩小控制部件22保持1×(1/1.22)4作为缩小图像数据的绝对缩小率。之后,在步骤S418中,图像缩小控制部件22使滤波器运算电路15对原图像数据进行缩小率为1×(1/1.22)4的缩小处理。
接着,物体检测部件7对于相对于第二存储部件21的第一存储区域18中存储的原图像数据之一部分的缩小图像数据,使用特定物体的模板TP,进行模板匹配处理(步骤S420)。
这里,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的缩小图像数据进行模板匹配处理的同时,通过对第二存储部件21的第一存储区域18中存储的缩小图像数据以缩小率0.82(=1/1.22)进行缩小处理,来新生成缩小图像数据(步骤S421),存储在第一存储部件19中(步骤S422)。这里,一旦新生成的缩小图像数据向第一存储部件19的存储完成,则第二存储部件21删除自身存储的缩小图像数据。
接着,图像缩小控制部件22判断是否对全部缩小图像数据进行了缩小处理(步骤S423)。
在步骤S423中,图像缩小控制部件22一旦判断为对全部缩小图像数据未完成缩小处理(步骤S423:否),则原图像数据取得部件16再次从图像存储器2取得原图像数据的一部分(步骤S417),滤波器运算电路15对原图像数据的一部分,以等于从步骤S48或步骤S413移至步骤S417时的绝对缩小率的缩小率1×(1/1.22)4进行缩小处理,生成相对于原图像数据的一部分的缩小图像数据(步骤S418),存储在第二存储部件21的第一存储区域18中(步骤S419)。
另一方面,图像缩小控制部件15一旦判断为对全部原图像数据完成了缩小处理(参照图8)(步骤S423:是),则图像缩小控制部件22判断第二存储部件21中存储的缩小图像数据的绝对缩小率是否低于绝对缩小率阈值0.11(步骤S47)。
在步骤S47中,图像缩小控制部件22一旦判断为第一存储部件19中存储的缩小图像数据的绝对缩小率低于绝对缩小率阈值0.11(步骤S47:是),则移至描绘处理(步骤S5)。
另一方面,在步骤S47中,图像缩小控制部件22一旦判断为第一存储部件19中存储的缩小图像数据的绝对缩小率不低于绝对缩小率阈值0.11(步骤S47:否),则图像缩小控制部件22判断相对于第二存储部件21的第一存储区域18中存储的缩小图像数据之一部分的相对的缩小率即相对缩小率是否低于相对缩小率阈值0.55(步骤S48)。
在步骤S48中,图像缩小控制部件22一旦判断为相对于第二存储部件21的第一存储区域18中存储的缩小图像数据之一部分的相对缩小率低于相对缩小率阈值0.55(步骤S48:是),则移至后述的从图像存储器2取得原图像数据的一部分的处理(步骤S417)。
另一方面,在步骤S48中,图像缩小控制部件22一旦判断为相对于第二存储部件21的第一存储区域18中存储的缩小图像数据(基准图像数据)之一部分的相对缩小率不低于相对缩小率阈值0.55(步骤S48:否),则图像缩小控制部件22指示物体检测部件7进行模板匹配处理,物体检测部件7对第二存储部件19中存储的缩小图像数据,使用特定物体的模板TP进行模板匹配处理(步骤S49)。
以后,在步骤S48及步骤S413中,通过图像缩小控制部件22一边判断缩小图像数据的相对缩小率是否低于相对缩小率阈值0.55,一边重复步骤S41至步骤S423的处理,从而物体检测电路7从缩小ID值为0、即原图像数据起,对缩小ID的值为0、1、2、…、11的各缩小图像数据依次进行模板匹配处理。
在本实施方式的物体检测装置1的物体检测处理中,由于可一边对第二存储部件21中存储的原图像数据或缩小图像数据进行模板匹配处理,一边将缩小图像数据存储在第一存储部件19中,并且,可一边对第一存储部件19中存储的缩小图像数据进行模板匹配处理,一边将缩小图像数据存储在第二存储部件21中,所以可提高处理能力。
另外,在本实施方式中,说明了物体检测部件7对各缩小图像数据中的所有点进行模板匹配处理的例子,但不限于此,例如,也可通过适当削减进行模板匹配处理的点,降低物体检测部件7的处理负荷。
并且,设物体检测部件7在模板匹配处理中使用的模板大小为横向24象素×纵向24象素,但不限于此。
并且,在实施方式中,基于滤波器运算电路15的缩小处理中的缩小率不限于式(1)表示的缩小率。
并且,物体框显示电路15也可从多个物体检测信息中提取缩小ID的差异在规定大小(例如2)以内的物体检测信息,将这些物体检测信息统一作为物体显示框信息,输出到处理器总线4。
<实施方式2>
下面,说明使用了根据本发明的物体检测装置1的物体检测系统。
<1>构成
根据本实施方式的物体检测系统与图1相同,仅物体检测装置1的构成不同。因此,对与图1相同的构成附以同样的符号,并省略说明。
物体检测装置1如图10所示,具备:缩小图像生成部件8,根据原图像数据生成多种缩小图像数据;和物体检测部件7,通过对由缩小图像生成部件8生成的多种缩小图像数据进行使用了特定物体的模板TP的匹配处理,在多种缩小图像数据的各个中检测特定物体的位置。
并且,物体检测装置1与实施方式1相同,具备:物体检测信息存储部件13,用于存储从物体检测部件7输出的多个物体检测信息;和物体显示框显示电路14,从物体检测信息存储部件13中存储的物体检测信息中,将坐标位置相近的信息或缩小ID相近的信息统一作为1个检测信息,作为物体显示框信息,输出到处理器总线4。
物体检测部件7对QVGA分辨率(横向320象素×纵向240象素)的原图像数据、或通过对该原图像数据进行缩小分辨率的缩小处理而生成的、分辨率(例如横向256象素×纵向192象素)低于QVGA分辨率的多种缩小图像数据,进行基于模板匹配的物体检测处理。
缩小图像生成部件8如图10所示,包含作为数据取得部件的原图像数据取得部件16、滤波器运算电路15、第一存储部件19及第二存储部件21、缩小处理次数计数部件24、总线通信量监视部件25、缩小率计算部件26和图像缩小控制部件22。
滤波器运算电路15是通过对由原图像数据取得部件16取得的原图像数据进行缩小处理而生成缩小图像数据的缩小处理部件,利用众所周知的下采样法或平均操作法,对输入的原图像数据或缩小图像数据进行缩小处理。这里,滤波器运算电路15的缩小率由图像缩小率控制部件22变更。
第一存储部件19具有与对原图像数据仅进行1次缩小处理而生成的缩小图像数据相同大小的存储容量。
第二存储部件21具有第一存储区域18和第二存储区域20。第一存储区域18具有大小等于水平方向的长度与原图像水平方向的长度一致且垂直方向的长度与模板TP的纵方向长度一致的图像的图像数据大小的存储容量。并且,第二存储区域20具有大小等于如下图像的图像数据大小的存储容量,该图像水平方向的长度与对原图像数据整体仅重复进行2次缩小处理时得到的缩小图像数据所构成的缩小图像的水平方向长度一致、垂直方向的长度与从该缩小图像的垂直方向长度减去了模板TP的纵方向长度后的长度一致。
原图像数据取得部件16由图像缩小控制部件22控制,在从图像缩小控制部件22指示的定时,切出并取得图像存储器2中存储的原图像数据中缩小处理部件22指定的一部分。这里,原图像数据取得部件16通过对图像存储器2输入传送请求信息Sig,从图像存储器2经存储器总线3取得原图像数据。
缩小处理次数计数部件24计数滤波器运算电路15对由第二存储部件21的第一存储区域18中存储的原图像数据或缩小图像数据构成的基准图像数据重复进行的缩小处理的次数(下面称为重复缩小次数。)、以及重复缩小处理次数的累积次数(下面称为累积缩小处理次数。),并输出计数值。
缩小率计算部件26根据从缩小处理次数计数部件24输出的缩小处理的缩小率和缩小处理的总次数,计算作为缩小图像数据相对原图像数据的绝对的缩小率的绝对缩小率,输出到图像缩小控制部件22。
总线通信量监视部件25监视存储器总线的通信量,计算存储器总线的通信量,并输出到图像缩小控制部件22。
图像缩小控制部件22根据重复缩小处理次数及累积缩小处理次数,判断是否使滤波器运算电路15继续进行缩小处理。并且,图像缩小控制部件22保持针对重复缩小次数的规定阈值(下面称为重复次数阈值。),比较从缩小处理次数计数部件24输入的重复缩小次数和重复次数阈值,一旦判断为重复缩小处理次数超过重复阈值,则使滤波器运算电路15中止缩小处理,并指示原图像数据取得部件16从图像存储器2中取得原图像数据的一部分。并且,图像缩小控制部件22保持针对通信量的规定阈值(下面称为通信量阈值。),比较从总线通信量监视部件25输入的通信量和通信量阈值,若判断为通信量在通信量阈值以下,则使滤波器运算电路15中止缩小处理,并指示原图像数据取得部件16从图像存储器2中取得原图像数据的一部分。并且,图像缩小控制部件22保持针对缩小图像数据相对原图像数据的绝对的缩小率(下面称为绝对缩小率。)的阈值(下面称为绝对缩小率阈值。),比较从缩小率计算部件23输入的绝对缩小率和绝对缩小率阈值,一旦判断为绝对缩小率低于绝对缩小率阈值,则使滤波器运算电路15中止缩小处理,并向处理器总线4输出用于通知处理器6物体检测处理已完成的物体检测完成通知信号。
<2>动作
下面,根据本实施方式的物体检测系统的动作与实施方式1相同,仅就物体检测处理中的动作的不同进行说明。另外,根据本实施方式的物体检测系统整体的动作与实施方式1相同,所以省略说明。
根据图11中示出的流程图说明本实施方式的物体检测处理中进行的动作。
下面,说明重复阈值设定为3次且绝对缩小率阈值设定为0.11(=(1/1.22)11)的情况。
首先,原图像数据取得部件16从图像存储器2中取得由处理器6设定的物体检测范围中QVGA分辨率的规定尺寸的原图像数据之一部分(步骤S41)。
接着,原图像数据取得部件16将原图像数据原样存储在第二存储部件21的第一存储区域18中(步骤S42)。这里,原图像数据取得部件16如图7所示,切出原图像数据中以原图像的水平方向长度为宽度且以特定物体的模板TP尺寸为高度的原图像数据之一部分,存储在第二存储部件21的第一存储区域18中。
接着,物体检测部件7对第二存储部件21的第一存储区域18中存储的原图像数据的一部分,使用特定物体的模板TP进行模板匹配处理(步骤S43)。
这里,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的原图像数据进行模板匹配处理的同时,通过对第二存储部件21的第一存储区域18中存储的原图像数据的一部分以缩小率0.82(=1/1.22)进行缩小处理,来生成缩小图像数据(步骤S44),存储在第一存储部件19中(步骤S45)。并且,一旦缩小图像向第一存储部件19的存储完成,则第二存储部件21删除自身存储的原图像数据。
接着,图像缩小控制部件22判断是否对全部原图像数据进行了缩小处理(步骤S46)。
在步骤S46中,一旦图像缩小控制部件22判断为对全部原图像数据未完成缩小处理(步骤S46:否),则如图7所示,原图像数据取得部件16再次切出并取得图像存储器2中存储的原图像数据的一部分(步骤S41),原样存储在第二存储部件21的第一存储区域18中(步骤42)。
另一方面,一旦图像缩小控制部件15判断为对全部原图像数据完成了缩小处理(参照图8)(步骤S46:是),则图像缩小控制部件22判断第一存储区域19中存储的缩小图像数据相对原图像数据的绝对的缩小率即绝对缩小率是否低于绝对缩小率阈值0.11(步骤S47)。
在步骤S47中,一旦图像缩小控制部件22判断为第一存储区域19中存储的缩小图像数据的绝对缩小率低于绝对缩小率阈值0.11(步骤S47:是),则移至描绘处理(步骤S5)。
另一方面,在步骤S47中,一旦图像缩小控制部件22判断为第一存储区域19中存储的缩小图像数据的绝对缩小率不低于绝对缩小率阈值0.11(步骤S47:否),则图像缩小控制部件22判断从原图像数据取得部件16一度取得原图像数据并存储在第二存储部件21中开始对该原图像数据重复进行的缩小处理的次数是否超过重复次数阈值3(步骤S48)。
在步骤S48中,一旦图像缩小控制部件22判断为对第二存储部件21中存储的原图像数据重复进行的缩小处理的次数超过重复次数阈值3(步骤S48:是),则移至后述的从图像存储器2中取得原图像数据之一部分的处理(步骤S417)。
另一方面,一旦图像缩小控制部件22判断为对第二存储部件21中存储的原图像数据重复进行的缩小处理的次数未超过重复次数阈值3(步骤S48:否),则图像缩小控制部件22判断从总线通信量监视部件25输入的总线通信量是否在规定大小的通信量阈值以下(步骤S49)。
在步骤S49中,一旦图像缩小控制部件22判断为总线通信量在总线通信量阈值以下(步骤S49:是),则移至后述的从图像存储器2中取得原图像数据之一部分的处理(步骤S419)。
另一方面,在步骤S49中,一旦图像缩小控制部件22判断为总线通信量超过总线通信量阈值(步骤S49:否),则图像缩小控制部件22指示物体检测部件7进行模板匹配处理,物体检测部件7对第一存储部件19中存储的缩小图像数据,用特定物体的模板TP进行模板匹配处理(步骤S410)。
这里,滤波器运算电路15在物体检测部件7对第一存储区域19中存储的缩小图像数据进行模板匹配处理的同时,通过对第一存储部件19中存储的缩小图像数据以缩小率1/1.22倍进行缩小处理,来生成缩小图像数据(步骤S411),存储在第二存储部件21中(步骤S412)。并且,一旦缩小图像数据向第二存储部件21的存储完成,则第一存储部件19删除自身存储的缩小图像数据。
接着,图像缩小控制部件22判断第二存储部件21中存储的缩小图像数据的绝对缩小率是否低于绝对缩小率阈值0.11(步骤S413)。
图像缩小控制部件22一旦判断为第二存储部件21中存储的缩小图像数据的绝对缩小率低于绝对缩小率阈值0.11(步骤S413:是),则移至描绘处理(步骤S5)。
另一方面,在步骤S413中,图像缩小控制部件22一旦判断为第二存储部件21中存储的缩小图像数据的绝对缩小率不低于绝对缩小率阈值0.11(步骤S413:否),则图像缩小控制部件22判断对第二存储部件21中存储的原图像数据重复进行的缩小处理的次数是否超过重复次数阈值3(步骤S414)。
在步骤S414中,图像缩小控制部件22一旦判断为对第二存储部件21中存储的原图像数据重复进行的缩小处理的次数超过重复次数阈值3(步骤S414:是),则移至后述的原图像数据取得部件16从图像存储器2中取得原图像数据的一部分的处理(步骤S419)。
另外,在步骤S414中,图像缩小控制部件22一旦判断为对第二存储部件21中存储的原图像数据重复进行的缩小处理的次数未超过重复次数阈值3(步骤S414:否),则图像缩小控制部件22判断从总线通信量监视部件25输入的总线通信量是否在规定大小的通信量阈值以下(步骤S415)。
在步骤S49中,一旦图像缩小控制部件22判断为总线通信量在总线通信量阈值以下(步骤S415:是),则移至后述的从图像存储器2中取得原图像数据的一部分的处理(步骤S419)。
另一方面,在步骤S49中,一旦图像缩小控制部件22判断为总线通信量超过总线通信量阈值(步骤S415:否),则图像缩小控制部件22指示物体检测部件7进行模板匹配处理,物体检测部件7对第二存储部件21中存储的缩小图像数据,使用特定物体的模板TP进行模板匹配处理(步骤S416)。
这里,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的缩小图像数据进行模板匹配处理的同时,通过对第二存储部件21中存储的缩小图像数据以缩小率0.82(=1/1.22)进行缩小处理,来生成缩小图像数据(步骤S417),存储在第一存储部件19中(步骤S418),之后,再次移至步骤S47的处理。
并且,在步骤S48、步骤S49、步骤S414或步骤S415中,图像缩小控制部件22一旦判断为对第二存储部件21中存储的原图像数据重复进行的缩小处理的次数超过重复次数阈值3(步骤S48、S414:是),则从图像存储器2中取得原图像数据的一部分(步骤S419)。
接着,滤波器运算电路15对原图像数据的一部分进行缩小处理,生成相对于原图像数据之一部分的缩小图像数据(步骤S420),存储在第二存储部件21的第一存储区域18中(步骤S421)。
这里,图像缩小控制部件22保持从步骤S48、步骤S49、步骤S414或步骤S415移至步骤S419时的累积缩小处理次数,图像缩小控制部件22使滤波器运算电路15以仅进行了该累积缩小处理次数的缩小处理时的缩小率对原图像数据之一部分进行缩小处理。例如,若滤波器运算电路15对第二存储部件21中存储的原图像数据仅进行4次缩小率为0.82(=1/1.22)的缩小处理,则图像缩小控制部件22判断为缩小处理的次数低于重复次数阈值3,从步骤S48或步骤S414移至步骤S419,这时,图像缩小控制部件22保持4作为累积缩小处理次数。而且,在步骤S419中,图像缩小控制部件22使滤波器运算电路15对原图像数据进行缩小率为1×(1/1.22)4的缩小处理。
接着,物体检测部件7对于相对于第二存储部件21的第一存储区域18中存储的原图像数据之一部分的缩小图像数据,使用特定物体的模板TP进行模板匹配处理(步骤S422)。
这里,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的缩小图像数据进行模板匹配处理的同时,通过对第二存储部件21的第一存储区域18中存储的缩小图像数据以0.82(=1/1.22)进行缩小处理,新生成缩小图像数据(步骤S423),存储在第一存储部件19中(步骤S424)。并且,一旦新生成的缩小图像数据向第一存储部件19的存储完成,则第二存储部件21删除自身存储的缩小图像数据。
接着,图像缩小控制部件22判断是否对全部缩小图像数据进行了缩小处理(步骤S425)。
在步骤S423中,一旦图像缩小控制部件22判断为对全部缩小图像数据未完成缩小处理(步骤S425:否),则原图像数据取得部件16再次从图像存储器2中取得原图像数据的一部分(步骤S419),滤波器运算电路15以仅进行了等于从步骤S48或步骤S414移至S419时的累积缩小处理次数4的次数的缩小处理时的缩小率1×(1/1.22)4,对原图像数据的一部分进行缩小处理,生成相对于原图像数据之一部分的缩小图像数据(步骤S420),存储在第二存储部件21的第一存储区域18中(步骤S421)。
另外,一旦图像缩小控制部件15判断为对全部原图像数据完成了缩小处理(步骤S425:是),则图像缩小控制部件22判断对原图像数据进行的累积缩小处理次数是否超过缩小阈值(步骤S47)。
之后,通过重复步骤S47至步骤S425的处理,物体检测电路7从缩小ID的值为0、即原图像数据起,对缩小ID的值为0、1、2、…、11的各缩小图像数据依次进行模板匹配处理。
<实施方式3>
下面,说明使用了根据本发明的物体检测装置1的物体检测系统。
<1>构成
根据本实施方式的物体检测系统与图1相同,仅第二存储部件21的构成不同。因此,对与图1相同的构成附以同样符号,并省略说明。
物体检测装置1如图12所示,具备:缩小图像生成部件8,根据原图像数据生成多种缩小图像数据;和物体检测部件7,通过对由缩小图像生成部件8生成的多种缩小图像数据进行使用了特定物体的模板TP的匹配处理,在多种缩小图像数据的各个中检测特定物体的位置。
并且,物体检测装置1与实施方式1相同,具备:物体检测信息存储部件13,用于存储从物体检测部件7输出的多个物体检测信息;和物体显示框显示电路14,从物体检测信息存储部件13中存储的物体检测信息中,将坐标位置相近的信息或缩小ID相近的信息统一作为1个检测信息,作为物体显示框信息,输出到处理器总线4。
物体检测部件7对QVGA分辨率(横向320象素×纵向240象素)的原图像数据、或通过对该原图像数据进行缩小分辨率的缩小处理而生成的、分辨率(例如横向256象素×纵向192象素)低于QVGA分辨率的多种缩小图像数据,进行基于模板匹配的物体检测处理。
缩小图像生成部件8如图12所示,包含作为数据取得部件的原图像数据取得部件16、滤波器运算电路15、第一存储部件19及第二存储部件21、缩小处理次数计数部件24、缩小率计算部件26和图像缩小控制部件22。
滤波器运算电路15是通过对由原图像数据取得部件16取得的原图像数据进行缩小处理来生成缩小图像数据的缩小处理部件,利用众所周知的下采样法或平均操作法,对输入的原图像数据或缩小图像数据进行缩小处理。这里,滤波器运算电路15的缩小率由图像缩小率控制部件22变更。
第一存储部件19具有大小等于如下图像的图像数据大小的存储容量,该图像水平方向的长度与通过对原图像数据仅进行1次缩小处理而生成的缩小图像数据所构成的缩小图像的水平方向长度一致,且垂直方向的长度与模板TP的纵方向长度的2倍长度一致。
第二存储部件21包括第一存储区域18a、第二存储区域18b及第三存储区域18c,这些区域具有大小等于水平方向的长度与原图像水平方向的长度一致且垂直方向的长度与模板TP纵方向的长度一致的图像的图像数据大小的存储容量。
原图像数据取得部件16由图像缩小控制部件22控制,在从图像缩小控制部件22指示的定时,切出并取得图像存储器2中存储的原图像数据中图像缩小控制部件22所指定的一部分。这里,原图像数据取得部件16切出并取得表示原图像中、水平方向的长度与原图像水平方向的长度一致且垂直方向的长度与模板TP的纵方向长度一致的第一区域(第二区域或第三区域)的图像数据。并且,原图像数据取得部件16通过对图像存储器2输入传送请求信号Sig,从图像存储器2经存储器总线3取得原图像数据。
缩小处理次数计数部件24计数滤波器运算电路15对基准图像数据重复进行的缩小处理的次数(下面称为重复缩小次数。)、和重复缩小处理次数的累积次数(下面称为累积缩小处理次数。),并输出计数值,所述基准图像数据由第二存储部件21的第一存储区域18中存储的原图像数据或缩小图像数据构成。
缩小率计算部件26根据从缩小处理次数计数部件24输出的缩小处理的缩小率和缩小处理的总次数,计算缩小图像数据相对原图像数据的绝对的缩小率、即绝对缩小率,输出至图像缩小控制部件22。
图像缩小控制部件22根据重复缩小处理次数及累积缩小处理次数,判断是否使滤波器运算电路15继续进行缩小处理。
这里,若对于对第一存储部件19中存储的缩小图像数据仅进行1次缩小处理而生成的、在第二存储部件21中存储的缩小图像数据完成模板匹配处理,则图像缩小控制部件22使滤波器运算电路15中止缩小处理,并指示原图像数据取得部件16从图像存储器2中取得原图像数据的一部分。即,在累积缩小处理次数达到2次时、或者累积缩小处理次数为3次以上的情况下重复缩小处理次数达到3次时,图像缩小控制部件22使滤波器运算电路15中止缩小处理,并指示原图像数据取得部件16从图像存储器2中取得原图像数据的一部分。并且,图像缩小控制部件22保持针对缩小图像数据相对原图像数据的绝对的缩小率(下面称为绝对缩小率。)的阈值(下面称为绝对缩小率阈值。),比较从缩小率计算部件26输入的绝对缩小率和绝对缩小率阈值,若判断为绝对缩小率低于绝对缩小率阈值,则使滤波器运算电路15中止缩小处理。这里,在对全部原图像数据完全物体检测处理时,将用于通知处理器6物体检测处理完成了的物体检测处理完成通知信号输出到处理器总线4。
<2>动作
下面,根据本实施方式的物体检测系统的动作与实施方式1相同,仅就物体检测处理中的动作的不同进行说明。另外,根据本实施方式的物体检测系统整体的动作与实施方式1相同,所以省略说明。
根据图13示出的流程图,说明本实施方式的物体检测处理中进行的动作。
下面,说明绝对缩小率阈值设定为0.11(=(1/1.22)11)的情况。
首先,原图像数据取得部件16从图像存储器2中取得由处理器6设定的物体检测范围中QVGA分辨率的规定尺寸的原图像数据之一部分(步骤S41)。这里,原图像数据取得部件16如图14(a)所示,切出并取得表示原图像中、水平方向的长度与原图像水平方向的长度一致且垂直方向的长度与模板TP的纵方向长度一致的第一区域的图像数据data0及表示与第一区域相同大小的第二区域的图像数据data1。并且,2个图像数据data0、data1如图14(a)所示,对应原图像中在纵方向邻接的第一区域及第二区域。
接着,原图像数据取得部件16将2个图像数据data0、data1原样存储在第二存储部件21中(步骤S42)。这里,原图像数据取得部件16如图14所示,将图像数据data0存储在第一存储区域18a中,将图像数据data1存储在第二存储区域18b中,将与第二存储区域18b中存储的图像数据data1同样的图像数据data1存储在第三存储区域18c中。
接着,物体检测部件7对第二存储部件21的第一存储区域18a中存储的图像数据data0及第二存储区域18b中存储的图像数据data1,使用特定物体的模板TP进行模板匹配处理(步骤S43)。这里,物体检测部件7对由图像数据data0、data1表示的原图像之一部分,一边沿纵方向每次1个象素地错开模板TP,一边进行模板匹配处理。
这里,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的图像数据data0及图像数据data1进行模板匹配处理的同时,通过对第二存储部件21的第一存储区域18a及第二存储区域18b中存储的图像数据data0、data1以缩小率0.82(=(1/1.22))进行缩小处理来生成缩小图像数据(步骤S44),并存储在第一存储部件19中(步骤S45)。并且,一旦缩小图像向第一存储部件19的存储完成,则第二存储部件21删除第一存储区域18a及第二存储区域18b中存储的图像数据data0及图像数据data1。但是,不删除第三存储区域18b中存储的图像数据data1。
接着,图像缩小控制部件22判断第一存储部件19中存储的缩小图像数据的绝对缩小率是否低于绝对缩小率阈值0.11(步骤S46)。
在步骤S46中,图像缩小控制部件22一旦判断为绝对缩小率低于绝对缩小率阈值0.11(步骤S46:是),则移至后述的步骤S419。
另一方面,在步骤S46中,图像缩小控制部件22一旦判断为第一存储部件19中存储的缩小图像数据的绝对缩小率不低于绝对缩小率阈值0.11(步骤S46:否),则图像缩小控制部件22指示物体检测部件7进行模板匹配处理,物体检测部件7对第一存储部件19中存储的缩小图像数据,使用特定物体的模板TP进行模板匹配处理(步骤S47)。
这里,滤波器运算电路15在物体检测部件7对第一存储部件19中存储的缩小图像数据进行模板匹配处理的同时,通过对第一存储部件19中储存的缩小图像数据以缩小率1/1.22部进行缩小处理,来生成缩小图像数据(步骤S48),存储在第二存储部件21中(步骤S49)。这时,滤波器运算电路15生成的缩小图像数据如图14(b)所示,存储在第二存储部件21中的第一存储区域18a及第二存储区域18b的某个中。并且,一旦缩小图像向第二存储部件21的存储完成,则第一存储部件19删除第一存储部件19中存储的缩小图像数据。
接着,图像缩小控制部件22判断第二存储区域21中存储的缩小图像数据的绝对缩小率是否低于绝对缩小率阈值0.11(步骤S410)。
在步骤S410中,图像缩小控制部件22一旦判断为第二存储部件21中存储的缩小图像数据的绝对缩小率低于绝对缩小率阈值0.11(步骤S410:是),则移至后述的步骤S419。
另一方面,在步骤S410中,图像缩小控制部件22一旦判断为第二存储部件21中存储的缩小图像数据的绝对缩小率不低于绝对缩小率阈值0.11(步骤S410:否),则物体检测部件7对第二存储部件21中存储的缩小图像数据,使用特定物体的模板TP进行模板匹配处理(步骤S411)。
之后,第一存储部件19及第二存储部件21删除自身存储的原图像数据或缩小图像数据(步骤S412)。
接着,原图像数据取得部件16从图像存储器2中取得原图像数据的一部分(步骤S413)。这里,原图像数据取得部件16如图16所示,切出并取得2个图像数据data0、data1。
接着,滤波器运算电路15对图像数据data0、data1进行缩小处理,生成缩小图像数据(步骤S414),存储在第二存储部件21的第一存储区域18a及第二存储区域18b中(步骤S415)。这里,滤波器运算电路15如图16所示,将对应于图像数据data0的缩小图像数据存储在第一存储区域18a中,将对应于data1的缩小图像数据存储在第二存储区域18b中,将与第二存储区域18b中存储的缩小图像数据同样的缩小图像数据存储在第三存储区域18c中。
这里,图像缩小控制部件22保持步骤S411终止时的累积缩小处理次数,图像缩小控制部件22使滤波器运算电路15以对原图像数据的一部分仅进行了该累积缩小处理次数的缩小处理时的缩小率进行缩小处理。例如,在滤波器运算电路15对第二存储部件21中存储的原图像数据仅进行2次缩小率为0.82(=1/1.22)的缩小处理时,图像缩小控制部件22保持2作为累积缩小处理次数。而且,在步骤S414中,图像缩小控制部件22使滤波器运算电路15对原图像数据进行缩小率1×(1/1.22)2的缩小处理。
接着,物体检测部件7对于相对于第二存储部件21的第一存储区域18中存储的原图像数据一部分的缩小图像数据,使用特定物体的模板TP进行模板匹配处理(步骤S416)。
这里,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的缩小图像数据进行模板匹配处理的同时,通过对第二存储部件21的第一存储区域18a及第二存储区域18b中存储的缩小图像数据以0.82(=1/1.22)进行缩小处理,新生成缩小图像数据(步骤S417),并存储在第一存储部件19中(步骤S418)。并且,一旦新生成的缩小图像数据向第一存储部件19的存储完成,则第二存储部件21删除第一存储区域18a及第二存储区域18b中存储的缩小图像数据。但是,不删除第三存储区域18c中存储的缩小图像数据。之后,移至步骤S46。
并且,在步骤S419中,图像缩小控制部件22判断是否对全部原图像数据完成了处理。
在步骤S419中,图像缩小控制部件22一旦判断为对全部原图像数据完成了处理(步骤S419:是),则进行描绘处理(步骤S5)。
另一方面,在步骤S419中,图像缩小控制部件22一旦判断为对全部原图像数据未完成处理(步骤S419:否),则原图像数据取得部件16再次从图像存储器2中取得原图像数据的一部分(步骤S41)。这里,原图像数据取得部件16如图15(a)所示,切出并取得表示原图像中、水平方向的长度与原图像水平方向的长度一致且垂直方向的长度与模板TP的纵方向长度一致的第三区域的图像数据data2。并且,图像数据data2如图15(a)所示,是在原图像的纵方向与先取得的图像数据data1表示的区域邻接的区域,对应于在与图像数据data0表示的区域所邻接的一侧相反的一侧与图像数据data1表示的区域邻接的区域。
下面,原图像数据取得部件16将图像数据data2原样存储在第二存储部件21中(步骤S42),这里,原图像数据取得部件16如图15(a)所示,将图像数据data2存储在第一存储区域18a中,将与第一存储区域18a中存储的图像数据data2同样的图像数据data2存储在第二存储区域18b中。
接着,物体检测部件7对第二存储部件21的第三存储区域18c中存储的图像数据data1及第二存储区域18b中存储的图像数据data2,使用特定物体的模板TP进行模板匹配处理(步骤S43)。这里,物体检测部件7对由图像数据data1、data2表示的原图像的一部分,一边沿纵方向每次1个象素地错开模板TP,一边进行模板匹配处理。并且,在先述的步骤S43中,对表示第一区域的图像数据data0及表示第二区域的图像数据data1进行模板匹配处理,与此相对,在本次的步骤S43中,对表示第二区域的图像数据data1及表示第三区域的图像数据data2进行模板匹配处理。即,由原图像数据取得部件16第一次取得的图像数据data0、data1所表示的第一区域及第二区域、和第二次取得的图像数据data1data2所表示的第二区域及第三区域在第二区域互相重复。因此,可对原图像一边每次1个象素地错开模板,一边进行模板匹配处理,可提高物体检测精度。
并且,滤波器运算电路15在物体检测部件7对第二存储部件21中存储的图像数据data1及图像数据data2进行模板匹配处理的同时,通过对第三存储区域18c及第二存储区域18b中存储的图像数据data1、data2以缩小率0.82(=1/1.22)进行缩小处理,来生成缩小图像数据(步骤S44)。存储在第一存储部件19中(步骤S45)。并且,一旦缩小图像数据向第一存储部件19的存储完成,则第二存储部件21删除第三存储区域18c及第二存储区域18b中存储的图像数据data1及图像数据data2。但是,不删除第一区域18a中存储的图像数据data2。
之后,通过重复步骤S41至步骤S419的处理,物体检测电路7从缩小ID的值为0、即原图像数据起,对缩小ID的值为0、1、2、…、11的各缩小图像数据依次进行模板匹配处理。
<变形例>
(1)在所述的实施方式1中,就如下例子进行说明,该例子中具备缩小率计算部件23,所述缩小率计算部件23输出相对于第二存储部件21的第一存储区域18中存储的缩小图像数据的相对缩小率,图像缩小控制部件22保持相对缩小率阈值,比较从缩小率计算部件23输入的相对缩小率和相对缩小率阈值,一旦判断为相对缩小率超过相对缩小率阈值,则使滤波器运算电路15中止缩小处理,并使原图像数据取得部件16从图像存储器2中取得原图像数据的一部分,但不限于此,例如,也可与所述实施方式2相同,具备缩小处理次数计数部件24替代缩小率计算部件22,图像缩小控制部件22保持重复次数阈值,比较从缩小处理次数计数部件24输入的重复缩小次数和重复次数阈值,一旦判断为重复缩小处理次数超过重复阈值,则使滤波器运算电路15中止缩小处理,并使原图像数据取得部件16从图像存储器2中取得原图像数据的一部分。
(2)在所述的实施方式2中,就如下例子进行说明,该例子中具备缩小处理次数计数部件24,所述缩小处理次数计数部件24计数由滤波器运算电路15对第一存储部件19中存储的缩小图像数据进行的缩小处理的重复次数,图像缩小控制部件22保持重复次数阈值,比较从缩小处理次数计数部件24输入的重复缩小次数和重复次数阈值,一旦判断为重复缩小处理次数超过重复阈值,则使滤波器运算电路15中止缩小处理,并使原图像数据取得部件16从图像存储器2中取得原图像数据的一部分,但不限于此,例如,也可与实施方式1相同,具备缩小率计算部件23替代缩小处理次数计数部件24,所述缩小率计算部件23输出相对于对第二存储部件21的第一存储区域18中存储的缩小图像数据的相对缩小率,图像缩小控制部件22保持相对缩小率阈值,比较从缩小率计算部件23输入的相对缩小率和相对缩小率阈值,一旦判断为相对缩小率超过相对缩小率阈值,则使滤波器运算电路15中止缩小处理,并使原图像数据取得部件16从图像存储器2中取得原图像数据的一部分。
(3)在所述的实施方式2中,就如下例子进行说明,该例子中图像缩小控制部件22保持绝对缩小率阈值,比较从缩小率计算部件23输入的绝对缩小率和绝对缩小率阈值,一旦判断为绝对缩小率低于绝对缩小率阈值,则使滤波器运算电路15中止缩小处理,并向处理器总线4输出用于通知处理器6物体检测处理完成了的物体检测完成通知信号,但不限于此,例如,也可不设置缩小率计算部件26,而从缩小处理次数计数部件23向图像缩小控制部件22输出重复缩小次数的累加值(下面称为累积次数。),图像缩小控制部件22保持针对累积缩小处理次数的规定阈值(下面称为累积次数阈值。),比较从缩小处理次数计数部件23输入的累积次数和累积次数阈值,一旦判断为累积次数超过累积次数阈值,则使滤波器运算电路15中止缩小处理,并向处理器总线4输出用于通知处理器6物体检测处理完成了的物体检测完成通知信号。
(4)在所述的实施方式1~3中,例如,图像缩小控制部件22也可具备阈值可变部件(未图示),该阈值可变部件根据原图像数据的对比度或亮度等画质来变更相对缩小率阈值。
例如,设原图像数据由摄像机10摄影得到。这时,在明亮处使快门速度较快(缩短曝光时间)地摄影得到的原图像数据画质好,S/N比高。另外,在阴暗处使快门速度较慢(延长曝光时间)地摄影得到的原图像数据画质差,S/N比低。于是,在滤波器运算电路15利用下采样法等根据原图像数据生成缩小图像数据时,需要使得原图像数据的S/N比越低,越提高相对缩小率阈值,来防止在缩小图像数据中产生失真。
与此相对,在本变形例中,若将摄像机10的快门速度设定得较快,则原图像数据的S/N比高的可能性大,所以阈值可变部件将相对缩小率阈值设定得低。另一方面,若将摄像机10的快门速度设定得较慢,则原图像数据的S/N比低的可能性大,所以阈值可变部件将相对缩小率阈值设定得高。因此,由于可根据原图像数据的画质变更相对缩小率,使得在缩小图像数据中不产生失真,所以可提高物体检测的精度。
(5)在所述的实施方式1~3中,说明了如图4所示,缩小图像生成部件8生成11等级分辨率不同的缩小图像数据的例子,但不限于此,例如,如图17所示,缩小图像生成部件8也可将横方向的象素数及纵方向的象素数缩小成式(2)表示的分辨率。
式(2)
横方向的象素数
=(QVGA分辨率下横方向的象素数)×(1/1.11)n
纵方向的象素数
=(QVGA分辨率下纵方向的象素数)×(1/1.11)n
在本变形例中,如图17所示,通过生成22等级分辨率不同的缩小图像数据,对各缩小图像数据进行模板匹配处理,可以更高的精度检测原图像中包含的特定物体。
(6)并且,也可是具备实施方式1~3的物体检测装置1、可配合被摄体切换物体检测功能的带物体检测功能的摄像机。
在本变形例中,例如准备在拍摄人物的证明照片等时使用的「肖像模式」、和拍摄风景时使用的「风景模式」这2种模式,在设定成「肖像模式」时,原图像中拍到的人物所占的面积变大,所以将绝对缩小率阈值设定得较大,另外,在设定成「风景模式」时,原图像中拍到的人物所占的面积变小,所以将绝对缩小率阈值设定得较小。因此,可实现最适于被摄体的物体检测功能。
(7)并且,在实施方式3中,说明了首先原图像数据取得部件16从图像存储器2中取得原图像数据的一部分,将该原图像数据的一部分原样存储在第二存储部件21中的例子,但不限于此,也可是将滤波器运算电路15以规定缩小率缩小由原图像数据取得部件16取得的原图像数据而得到的缩小图像数据存储在第二存储部件21中。因此,可减轻在不必对原图像数据进行模板匹配处理时物体检测部件7的处理负荷。
(8)在实施方式1~3中,也可是物体检测处理用集成电路,其特征在于,具备:运动检测电路,取得外部存储器中存储的所述图像数据,从所述图像数据的整体中检测运动的特定物体所映入的规定尺寸的区域;处理器,根据从图像处理电路输入的控制信号,控制所述运动检测电路;具有与物体检测处理装置1相同功能的电路,所述物体检测处理装置1对由运动检测电路检测出的运动的特定物体所映入的规定尺寸区域更详细地检测该物体映入的位置;以及在图像处理电路、图像输出电路、运动检测电路、处理器及权利要求1所述的物体检测处理装置各自和画像存储器之间传送所述图像数据的总线。
<补充>
变形例(4)中说明的LSI因集成度不同,也被称为IC(Integrated Circuit)、系统LSI、VLSI(Very Large Scale Integration)、SLSI(Super Large Scale Integration)、ULSI(Ultra Large Scale Integration)等。
另外,集成电路化的手法不限于LSI,也可由专用电路或通用处理器来实现。也可利用在LSI制造后可编程的FPGA(Field Programmable Gate Array)、或可再构成LSI内部的电路单元的连接或设定的可重构处理器。
产业上的可利用性
根据本发明的物体检测装置可用于如下装置,即根据原图像数据,通过缩小处理生成多种缩小图像数据,并通过对缩小图像数据执行使用特定物体模板的匹配处理,进行物体检测,所述物体检测装置用作数码相机、数字电影等中的物体检测处理是有效的。也可用于监视摄像机的用途。

Claims (16)

1.一种物体检测装置,与外部存储器和其他装置共用总线,其特征在于,具备:
数据取得部件,从外部存储器经总线取得原图像数据;
存储部件,存储所取得的原图像数据或从原图像数据生成的缩小图像;
缩小处理部件,从原图像数据,生成缩小率彼此不同的多种缩小图像数据;和
物体检测部件,对多种缩小图像数据执行使用了物体模板的匹配处理,来检测特定物体的位置。
2.根据权利要求1所述的物体检测装置,其特征在于,
所述存储部件包括第一存储部件和第二存储部件,
所述物体检测部件对所述第一存储部件中存储的缩小图像数据,执行使用了物体模板的匹配处理,
若将所述图像缩小部件对第一存储部件中存储的缩小图像数据以规定的缩小率执行缩小处理所生成的缩小图像数据存储在第二存储部件中,
则所述第一存储部件删除自身存储的缩小图像数据,
所述物体检测部件对所述第二存储部件中存储的缩小图像数据,执行使用了物体模板的匹配处理,
若将所述图像缩小部件对所述第二存储部件中存储的缩小图像数据以所述规定的缩小率执行缩小处理所生成的缩小图像数据存储在所述第一存储部件中,
则所述第二存储部件删除自身存储的缩小图像数据。
3.根据权利要求2所述的物体检测装置,其特征在于,
具备:缩小率计算部件,计算相对缩小率,该相对缩小率是由所述图像缩小部件对由原图像数据或所述缩小图像数据构成的基准图像数据以规定的缩小率重复缩小处理所生成的缩小图像数据相对于所述基准图像数据的相对的缩小率;和
图像缩小控制部件,保持相对缩小率阈值,该相对缩小率阈值是针对由所述图像缩小部件生成的所述缩小图像数据的相对缩小率的阈值,当由所述缩小率计算部件计算的所述相对缩小率低于所述相对缩小率阈值时,所述图像缩小控制部件使所述原图像数据取得部件从外部存储器取得原图像数据。
4.根据权利要求3所述的物体检测装置,其特征在于,
在将所述原图像数据取得部件取得的原图像数据存储在第二存储部件中后,
所述物体检测部件对所述第二存储部件中存储的原图像数据执行使用了物体模板的匹配处理,
在将所述图像缩小部件对第二存储部件中存储的原图像数据以规定的缩小率执行缩小处理所得到的缩小图像数据存储在第一存储部件中后,
所述第二存储部件删除自身存储的原图像数据。
5.根据权利要求3所述的物体检测装置,其特征在于,
在将所述图像缩小部件对所述原图像数据取得部件取得的原图像数据以任意的缩小率执行缩小处理所得到的缩小图像数据存储在第二存储部件中后,
所述物体检测部件对所述第二存储部件中存储的缩小图像数据执行使用了物体模板的匹配处理,
在将所述图像缩小部件对第二存储部件中存储的缩小图像数据以规定的缩小率执行缩小处理所得到的缩小图像数据存储在第一存储部件中后,
所述第二存储部件删除自身存储的缩小图像数据。
6.根据权利要求2所述的物体检测装置,其特征在于,
具备:缩小处理次数计数部件,计数由所述图像缩小部件对由原图像数据或缩小图像数据构成的基准图像数据已执行的缩小处理的重复次数;和
图像缩小控制部件,所述图像缩小控制部件保持针对所述缩小处理的重复次数的重复阈值,若所述缩小处理的重复次数超过该重复阈值,则使所述原图像数据取得部件从外部存储器取得原图像数据。
7.根据权利要求4所述的物体检测装置,其特征在于,
具备阈值可变部件,该阈值可变部件根据原图像数据的画质,变更所述相对缩小率阈值。
8.根据权利要求4所述的物体检测装置,其特征在于,
具备监视所述总线的总线通信量的总线通信量监视部件,
当由所述总线通信量监视部件检测到的总线通信量为规定大小以下时,所述图像缩小控制部件使所述原图像数据取得部件从外部存储器取得原图像数据。
9.根据权利要求4所述的物体检测装置,其特征在于,
所述缩小率计算部件计算缩小图像数据相对于原图像数据的绝对的缩小率即绝对缩小率,
所述图像缩小控制部件保持针对所述绝对缩小率的阈值即绝对缩小率阈值,当所述绝对缩小率低于所述绝对缩小率阈值时,使所述图像缩小部件的所述缩小处理停止。
10.根据权利要求9所述的物体检测装置,其特征在于,
所述第一存储部件具有大小等于对原图像数据仅执行一次缩小处理所生成的缩小图像数据的大小的存储容量,
所述第二存储部件包括第一存储区域与第二存储区域,所述第一存储区域具有大小等于水平方向长度与原图像的水平方向长度一致且垂直方向长度与所述模板的纵向长度一致的图像的图像数据大小的存储容量,
所述第二存储区域具有大小等于如下图像的图像数据大小的存储容量,该图像的水平方向长度与对通过对所述第二存储部件中存储的原图像数据仅执行一次缩小处理所生成的缩小图像数据再仅执行一次缩小处理所生成的缩小图像数据所构成的缩小图像的水平方向长度一致,且该图像的垂直方向长度与从该缩小图像的垂直方向长度减去所述模板的纵向长度后的长度一致。
11.根据权利要求3所述的物体检测装置,其特征在于,
所述存储部件包括第一存储部件与第二存储部件,所述第二存储部件包括第一存储区域、第二存储区域和第三存储区域,
在表示构成所述原图像数据取得部件取得的原图像一部分的第一区域和第二区域的两个图像数据中,将表示所述第一区域的图像数据存储在所述第一存储区域中,将表示所述第二区域的图像数据存储在所述第二存储区域中,将与存储在该第二存储区域中的表示所述第二区域的图像数据相同的图像数据存储在所述第三存储区域中之后,所述物体检测部件对所述第一存储区域中存储的表示所述第一区域的图像数据和所述第二存储区域中存储的表示所述第二区域的图像数据,执行使用了物体模板的匹配处理,
在将所述图像缩小部件对所述第一存储区域和所述第二存储区域中存储的图像数据以规定的缩小率执行缩小处理所得到的缩小图像数据存储在第一存储部件中之后,
所述第二存储部件仅删除所述第一存储区域和所述第二存储区域中存储的图像数据,
所述物体检测部件对所述第一存储部件中存储的缩小图像数据执行使用了物体模板的匹配处理,
在将所述图像缩小部件对所述第一存储部件中存储的缩小图像数据以规定的缩小率执行缩小处理所得到的缩小图像数据存储在第二存储部件的所述第一存储区域和所述第二存储区域中之后,所述物体检测部件对所述第一存储区域和所述第二存储区域中存储的缩小图像数据执行使用了物体模板的匹配处理,
所述第二存储部件仅删除所述第一存储区域和所述第二存储区域中存储的缩小图像数据,
将表示构成由所述原图像数据取得部件取得的原图像一部分的所述第一区域和所述第二区域以外的第三区域的图像数据存储在所述第一区域中,将与该第一存储区域中存储的表示所述第三区域的图像数据相同的图像数据存储在所述第二存储区域中。
12.根据权利要求11所述的物体检测装置,其特征在于,
所述第一存储部件具有大小等于如下图像的图像数据大小的存储容量,该图像的水平方向长度与通过对原图像数据仅执行一次缩小处理所生成的缩小图像数据所构成的缩小图像的水平方向长度一致,且该图像的垂直方向长度与所述模板的纵向长度的2倍长度一致,
所述第二存储部件包括第一存储区域、第二存储区域和第三存储区域,所述第一存储区域、第二存储区域和第三存储区域具有大小等于水平方向长度与原图像的水平方向长度一致且垂直方向长度与所述模板的纵向长度一致的图像的图像数据大小的存储容量。
13.一种物体检测系统,其特征在于,具备:
图像处理装置,对从外部输入的原图像数据执行规定的图像处理;
图像存储器,存储从图像处理装置输出的原图像数据;
运动检测装置,取得所述图像存储器中存储的原图像数据,并检测原图像中运动的特定物体映入的区域;
处理器,根据从所述图像处理装置输入的控制信号,控制所述运动检测电路;
权利要求1所述的物体检测处理装置,对由所述运动检测电路检测到的区域更细致地检测特定物体的位置;和
总线,在图像处理装置、运动检测装置、处理器和权利要求1所述的物体检测处理装置各自与图像存储器之间传送所述原图像数据。
14.一种物体检测处理用集成电路,其特征在于,具备:
运动检测电路,取得外部存储器中存储的原图像数据,并检测原图像中运动的特定物体映入的区域;
处理器,根据从所述图像处理电路输入的控制信号,控制所述运动检测电路;
权利要求1所述的物体检测处理装置,对由所述运动检测电路检测到的区域更细致地检测特定物体的位置;和
总线,在图像处理电路、图像输出电路、运动检测电路、处理器和权利要求1所述的物体检测处理装置各自与图像存储器之间传送所述图像数据。
15.一种带物体检测功能的摄像机,其特征在于,具备:
摄像机;
图像显示装置,显示由所述摄像机摄像的图像;
图像处理装置,对从所述摄像机输入的图像数据执行图像处理;
图像存储器,存储从所述图像处理装置输出的图像数据;
图像显示控制装置,控制图像显示装置,以使所述图像显示装置显示所述图像存储器中存储的所述图像数据;
运动检测装置,取得所述图像存储器中存储的所述图像数据,并检测所述图像中运动的特定物体映入的区域;
处理器,根据从所述图像处理装置输入的控制信号,控制所述运动检测装置;
权利要求1所述的物体检测处理装置,对由所述运动检测装置检测到的区域更细致地检测特定物体的位置;和
总线,在所述图像处理装置、所述图像显示控制装置、所述运动检测装置、所述处理器和权利要求1所述的物体检测处理装置各自与所述图像存储器之间传送图像数据。
16.一种物体检测方法,其特征在于,包括:
原图像数据取得步骤,从外部存储器经总线取得原图像数据;
图像缩小步骤,通过对由原图像数据取得步骤取得的原图像数据执行缩小处理,生成缩小率彼此不同的多种缩小图像数据;和
物体检测步骤,通过对所述多种缩小图像数据执行使用了物体模板的匹配处理,检测所述多种缩小图像数据各自中物体映入的位置。
CN2010800017977A 2009-04-10 2010-04-09 物体检测装置、物体检测系统、物体检测用集成电路、带物体检测功能的摄像机和物体检测方法 Pending CN102057399A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009095809 2009-04-10
JP2009-095809 2009-04-10
PCT/JP2010/002612 WO2010116763A1 (ja) 2009-04-10 2010-04-09 物体検出装置、物体検出システム、物体検出用集積回路、物体検出機能付きカメラおよび物体検出方法

Publications (1)

Publication Number Publication Date
CN102057399A true CN102057399A (zh) 2011-05-11

Family

ID=42936053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800017977A Pending CN102057399A (zh) 2009-04-10 2010-04-09 物体检测装置、物体检测系统、物体检测用集成电路、带物体检测功能的摄像机和物体检测方法

Country Status (4)

Country Link
US (1) US8508603B2 (zh)
JP (1) JP5513490B2 (zh)
CN (1) CN102057399A (zh)
WO (1) WO2010116763A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5739623B2 (ja) * 2010-06-25 2015-06-24 キヤノン株式会社 編集装置、およびプログラム
JP5683367B2 (ja) * 2011-04-20 2015-03-11 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
JP6548409B2 (ja) * 2015-03-04 2019-07-24 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
JP6783732B2 (ja) * 2017-09-15 2020-11-11 株式会社東芝 画像処理装置および画像処理方法
JP7268560B2 (ja) * 2019-09-27 2023-05-08 富士通株式会社 石垣配置支援プログラム、石垣配置支援方法、及び、石垣配置支援装置
CN110866486B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1403932A (zh) * 2002-10-16 2003-03-19 西安交通大学 基于pci和视觉总线的可重构机器视觉系统
CN1909666A (zh) * 2005-08-02 2007-02-07 松下电器产业株式会社 运动检测装置
EP1845711A2 (en) * 2006-04-11 2007-10-17 Nikon Corporation Electronic camera and image processing apparatus
WO2008129875A1 (ja) * 2007-04-13 2008-10-30 Panasonic Corporation 検出装置、検出方法および検出用集積回路

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3378710B2 (ja) * 1995-10-16 2003-02-17 三洋電機株式会社 縮小画像の書き込み/読み出し方法及び縮小画像処理回路
US20020175997A1 (en) * 2001-05-22 2002-11-28 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
JP2005173787A (ja) * 2003-12-09 2005-06-30 Fujitsu Ltd 移動物体の検出・認識を行う画像処理装置
JP4387889B2 (ja) * 2004-07-15 2009-12-24 日本電信電話株式会社 テンプレート照合装置および方法
JP4487872B2 (ja) * 2005-07-11 2010-06-23 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP4626493B2 (ja) 2005-11-14 2011-02-09 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2008257321A (ja) * 2007-04-02 2008-10-23 Matsushita Electric Ind Co Ltd 顔検出装置
JP2009059048A (ja) * 2007-08-30 2009-03-19 Casio Comput Co Ltd 画像処理装置、撮像装置、画像処理方法、および、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1403932A (zh) * 2002-10-16 2003-03-19 西安交通大学 基于pci和视觉总线的可重构机器视觉系统
CN1909666A (zh) * 2005-08-02 2007-02-07 松下电器产业株式会社 运动检测装置
EP1845711A2 (en) * 2006-04-11 2007-10-17 Nikon Corporation Electronic camera and image processing apparatus
WO2008129875A1 (ja) * 2007-04-13 2008-10-30 Panasonic Corporation 検出装置、検出方法および検出用集積回路

Also Published As

Publication number Publication date
WO2010116763A1 (ja) 2010-10-14
JPWO2010116763A1 (ja) 2012-10-18
JP5513490B2 (ja) 2014-06-04
US8508603B2 (en) 2013-08-13
US20110164149A1 (en) 2011-07-07

Similar Documents

Publication Publication Date Title
US20200267314A1 (en) Real time assessment of picture quality
CN102057399A (zh) 物体检测装置、物体检测系统、物体检测用集成电路、带物体检测功能的摄像机和物体检测方法
KR101489048B1 (ko) 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체
US8369650B2 (en) Image defect map creation using batches of digital images
US7310450B2 (en) Method of detecting and correcting dust in digital images based on aura and shadow region analysis
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
US20100141798A1 (en) Detection and Removal of Blemishes in Digital Images Utilizing Original Images of Defocused Scenes
CN1328700C (zh) 伪三维图像生成设备和方法
US20050078173A1 (en) Determination of need to service a camera based on detection of blemishes in digital images
CN102014251A (zh) 图像处理装置和图像处理方法
US20050068449A1 (en) Automated statistical self-calibrating detection and removal of blemishes in digital images based on a dust map developed from actual image data
CN105872355A (zh) 焦点调节装置和焦点调节方法
CN101690168A (zh) 图像处理装置、图像处理方法及图像处理用集成电路
JP2009245200A (ja) 煙検出装置
KR20220075020A (ko) 촬상 장치 및 그 제어 방법
JP7438713B2 (ja) 撮像装置、方法及びプログラム
JP2018124629A (ja) 画像処理装置、情報処理方法及びプログラム
JP2021039647A (ja) 画像データ分類装置および画像データ分類方法
JPH11283036A (ja) 対象物検出装置及び対象物検出方法
JP2004128643A (ja) 画像の傾き補正方法
CN115348437B (zh) 视频处理方法、装置、设备及存储介质
CN110516660A (zh) 基于图像特征的书页内容读取方法及装置
US20220196394A1 (en) Imaging device, control method therefor, measuring device, and storage medium
US20150334305A1 (en) Displaying method and electronic device
CN117998211A (zh) 超延时视频生成方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110511