CN109074646A - 图像识别装置以及图像识别程序 - Google Patents

图像识别装置以及图像识别程序 Download PDF

Info

Publication number
CN109074646A
CN109074646A CN201780020977.1A CN201780020977A CN109074646A CN 109074646 A CN109074646 A CN 109074646A CN 201780020977 A CN201780020977 A CN 201780020977A CN 109074646 A CN109074646 A CN 109074646A
Authority
CN
China
Prior art keywords
image
mentioned
window
pattern recognition
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780020977.1A
Other languages
English (en)
Other versions
CN109074646B (zh
Inventor
山田英夫
久野和宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Publication of CN109074646A publication Critical patent/CN109074646A/zh
Application granted granted Critical
Publication of CN109074646B publication Critical patent/CN109074646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

即使在识别对象的一部分出现在图像的外侧的情况下,也检测到识别对象。图像识别装置在拍摄图像(1)的周围追加利用规定的图像数据填补的留白区域(10),而创建比拍摄图像(1)大的扩展图像(11)。若人物过于接近相机,则人物像(5)的一部分从拍摄图像(1)溢出,但图像识别装置通过设定也包含留白区域(10)的较大的检测窗(3e),从而从扩展图像(11)取出也包含溢出的区域的窗图像(4e)。窗图像(4e)缺少人物像(5)溢出的部分,但成为映现人物像(5)的全身的图像。图像识别装置存储有设想人物(8)为各种状态(针对行走、行驶、跳跃、坐等各姿势,手或脚的位置、朝向等不同的状态)的多个基准图像(7)。图像识别装置从窗图像(4e)提取特征,并将该特征与基准图像(7)的特征进行比较,从而识别人物像(5)。

Description

图像识别装置以及图像识别程序
技术领域
本发明涉及图像识别装置以及图像识别程序,例如涉及识别映现在图像的对象物的图像识别装置以及图像识别程序。
背景技术
近年来,在机器人或车辆上搭载相机,从拍摄到的图像识别对象物,并用于控制,或者将相机设置于街道,对人进行图像识别,由此,观察人的往来等,在工业、社会的各方面利用图像识别技术。
在这些图像识别技术中,通过使图像识别装置存储表示对象物或非对象物(识别为不是对象物时需要)的特征的基准图像,并对基准图像和相机图像的特征进行比较来进行。
作为这样的图像识别技术,有专利文献1的“物体检测装置”。
该技术使用HOG(Histogram of Oriented Gradients:方向梯度直方图)特征量来检测映现在图像的物体。
图7是用于说明以往例子的图像识别方法的图。
如图7(a)所示,假设由相机拍摄到的图像1中映现作为识别对象的人物像5。
图像识别装置如下那样检测该人物像5。
首先,图像识别装置设定人物的图像1中的与站立位置对应的多个基准线(基线)。
在图的例子中,在距相机1m、5m、10m、15m的位置设定基准线2a、2b、2c、2d。
由于人物离相机越远则越在图像1的上侧映现,所以从图像1的下面依次设定基准线2(在不特别区分基准线2a~2d的情况下,仅记载为基准线2,对于其它要素,也同样)。
接下来,图像识别装置按照每个基准线2设定将基准线2作为下端的检测窗3a~3d。
检测窗3的大小被设定为在人物站在由基准线2规定的距离的情况下全身落入的程度的大小。
这是因为由于使用映现人物的全身的基准图像,所以实现与基准图像的匹配性。
接下来,图像识别装置一边使检测窗3沿着基准线2移动(位移)一边提取由检测窗3围起的窗图像4的特征,并将该特征与预先存储的基准图像的特征进行比较。然后根据两者的类似性(相关)来识别人物。
在该例子中,如图7(b)所示,对映现人物像8的基准图像7的特征和由检测窗3c围起的区域的窗图像4c的特征进行比较来识别人物像5。
然而,若人物过于接近相机,则如图7(c)所示,人物像5从图像1溢出,即使使用最大的检测窗3a,也获得缺少了人物像5的头部、下肢等的窗图像4a。
由此,如图7(d)所示,图像识别装置对映现人物像8的整体的基准图像7的特征、和画面整体映现人物像5的一部分的窗图像4a的特征进行比较。
该情况下,由于图像中人物的形状、大小、构图等完全不同,所以较难根据基准图像7的特征在窗图像4a识别人物像5。
而且,在采用使用HOG等亮度梯度作为图像的特征的手法的情况下,在头部被寸断的边缘部分100中,由于是图像的端部,所以较难进行亮度梯度的计算,即特征的提取,所以需要设计一些用于计算的办法。
针对这样的问题,也考虑创建人物的一部分出现在图像的外侧的状态的基准图像并存储至图像识别装置的方法,但执行该方法需要存储在各种形态下人物的一部分出现在图像的外侧的基准图像,应存储的数据量巨大,较难实现。
具体而言,存在很多(数千张左右)针对一个对象物的基准图像(映现整体的图像),并需要针对其每个准备缺少上下的各种状态的图像、缺少右侧的各种状态的图像、缺少左侧的各种状态的图像、缺少上下和左右的一方的各种状态的图像,并存储,变成巨大的量。
这样,以往技术存在在识别对象的一部分出现在图像外的情况下不能够识别这个问题。
特别是在将图像识别装置搭载在机器人、车辆等移动体的情况下,与识别远处的对象物的情况相比,例如也为了迅速地进行对象物的避开动作,准确地识别到接近的对象物(人或物)更重要的场景较多。
这样,尽管在对近距离的识别要求较高的情况下,由于在识别对象的整体没有完全进入到相机的视角,所以不能够识别。
专利文献1:日本特开2016-12311号公报。
发明内容
本发明的目的在于即使在识别对象的一部分出现在图像的外侧的情况下也检测到识别对象。
(1)本发明为了实现上述目的,技术方案1所述的发明中,提供一种图像识别装置,其特征在于,具备:图像获取单元,获取图像;基准线设定单元,针对上述获取到的图像在水平方向上设定基准线,上述基准线与从上述图像获取单元到被拍摄体的远近对应,且至少一部分位于上述获取到的图像的外侧的区域;检测窗设定单元,沿着上述基准线来设定与上述基准线的位置对应的大小的检测窗;窗图像获取单元,获取上述设定的检测窗所包含的区域的窗图像;基准特征数据获取单元,获取表示上述图像内的识别对象的特征的基准特征数据;判定单元,使用上述获取到的基准特征数据来判定上述获取到的窗图像是否包含上述识别对象;以及输出单元,输出上述判定的判定结果。
(2)在技术方案2所述的发明中,提供技术方案1所述的图像识别装置,其特征在于,具备窗图像特征数据提取单元,上述窗图像特征数据提取单元从上述获取到的窗图像提取表示该窗图像的特征的窗图像特征数据,上述判定单元通过对上述获取到的基准特征数据和上述提取出的窗图像特征数据进行比较来进行上述判定。
(3)在技术方案3所述的发明中,提供技术方案1或者技术方案2所述的图像识别装置,其特征在于,上述基准线设定单元在上述获取到的图像的下侧的该图像的外侧的区域中设定上述基准线。
(4)在技术方案4所述的发明中,提供技术方案1、技术方案2或者技术方案3所述的图像识别装置,其特征在于,上述基准线设定单元在上述获取到的图像的水平方向的外侧设定上述基准线。
(5)在技术方案5所述的发明中,提供技术方案1~技术方案4中的任意一项技术方案所述的图像识别装置,其特征在于,具备补充单元,上述补充单元在上述获取到的窗图像包含上述获取到的图像的外侧的区域的情况下,利用规定的图像数据补充该外侧的区域。
(6)在技术方案6所述的发明中,提供技术方案5所述的图像识别装置,其特征在于,上述补充单元通过在上述获取到的图像的周围设定由上述规定的图像数据构成的留白区域,从而利用上述规定的图像数据补充上述外侧的区域。
(7)在技术方案7所述的发明中,提供技术方案5所述的图像识别装置,其特征在于,上述补充单元在上述获取到的窗图像包含上述外侧的区域的情况下,通过在该外侧的区域中追加上述规定的图像数据来进行补充。
(8)在技术方案8所述的发明中,提供技术方案2所述的图像识别装置,其特征在于,上述判定单元在比较时,将上述窗图像所包含的上述图像的外侧的区域的部分的权重设定得比其它部分的权重小。
(9)在技术方案9所述的发明中,提供图像识别程序,其特征在于,该图像识别程序通过计算机实现如下的功能:图像获取功能,获取图像;基准线设定功能,针对上述获取到的图像在水平方向上设定基准线,上述基准线与到被拍摄体的远近对应,且至少一部分位于上述获取到的图像的外侧的区域;检测窗设定功能,沿着上述基准线来设定与上述基准线的位置对应的大小的检测窗;窗图像获取功能,获取上述设定的检测窗所包含的区域的窗图像;基准特征数据获取功能,获取表示上述图像内的识别对象的特征的基准特征数据;判定功能,使用上述获取到的基准特征数据来判定上述获取到的窗图像是否包含上述识别对象;以及输出功能,输出上述判定的判定结果。
根据本发明,通过将检测窗区域扩展至图像的外侧,即使在识别对象的一部分出现在图像的外侧的情况下也能够检测出识别对象。
附图说明
图1是用于说明图像识别装置进行的检测窗的设定方法的图。
图2是用于说明人物从图像溢出的情况下的处理的图。
图3是用于说明人物从图像溢出的情况下的处理的图。
图4是用于说明人物从图像溢出的情况下的处理的图。
图5是表示图像识别装置的硬件结构的一个例子的图。
图6是用于说明图像识别装置的动作的流程图。
图7是用于说明以往例的图像识别方法的图。
具体实施方式
(1)实施方式的概要
如图2(a)所示,图像识别装置在由相机拍摄到的拍摄图像1的周围追加利用规定的图像数据填补的留白区域10,而创建比拍摄图像1大的扩展图像11。
若人物过于接近相机,则人物像5的一部分从拍摄图像1溢出,但图像识别装置通过设定还包含留白区域10的较大的检测窗3e,从而从扩展图像11取出也包含溢出区域的窗图像4e。
如图2(b)所示,窗图像4e缺少人物像5的溢出部分(头部和下肢的一部分),但成为映现人物像5的全身的图像。
图像识别装置存储有假设人物8为各种状态(针对行走、行驶、跳跃、坐等各姿势,手或脚的位置、朝向等不同的状态等)的多个基准图像7。
此外,在本实施方式中,不是存储基准图像7自身的图像数据而存储预先从各基准图像7提取出的特征量,减少应存储的数据量,并且减少提取基准图像7的特征量的处理负荷来使识别速度提高,但也可以存储基准图像7。
而且,图像识别装置通过从窗图像4e提取特征,并将该特征与该基准图像7的特征量(以下仅称为基准图像7。)进行比较来识别人物像5。
基准图像7和窗图像4e虽然相当于留白区域10的部分不相似,但相当于拍摄图像1的部分类似,所以能够通过基准图像7的特征来识别人物像5。
(2)实施方式的详细
图1是用于说明本实施方式所涉及的图像识别装置进行的检测窗的设定方法的图。
图像识别装置若从相机得到拍摄图像1,则在拍摄图像1的外周部的整周追加利用白色的图像数据填补的留白区域10。
由此,图像识别装置创建将拍摄图像1的上下端部在y方向(纵向)上扩展、将左右端部在x方向(横方向)上扩展的扩展图像11。
此处,对扩展图像11的上下方向扩展量y和横方向扩展量x进行说明。
对于扩展量,根据相机的拍摄状态、拍摄图像1的视角、尺寸等而任意决定。
例如,在拍摄图像1的尺寸为横1280像素、纵720像素的情况下,针对上下左右的每个方向追加200像素量的留白区域10。
另外,作为一个例子,将在拍摄图像1的最下部设定基准线2的情况下的检测窗3的尺寸设为基准尺寸,在上下方向的每个方向上扩展基准尺寸的n%,在左右方向的每个方向上扩展基准尺寸的m%。
n和m的值根据与识别对象对应的基准图像7来决定,例如使用25%、30%、50%等,n和m可以为相同的值,也可以为不同的值。另外,也可以基于基准图像的纵横比来决定n和m的比率。
这样,图像识别装置具备:图像获取单元,获取图像;以及补充单元,通过在该获取到的图像的周围设置由规定的图像数据构成的留白区域10,从而利用该规定的图像数据补充该外侧的区域。
此处,作为一个例子,利用白色的图像数据填补留白区域10原因是由于随后进行基于图像的亮度梯度的分布的、与基准图像的特征数据的比较,以抑制在留白区域10中产生成为噪声的亮度梯度。
因此,如果不影响识别精度则也可以通过其它颜色、图案的图像数据来补充留白区域10。
图像识别装置在这样形成扩展图像11后,使与1m、5m、10m、15m对应的基准线2a~2d在x方向上延长,设定到拍摄图像1的外侧的留白区域10为止。
而且,图像识别装置在拍摄图像1的下方外侧的留白区域10追加与距相机50cm的距离对应的基准线2e。
此外,对于设定这些基准线2的距离、条数,只是一个例子,能够根据图像识别装置的用途、识别对象而进行各种设定。
例如,在本实施方式的情况下,在拍摄图像1内设定8条,还在扩展的留白区域10中设定2条。但是,在附图中,为了避免复杂化而减少来显示。
这样,图像识别装置具备基准线设定单元,该基准线设定单元针对拍摄图像1在水平方向上设定基准线2a~2e,该基准线与被拍摄体的远近对应,且至少一部分位于拍摄图像1的外侧的区域。
而且,该基准线设定单元在拍摄图像1的下侧的该拍摄图像1的外侧的区域设定基准线2e,在拍摄图像1的水平方向的外侧设定基准线2a~2d。
图像识别装置若设定基准线2a~2e,则设定与这些基准线对应的矩形形状的检测窗3a~3e。
检测窗3a~3d与以往例子相同,形成为窗框根据基准线2的位置(随着距相机的距离变远)而变小以便人物的全身适度地落入检测窗3。
而且,检测窗3a~3d能够沿着延长的基准线2移动到位于拍摄图像1的水平方向外侧的留白区域10为止。
检测窗3e是伴随着基准线2e的新设立而新追加的。
在人物站立在距相机50cm左右的距离的情况下,检测窗3e的窗框形成为也包含从拍摄图像1溢出的部分而该人物的全身适度地落入的程度的大小。
在该例子中,检测窗3e遍及拍摄图像1的上下端的外侧的留白区域10而设定。
检测窗3e能够沿着基准线2e在水平方向上移动,并扫描包含留白区域10的扩展图像11。
这样,由于以覆盖扩展图像11的留白区域10的方式设定检测窗3,所以即使在人物左右移动并从拍摄图像1的左右端溢出的情况下,也能够通过检测窗3a~3d进行捕捉,另外,即使在人物过于接近相机并从拍摄图像1的上下端溢出的情况下也能够通过检测窗3e进行捕捉。
如以上那样,图像识别装置具备检测窗设定单元,该检测窗设定单元沿着基准线2来设定与基准线2a~2e对应的大小的检测窗3a~3e。
图2的各图是用于说明人物与相机接近而从拍摄图像1溢出的情况下的处理的图。
如图2(a)的波浪线所示,若人物接近至距相机50cm~1m左右,则该人物的人物像5的头部从拍摄图像1的上端溢出,下肢从拍摄图像1的下端溢出而拍摄不到。
然而,由于检测窗3e在拍摄图像1的上端侧和下端侧被扩展到留白区域10,所以如图2(b)所示,能够得到虽然缺少头部和下肢但是映现人物像5的全身的窗图像4e。
此处,窗图像4e是通过检测窗3e从扩展图像11获取到的图像,分界线21、22表示拍摄图像1与留白区域10的边界。
这样,图像识别装置具备窗图像获取单元,该窗图像获取单元获取检测窗3e所包含的区域的窗图像4e。
而且,由于通过补充单元,利用规定的图像数据补充留白区域10,所以在窗图像4e包含拍摄图像1的外侧的区域的情况下,通过补充单元利用规定的图像数据补充该外侧的区域。
另外,在该例子中,预先利用规定的图像数据补充留白区域10,并通过检测窗3e取出扩展图像11,但也能够通过检测窗3e取出留白区域10的部分缺损的拍摄图像1的尺寸的窗图像4e,之后利用规定的图像数据补充留白区域10。
该情况下,补充单元在窗图像4e包含拍摄图像1的外侧的区域的情况下,通过在该外侧的区域追加规定的图像数据而进行补充。
或者,也可以预先准备基于留白的设定值的(例如,白色的)扩展图像11,并在该扩展图像11的中央部写入图像1,从而创建在图像1的周围设定有留白的扩展图像11。
若将窗图像4e与基准图像7比较,则虽然人物像5的头部和下肢缺损,但两者的构图相近,头部和下肢以外的部分的特征非常相似。
因此,从基准图像7提取出的特征(特征量)和从窗图像4e提取出的特征(特征量)的类似度(相关)变大,能够识别窗图像4e的人物像5。通过实验也获得这样的结果。
此外,图像识别装置预先存储从各基准图像7提取出的特征,将该特征与从窗图像4e提取出的特征进行比较,并输出比较结果。
这样,图像识别装置具备:基准特征数据获取单元,获取表示识别对象的特征的基准特征数据(从基准图像7提取出的特征数据);判定单元,使用该获取到的基准特征数据来判定窗图像4e是否包含识别对象(人物像5);以及输出单元,输出该判定的判定结果。
而且,图像识别装置具备窗图像特征数据提取单元,该窗图像特征数据提取单元从窗图像4e提取表示该窗图像4e的特征的窗图像特征数据(窗图像4e的特征),判定单元通过对该获取到的基准特征数据和该提取到的窗图像特征数据进行比较来进行判定。
从窗图像4e识别人物像5的技术能够使用现有的各种技术,但在本实施方式中,作为一个例子,使用MRCoHOG(Multi Resolution CoHOG:多分辨率共生梯度方向直方图)技术。
MRCoHOG技术是使用亮度梯度进行图像识别的系统的技术,进一步改进将HOG技术改进的CoHOG(Co-occurrence HOG:共生矩阵梯度方向直方图)技术,减少处理运算量,并维持稳健性(鲁棒性)。
在HOG技术中,将图像区分为被称为单元的小区域。而且,例如在8个方向上将单元内的各像素的亮度梯度量子化,创建哪个方向的亮度梯度以哪个频率出现的直方图。
而且,以包含多个单元的块单位对直方图进行归一化后,将全部单元的直方图排成一列并输出成为该图像的特征。
通过将该特征与基准图像7的特征进行比较,从而能够识别图像中的识别对象。识别对象的识别例如根据是否是规定阈值以上的似然度。
在CoHOG技术中,与HOG技术同样地将画面分割为单元(也称为块),并将单元内的各像素的亮度梯度量子化。
而且,关注单元内的某个像素,通过该像素的亮度梯度方向和预先指定的周边的像素的亮度梯度方向的组合(共生)来进行对直方图的投票。并对单元内的全部像素进行该处理。
例如,如果关注像素的亮度梯度方向为右方向、相邻的像素的亮度梯度为上方向,则右行上列的矩阵要素投一票。这样按照每个单元创建共生矩阵。
而且,将全部单元的共生矩阵要素排成一列并输出的数据成为该图像的特征。
通过与基准图像7的特征量进行比较,能够识别图像中的对象。
在MRCoHOG技术中,在映现相同的对象的不同的分辨率的图像间取共生。
例如,通过从高分辨率图像创建中分辨率图像和低分辨率图像,从而准备高中低这3种分辨率的图像。
然后,关注高分辨率图像的某个像素,通过该像素的亮度梯度的方向、与该像素邻接的中分辨率、以及低分辨率的像素的亮度梯度的方向的组合对共生矩阵进行投票。对高分辨率图像的全部像素进行该处理。
根据情况,将中分辨率图像或低分辨率图像的像素设为关注像素并进行同样的投票。
而且,将全部共生矩阵要素排成一列并输出的数据成为该图像的特征。
通过将该特征与基准图像7的特征进行比较,能够识别图像中的对象。
此外,在使用CoHOG技术或HOG技术的情况下,可以根据从多个基准图像7提取出的各特征数据来创建(学习)一个统一基准特征数据,并将该统一基准特征数据按照每个识别对象而存储。由此,能够大幅度地减少与窗图像4的比较量。
在本实施方式中,由于这样在图像识别中使用亮度梯度,所以若着眼于头部的边缘部分100,则在没有留白区域10的情况下,由于没有邻接的像素所以不能够计算亮度梯度。
然而,在窗图像4e中,通过追加留白区域10来形成边缘部分100的邻接像素,所以可以计算该部分中的亮度梯度,并能够利用使用了这些亮度梯度的特征提取技术。
图2(c)是用于说明用于进一步提高基准图像7和窗图像4e的相关的尝试的图。
若对基准图像7和窗图像4e进行比较,则留白区域10的部分显然不相似。因此,在该例子中,在判定基准图像7和窗图像4e的类似时,减小相当于留白区域10的区域25的权重。
通过这样与相当于基准图像7和窗图像4e的拍摄图像1的部分相比,减小相当于留白区域10的部分的加权,而判断两者的特征的类似,能够进一步提高识别精度。
在该例子中,判定单元在比较时,将窗图像4e所包含的拍摄图像1的外侧的区域的部分的权重设定得比其它部分的权重小。
此外,区域25不一定与留白区域10严格一致,只要根据实验或状况而决定在什么程度的范围中设定区域25较好即可。
例如,在提取基于亮度梯度的特征量的情况下,由于在拍摄图像1与留白区域10的边界(头部或下肢的切断位置)产生与本来的人物像5不同的亮度梯度,所以这有可能成为噪声。
该情况下,只要将区域25扩展到覆盖这些切断位置的位置为止,并减小该位置的权重即可。
图3的各图是用于说明人物接近相机并从拍摄图像1的上下端溢出,且从左端也溢出的情况下的处理的图。
如图3(a)的波浪线所示,人物接近到距相机50cm~1m左右,若靠近视角的左端,则该人物的人物像5的头部从拍摄图像1的上端溢出,下肢从拍摄图像1的下端溢出,左侧的部分拍摄不到。
然而,由于检测窗3e在拍摄图像1的上下端侧以及左端侧被扩展到留白区域10,所以如图3(b)所示,图像识别装置能够得到虽然头部、下肢以及左部分缺少然而映现人物像5的全身的窗图像4e。
若将窗图像4e与基准图像7比较,则虽然人物像5的头部、下肢以及左部分在分界线21~23的外侧缺损,但两者的构图接近,缺损部分以外的特征非常相似。
因此,从基准图像7提取出的特征量和从窗图像4e提取出的特征量类似,能够识别窗图像4e的人物像5。
图3(c)是用于说明用于进一步提高基准图像7和窗图像4e的相关的尝试的图。
与上面的例子同样地,在与留白区域10对应的部分(上下端部和左端部)设定区域25,并将该部分中的特征量比较的权重设定得比其它部分小。
由此,能够期待识别精度的提高。
图4的各图是用于说明虽然从相机到人物的距离为人物的全身映现在拍摄图像1中的距离但由于人物靠近拍摄图像1的左端,所以人物像5的左部分溢出到拍摄图像1的外侧的情况下的处理的图。
如图4(a)所示,由于人物的左部分位于拍摄图像1的外侧,所以无法获得该部分的图像,但由于检测窗3b能够在延长的基准线2b上向左侧移动,所以如图4(b)所示,得到虽然左部分缺损但映现人物的全身的窗图像4b。
这样图像识别装置除了因接近而从拍摄图像1溢出的人物之外,与相机的距离是适当的,但也能够对从相机的视角溢出的人物进行图像识别。
若将窗图像4b与基准图像7比较,则虽然人物像5的左部分缺损,在留白区域10中被置换,但两者的构图接近,缺损部分以外的特征非常相似。
因此,通过对从基准图像7提取出的特征量和从窗图像4b提取出的特征量进行比较,能够识别窗图像4的人物像5。
另外,通过在留白区域10中设定区域25,并减小该部分的权重,能够提高识别精度。
图5是表示本实施方式所涉及的图像识别装置30的硬件结构的一个例子的图。
图像识别装置30使用通过总线连接CPU(Central Processing Unit:中央处理器)31、ROM(Read Only Memory:只读存储器)32、RAM(Random Access Memory:随机存取存储器)33、相机34、存储装置35、输入装置36、输出装置37等的个人计算机而构成。
CPU31除了按照存储装置35中存储的图像识别程序进行图像识别处理之外,还进行图像识别装置30的各部的控制等。
更详细而言,CPU31针对从相机34输入的图像帧进行基于留白区域10的设定的扩展图像11的形成、针对扩展图像11的基准线2a~2e以及检测窗3a~3e的设定、来自窗图像4的特征量的提取、基于该提取出的特征量和学习数据(从基准图像提取出的特征量)的相关的人物像5的识别等。
ROM32是存储用于CPU31使图像识别装置30动作的基本的程序、参数等的读取专用的存储器。
RAM33是提供用于CPU31进行上述处理的工作存储器的可读写的存储器。
相机34的图像帧、基准图像7的特征量被展开至RAM33,并被CPU31利用。
相机34经由规定接口与图像识别装置30连接,使用具有将投影像变换为电信号的拍摄面的拍摄元件、和在该拍摄面上投影被拍摄体的光学系统而构成。
相机34以规定的帧率输出被拍摄体(是透镜的前方的风景,由人物和背景构成)的动态图像,构成各帧的图像成为图像识别处理的对象。
存储装置35例如是使用了硬盘、半导体存储器等存储介质的存储装置,存储用于使CPU31进行上述的图像识别处理的图像识别程序。
另外,存储装置35也存储为了识别人物像5而针对大量的基准图像7的特征量,为了进行图像识别处理而将它们提供给CPU31。
输入装置36是对图像识别装置30输入各种信息的装置,例如由键盘、鼠标等输入设备构成。
用户能够通过键盘操作或鼠标操作输入指令等来操作图像识别装置30。
输出装置37是图像识别装置30输出各种信息的装置,例如由显示器、打印机等输出设备构成。
用户能够一边按照显示器上所显示的操作画面一边操作图像识别装置30。
以上的结构只是一个例子,能够将图像识别装置30嵌入至图像采集板并搭载在机器人上等,采用与安装方式对应的结构。
图6是用于说明图像识别装置30的动作的流程图。
以下的动作是由图像识别装置30的CPU31按照图像识别程序进行的处理。
首先,CPU31从相机34获取拍摄图像1的图像数据,并存储至RAM33(步骤5)。
接下来,CPU31通过在拍摄图像1中追加留白区域10或者在预先准备的扩展图像11的中央部写入拍摄图像1,从而创建扩展图像11的图像数据,并存储至RAM33(步骤10)。
接着,CPU31生成检测窗3a~3e,并在扩展图像11的初始位置(左端)设定该检查窗(步骤15)。
在设定检测窗3后,CPU31获取由各检测窗3围起的图像(窗图像)的图像数据,并存储至RAM33(步骤20)。
而且,CPU31从这些图像数据例如按照HOG等规定算法来提取特征量,并存储至RAM33(步骤25)。
接下来,CPU31从RAM33读出多个基准图像7的特征,并与从窗图像的图像数据提取出的特征进行比较,且根据其类似性来判定窗图像中是否映现人物(步骤30)。
而且,CPU31将判定结果输出至规定的输出目的地后(步骤35),判断检测窗3的右端是否到达扩展图像11的右端(步骤40)。
在存在到达右端的检测窗3的情况下(步骤40:是),关于该检测窗3,由于已全部扫描了扩展图像11,所以结束图像识别处理。
另一方面,在存在还未到达右端的检测窗3的情况下(步骤40:否),关于该检测窗3,由于图像识别处理还未结束,所以使该检测窗3向右水平方向移动(步骤45),返回到步骤20。
在以上的处理中,并行地同时进行利用检测窗3a~3e的人物像5的检索,但例如,可以首先进行利用检测窗3a的检索后,进行利用检测窗3b的检索等,按顺序进行。
根据以上所说明的实施方式,能够获得如下那样的效果。
(1)通过在原图像的纵横追加留白,能够增大原图像,通过对追加了与追加留白部分对应的检测窗的检测器应用该图像,能够识别一部分出现在相机外的对象。
(2)针对虽然具有能够进行图像识别的特征量,但由于一部分从拍摄图像1的周边部溢出而以往被舍弃的图像也能够进行图像识别。
(3)通过追加留白区域10,能够将可进行图像识别的范围扩展至拍摄图像1的外侧。
(4)无需为了识别从拍摄图像1溢出的人物像5而大量存储从拍摄图像1溢出的人物像5,而能够使用拍摄到全身的标准的基准图像7。
符号说明
1 图像
2 基准线
3 检测窗
4 窗图像
5 人物像
7 基准图像
8 人物像
10 留白区域
11 扩展图像
21、22、23 分界线
25 区域
30 图像识别装置
31 CPU
32 ROM
33 RAM
34 相机
35 存储装置
36 输入装置
37 输出装置
100 边缘部分

Claims (9)

1.一种图像识别装置,其特征在于,具备:
图像获取单元,获取图像;
基准线设定单元,针对获取到的上述图像在水平方向上设定基准线,该基准线对应于从上述图像获取单元到被拍摄体的远近,且至少一部分位于获取到的上述图像的外侧的区域;
检测窗设定单元,沿着上述基准线来设定与上述基准线的位置对应的大小的检测窗;
窗图像获取单元,获取所设定的上述检测窗所包含的区域的窗图像;
基准特征数据获取单元,获取表示上述图像内的识别对象的特征的基准特征数据;
判定单元,使用获取到的上述基准特征数据来判定获取到的上述窗图像是否包含上述识别对象;以及
输出单元,输出判定的上述判定结果。
2.根据权利要求1所述的图像识别装置,其特征在于,
具备窗图像特征数据提取单元,该窗图像特征数据提取单元从获取到的上述窗图像提取表示该窗图像的特征的窗图像特征数据,
上述判定单元通过对获取到的上述基准特征数据和提取出的上述窗图像特征数据进行比较来进行上述判定。
3.根据权利要求1或者权利要求2所述的图像识别装置,其特征在于,
上述基准线设定单元在获取到的上述图像的下侧的该图像的外侧的区域设定上述基准线。
4.根据权利要求1、权利要求2或者权利要求3所述的图像识别装置,其特征在于,
上述基准线设定单元在获取到的上述图像的水平方向的外侧设定上述基准线。
5.根据权利要求1~权利要求4中的任意一项权利要求所述的图像识别装置,其特征在于,
具备补充单元,该补充单元在获取到的上述窗图像包含获取到的上述图像的外侧的区域的情况下,利用规定的图像数据补充该外侧的区域。
6.根据权利要求5所述的图像识别装置,其特征在于,
上述补充单元通过在获取到的上述图像的周围设定由上述规定的图像数据构成的留白区域,从而利用上述规定的图像数据补充上述外侧的区域。
7.根据权利要求5所述的图像识别装置,其特征在于,
上述补充单元在获取到的上述窗图像包含上述外侧的区域的情况下,通过在该外侧的区域追加上述规定的图像数据来进行补充。
8.根据权利要求2所述的图像识别装置,其特征在于,
上述判定单元在比较时,将上述窗图像所包含的上述图像的外侧的区域的部分的权重设定得比其它部分的权重小。
9.一种图像识别程序,
通过计算机实现如下的功能:
图像获取功能,获取图像;
基准线设定功能,针对获取到的上述图像在水平方向上设定基准线,该基准线对应于到被拍摄体为止的远近,且至少一部分位于获取到的上述图像的外侧的区域;
检测窗设定功能,沿着上述基准线来设定与上述基准线的位置对应的大小的检测窗;
窗图像获取功能,获取所设定的上述检测窗所包含的区域的窗图像;
基准特征数据获取功能,获取表示上述图像内的识别对象的特征的基准特征数据;
判定功能,使用获取到的上述基准特征数据来判定获取到的上述窗图像是否包含上述识别对象;以及
输出功能,输出判定的上述判定结果。
CN201780020977.1A 2016-03-30 2017-03-30 图像识别装置以及图像识别程序 Active CN109074646B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-068435 2016-03-30
JP2016068435A JP6661082B2 (ja) 2016-03-30 2016-03-30 画像認識装置、及び画像認識プログラム
PCT/JP2017/013278 WO2017170875A1 (ja) 2016-03-30 2017-03-30 画像認識装置、及び画像認識プログラム

Publications (2)

Publication Number Publication Date
CN109074646A true CN109074646A (zh) 2018-12-21
CN109074646B CN109074646B (zh) 2022-09-27

Family

ID=59965957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780020977.1A Active CN109074646B (zh) 2016-03-30 2017-03-30 图像识别装置以及图像识别程序

Country Status (5)

Country Link
US (1) US10832044B2 (zh)
EP (1) EP3441938B1 (zh)
JP (1) JP6661082B2 (zh)
CN (1) CN109074646B (zh)
WO (1) WO2017170875A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI637354B (zh) 2017-10-23 2018-10-01 緯創資通股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
TWI647625B (zh) * 2017-10-23 2019-01-11 緯創資通股份有限公司 判斷使用者之姿勢之影像偵測方法以及影像偵測裝置
CN113112470B (zh) * 2021-04-08 2023-12-15 揭阳市柏亿不锈钢有限公司 一种基于人工智能的冷轧过程钢材弯曲检测分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855496A (zh) * 2012-08-24 2013-01-02 苏州大学 遮挡人脸认证方法及系统
CN103065163A (zh) * 2013-02-04 2013-04-24 成都索贝数码科技股份有限公司 一种基于静态图片的快速目标检测识别系统及方法
WO2013108371A1 (ja) * 2012-01-17 2013-07-25 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
CN104092991A (zh) * 2014-07-11 2014-10-08 金陵科技学院 针对目标跟踪控制的图像信号综合处理装置及实现方法
CN105096655A (zh) * 2014-05-19 2015-11-25 本田技研工业株式会社 物体检测装置、驾驶辅助装置、物体检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006950B1 (en) * 2000-06-12 2006-02-28 Siemens Corporate Research, Inc. Statistical modeling and performance characterization of a real-time dual camera surveillance system
JP2004235711A (ja) * 2003-01-28 2004-08-19 Nissan Motor Co Ltd 対象物追跡システムおよび対象物追跡方法
JP5935118B2 (ja) 2012-05-30 2016-06-15 株式会社日立製作所 物体検出装置および物体検出方法
JP6570219B2 (ja) 2014-06-30 2019-09-04 日本信号株式会社 物体検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013108371A1 (ja) * 2012-01-17 2013-07-25 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
CN102855496A (zh) * 2012-08-24 2013-01-02 苏州大学 遮挡人脸认证方法及系统
CN103065163A (zh) * 2013-02-04 2013-04-24 成都索贝数码科技股份有限公司 一种基于静态图片的快速目标检测识别系统及方法
CN105096655A (zh) * 2014-05-19 2015-11-25 本田技研工业株式会社 物体检测装置、驾驶辅助装置、物体检测方法
CN104092991A (zh) * 2014-07-11 2014-10-08 金陵科技学院 针对目标跟踪控制的图像信号综合处理装置及实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHENG WEISHI等: "Partial Person Re-Identification", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *

Also Published As

Publication number Publication date
JP2017182436A (ja) 2017-10-05
JP6661082B2 (ja) 2020-03-11
WO2017170875A1 (ja) 2017-10-05
US10832044B2 (en) 2020-11-10
EP3441938A4 (en) 2019-09-04
CN109074646B (zh) 2022-09-27
EP3441938B1 (en) 2023-08-16
EP3441938A1 (en) 2019-02-13
US20190130178A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
CN109583285B (zh) 对象识别方法
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
JP6719457B2 (ja) 画像の主要被写体を抽出する方法とシステム
KR102146398B1 (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
US8331619B2 (en) Image processing apparatus and image processing method
JP6125188B2 (ja) 映像処理方法及び装置
CN105740780B (zh) 人脸活体检测的方法和装置
CN104835164B (zh) 一种双目摄像头深度图像的处理方法及装置
CN108764058A (zh) 一种基于热成像效应的双摄像头人脸活体检测方法
CN102915372A (zh) 图像检索方法、装置及系统
JP6351243B2 (ja) 画像処理装置、画像処理方法
CN108985263B (zh) 一种数据采集方法、装置、电子设备和计算机可读介质
JP4946878B2 (ja) 画像識別装置及びプログラム
CN109074646A (zh) 图像识别装置以及图像识别程序
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN106250824A (zh) 车窗定位方法和系统
KR102327395B1 (ko) 실내 조명 제어 장치 및 방법
JP2017156988A (ja) 物体検出装置
KR20160051804A (ko) 물리 평면의 디지털 표현의 확장
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
CN110879983B (zh) 一种人脸特征关键点的提取方法和一种人脸图像合成方法
JP2008288684A (ja) 人物検出装置及びプログラム
CN111738930A (zh) 人脸图像的合成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kariya City, Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Kariya City, Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220215

Address after: Kariya City, Aichi Prefecture, Japan

Applicant after: AISIN SEIKI Kabushiki Kaisha

Address before: Tokyo, Japan

Applicant before: EQUOS RESEARCH Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant