CN103026384A - 特征提取装置、特征提取方法、特征提取程序以及图像处理装置 - Google Patents

特征提取装置、特征提取方法、特征提取程序以及图像处理装置 Download PDF

Info

Publication number
CN103026384A
CN103026384A CN2012800021613A CN201280002161A CN103026384A CN 103026384 A CN103026384 A CN 103026384A CN 2012800021613 A CN2012800021613 A CN 2012800021613A CN 201280002161 A CN201280002161 A CN 201280002161A CN 103026384 A CN103026384 A CN 103026384A
Authority
CN
China
Prior art keywords
pixel
local binary
binary patterns
image
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800021613A
Other languages
English (en)
Other versions
CN103026384B (zh
Inventor
曹芸芸
西村洋文
S.普拉纳塔
Z.牛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103026384A publication Critical patent/CN103026384A/zh
Application granted granted Critical
Publication of CN103026384B publication Critical patent/CN103026384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nonlinear Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供能够提取出使用局部二值模式并且能够实现对拍摄环境的变动具有鲁棒性的物体检测的图像特征的特征提取装置。特征提取单元(440)包括：二值模式生成单元(443)，对图像的全部或部分像素中的每个像素，生成利用比特值表示与周围的附近像素之间的像素值的差值是否为规定阈值以上的局部二值模式；权重生成单元(444)，对所生成的每个局部二值模式，决定与基础的像素值的差值相应的权重；以及直方图生成单元(445)，将所决定的权重适用于对应的局部二值模式，生成表示根据图像生成的局部二值模式的分布的直方图。

Description

特征提取装置、特征提取方法、特征提取程序以及图像处理装置
技术领域
本发明涉及从图像数据中提取图像特征的特征提取装置、特征提取方法、特征提取程序、以及使用特征提取装置的图像处理装置。
背景技术
以往，广泛进行从图像数据中提取图像特征以检测或识别图像中包含的物体(以下称为“物体检测”)的处理。作为物体检测的一种技术，例如非专利文献1中记载了使用局部二值模式(LBP：Local Binary Pattern)的技术(以下称为“以往技术”)。
局部二值模式是按每个像素将与周围附近的各像素之间的亮度差值进行二值化并排列而得到的二值模式，根据局部二值模式，能够提取图像中包含的灰度模式。
以往技术对于作为识别对象的图像(以下称为“对象图像”)的某个区域，对全部像素或部分像素计算局部二值模式。并且，以往技术生成局部二值模式的值的直方图作为图像特征。另外，以往技术基于根据包含规定物体的图像和不包含规定物体的图像(以下总称为“学习图像”)同样地生成的直方图，生成识别器并预先存储。并且，以往技术使用识别器评价对象图像的直方图，判断对象图像中是否包含规定物体。
局部二值模式的直方图与亮度梯度方向直方图(HOG：Histograms ofOriented Gradients)等图像特征相比，能够更高精度地表现纹理的差异和灰度模式。另外，局部二值模式的直方图与亮度梯度方向直方图等图像特征相比，能够以较少的处理负荷进行计算。因此，以往技术这种使用局部二值模式的物体检测可望应用于各种领域。
现有技术文献
专利文献
专利文献1：日本特开2009-211179号公报
非专利文献
非专利文献1：Timo Ahonen，Abdenour Hadid，and Matti
Figure BDA00002775551500021
″FaceDescription with Local Binary Patterns：Application to Face Recognition，″IEEE，Pattern Analysis and Machine Intelligence vol.28no.12，pp.2037-2041，December2006
非专利文献2：Navneet Dalal and Bill Triggs，″Histograms of orientedgradients for human detection，″CVPR，2005
发明内容
发明要解决的问题
但是，以往技术中存在如下问题：对于学习图像以及对象图像的全部，如果拍摄图像的噪声水平的程度不是大致相同，则无法高精度地进行物体检测。即，以往技术中存在如下问题：对于学习图像以及对象图像的全部，如果拍摄环境不相似，则无法高精度地进行物体检测。这是因为，即使在拍摄相同的对象物的情况下，也有时由于噪声水平不同而使得局部二值模式不同，这种局部二值模式的差异有可能在整个图像中产生。
本发明的目的在于提供能够提取使用局部二值模式并且能够实现对拍摄环境的变动具有鲁棒性的物体检测的图像特征的特征提取装置、特征提取方法、特征提取程序以及图像处理装置。
解决问题的方案
本发明的特征提取装置包括：二值模式生成单元，对图像的全部或部分像素中的每个像素，生成利用比特值表示与周围的附近像素之间的像素值的差值是否为规定阈值以上的局部二值模式；权重生成单元，对所生成的每个所述局部二值模式，决定与基础的所述像素值的差值相应的权重；以及直方图生成单元，将所决定的所述权重适用于对应的所述局部二值模式，生成表示根据所述图像生成的所述局部二值模式的分布的直方图。
本发明的图像处理装置包括：识别单元，其使用用于识别规定物体的识别器，根据由上述特征提取装置生成的所述直方图，判断所述图像中是否包含所述规定物体。
本发明的特征提取方法包括：对图像的全部或部分像素中的每个像素，生成利用各比特值表示与周围的附近像素之间的像素值的差值是否为规定阈值以上的局部二值模式的步骤；对所生成的每个所述局部二值模式，决定与基础的所述像素值的差值相应的权重的步骤；以及将所决定的所述权重适用于对应的所述局部二值模式，生成表示根据所述图像生成的所述局部二值模式的分布的直方图的步骤。
本发明的特征提取程序使计算机执行如下处理：对图像的全部或部分像素中的每个像素，生成利用各比特值表示与周围的附近像素之间的像素值的差值是否为规定阈值以上的局部二值模式的处理；对所生成的每个所述局部二值模式，决定与基础的所述像素值的差值相应的权重的处理；以及将所决定的所述权重适用于对应的所述局部二值模式，生成表示根据所述图像生成的所述局部二值模式的分布的直方图的处理。
发明的效果
根据本发明，能够提取使用局部二值模式并且能够实现对拍摄环境的变动具有鲁棒性的物体检测的直方图，作为图像的图像特征。
附图说明
图1是表示包含本发明一实施方式的特征提取装置的物体检测系统的结构的系统结构图。
图2是表示本实施方式中的特征提取单元的详细结构的方框图。
图3是表示本实施方式的物体检测装置的动作的流程图。
图4是表示本实施方式中的图像扫描的情形的一例的示意图。
图5是表示本实施方式中的附近区域的移位情形的一例的示意图。
图6是表示本实施方式中的直方图生成处理的一例的概要的示意图。
图7是表示本实施方式中的直方图的归一化的情形的一例的图。
图8是表示本实施方式中的对象图像的直方图的一例的图。
图9是表示由以往技术生成的直方图的一例的图。
图10是表示本实施方式中的直方图生成处理的另一例的概要的示意图。
图11是表示以往技术的直方图生成处理的概要的示意图。
标号说明
100 物体检测系统
200 识别器学习装置
210 学习用数据存储单元
220、430 特征提取区域获取单元
230、440 特征提取单元
240 学习单元
300 识别器存储装置
400 物体检测装置
410 照相机
420 图像输出单元
441 像素附近获取单元
442 附近差值计算单元
443 二值模式生成单元
444 权重生成单元
445 直方图生成单元
450 识别单元
具体实施方式
以下，参照附图详细地说明本发明的一个实施方式。
图1是表示包含本发明一实施方式的特征提取装置的物体检测系统的结构的系统结构图。图1中也一起图示了各装置的结构。
图1中，物体检测系统100包括识别器学习装置200、识别器存储装置300、以及物体检测装置400。识别器学习装置200以及物体检测装置400例如能够经由因特网等通信网络(未图示)与识别器存储装置300分别连接。
在识别器学习装置200中，作为机器学习方法使用提升方法(Boosting)。识别器学习装置200根据预先准备的学习图像，学习用于检测作为检测对象的物体(以下称为“检测对象物体”)的识别器，将作为学习结果的识别器存储到识别器存储装置300中。
识别器学习装置200包括学习用数据存储单元210、特征提取区域获取单元220、包含本发明的特征提取装置的特征提取单元230、以及学习单元240。
学习用数据存储单元210预先存储包含检测对象物体的多个学习图像(正样本)和不包含检测对象物体的多个学习图像(负样本)。
特征提取区域获取单元220对学习用数据存储单元210中存储的每个学习图像，获取特征提取区域，并将获取的特征提取区域输出到特征提取单元230。
所谓特征提取区域，是作为图像特征的提取对象的图像区域。例如，在检测对象是人的脸部的情况下，特征提取区域可以是包含人的脸部器官例如眼或鼻等的图像区域的随机配置的多个图像区域。另外，在检测对象是人的全身的情况下，特征提取区域例如可以是包含头部、胳膊、脚等的图像区域的随机配置的多个图像区域。
特征提取单元230按每个特征提取区域，提取其图像特征，并输出到学习单元240。更具体而言，特征提取单元230首先对特征提取区域的全部或者部分像素中的每个像素，生成局部二值模式。并且，特征提取单元230生成表示所生成的局部二值模式的分布的直方图(以下简称为“直方图”)，作为该特征提取区域的图像特征。
所谓局部二值模式，如上所述，是利用比特值表示关注像素与其周围的附近像素之间的像素值的差值是否为规定阈值以上的信息。
但是，特征提取单元230在生成直方图时，对局部二值模式进行与基础的像素值的差值相应的加权。
学习单元240生成一个或多个识别器。这一个或多个识别器用于基于根据正样本得到的直方图群和根据负样本得到的直方图群，区分包含检测对象物体的图像和不包含检测对象物体的图像。即，学习单元240生成特征提取区域信息与对应于特征提取区域信息的识别信息，作为识别器。并且，学习单元240将所生成的识别信息与特征提取区域信息一起发送给识别器存储装置300，与特征提取区域信息组合而进行存储。
所谓特征提取区域信息，是表示特征提取区域的范围的信息，例如包含特征提取区域的位置以及尺寸。所谓识别信息，是用于对对象图像的特征提取区域的直方图进行评价，判定对象图像中是否包含规定物体的信息。
物体检测装置400获取识别器存储装置300中存储的识别器，进行对对象图像的物体检测。
物体检测装置400包括照相机410、图像输入单元420、特征提取区域获取单元430、包含本发明的特征提取装置的特征提取单元440、以及识别单元450。
照相机410进行对象图像的拍摄，将对象图像输出到图像输入单元420。
图像输入单元420用尺寸预先决定了的窗扫描对象图像，将扫描出的各个图像区域(以下称为“窗区域”)输出到特征提取区域获取单元430。
特征提取区域获取单元430按每个窗区域，获取该窗区域中的、识别器存储装置中存储的特征提取区域信息所示的范围作为特征提取区域。并且，特征提取区域获取单元430将获取的特征提取区域输出到特征提取单元440。
此外，特征提取区域获取单元430对窗区域进行的处理与上述特征提取区域获取单元220对学习图像进行的处理类似。即，特征提取区域获取单元220例如获取随机配置的多个区域的全体作为特征提取区域。与此相对，特征提取区域获取单元430从识别器存储装置300仅获取已经由学习单元240选择的特征提取区域信息所示的区域，作为特征提取区域。
由此，关于特征提取区域获取单元430以及特征提取区域获取单元220，以下适当说明其中一者的结构以及动作，而省略另一者的结构以及动作的说明。
特征提取单元440按每个特征提取区域，提取其图像特征，并输出到识别单元450。更具体而言，特征提取单元440对特征提取区域的每个像素生成局部二值模式，并生成局部二值模式的直方图作为该特征提取区域的图像特征。
但是，特征提取单元440在生成直方图时，对局部二值模式进行与基础的像素值的差值相应的加权。换言之，特征提取单元440考虑各个局部二值模式的量值生成直方图。
此外，特征提取单元440进行的处理与上述特征提取单元230进行的处理相同，因此以下适当说明其中一者的结构以及动作，省略另一者的结构以及动作的说明。
识别单元450获取识别器存储装置300存储的识别信息。识别单元450使用所获取的识别信息，根据从图像输入单元420进行了扫描的窗区域生成的直方图，判断对象图像中是否包含检测对象物体。并且，识别单元450将判断结果例如通过图像显示装置或语音输出装置(未图示)通知给用户。
图2是表示特征提取单元440的详细结构的方框图。
图2中，特征提取单元440包括像素附近获取单元441、附近差值计算单元442、二值模式生成单元443、权重生成单元444、以及直方图生成单元445。
像素附近获取单元441使对特征提取区域的关注像素逐渐移位。像素附近获取单元441按每个关注像素，获取以关注像素为中心的3×3的区域(以下称为“附近区域”)的9个像素值。并且，像素附近获取单元441按每个附近区域，将所获取的9个像素值输出到附近差值计算单元442。
作为像素值，例如可以采用对图像实施了边缘增强等预处理后的亮度值经一次微分或二次微分得到的值，或者将红、蓝、绿的亮度作为一个向量值进行表示而得到的色彩值等各种值。在本实施方式中，设像素值为亮度值。
附近差值计算单元442对每个附近区域，计算关注像素与周围各附近像素之间的亮度值的差值，得到8个计算结果(以下称为“附近差值”)。并且，附近差值计算单元442将各附近区域的附近差值输出到二值模式生成单元443以及权重生成单元444。
二值模式生成单元443对每个附近区域，生成以规定顺序排列表示各附近差值是否为规定阈值以上的比特值而得到的代码。并且，二值模式生成单元443将生成的代码作为局部二值模式输出到直方图生成单元445。
权重生成单元444对每个附近区域，将8个附近差值的绝对值的总和决定为与对应的局部二值模式相对的权重，并输出到直方图生成单元445。
直方图生成单元445对每个特征提取区域，生成局部二值模式的直方图，并输出到图1的识别单元450。
但是，此时，直方图生成单元445在每次输入局部二值模式时，对与该局部二值模式对应的箱格(bin)的值，加上与该局部二值模式对应输入的权重。
此外，识别器学习装置200以及物体检测装置400例如分别可以采用包含CPU(central processing unit，中央处理单元)以及RAM(random accessmemory，随机存取存储器)等存储介质等的计算机的结构。在此情况下，识别器学习装置200以及物体检测装置400分别通过由CPU执行存储的控制程序来工作。
另外，物体检测装置400也可以是仅进行该计算的专用芯片。另外，识别器存储装置300例如是包含半导体存储器或硬盘等存储介质的网络服务器。
在以上述方式进行了加权的直方图中，亮度差(对比度)大的附近区域的局部二值模式的频数相对较高。即，清楚地表示被摄体的灰度模式的附近区域的局部二值模式的频数相对较高。并且，与由于噪声而产生的错误的二值模式对应的频数相对较低。
在使用这种图像特征生成识别器并进行物体检测的情况下，能够在物体检测中反映出各个局部二值模式的可靠度。
因此，本实施方式的物体检测系统100在对图像进行物体检测时，能够使用利用了局部二值模式的图像特征且是能够实现对拍摄环境的变动具有鲁棒性的物体检测的图像特征。
接着对物体检测装置400的动作进行说明。此外，识别器学习装置200中的特征提取单元230的动作与物体检测装置400中的特征提取单元440的动作相同，因此省略其说明。
图3是表示物体检测装置400的动作的流程图。
首先，在步骤S1100中，图像输入单元420用尺寸预先决定了的窗扫描对象图像。
图4是表示图像扫描的情形的一例的示意图。
如图4所示，图像输入单元420用尺寸预先决定了的窗511扫描对象图像510的全体，从各位置获取窗区域512。根据窗511的位置不同，如图5所示，有时该窗区域512中包含检测对象物体513。窗511的尺寸例如是64像素×128像素。
接着，在图3的步骤S1200中，特征提取区域获取单元430获取一个通过识别器学习装置200的学习得到的、并存储在识别器存储装置中的特征提取区域信息(位置、尺寸等)。特征提取区域获取单元430例如如图4所示那样获取包含人的头部的矩形区域作为特征提取区域520。
接着，在步骤S1300中，特征提取单元440的像素附近获取单元441选择一个特征提取区域的像素作为关注像素，决定以关注像素为中心的附近区域。像素附近获取单元441在每次通过后述的步骤S1800的判断处理返回到步骤S1300时，选择未选择的像素，其结果是使附近区域移位。
图5是表示附近区域的移位情形的一例的示意图。
如图5所示，像素附近获取单元441对整个特征提取区域520，使作为关注像素521进行选择的像素位置逐渐移位。其结果是，对整个特征提取区域520，依次决定由关注像素521和包围该像素的8个附近像素522构成的3×3的附近区域523。
接着，在图3的步骤S1400中，特征提取单元440的附近差值计算单元442计算关注像素的亮度值与8个附近像素的亮度值的每一个之间的差值(附近差值)。
接着，在步骤S1500中，特征提取单元440的二值模式生成单元443对附近差值进行二值化，生成局部二值模式。
这里，令关注像素的亮度值为gc，附近像素的数目(在本实施方式中为8)为P，附近像素的顺序为p，第p个附近像素的亮度值为gp，与附近区域的半径相应的像素数(在本实施方式中为1)为R。在此情况下，局部二值模式LBPP，R例如用下式(1)表示。此外，将第p个附近像素的坐标表示为[Rcos(2πp/P)，Rsin(2πp/P)]。
(数式1)
LBP P , R = &Sigma; p = 0 P - 1 s ( g p - g c ) 2 p , s ( x ) = 1 , x &GreaterEqual; 0 0 , x < 0 &CenterDot; &CenterDot; &CenterDot; ( 1 )
接着，在步骤S1600中，特征提取单元440的权重生成单元444计算8个附近差值的绝对值的总和作为权重。权重WP，R例如用下式(2)表示。
(数式2)
w P , R = &Sigma; p = 0 P - 1 | g p - g c | &CenterDot; &CenterDot; &CenterDot; ( 2 )
接着，在步骤S1700中，直方图生成单元445对构成直方图的箱格中的、局部二值模式LBPP，R的箱格，加上权重WP，R。
接着，在步骤S1800中，像素附近获取单元441判断特征提取区域中是否存在未处理的像素。
像素附近获取单元441在存在未处理的像素的情况下(S1800：“是”)，返回到步骤S1300，选择未处理的像素并重复进行处理。另外，像素附近获取单元441在对特征提取区域全部完成了处理的情况下(S1800：“否”)，进入步骤S1900。
图6是表示直到某个附近区域的局部二值模式反映于直方图为止的处理的一例的概要的示意图。
如图6所示，假设对于某个附近区域531获取了关注像素的亮度值gc为“128”，其附近像素的亮度值gp为“244，178，48，27，253，208，238，28”这样的数值群532。
此外，假设从附近像素的左上起按顺时针获取亮度值gp。在此情况下，附近差值(gp-gc)的数值群533为“116，50，-80，-101，125，80，110，-100”。在此，若设二值化的阈值为“0”，则对附近差值进行二值化得到的数值群534为“1，1，0，0，1，1，1，0”。并且，局部二值模式535为“11001110”(十进制数为“206”)。
另外，权重W的计算536是对附近差值的绝对值|gp-gc|进行合计的计算，即W＝116+50+80+101+125+80+110+100＝762。因此，直方图生成单元445将权重“762”加到箱格“206”上，以生成直方图537。
通过反复进行这种将权重加到相应的箱格的运算，最终生成表示特征提取区域图像的特征的直方图。例如，令从尺寸为I×J的特征提取区域得到的局部二值模式的数目的最大值为K，则直方图H(k)用下式(3)表示。
(数式3)
H ( k ) = &Sigma; i = 1 I &Sigma; j = 1 J w P , R ( i , j ) &CenterDot; f ( LBP P , R ( i , j ) , k ) , k &Element; [ 0 , K ] ,
其中
Figure BDA00002775551500102
接着，在图3的步骤S1900中，直方图生成单元445将直方图归一化为不依赖于特征提取区域的大小的特征量。具体而言，直方图生成单元445例如用直方图全部的箱格的频数总和，对直方图进行归一化。若令箱格的数目为N，第i个箱格的频数为Hi(i＝1，2，...，N)，则频数总和SumHi由下式(4)表示。
(数式4) Sum H i = &Sigma; i = 1 N H i &CenterDot; &CenterDot; &CenterDot; ( 4 )
并且，进行了归一化的直方图的第i个箱格的频数Hi′由下式(5)表示。
(数式5)
H i &prime; H i Sum H i &CenterDot; &CenterDot; &CenterDot; ( 5 )
图7是表示直方图的归一化的情形的一例的图。
如图7A所示，假设归一化前的直方图的各箱格的频数H1、H2、…、H8依次为“5，6，4，7，10，5，8，3”。在此情况下，频数总和SumHi如下式(6)进行计算。
(数式6)
Sum H i = &Sigma; i = 1 N H i = 5 + 6 + 4 + 7 + 10 + 5 + 8 + 3 = 48 &CenterDot; &CenterDot; &CenterDot; ( 6 )
并且，进行了归一化的直方图的各箱格的频数H1′、H2′、…、H8′如下式(7)进行计算，成为图7B所示那样的值。
(数式7)
H 1 &prime; = H 1 Sum H 1 = 5 48
H 2 &prime; = H 2 Sum H 2 = 6 48
.
.
.
H 8 &prime; = H 8 Sum H 8 = 3 48 &CenterDot; &CenterDot; &CenterDot; ( 7 )
图8是表示从对象图像生成的直方图的一例的图。
如图8所示，直方图540在从图像较多地提取出的局部二值模式的箱格处具有峰值(例如由部分541表示)。
表示局部二值模式的分布的直方图540的形状根据图像中包含的物体而异。因此，物体检测系统100将直方图540的峰值在哪里出现、该峰值的大小为何种程度，作为用于识别检测对象物体的图像特征。峰值与其他部分(例如由部分542表示)的频数之间的差越大的直方图540越强地表示图像特征，在使用这种图像特征的情况下，能够以高精度进行物体检测。
接着，在步骤S2000中，识别单元450基于归一化后的直方图，计算对象图像的特征提取区域的噪声水平(以下称为“区域噪声水平”)。
具体而言，识别单元450在与作为白点或黑点以像素为单位产生的噪声(salt-and-pepper noise，椒盐噪声)对应的箱格的频数相对较高时，判定为对象图像的噪声水平较高。
与这种噪声对应的箱格具体而言是与全部附近差值为正值时的局部二值模式对应的箱格，即与十进制数“255”对应的箱格。
或者，与噪声对应的箱格是与全部附近差值为负值时的局部二值模式对应的箱格，即与十进制数“0”对应的箱格。
图9是表示根据以往技术生成的未进行加权的直方图的一例的图，是与图8对应的图。
如图9所示，在以往技术的直方图540中，由部分541等表示的峰值与由部分542等表示的其他部分之间的差值与图8相比较小。这是因为，可靠度低的信息对直方图540的贡献程度较高。可以认为，部分541、542的差值越大，则直方图540越强地表示图像特征，这种直方图540能够以高精度表示物体的有无。
另外，通过这种加权，上述噪声水平的判定精度也提高。
在以往技术中，同样对待由于微小的亮度差使局部二值模式成为十进制数“0”或“255”的情况和由于较大的亮度差使局部二值模式成为十进制数“0”或“255”的情况。即，以往技术中，基于表示噪声的可能性非常高的像素，增加了十进制数“0”或“255”的局部二值模式的箱格的频数。
其结果是，在以往技术中，如图9的部分543、544所示，即使实际的噪声水平相同，十进制数“0”或“255”的箱格的值也相对较高。并且，若基于十进制数“0”或“255”的箱格的频数进行物体检测，则判定精度降低。
与此相对，在物体检测装置400生成的直方图540中，在微小的亮度差的情况下，十进制数“0”或“255”的箱格的频数被抑制得较低。这样，根据图8与图9的比较也可知，本实施方式的物体检测系统100与以往技术相比，能够以高精度进行噪声水平的判定。
在此情况下，识别单元450例如也可以一起生成适用以往技术的直方图，基于“0”箱格的比较以及“255”箱格的比较，判定对象图像的噪声水平。即，在此情况下，识别单元450例如比较图8的部分543与图9的部分543，并比较图8的部分544与图9的部分544。
接着，在步骤S2100中，识别单元450从识别器存储装置300获取识别器。而且，识别单元450使用所获取的识别器，基于归一化后的直方图计算表示用于判定当前特征提取区域中是否包含检测对象物体的似然性的得分。
接着，在步骤S2200中，物体检测装置400对计算出的得分进行累加运算。
接着，在步骤S2300中，特征提取区域获取单元430判断是否有未处理的特征提取区域。即，特征提取区域获取单元430判断是否已对与识别器存储装置300中存储的特征提取区域信息对应的全部特征提取区域计算了得分。
特征提取区域获取单元430在有未处理的特征提取区域的情况下(S2300：“是”)，返回到步骤S1200，转至对未处理的特征提取区域的处理。另外，特征提取区域获取单元430在对全部特征提取区域完成了处理的情况下(S2300：“否”)，进入步骤S2400。
接着，在步骤S2400中，使用全部特征提取区域的区域噪声水平，判定所扫描的窗的噪声水平。
接着，在步骤S2500中，识别单元450对每个经过扫描的窗，基于累加运算的得分的值判定是否包含检测对象物体。即，识别单元450在得分为规定阈值以上的情况下，判定为该窗中包含检测对象物体。此外，识别单元450也可以基于对得分适用了规定函数的结果来进行该判定。
接着，在步骤S2600中，识别单元450输出物体检测的判定结果。
此外，识别单元450可以判定对象图像中是否包含指定的物体，也可以判定对象图像中包含怎样的物体。在是前者的情况下，识别单元450例如仅使用与指定的物体对应的识别器，输出仅表示是否包含该物体的信息即可。另外，在是后者的情况下，识别单元450依次适用多个识别器反复进行判定，在检测出物体时，输出表示检测出哪个物体的信息即可。
接着，在步骤S2700中，图像输入单元420判断是否通过操作等被指示了结束处理。
在未被指示结束处理的情况下(S2700：“否”)，图像输入单元420返回到步骤S1100，转至对接下来的扫描或者接下来的对象图像的处理。另外，在被指示了结束处理的情况下(S2700：“是”)，图像输入单元420结束一系列处理。
通过这种动作，物体检测装置400能够进行与附近差值相应的加权，生成局部二值模式的直方图，并将其用作图像特征进行物体检测。此外，虽然省略了说明，但识别器学习装置200也同样地进行与附近差值相应的加权，生成局部二值模式的直方图，并将其用作图像特征生成用于物体检测的识别器。
这里，对如下内容进行说明，即进行了与附近差值相应的加权的直方图是能够实现对拍摄环境的变动具有鲁棒性的物体检测的图像特征。
图10是表示物体检测系统100中关于从对比度低的图像获取的局部二值模式的直方图的生成处理的一例的概要的示意图，是与图6对应的图。
如图10所示，设获取了某个附近区域551的、关注像素的亮度值gc为“128”，其附近像素的亮度值gp为“133，148，115，113，159，166，202，112”的数值群552。这表示拍摄了与图6所示情况相比对比度较低的对象图像，难以检测边缘的状态。
在此情况下，附近差值(gp-gc)的数值群553为“5，20，-13，-15，31，38，74，-16”。并且，对附近差值进行二值化得到的数值群554为“1，1，0，0，1，1，1，0”，局部二值模式555为“11001110”(十进制数为“206”)。
另外，权重W的计算556为W＝5+20+13+15+31+38+74+16＝212。因此，将权重“212”加到箱格“206”，生成直方图557。
图11是表示以往技术的不进行加权的直方图生成处理的概要的示意图，是与图6对应的图。对与图6相同的部分标以相同的标号，省略相关的说明。
以往技术与本实施方式的物体检测系统100同样，根据图6以及图11所示的附近区域531计算出“11001110”(十进制数为“206”)的局部二值模式535。但是，以往技术不进行上述加权，例如将“1”等固定值加到箱格“206”，生成直方图561。即，以往技术生成的直方图H(k)用下式(8)表示。
(数式8)
H ( k ) = &Sigma; i = 1 I &Sigma; j = 1 J f ( LBP P , R ( i , j ) , k ) , k &Element; [ 0 , K ] ,
其中
Figure BDA00002775551500142
在是拍摄于低照度环境的图像的情况下，亮度差以高精度表示灰度模式的可能性较低。因此，若同等地对待对比度高的情况下得到的局部二值模式535(参照图6)和对比度低的情况下得到的局部二值模式555(参照图10)，则直方图中可靠度低的信息的贡献程度较高。进而，根据直方图生成的识别器的精度、使用直方图进行的物体检测的精度较低。
对此，如上所述，特征提取单元230、440计算与对比度的相关性高的附近差值的绝对值之和作为权重，并进行加权生成直方图。即，特征提取单元230、440对于即使是相同的拍摄对象但由于画质不同也会发生变化的局部二值模式，利用附近差值的绝对值之和对各局部二值模式的可靠度进行数值化。进行了数值化的可靠度例如是“762”和“212”。并且，将该进行了数值化的可靠度作为对频数相加时的权重，反映到直方图中。据此，特征提取单元230、440能够提取出使用局部二值模式并且能够实现对拍摄环境的变动具有鲁棒性的物体检测的直方图，作为图像特征。
如上所述，本实施方式的物体检测系统100在生成表示局部二值模式的分布的直方图时，对各关注像素，进行对应于与附近区域的亮度值之间的差值的加权。据此，物体检测系统100能够提取对图像的明亮程度或噪声水平的差异具有鲁棒性的图像特征。即，物体检测系统100能够提取能够实现对拍摄环境的变动具有鲁棒性的物体检测的图像特征。
此外，在以上说明的实施方式中，说明了识别器学习装置200、识别器存储装置300、以及物体检测装置400分别构成的例子，但并不限定于此。即，它们中的两个或全部也可以作为一个装置一体构成。尤其是，在识别器学习装置200与物体检测装置400一体构成的情况下，特征提取区域获取单元220、430或特征提取单元230、440可以分别作为通用的功能单元构成。另外，在本实施方式中，作为机器学习方法使用了Boosting，但也可以使用SVM(Support Vector Machine，支持向量机)或决策树(Decision Tree)等其他机器学习方法。
在2011年1月20日提出的日本专利申请特愿第2011-010238号所包含的说明书、附图以及说明书摘要的公开内容，全部被引用于本申请。
工业实用性
本发明的特征提取装置、特征提取方法、特征提取程序以及图像处理装置作为能够提取出使用局部二值模式并且能够实现对拍摄环境的变动具有鲁棒性的物体检测的图像特征的特征提取装置、特征提取方法、特征提取程序、以及使用这种特征提取装置的图像处理装置是有用的。

Claims (9)

1.特征提取装置，包括：
二值模式生成单元，对图像的全部或部分像素中的每个像素，生成利用比特值表示与周围的附近像素之间的像素值的差值是否为规定阈值以上的局部二值模式；
权重生成单元，对所生成的每个所述局部二值模式，决定与基础的所述像素值的差值相应的权重；以及
直方图生成单元，将所决定的所述权重适用于对应的所述局部二值模式，生成表示根据所述图像生成的所述局部二值模式的分布的直方图。
2.如权利要求1所述的特征提取装置，
所述局部二值模式是以规定顺序排列数字值而得到的代码，所述数字值是表示与相对于所述像素位于规定的相对位置的多个所述附近像素之间的所述差值是否为所述规定阈值以上的值。
3.如权利要求2所述的特征提取装置，
所述权重是与关于所述多个附近像素的所述差值的绝对值的总和相应的权重。
4.如权利要求3所述的特征提取装置，
所述权重生成单元关于所生成的每个所述局部二值模式，将所述绝对值之和决定为权重，
所述直方图生成单元在每次生成所述局部二值模式时，对与该局部二值模式对应的箱格的值，加上与该局部二值模式对应的所述权重，以生成所述直方图。
5.如权利要求4所述的特征提取装置，
所述直方图生成单元对所述直方图进行归一化处理。
6.图像处理装置，包括：
识别单元，其使用用于识别规定物体的识别器，根据由权利要求1至5中任一项所述的特征提取装置生成的所述直方图，判断所述图像中是否包含所述规定物体。
7.如权利要求6所述的图像处理装置，
所述识别器基于与所述附近像素的全部所述差值为正值时的所述局部二值模式对应的箱格的值、以及与所述附近像素的全部所述差值为负值时的所述局部二值模式对应的箱格的值中的至少一者，判断所述图像的噪声水平。
8.特征提取方法，包括：
对图像的全部或部分像素中的每个像素，生成利用各比特值表示与周围的附近像素之间的像素值的差值是否为规定阈值以上的局部二值模式的步骤；
对所生成的每个所述局部二值模式，决定与基础的所述像素值的差值相应的权重的步骤；以及
将所决定的所述权重适用于对应的所述局部二值模式，生成表示根据所述图像生成的所述局部二值模式的分布的直方图的步骤。
9.特征提取程序，使计算机执行如下处理：
对图像的全部或部分像素中的每个像素，生成利用各比特值表示与周围的附近像素之间的像素值的差值是否为规定阈值以上的局部二值模式的处理；
对所生成的每个所述局部二值模式，决定与基础的所述像素值的差值相应的权重的处理；以及
将所决定的所述权重适用于对应的所述局部二值模式，生成表示根据所述图像生成的所述局部二值模式的分布的直方图的处理。
CN201280002161.3A 2011-01-20 2012-01-13 特征提取装置、特征提取方法以及图像处理装置 Active CN103026384B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-010238 2011-01-20
JP2011010238 2011-01-20
PCT/JP2012/000175 WO2012098842A1 (ja) 2011-01-20 2012-01-13 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および、画像処理装置

Publications (2)

Publication Number Publication Date
CN103026384A true CN103026384A (zh) 2013-04-03
CN103026384B CN103026384B (zh) 2016-08-03

Family

ID=46515478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280002161.3A Active CN103026384B (zh) 2011-01-20 2012-01-13 特征提取装置、特征提取方法以及图像处理装置

Country Status (5)

Country Link
US (1) US9053384B2 (zh)
EP (1) EP2667353B1 (zh)
JP (1) JP5861123B2 (zh)
CN (1) CN103026384B (zh)
WO (1) WO2012098842A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485238A (zh) * 2016-11-01 2017-03-08 深圳大学 一种高光谱遥感图像特征提取和分类方法及其系统
CN107850586A (zh) * 2015-07-15 2018-03-27 国立大学法人大阪大学 图像解析装置、图像解析方法、图像解析系统、图像解析程序、以及存储介质
CN108460343A (zh) * 2018-02-06 2018-08-28 北京达佳互联信息技术有限公司 图像处理方法、系统及服务器
CN109241905A (zh) * 2018-08-31 2019-01-18 北方工业大学 一种图像处理方法和装置
CN111709312A (zh) * 2020-05-26 2020-09-25 上海海事大学 一种基于联合主模式的局部特征人脸识别方法
CN111768410A (zh) * 2019-05-22 2020-10-13 北京沃东天骏信息技术有限公司 图像处理方法和装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2667353B1 (en) * 2011-01-20 2019-07-10 Panasonic Intellectual Property Management Co., Ltd. Feature extraction unit, feature extraction method, feature extraction program, and image processing device
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
KR101716646B1 (ko) 2013-01-10 2017-03-15 한국전자통신연구원 국부이진패턴을 이용한 객체 검출 인식 방법 및 장치
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
WO2015076433A1 (ko) * 2013-11-20 2015-05-28 (주)나노인사이드 지역 미세 패턴을 이용한 얼굴 영상 분석 방법
TWI493476B (zh) * 2014-01-02 2015-07-21 Mstar Semiconductor Inc 影像處理電路與方法
US9576221B2 (en) * 2014-07-09 2017-02-21 Ditto Labs, Inc. Systems, methods, and devices for image matching and object recognition in images using template image classifiers
US9858498B2 (en) * 2015-09-23 2018-01-02 Qualcomm Incorporated Systems and methods for incremental object detection using dual-threshold local binary pattern operators
US10262187B1 (en) * 2016-11-10 2019-04-16 Synaptics Incorporated Systems and methods for spoof detection based on local binary patterns
FR3069087B1 (fr) 2017-07-11 2019-08-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de traitement d'une image
CN108897856A (zh) * 2018-06-29 2018-11-27 联想(北京)有限公司 一种信息处理方法及电子设备
WO2020174588A1 (ja) * 2019-02-26 2020-09-03 株式会社ソシオネクスト 情報処理装置および情報処理方法
CN110008920A (zh) * 2019-04-09 2019-07-12 南京工业大学 一种人脸表情识别方法研究
FR3098623B1 (fr) * 2019-07-09 2021-07-23 Commissariat Energie Atomique Système et procédé de génération de descripteurs d'une scène
CN111047579B (zh) * 2019-12-13 2023-09-05 中南大学 一种特征质量评估方法及图像特征均匀提取方法
CN112507847B (zh) * 2020-12-03 2022-11-08 江苏科技大学 一种基于邻域像素差加权模式的人脸反欺诈方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973300A (zh) * 2004-08-04 2007-05-30 精工爱普生株式会社 对象图像检测装置、面部图像检测程序及面部图像检测方法
US20090220156A1 (en) * 2008-02-29 2009-09-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
CN101923640A (zh) * 2010-08-04 2010-12-22 中国科学院自动化研究所 基于鲁棒纹理特征和机器学习对伪造虹膜图像判别的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985628B2 (en) * 2002-01-07 2006-01-10 Xerox Corporation Image type classification using edge features
US7519220B2 (en) * 2004-11-15 2009-04-14 Siemens Medical Solutions Usa, Inc. GPU accelerated isoperimetric algorithm for image segmentation, digital photo and video editing
US20070160308A1 (en) 2006-01-11 2007-07-12 Jones Michael J Difference of sum filters for texture classification
JP5047005B2 (ja) * 2008-02-29 2012-10-10 キヤノン株式会社 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置
JP2011010238A (ja) 2009-06-29 2011-01-13 Nippon Telegr & Teleph Corp <Ntt> パケット転送品質制御システムおよび方法
JP2011186595A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報生成装置、物体検出装置、情報生成方法、物体検出方法、およびプログラム
EP2667353B1 (en) * 2011-01-20 2019-07-10 Panasonic Intellectual Property Management Co., Ltd. Feature extraction unit, feature extraction method, feature extraction program, and image processing device
US8903198B2 (en) * 2011-06-03 2014-12-02 International Business Machines Corporation Image ranking based on attribute correlation
US8879800B2 (en) * 2011-06-15 2014-11-04 Honeywell International Inc. Quality driven image processing for ocular recognition system
US8718385B2 (en) * 2012-07-23 2014-05-06 State Farm Mutual Automobile Insurance Company Siding identification systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973300A (zh) * 2004-08-04 2007-05-30 精工爱普生株式会社 对象图像检测装置、面部图像检测程序及面部图像检测方法
US20090220156A1 (en) * 2008-02-29 2009-09-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and storage medium
CN101923640A (zh) * 2010-08-04 2010-12-22 中国科学院自动化研究所 基于鲁棒纹理特征和机器学习对伪造虹膜图像判别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周颖颖等: "基于改进LBP特征的白细胞识别", 《生物医学工程研究》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107850586A (zh) * 2015-07-15 2018-03-27 国立大学法人大阪大学 图像解析装置、图像解析方法、图像解析系统、图像解析程序、以及存储介质
CN107850586B (zh) * 2015-07-15 2019-11-12 国立大学法人大阪大学 图像解析装置、图像解析方法、图像解析系统、以及存储介质
CN106485238A (zh) * 2016-11-01 2017-03-08 深圳大学 一种高光谱遥感图像特征提取和分类方法及其系统
CN106485238B (zh) * 2016-11-01 2019-10-15 深圳大学 一种高光谱遥感图像特征提取和分类方法及其系统
CN108460343A (zh) * 2018-02-06 2018-08-28 北京达佳互联信息技术有限公司 图像处理方法、系统及服务器
CN109241905A (zh) * 2018-08-31 2019-01-18 北方工业大学 一种图像处理方法和装置
CN109241905B (zh) * 2018-08-31 2021-07-02 北方工业大学 一种图像处理方法和装置
CN111768410A (zh) * 2019-05-22 2020-10-13 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN111768410B (zh) * 2019-05-22 2024-04-05 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN111709312A (zh) * 2020-05-26 2020-09-25 上海海事大学 一种基于联合主模式的局部特征人脸识别方法
CN111709312B (zh) * 2020-05-26 2023-09-22 上海海事大学 一种基于联合主模式的局部特征人脸识别方法

Also Published As

Publication number Publication date
EP2667353A4 (en) 2017-10-11
JP5861123B2 (ja) 2016-02-16
CN103026384B (zh) 2016-08-03
WO2012098842A1 (ja) 2012-07-26
EP2667353B1 (en) 2019-07-10
EP2667353A1 (en) 2013-11-27
US20130163870A1 (en) 2013-06-27
JPWO2012098842A1 (ja) 2014-06-09
US9053384B2 (en) 2015-06-09

Similar Documents

Publication Publication Date Title
CN103026384A (zh) 特征提取装置、特征提取方法、特征提取程序以及图像处理装置
US9367758B2 (en) Feature extraction device, feature extraction method, and feature extraction program
CN103733224B (zh) 特征提取装置、特征提取程序、以及图像处理装置
US8103058B2 (en) Detecting and tracking objects in digital images
US8811725B2 (en) Learning device, learning method, identification device, identification method, and program
US9740965B2 (en) Information processing apparatus and control method thereof
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
US10803116B2 (en) Logo detection system for automatic image search engines
US9025882B2 (en) Information processing apparatus and method of processing information, storage medium and program
US20140164413A1 (en) Feature value extraction apparatus and feature value extraction method
KR20120041002A (ko) 객체 검출 장치 및 시스템
JP4795864B2 (ja) 特徴点検出装置および方法並びにプログラム
KR101419837B1 (ko) 분할 이미지 셀을 이용하는 아다부스트 기반의 보행자 검출 방법 및 장치
JP5286574B2 (ja) オブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラム
Hikal et al. Skin color segmentation using adaptive PCA and modified elliptic boundary model
US20160132463A1 (en) Computing apparatus, computing method, and computer program product
Mudjirahardjo et al. Comparison of feature extraction methods for head recognition
Luan et al. Active sampling exploiting detector response pattern for efficient target detection
Chae et al. Development of an efficient face detection and tracking system for mobile devices
AOKI A Statistical Learning Approach to Image Processing
Almeida et al. Automatic eye detection using semivariogram function and support vector machine
Zhong et al. A novel measurement and statistics of similarity cue for edges in contour grouping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160128

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant