CN103733224A - 特征提取装置、特征提取程序、以及图像处理装置 - Google Patents

特征提取装置、特征提取程序、以及图像处理装置 Download PDF

Info

Publication number
CN103733224A
CN103733224A CN201280038798.8A CN201280038798A CN103733224A CN 103733224 A CN103733224 A CN 103733224A CN 201280038798 A CN201280038798 A CN 201280038798A CN 103733224 A CN103733224 A CN 103733224A
Authority
CN
China
Prior art keywords
pixel
subregion
unit
feature extraction
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280038798.8A
Other languages
English (en)
Other versions
CN103733224B (zh
Inventor
曹芸芸
西村洋文
S.普拉纳塔
Z.H.牛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103733224A publication Critical patent/CN103733224A/zh
Application granted granted Critical
Publication of CN103733224B publication Critical patent/CN103733224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333—Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33342—Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode
    • H04N2201/33371—Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode using test signals, e.g. checking error occurrences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供特征提取装置，该特征提取装置能够在抑制物体检测精度降低且抑制处理负荷增加的状态下根据更多的像素生成局部二值模式。该特征提取装置包括对关注像素设定多个子区域的子区域设定单元(433)、以及对每个关注像素生成表示与各子区域之间的像素值比较的局部二值模式的二值模式生成单元(434)，子区域设定单元(433)至少将由多个像素构成的区域设定为子区域且该多个像素包含从关注像素离开的像素，二值模式生成单元(434)对每个子区域计算代表值（437），生成表示该代表值相对于关注像素的像素值的差值（438）是否在规定阈值以上的局部二值模式（439）。

Description

特征提取装置、特征提取程序、以及图像处理装置
技术领域
本发明涉及从图像数据提取图像特征的特征提取装置、特征提取程序、以及使用特征提取装置的图像处理装置。
背景技术
以往，广泛进行从图像数据中提取图像特征以检测或识别在图像中包含的物体(以下称为“物体检测”)的处理。作为物体检测的一种方法，例如非专利文献1中记载了使用局部二值模式(LBP)的技术。
局部二值模式是对每个关注像素将与该关注像素的周围附近的各像素之间的像素值差值进行二值化并排列而得到的二值模式。能够根据局部二值模式，提取图像中包含的灰度模式。
非专利文献1以及非专利文献2中记载的技术(以下称为“第一以往技术”)中，对于作为识别对象的图像(以下称为“对象图像”)的某个区域所包含的全部或部分像素计算局部二值模式。而且，第一以往技术生成局部二值模式的值的直方图作为图像特征。另外，第一以往技术基于根据包含规定物体的图像和不包含规定物体的图像(以下总称为“学习图像”)同样地生成的直方图，生成识别器并预先存储。并且，第一以往技术使用识别器评价对象图像的直方图，判断对象图像中是否包含规定物体。
局部二值模式的直方图与亮度梯度方向直方图(HOG：Histograms ofOriented Gradients)等图像特征相比，能够更高精度地表现纹理的差异和灰度模式，并且能够以较少的处理负荷进行计算。因此，第一以往技术这种使用局部二值模式的物体检测可望应用于各种领域。
作为局部二值模式的运算对象的区域一般是以关注像素为中心的3像素×3像素的区域。然而，根据图像种类或作为检测对象的物体的种类不同，更宽地设定作为该运算对象的区域，根据更多的像素生成局部二值模式，从而存在想要使用更宽范围的特征的共现性的要求。
因此，例如在专利文献1中记载了如下的技术(以下称为“第二以往技术”，即，将更宽的5像素×5像素的区域或只将该区域的外周部作为运算对象的技术。根据这样的技术，能够更宽地设定作为局部二值模式的运算对象的区域。
现有技术文献
专利文献
专利文献1：日本特开2009-211179号公报
非专利文献
非专利文献1：Timo Ojala,Matti Pietikainen and Topi Maenpaa"Multiresolution Gray-Scale and Rotation Invariant Texture Classification WithLocal Binary Patterns"IEEE,Pattern Analysis and Machine Intelligence vol.24no.7,pp.971-978,July2002。
非专利文献2：Xiaoyu Wang,Tony X.Han and Shuicheng Yan,"AnHOG-LBP Human Detector with Partial Occlusion Handling,"IEEE InternationalConference on Computer Vision(ICCV2009),Kyoto,2009。
发明内容
发明要解决的问题
但是，在第二以往技术中，作为运算对象的区域越宽，局部二值模式的比特数越增大。例如，在将上述的3像素×3像素的区域作为运算对象的情况下，该比特数为8比特，相对于此，在将上述的5像素×5像素的区域作为运算对象的情况下，即使只使用其外周部，也成为一倍的16比特。若局部二值模式的比特数增加，则直方图的维数增加，识别器生成和使用识别器的物体检测时的处理负荷增加。
另一方面，如果拉开作为运算对象的像素间隔，则能够抑制局部二值模式的比特数，但是，相应地，物体检测的精度降低。
即，第二以往技术存在若将更宽的区域作为局部二值模式的运算对象则检测精度降低或处理负荷增加的问题。
本发明的目的在于，提供能够在抑制物体检测精度降低且抑制处理负荷增加的状态下根据更多的像素生成局部二值模式的特征提取装置、特征提取程序、以及图像处理装置。
解决问题的方案
本发明的特征提取装置包括：子区域设定单元，其对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域；以及二值模式生成单元，其对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式，所述子区域设定单元至少将由多个像素构成的区域设定为所述子区域，且该多个像素包含从所述关注像素离开的像素，所述二值模式生成单元对每个所述子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值，生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式。
本发明的图像处理装置包括：权利要求1所述的特征提取装置，其还具有直方图生成单元，该直方图生成单元生成表示根据所述图像生成的所述局部二值模式的分布的直方图；以及识别单元，其使用用于识别规定物体的识别器，根据由所述特征提取装置生成的所述直方图，判断所述图像是否包含所述规定物体。
本发明的特征提取程序使计算机执行以下处理：对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域的处理；以及对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式的处理，设定所述子区域的处理中，至少将由多个像素构成的区域设定为所述子区域，且该多个像素包括从所述关注像素离开的像素，生成所述局部二值模式的处理包括：对每个所述子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值的处理；以及生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式的处理。
发明效果
根据本发明，能够在抑制物体检测精度降低且抑制处理负荷增加的状态下使用更多的像素生成局部二值模式。
附图说明
图1是表示一例本发明实施方式1的特征提取装置的结构的方框图。
图2是表示一例包含本发明实施方式2的特征提取装置的物体检测系统的结构的方框图。
图3是表示本发明实施方式2的特征提取单元的详细结构的方框图。
图4是表示一例本发明实施方式2的物体检测装置的动作的流程图。
图5是表示一例本发明实施方式2中的图像扫描的情形的示意图。
图6是表示一例本发明实施方式2中的附近区域的移位情形的示意图。
图7是表示一例本发明实施方式2中的照相机的空间频率特性的曲线图。
图8是表示本发明实施方式2中的子区域配置的第一例的示意图。
图9是表示直至本发明实施方式2中的局部二值模式反映于直方图为止的处理的一例的概要的示意图。
图10是表示一例本发明实施方式2中的直方图的归一化情形的图。
图11是表示本发明实施方式2中的子区域配置的第二例的图。
图12是表示本发明实施方式2中的子区域配置的第三例的图。
图13是表示本发明实施方式2中的子区域配置的第四例的图。
图14是表示本发明实施方式2中的子区域配置的第五例的图。
图15是表示本发明实施方式2中的子区域配置的第四例以及第五例的性能评价的实验结果的图。
图16是表示本发明实施方式2中的子区域配置的第六例的图。
图17是表示本发明实施方式2中的子区域配置的第七例的图。
图18是表示本发明实施方式2中的子区域配置的第六例以及第七例的性能评价的实验结果的图。
标号说明
10   特征提取装置
100  物体检测系统
200  识别器学习装置
210  学习用数据存储单元
220  特征提取单元
240  学习单元
300  识别器存储装置
400  物体检测装置
410  照相机
420  图像输入单元
430  特征提取单元
431  特征提取区域获取单元
432  区域扫描单元
433  子区域设定单元
434  二值模式生成单元
435  附近区域获取单元
436  子区域设定单元
437  区域代表值计算单元
438  子区域差值计算单元
439  二值模式计算单元
440  直方图生成单元
450  识别单元
具体实施方式
以下参照附图对本发明的各实施方式详细进行说明。
(实施方式1)
本发明实施方式1是一例本发明的基本形态。
图1是表示一例本实施方式的特征提取装置的结构的方框图。
在图1中，特征提取装置10具有子区域设定单元433以及二值模式生成单元434。
子区域设定单元433对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域。这时，子区域设定单元433至少将由多个像素构成的区域设定为子区域，该多个像素包含从关注像素离开的像素。
二值模式生成单元434对每个关注像素，生成利用比特值表示与所设定的多个子区域的每个子区域之间的像素值比较的局部二值模式。这时，二值模式生成单元434对每个子区域，计算代表构成该子区域的一个或多个像素的像素值组的代表值。而且，二值模式生成单元434生成利用比特值表示该代表值相对于关注像素的像素值的差值是否在规定阈值以上的比特数据，作为局部二值模式。
此外，特征提取装置10例如可以采用包含CPU(central processing unit，中央处理单元)以及RAM(random access memory，随机存取存储器)等存储介质等的计算机的结构。在这种情况下，特征提取装置10通过由CPU执行存储的控制程序来工作。
这样的特征提取装置10能够在使局部二值模式的运算对象中包含从关注像素离开的像素的同时，根据多个像素的像素值的代表值生成局部二值模式。由此，特征提取装置10能够在抑制物体检测精度降低且抑制处理负荷增加的状态下使用更多的像素生成局部二值模式。
(实施方式2)
本发明实施方式2是一例将本发明适用于物体检测系统的情况下的具体的方式。
首先，说明包含本实施方式的特征提取装置的物体检测系统的结构。
图2是表示一例包含本实施方式的特征提取装置的物体检测系统的结构的方框图。
在图2中，物体检测系统100包括识别器学习装置200、识别器存储装置300、以及物体检测装置400。识别器学习装置200以及物体检测装置400例如能够通过互联网等通信网络分别与识别器存储装置300连接。
本实施方式中，作为识别器学习装置200使用的机器学习方法的一个例子，采用Boosting（提升）法。识别器学习装置200预先根据被归一化为学习用的图像，学习用于检测作为检测对象的物体(以下称为“检测对象物体”)的识别器，将作为学习结果的识别器存储到识别器存储装置300中。
识别器学习装置200包括学习用数据存储单元210、包含本发明的特征提取装置的特征提取单元220、以及学习单元240。
学习用数据存储单元210预先存储包含检测对象物体的多个学习图像(正样本)、不包含检测对象物体的多个学习图像(负样本)、以及特征提取区域信息的候选。
特征提取单元220对学习用数据存储单元210中存储的每个学习图像获取特征提取区域，并从所获取的特征提取区域提取图像特征。
所谓特征提取区域，是作为图像特征的提取对象的图像区域。例如，在检测对象是人物的脸部的情况下，特征提取区域可以是包含人的脸部器官例如眼或鼻等的随机配置的多个图像区域。另外，在检测对象是人的全身的情况下，特征提取区域例如可以是包含头部、胳膊、脚等的随机配置的多个图像区域。
特征提取单元220对每个特征提取区域，提取其图像特征，并输出到学习单元240。更具体而言，特征提取单元220首先对特征提取区域的全部或部分像素中的每个像素，以该像素为关注像素生成局部二值模式。而且，特征提取单元220生成表示所生成的局部二值模式的分布的直方图(以下简称为“直方图”)，作为该特征提取区域的图像特征。
所谓局部二值模式，是利用比特值表示关注像素与多个子区域中的每个子区域之间的像素值比较的信息。关于子区域的设定方法、以及关注像素与各子区域之间的像素值比较方法，将后述。
学习单元240生成一个或多个识别器，该一个或多个识别器用于基于由正样本得到的直方图群、和由负样本得到的直方图群，区分包含检测对象物体的图像和不包含检测对象物体的图像。即，学习单元240生成特征提取区域信息与对应于特征提取区域信息的识别信息，作为识别器。并且，学习单元240将所生成的识别信息与特征提取区域信息一起发送给识别器存储装置300，与特征提取区域信息组合而进行存储。
所谓特征提取区域信息，是表示特征提取区域的范围的信息，例如包含特征提取区域的位置以及尺寸。所谓识别信息，是用于对对象图像的特征提取区域的直方图进行评价，判定对象图像中是否包含规定物体的信息。
物体检测装置400获取识别器存储装置300中存储的识别器，进行对对象图像的物体检测。
物体检测装置400包括照相机410、图像输入单元420、包含本发明的特征提取装置的特征提取单元430、以及识别单元450。
照相机410进行对象图像的拍摄，将对象图像输出到图像输入单元420。
图像输入单元420用尺寸预先决定了的窗扫描对象图像，将扫描出的各个图像区域(以下称为“窗区域”)输出到特征提取单元430。
特征提取单元430对每个窗区域，获取该窗区域中的、识别器存储装置中存储的特征提取区域信息所示的范围作为特征提取区域。
而且，特征提取单元430对每个特征提取区域提取其图像特征，并输出到识别单元450。更具体而言，特征提取单元430对特征提取区域的每个像素生成局部二值模式，并生成局部二值模式的直方图，作为其特征提取区域的图像特征。
此外，特征提取单元430对窗区域进行的处理与上述的识别器学习装置200中的特征提取单元220对学习图像进行的处理类似。即，识别器学习装置200中的特征提取单元220例如获取作为候选区域预先准备的大量区域的全部区域，作为特征提取区域。相对于此，特征提取单元430从识别器存储装置300只获取已经由学习单元240选择的特征提取区域信息所示的区域，作为特征提取区域。因此，以下，适当地，在说明一方的结构以及动作的基础上，省略另一方的结构以及动作的说明。
图3是表示特征提取单元430的详细结构的方框图。
在图3中，特征提取单元430包括特征提取区域获取单元431、区域扫描单元432、子区域设定单元433、二值模式生成单元434、以及直方图生成单元440。
特征提取区域获取单元431对从图像输入单元420输入的每个窗区域，获取该窗区域中的、识别器存储装置300中存储的特征提取区域信息所示的范围，将其作为特征提取区域。而且，将所获取的特征提取区域输出到区域扫描单元432。
区域扫描单元432以预先决定的间隔扫描从特征提取区域获取单元431输入的特征提取区域，并将扫描出的像素作为关注像素输出到子区域设定单元433。
子区域设定单元433对从区域扫描单元432输入的特征提取区域的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域。
子区域设定单元433包括附近区域获取单元435以及子区域设定单元436。
附近区域获取单元435对从区域扫描单元432输入的关注像素，设定以关注像素为中心的附近区域，并获取各像素的像素值。这时，附近区域获取单元435将由包含从关注像素离开的像素的多个像素构成的区域设定为附近区域。而且，附近区域获取单元435对每个关注像素，将所设定的附近区域和所获取的多个像素值输出到子区域设定单元436。
子区域设定单元436根据从附近区域获取单元435输入的附近区域设定多个子区域。而且，子区域设定单元436对每个关注像素，将关注像素的像素值(以下称为“关注像素值”)和各子区域的各像素的像素值输出到二值模式生成单元434。这时，子区域设定单元436设定至少一个由包含从关注像素离开的像素的多个像素构成的子区域。此外，这时，子区域设定单元436根据照相机410的空间频率特性设定子区域。对于基于照相机410的空间频率特性的子区域设定方法，将在后面描述。
二值模式生成单元434对每个关注像素生成利用比特值表示与所设定的多个子区域的每个子区域之间的像素值比较的局部二值模式。
二值模式生成单元434包括区域代表值计算单元437、子区域差值计算单元438、以及二值模式计算单元439。
区域代表值计算单元437对每个子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值(以下称为“区域代表值”)。而且，区域代表值计算单元437对每个子区域将关注像素值和计算出的区域代表值输出到子区域差值计算单元438。
在本实施方式中，对于由一个像素构成的子区域，区域代表值计算单元437将该像素的像素值设为区域代表值，对于由多个像素构成的子区域，区域代表值计算单元437将该多个像素的像素值的平均设为区域代表值。
子区域差值计算单元438对每个关注像素，计算从区域代表值计算单元437输入的各区域代表值相对于关注像素值的差值。而且，子区域差值计算单元438对每个关注像素，将计算出的各相邻子区域的差值输出到二值模式计算单元439。
二值模式计算单元439对每个关注像素，判断从子区域差值计算单元438输入的各子区域的差值是否在规定阈值以上。而且，对每个关注像素，生成表示各子区域的差值是否在规定阈值以上的局部二值模式，并输出到直方图生成单元440。
直方图生成单元440对每个特征提取区域，根据从二值模式计算单元439输入的局部二值模式，生成表示特征提取区域的局部二值模式的分布的直方图。而且，直方图生成单元440对每个特征提取区域，将所生成的直方图输出到图2的识别单元450。
图2的识别单元450获取识别器存储装置300存储的识别信息。识别单元450使用所获取的识别信息，根据从特征提取单元430输入的直方图，计算对象图像中是否包含检测对象物体的器官的得分。而且，识别单元450根据识别器存储装置300存储的全部特征提取区域的得分计算总得分，利用所述总得分判断对象图像中是否包含检测对象物体。而且，识别单元450将判断结果例如通过图像表示装置或语音输出装置(未图示)通知给用户。
此外，识别器学习装置200以及物体检测装置400例如可以分别采用包括CPU以及RAM等存储介质等的计算机结构。在这种情况下，识别器学习装置200以及物体检测装置400通过CPU执行存储的控制程序分别进行工作。另外，物体检测装置400也可以是只进行其计算的专用芯片。另外，识别器存储装置300例如是包含半导体存储器或硬盘等存储介质的网络服务器。
为了高精度地提取学习图像的特征或对象图像的特征，希望将更宽的区域、即更多的像素作为局部二值模式的运算对象。然而，如上所述，在只增加附近区域的像素数的情况下，处理负荷变高，并且含有噪声的可能性变高，检测精度有可能降低。
因此，物体检测系统100设定由多个像素构成的子区域，对子区域的像素值进行统计处理，来计算区域代表值。而且，物体检测系统100将区域代表值用于特征提取中。由此，物体检测系统100不只能够减少局部二值模式的比特数，还能够降低二值模式中的以像素为单位的噪声。在使用这样的二值模式的直方图进行物体检测的情况下，能够削减运算成本，能够进行对噪声具有鲁棒性的物体检测。
因此，物体检测系统100能够在抑制物体检测精度降低且抑制处理负荷增加的状态下根据更多的像素生成局部二值模式。即，物体检测系统100在对图像进行物体检测时，对于在低照度等环境下拍摄到的噪声多的图像，可以使用能够进行高速且鲁棒性好的物体检测的图像特征。
以上结束对物体检测系统100的结构的说明。
下面，对包含本发明的特征提取装置的物体检测装置400的动作进行说明。此外，识别器学习装置200中的特征提取单元220的动作与物体检测装置400中的特征提取单元430的动作相同，因此省略其说明。
图4是表示一例物体检测装置400的动作的流程图。
首先，在步骤S1100中，图像输入单元420用尺寸预先决定了的窗扫描对象图像。
图5表示图像扫描的情形的一例的示意图。
如图5所示，图像输入单元420用尺寸预先决定了的窗511扫描对象图像510的全体，从各位置获取窗区域512。窗511的尺寸例如是64像素×128像素。
接着，在图4的步骤S1200中，图3的特征提取单元430的特征提取区域获取单元431获取一个通过识别器学习装置200的学习得到的、并存储在识别器存储装置中的特征提取区域的信息(位置、尺寸等)。特征提取区域获取单元431例如如图5所示那样获取包含人的头部的矩形状的区域作为特征提取区域520。
而且，在步骤S1300中，特征提取单元430的区域扫描单元432选择特征提取区域520的一个像素作为关注像素。
接着，在步骤S1400中，附近区域获取单元435设定以在步骤S1300中扫描出的关注像素为中心的附近区域。区域扫描单元432在每次通过后述的步骤S1900的判断处理返回到步骤S1300时，选择未选择的像素，其结果是使附近区域逐渐移位。
图6是表示附近区域的移位情形的一例的示意图。
如图6所示，区域扫描单元432通过在特征提取区域520的全体使关注像素521移位，来使以关注像素521为中心的附近区域522逐渐移位。
在本实施方式中，如图6所示，附近区域获取单元435对每个关注像素521设定以关注像素521为中心的11像素×11像素的区域，作为附近区域522。即，附近区域获取单元435设定121个像素作为附近区域。
接着，在图4的步骤S1500中，特征提取单元430的子区域设定单元436从关注像素的附近区域设定子区域。这时，子区域设定单元436根据照相机410的空间频率特性设定子区域。
图7是表示一例照相机410的空间频率特性的曲线图。在图7中，横轴表示空间频率，纵轴表示从照相机410输出的信号(对比度的再现率)。
如图7所示，在照相机410的输出523中，较高的空间频率被滤掉。即，照相机410的透镜具有与低通滤波器相似的MTF(Modulation TransferFunction，调制传递函数)特性。根据该特性，照相机410拍摄到的图像的像素值在相邻的像素间平滑地变化，在比与在照相机410中可再现的空间频率的最大值相当的像素数短的长度，没有较大的亮度值的变化。
因此，子区域设定单元436设定子区域，以使得子区域的尺寸为能够视为其长度方向中的全部像素值均等地接近的大小(以下称为“等像素值长”)。在此，子区域的尺寸，指的是子区域的宽度、长度、与关注像素之间的间隔、以及与其他子区域之间的间隔中的至少一者。由此，子区域设定单元436能够设定使区域代表值高精度地反映附近区域的特征那样的子区域。例如，在两个像素的间隔(像素数)为与空间频率的最大值的倒数相当的像素数以下的情况下，能够将该两个像素设为同样的亮度进行处理。即，在多个像素彼此的间隔为与空间频率的最大值的倒数相当的像素数以下的情况下，由该多个像素构成子区域。
根据照相机的种类不同，MTF特性也不同。另外，对于通常的照相机，为了提高分辨率，较高地设定对于成像元件的空间频率。这时，不用为了在对细致的条纹进行拍摄时也不产生混叠噪声引起的伪条纹图形，而将空间频率设定为成像元件的像素的间隔倒数以上。即，在由照相机410拍摄到的图像中相邻的间隔2到3个像素的像素彼此的像素值与照相机的种类无关而为相同程度。因此，希望将子区域的尺寸设定为2个像素或3个像素。这是因为，在相邻的2个像素或3个像素之间，像素值之差较小，将它们作为一个信息进行处理的情况下，信息量的损失较少，能够抑制特征提取的运算量以及特征维数。此外，在照相机410的MTF特性为低频的窄带低通滤波器特性的情况(即，急剧衰减的情况)下，也可以将子区域的尺寸设为4像素以上。
图8是表示一例子区域配置的示意图。
如图8所示，在本实施方式中，子区域设定单元436将附近区域522中的、与关注像素521相邻的8个像素(用编号11～18表示)的每个像素设定为子区域524。另外，子区域设定单元436将如下的8个区域(用编号21～28表示)的每个区域设定为子区域524，该8个区域为，将与关注像素521间隔2个像素的24个像素组分成每3个像素为一个区域而得到的8个区域。进而，子区域设定单元436将如下的8个区域(用编号31～38表示)的每个区域设定为子区域524，该8个区域为，与关注像素521间隔4个像素的40个像素组中的、相对于关注像素521为等角度间隔且每3个像素构成一个区域而得到的8个区域。即，子区域设定单元436将距关注像素的像素距离不同的8个×3组的区域设定为子区域524。
接着，在图4的步骤S1600中，区域代表值计算单元437对每个子区域组求子区域的像素值平均，作为区域代表值。接着，子区域差值计算单元438计算各区域代表值与关注像素之间的差值。
在本实施方式中，将距关注像素的距离不同的8个×3组的区域设定为子区域。因此，区域代表值计算单元437对每个关注像素，生成3组8个差值的集合。
而且，在步骤S1700中，二值模式计算单元435通过与规定阈值比较将差值二值化，来生成局部二值模式。
在本实施方式中，二值模式计算单元435将“0”设为上述的规定阈值。而且，二值模式计算单元435对差值为规定阈值以上的子区域计算出值为“1”，对差值小于规定阈值的子区域，计算出值为“0”。
即，例如用以下的式(1)表示局部二值模式LBPP,R。这里，gc为关注像素的像素值，P为子区域的数量(本实施方式中为8)。另外，p为子区域的顺序，gp为第p个子区域的像素平均值(即代表值)，R为与子区域和关注像素的距离相当的像素数(本实施方式中为1、3、3)。
LBP P , R = &Sigma; p = 0 P - 1 s ( g p - g c ) 2 p , s ( x ) = 1 , x &GreaterEqual; 0 0 , x < 0 &CenterDot; &CenterDot; &CenterDot; ( 1 )
本实施方式中，将距关注像素的距离不同的8个×3组的区域设定为子区域，因此，二值模式计算单元435对每个关注像素各生成3个8比特二值模式。
接着，在步骤S1800中，直方图生成单元440对构成直方图的箱格(bin)中的局部二值模式LBPP,R的箱格加1。
接着，在步骤S1900中，区域扫描单元432判断特征提取区域中是否存在未处理的像素。区域扫描单元432判断为存在未处理的像素的情况(S1900:“是”)下返回到步骤S1300，选择未处理的像素并重复进行处理。另外，区域扫描单元432判断为已对特征提取区域的全部进行了处理的情况(S1900:“否”)下，进入步骤S2000。
在本实施方式中，直方图生成单元440最终对每个特征提取区域各生成3个直方图。
图9是表示直至将某个局部二值模式反映于直方图为止的处理的一例的概要的示意图。
图9是表示直至将某个附近区域的局部二值模式反映于直方图为止的处理的一例的概要的示意图。
如图9所示，假设对于附近区域522的R=1的部分区域601，关注像素的像素值gc为“128”。而且，假设获取了将其子区域(R=1的情况下，为一个像素)像素值gp设为“244,178,48,27,253,208,238,28”的数值组602。此外，假设从附近像素的左上开始顺时针获取像素值gp。在这种情况下，附近差值(gp-gc)的数值组603为“116,50,-80,-101,125,80,110,-100”。在此，若将二值化的阈值设为“0”，则通过将附近差值二值化而得到的数值组604为“1,1,0,0,1,1,1,0”。而且，局部二值模式605为“11001110”(10进制数为“206”)。
直方图生成单元440对箱格“206”加1来生成直方图606。
通过这样反复对该箱格进行加法运算，最终生成表示特征提取区域图像的特征的直方图。例如若将从尺寸为I×J的特征提取区域得到的局部二值模式的数量的最大值设为K，则利用以下的式(2)表示直方图H(k)。
H ( k ) = &Sigma; i = 1 I &Sigma; j = 1 J f ( LBP P , R ( i , j ) , k ) , k &Element; [ 0 , K ] ,
Figure BDA0000464337650000142
此外，二值模式计算单元435也可以通过将3个局部二值模式按规定的顺序排列，而对每个关注像素生成1个24比特二值模式。在这种情况下，直方图生成单元440最终对每个特征提取区域生成1个直方图。
接着，在图4的步骤S2000中，直方图生成单元440将直方图归一化为不依赖于特征提取区域的大小的特征量。具体而言，直方图生成单元440例如用直方图全部的箱格的频数总和，对直方图进行归一化。若将箱格的数量设为N，将第i个箱格的频数设为Hi(i=1,2,···,N)，则利用以下的式(3)表示频数总和SumHi。
SumH i = &Sigma; i = 1 N H i &CenterDot; &CenterDot; &CenterDot; ( 3 )
而且，利用以下的式(4)表示进行了归一化的直方图的第i个箱格的频数Hi'。
H i &prime; = H i SumH i &CenterDot; &CenterDot; &CenterDot; ( 4 )
图10是表示直方图的归一化的情形的一例的图。
如图10(A)所示，假设归一化前的直方图的各箱格的频数H1、H2、···、H8依次为“5,6,4,7,10,5,8,3”。在这种情况下，如以下的式(5)那样计算频数总和SumHi。
SumH i = &Sigma; i = 1 N H i = 5 + 6 + 4 + 7 + 10 + 5 + 8 + 3 = 48 &CenterDot; &CenterDot; &CenterDot; ( 5 )
而且，如以下的式(6)那样计算进行了归一化的直方图的各箱格的频数H1'、H2'、···、H8'。
H 1 &prime; = H 1 SumH 1 = 5 48 H 2 &prime; = H 2 SumH 2 = 6 48 &CenterDot; &CenterDot; &CenterDot; H 8 &prime; = H 8 SumH 8 = 3 48 &CenterDot; &CenterDot; &CenterDot; ( 6 )
接着，在图4的步骤S2100中，识别单元450从识别器存储装置300获取识别器，基于归一化后的直方图计算表示用于判定当前的特征提取区域中是否包含检测对象物体的似然性的得分。
接着，在步骤S2200中，物体检测装置400对计算出的得分进行累加运算。
接着，在步骤S2300中，特征提取单元430判断是否有未处理的特征提取区域。即，特征提取单元430判断是否已对与识别器存储装置300中存储的特征提取区域信息对应的全部特征提取区域计算了得分。特征提取单元430在有未处理的特征提取区域的情况下(S2300：“是”)，返回到步骤S1200，转至对未处理的特征提取区域的处理。另外，特征提取单元430在对全部特征提取区域完成了处理的情况下(S2300：“否”)，进入步骤S2400。
接着，在步骤S2400中，识别单元450对每个经过扫描的窗，基于累加运算的得分的值判定是否包含检测对象物体。即，识别单元450在得分为规定阈值以上的情况下，判定为该窗中包含检测对象物体。此外，识别单元450也可以基于对得分适用了规定函数的结果来进行该判定。
接着，在步骤S2500中，识别单元450输出物体检测的判定结果。
此外，识别单元450可以判定对象图像中是否包含指定的物体，也可以判定对象图像中包含怎样的物体。在是前者的情况下，识别单元450例如仅使用与指定的物体对应的识别器，输出仅表示是否包含该物体的信息即可。另外，在是后者的情况下，识别单元450依次适用多个识别器反复进行判定，在检测出物体时，输出表示检测出哪个物体的信息即可。
接着，在步骤S2600中，图像输入单元420判断是否通过操作等被指示了结束处理。在未被指示结束处理的情况下(S2600：“否”)，图像输入单元420返回到步骤S1100，转至对下一个扫描或者下一个对象图像的处理。另外，在被指示了结束处理的情况下(S2600：“是”)，图像输入单元420结束一系列处理。
通过这种动作，物体检测装置400能够设定多个包括由多个像素构成的子区域的子区域，使用关注像素和子区域的平均值之间的差值生成局部二值模式的直方图。由此，物体检测装置400能够以低的运算量、低的维数，生成对噪声具有鲁棒性的局部二值模式的直方图。而且，物体检测装置400能够使用该直方图作为图像特征进行物体检测。
以上结束对物体检测装置400的动作的说明。
此外，子区域的配置不限定于图8所示的例。识别器学习装置200以及物体检测装置400可以根据照相机410的空间频率特性以外的特性，以各种模式设定子区域配置。
下面，对各种子区域配置进行说明。
图11以及图12是表示将与关注像素隔开1像素距离的像素组设定为子区域的情况下的子区域配置的例的图。
如图11以及图12所示，识别器学习装置200以及物体检测装置400也可以将以关注像素521为中心的5像素×5像素设定为附近区域522。
而且，如图11所示，识别器学习装置200以及物体检测装置400也可以对与关注像素521隔开1像素距离的16个像素组以不重叠的方式进行8分割，设定分别由2个像素构成的8个子区域524。
或者，如图12所示，识别器学习装置200以及物体检测装置400也可以将上述16个像素组，以各重叠一个像素的方式进行分割，设定分别由3个像素构成的8个子区域524。
此外，识别器学习装置200以及物体检测装置400在上述的确保等像素值长的情况下，希望如图11所示那样，以不重叠的方式设定子区域524。这是因为，不重叠的子区域包含不同的特征信息的可能性高，而且，运算用的像素数较少，因此运算成本低。另外，在如图12所示那样使子区域524重叠的情况下，重叠的相邻的子区域包含相同的特征信息，像素数多，因此运算成本也高。
图13以及图14是表示将相邻像素组、以及与关注像素隔开2像素距离的像素组设定为子区域的情况下的子区域配置的例的图。
如图13以及图14所示那样，识别器学习装置200以及物体检测装置400也可以将以关注像素521为中心的7像素×7像素设定为附近区域522，将8个相邻像素设定为子区域524。
而且，如图13所示那样，识别器学习装置200以及物体检测装置400还可以将与关注像素521隔开2像素距离的24个像素组进行8分割而得到的区域设定为子区域524。
或者，如图14所示那样，识别器学习装置200以及物体检测装置400也可以获得由关注像素521、隔开1像素距离的16个像素组、以及隔开2像素距离的24个像素组构成的40个像素组。而且，识别器学习装置200以及物体检测装置400也可以将对该像素组进行8分割而得到的区域设定为子区域524。
在图14的情况下，子区域524的尺寸较大，局部二值模式运算中使用的的像素数变多。若像素数多，则运算成本变高，但是可以认为检测精度变高。
然而，如上所述，由于相邻像素间像素值近似，在考虑照相机310的空间频率特性的情况下，能够使图13的情况下的检测精度与图14的情况下的检测精度等同。
图15是表示考虑照相机310的空间频率特性的情况下的、图13所示的子区域配置以及图14所示的子区域配置的、物体检测中的性能评价的实验结果的图。图15中，横轴表示对不是检测对象的数据集的误检测率即FPPW(False Positive Per Window，误检率)，纵轴表示对检测对象数据集的检测率即Hit Rate。
如图15所示，图13所示的子区域配置的情况下的性能曲线611与图14所示的子区域配置的情况下的性能曲线612几乎一致。
这样，在考虑照相机410的空间频率特性来对子区域配置进行配置的情况下，确认了在抑制运算成本的同时，能够得到高的检测精度。
另外，在以上的说明中，说明了在配置距关注像素的距离不同的子区域的情况下，配置在从关注像素看相同的方向的例子，但是，子区域的配置不限于此。
图16是使相对于关注像素在辐射方向上相邻的子区域的中心位置，除相邻像素以外一致的情况下的子区域配置的一例。这是未考虑照相机410的空间频率特性的情况下的子区域配置的一例。
在这种情况下，如图16所示，在附近区域522中，例如，从关注像素521离开1像素距离的子区域524-1的中心、和从关注像素521离开2像素距离的子区域524-2的中心具有1像素的距离。
图17是使相对于关注像素在辐射方向上相邻的子区域的中心位置，除相邻像素以外不同的情况下的子区域配置的一例。这是考虑了照相机410的空间频率特性的情况下的子区域配置的一例。
在这种情况下，如图17所示那样，在附近区域522中，例如，从关注像素521离开1像素距离的子区域524-1的中心、和从关注像素521离开2像素距离的子区域524-2的中心具有超过1像素的距离。
为了根据照相机410的空间频率特性抑制信息量的损失并抑制特征提取的运算量以及特征维数，希望在辐射方向上相邻的子区域524的中心位置如图17所示那样，离开超过1像素的距离。
图18是表示图16所示的子区域配置和图17所示的子区域配置的、物体检测中的性能评价的实验结果的图。
如图18所示，与图16所示的子区域配置的情况下的性能曲线621相比，图17所示的子区域配置的情况下的性能曲线622一方位于上方。即，确认了图17所示的子区域配置的情况下的性能比图16所示的子区域配置的情况下的性能良好。
此外，根据另外进行的实验可知，对于作为子区域配置而采用的范围，相当于直到从关注像素离开4像素距离的像素。这是因为，若从关注像素到子区域的距离过长，则子区域过于离开对象像素，在子区域中含有不是识别对象的器官的图像的可能性高。
根据以上所述，希望子区域为2～3像素的长度，在圆周方向上不与其他子区域重叠，在辐射方向上，子区域的中心位置之间离开超过1像素的距离，位于直至从关注像素离开4像素距离的像素为止的范围内。另一方面，子区域即使在辐射方向上离开1像素距离而被配置，也不对检测性能带来影响。因此，希望物体检测系统100将子区域例如设定成图8所示的配置。
以上，完成对各种子区域配置的说明。
如以上说明那样，本实施方式的物体检测系统100能够使局部二值模式的运算对象中包含从关注像素离开的像素，并根据多个像素的像素值的代表值生成局部二值模式。由此，物体检测系统100能够在抑制物体检测精度降低且抑制处理负荷增加的状态下，根据更多的像素生成局部二值模式。
此外，若局部二值模式生成中使用的像素的数量增多，则在夜间图像那样噪声多的图像的情况下，生成不正确的局部二值模式的可能性大。如图像特征的提取精度降低，则进而根据直方图生成的识别器的精度、和使用直方图进行的物体检测精度也降低。
关于此点，由于物体检测系统100使用多个像素的像素值的代表值(平均值)，因此，能够降低以像素为单位的噪声对物体检测精度的影响。即，物体检测系统100能够提取对于低照度等环境下拍摄到的噪声多的图像也可进行鲁棒性高的物体检测的直方图，作为图像的图像特征。
另外，物体检测系统100能够对附近区域中的、考虑照相机410的空间频率特性而像素值变化小的像素区域进行分组，并定义为子区域。由此，物体检测系统100能够保证检测精度，并减少物体检测中的识别器的处理负荷。
此外，以上说明的实施方式中，说明了将识别器学习装置200、识别器存储装置300、以及物体检测装置400分别构成的例子，但是，也可以将它们中的两个或全部作为一个装置一体构成。特别地，在将识别器学习装置200和物体检测装置400一体构成的情况下，特征提取单元220、43可以分别作为通用的功能单元而构成。另外，本实施方式中，作为机器学习方法使用了Boosting，但也可以使用SVM(Support Vector Machine，支持向量机)或决策树(Decision Tree)等其他机器学习方法。
在2011年8月11日提出的日本专利申请特愿2011-176139号所包含的说明书、附图以及说明书摘要的公开内容，全部被引用于本申请。
工业实用性
本发明的特征提取装置、特征提取程序、以及图像处理装置，作为能够在抑制物体检测精度的降低且抑制处理负荷的增加的状态下根据更多的像素生成局部二值模式的特征提取装置、特征提取方法、特征提取程序、以及图像处理装置是有用的。
权利要求书(按照条约第19条的修改)
1.特征提取装置，包括：
子区域设定单元，对利用照相机得到的撮像图像的全部或部分像素中的每个像素，以该像素为关注像素，根据所述照相机的空间频率特性设定针对该关注像素的多个子区域；以及
二值模式生成单元，对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式，
所述多个子区域中至少包括由多个像素构成的子区域，该多个像素包含从所述关注像素离开一个像素以上的距离的像素。
2.如权利要求1所述的特征提取装置，
所述二值模式生成单元对每个所述子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值，生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式。
3.如权利要求1所述的特征提取装置，
所述子区域设定单元设定所述子区域，以使得所述子区域的宽度、长度、与所述关注像素之间的间隔、以及与其他所述子区域之间的间隔中的至少一者，为从所述照相机的空间频率特性来看能够视为其长度方向上的全部像素值均等地接近的大小。
4.如权利要求1所述的特征提取装置，
所述子区域设定单元以距所述关注像素为等距离的方式设定所述多个子区域。
5.如权利要求1所述的特征提取装置，
所述子区域设定单元以相互不重叠的方式设定所述多个子区域。
6.如权利要求1所述的特征提取装置，
所述子区域设定单元以相互离开的方式设定所述多个子区域。
7.如权利要求1所述的特征提取装置，
所述子区域设定单元以相对于所述关注像素为等角度间隔的方式设定所述多个子区域。
8.如权利要求1所述的特征提取装置，
所述子区域设定单元至少将与所述关注像素相邻的多个像素的每个像素、以及由从所述关注像素分别离开两个像素以上的距离的多个像素构成的区域，设定为所述子区域。
9.图像处理装置，包括：
权利要求1所述的特征提取装置，其还具有直方图生成单元，该直方图生成单元生成表示根据所述图像生成的所述局部二值模式的分布的直方图；以及
识别单元，其使用用于识别规定物体的识别器，根据由所述特征提取装置生成的所述直方图，判断所述图像是否包含所述规定物体。
10.特征提取程序，
使计算机执行以下处理：
对利用照相机得到的撮像图像的全部或部分像素中的每个像素，以该像素为关注像素，根据所述照相机的空间频率特性设定针对该关注像素的多个子区域的处理；以及
对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式的处理，
所述多个子区域中至少包括由多个像素构成的子区域，该多个像素包含从所述关注像素离开一个像素以上的距离的像素。

Claims (10)

1.特征提取装置，包括：
子区域设定单元，对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域；以及
二值模式生成单元，对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式，
所述子区域设定单元至少将由多个像素构成的区域设定为所述子区域，且该多个像素包含从所述关注像素离开的像素，
所述二值模式生成单元对每个所述子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值，生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式。
2.如权利要求1所述的特征提取装置，
所述图像是利用照相机得到的拍摄图像，
所述子区域设定单元根据所述照相机的空间频率特性设定所述子区域。
3.如权利要求2所述的特征提取装置，
所述子区域设定单元设定所述子区域，以使得所述子区域的宽度、长度、与所述关注像素之间的间隔、以及与其他所述子区域之间的间隔中的至少一者，为从所述照相机的空间频率特性来看能够视为其长度方向上的全部像素值均等地接近的大小。
4.如权利要求1所述的特征提取装置，
所述子区域设定单元以距所述关注像素为等距离的方式设定所述多个子区域。
5.如权利要求1所述的特征提取装置，
所述子区域设定单元以相互不重叠的方式设定所述多个子区域。
6.如权利要求1所述的特征提取装置，
所述子区域设定单元以相互离开的方式设定所述多个子区域。
7.如权利要求1所述的特征提取装置，
所述子区域设定单元以相对于所述关注像素为等角度间隔的方式设定所述多个子区域。
8.如权利要求1所述的特征提取装置，
所述子区域设定单元至少将与所述关注像素相邻的多个像素的每个像素、以及由从所述关注像素分别离开两个像素以上的距离的多个像素构成的区域，设定为所述子区域。
9.图像处理装置，包括：
权利要求1所述的特征提取装置，其还具有直方图生成单元，该直方图生成单元生成表示根据所述图像生成的所述局部二值模式的分布的直方图；以及
识别单元，其使用用于识别规定物体的识别器，根据由所述特征提取装置生成的所述直方图，判断所述图像是否包含所述规定物体。
10.特征提取程序，
使计算机执行以下处理：
对图像的全部或部分像素中的每个像素，以该像素为关注像素，对该关注像素设定多个子区域的处理；以及
对每个所述关注像素，生成利用比特值表示与所设定的所述多个子区域的每个子区域之间的像素值比较的局部二值模式的处理，
设定所述子区域的处理中，至少将由多个像素构成的区域设定为所述子区域，且该多个像素包含从所述关注像素离开的像素，
生成所述局部二值模式的处理包括：
对每个所述子区域计算代表构成该子区域的一个或多个像素的像素值组的代表值的处理；以及
生成利用比特值表示该代表值相对于所述关注像素的像素值的差值是否在规定阈值以上的比特数据，作为所述局部二值模式的处理。
CN201280038798.8A 2011-08-11 2012-07-31 特征提取装置、特征提取程序、以及图像处理装置 Active CN103733224B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-176139 2011-08-11
JP2011176139A JP5789751B2 (ja) 2011-08-11 2011-08-11 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置
PCT/JP2012/004852 WO2013021580A1 (ja) 2011-08-11 2012-07-31 特徴抽出装置、特徴抽出プログラム、および画像処理装置

Publications (2)

Publication Number Publication Date
CN103733224A true CN103733224A (zh) 2014-04-16
CN103733224B CN103733224B (zh) 2017-05-17

Family

ID=47668118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280038798.8A Active CN103733224B (zh) 2011-08-11 2012-07-31 特征提取装置、特征提取程序、以及图像处理装置

Country Status (5)

Country Link
US (1) US9294665B2 (zh)
EP (1) EP2743888B1 (zh)
JP (1) JP5789751B2 (zh)
CN (1) CN103733224B (zh)
WO (1) WO2013021580A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768410A (zh) * 2019-05-22 2020-10-13 北京沃东天骏信息技术有限公司 图像处理方法和装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366177B (zh) * 2012-03-28 2016-12-07 佳能株式会社 对象检测分类器生成方法和设备、图像对象检测方法和设备
JP6202937B2 (ja) * 2013-08-21 2017-09-27 キヤノン株式会社 画像認識装置、画像認識方法、及びコンピュータプログラム
KR102213867B1 (ko) * 2014-03-12 2021-02-08 에스케이플래닛 주식회사 서비스 제공 장치와 사용자 장치, 그를 포함하는 단일 영상 기반의 분류 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US9940533B2 (en) 2014-09-30 2018-04-10 Qualcomm Incorporated Scanning window for isolating pixel values in hardware for computer vision operations
US9554100B2 (en) 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9923004B2 (en) * 2014-09-30 2018-03-20 Qualcomm Incorporated Hardware acceleration of computer vision feature detection
US9838635B2 (en) * 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
KR101648052B1 (ko) 2014-12-12 2016-08-12 도레이첨단소재 주식회사 광학용 폴리에스테르 적층 필름
KR102592647B1 (ko) * 2016-01-14 2023-10-23 엘지전자 주식회사 냉장고
US10614332B2 (en) 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
CN111696080B (zh) * 2020-05-18 2022-12-30 江苏科技大学 一种基于静态纹理的人脸欺诈检测方法、系统及存储介质
JPWO2023008509A1 (zh) * 2021-07-29 2023-02-02

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266704A (zh) * 2008-04-24 2008-09-17 张宏志 基于人脸识别的atm安全认证与预警方法
US20100329556A1 (en) * 2009-06-26 2010-12-30 Canon Kabushiki Kaisha Image conversion method and apparatus, and pattern identification method and apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4575124A (en) * 1982-04-05 1986-03-11 Ampex Corporation Reproducible gray scale test chart for television cameras
KR100459892B1 (ko) * 2001-12-13 2004-12-03 삼성전자주식회사 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치
FI20021578A (fi) 2002-09-03 2004-03-04 Honeywell Oy Paperin karakterisointi
WO2008067509A1 (en) * 2006-11-30 2008-06-05 Westar Display Technologies, Inc. Motion artifact measurement for display devices
JP4868530B2 (ja) * 2007-09-28 2012-02-01 Ｋｄｄｉ株式会社 画像認識装置
JP5047005B2 (ja) 2008-02-29 2012-10-10 キヤノン株式会社 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置
DE102008012152A1 (de) * 2008-03-01 2009-09-03 Voith Patent Gmbh Verfahren und Vorrichtung zur Charakterisierung der Formation von Papier
US8855420B2 (en) 2009-04-09 2014-10-07 France Telecom Descriptor determination in a multimedia content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266704A (zh) * 2008-04-24 2008-09-17 张宏志 基于人脸识别的atm安全认证与预警方法
US20100329556A1 (en) * 2009-06-26 2010-12-30 Canon Kabushiki Kaisha Image conversion method and apparatus, and pattern identification method and apparatus

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHENGCAI LIAO等: "Learning Multiscale Block Local Binary Patterns for Face Recognition", 《LECTURE NOTES IN COMPUTER SCIENCE》 *
SHENGCAI LIAO等: "Learning Multiscale Block Local Binary Patterns for Face Recognition", 《LECTURE NOTES IN COMPUTER SCIENCE》, vol. 4642, 29 August 2007 (2007-08-29), pages 828 - 837 *
TOPI: "The local binary pattern approach to texture analysis-extensions and applications", 《ACADEMIC DISSERTATION TO BE PRESENTED WITH THE ASSENT OF THEFACULTY OF MEDICINE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768410A (zh) * 2019-05-22 2020-10-13 北京沃东天骏信息技术有限公司 图像处理方法和装置
CN111768410B (zh) * 2019-05-22 2024-04-05 北京沃东天骏信息技术有限公司 图像处理方法和装置

Also Published As

Publication number Publication date
CN103733224B (zh) 2017-05-17
JP2013041330A (ja) 2013-02-28
EP2743888A1 (en) 2014-06-18
WO2013021580A1 (ja) 2013-02-14
US9294665B2 (en) 2016-03-22
EP2743888B1 (en) 2023-10-25
US20140204238A1 (en) 2014-07-24
EP2743888A4 (en) 2015-05-20
JP5789751B2 (ja) 2015-10-07

Similar Documents

Publication Publication Date Title
CN103733224A (zh) 特征提取装置、特征提取程序、以及图像处理装置
CN103026384A (zh) 特征提取装置、特征提取方法、特征提取程序以及图像处理装置
US9070005B2 (en) Image processing apparatus, image processing method, non-transitory computer-readable medium, and image processing system for detection of target cells using image feature determination
US9292745B2 (en) Object detection apparatus and method therefor
US20150016679A1 (en) Feature extraction device, feature extraction method, and feature extraction program
US8306318B2 (en) Image processing apparatus, image processing method, and computer readable storage medium
TWI567660B (zh) 多類別物件分類方法及系統
CN104978709A (zh) 描述符生成方法及装置
CN105205486A (zh) 一种车标识别方法及装置
CN102196182A (zh) 逆光检测设备及逆光检测方法
US9367567B2 (en) Feature value extraction apparatus and feature value extraction method
US9911204B2 (en) Image processing method, image processing apparatus, and recording medium
EP2234388B1 (en) Object detection apparatus and method
US9489593B2 (en) Information processing apparatus and training method
US20150146991A1 (en) Image processing apparatus and image processing method of identifying object in image
BR112021014182A2 (pt) Método implementado por computador para gerar uma região de interesse em uma imagem digital de um flanco de um pneu, método para leitura de marcações em relevo e/ou gravadas em um flanco de um pneu, aparelho de processamento de dados, programa de computador, e, meio de armazenamento legível por computador
CN104268595B (zh) 通用物件检测方法及系统
CN111179212A (zh) 集成蒸馏策略和反卷积的微小目标检测片上实现方法
CN109726621A (zh) 行人检测方法、装置及设备
Cicconet et al. Wavelet-based Circular Hough Transform and Its Application in Embryo Development Analysis.
Narang et al. Learning deep features for hierarchical classification of mobile phone face datasets in heterogeneous environments
KR20210072559A (ko) 글로버 풀링이 적용된 cnn을 위한 추가적인 다운샘플링 된 이미지를 이용한 효과적인 필터 프루닝 방법
CN104182731B (zh) 一种基于十字检测的栅格状雷达检测方法
CN107924493A (zh) 学习装置和学习识别系统
Piniarski et al. Multi-branch classifiers for pedestrian detection from infrared night and day images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160129

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

GR01 Patent grant
GR01 Patent grant